Kompleksowa walidacja stosu oprogramowania AI poprzez tworzenie, portowanie i uruchamianie reprezentatywnych obciążeń ML (Machine Learning), odzwierciedlających rzeczywiste scenariusze użycia.
Pisanie, optymalizacja i benchmarkowanie obciążeń AI w celu identyfikacji luk funkcjonalnych, wąskich gardeł wydajnościowych, regresji oraz problemów z użytecznością.
Projektowanie, rozwój i utrzymanie kompleksowego zestawu testów benchmarkowych obejmujących serwowanie modeli, frameworki ML, kompilatory oraz warstwę kerneli.
Odtwarzanie, analiza i diagnozowanie problemów w całym stosie oprogramowania – od zachowania frameworków na poziomie Pythona po poprawność skompilowanych kerneli i wydajność środowiska uruchomieniowego.
Przeprowadzanie benchmarków wydajnościowych i profilowania (np. MLPerf) w celu monitorowania skalowalności, regresji oraz wpływu optymalizacji pomiędzy kolejnymi wersjami oprogramowania.
Ścisła współpraca z zespołami odpowiedzialnymi za kompilat