Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Senior QA / ML Tester

Seniorremote2.000 USD · Zeitraum nicht angegebenKrakow, PL →vor 6 Wo.
Markteinblicke
📊 QA / Testing: Gehälter und Nachfrage am Markt
Stack
PythonpytestLLM EvaluationAI testingAWS AgentCoreREST APICI/CDintegration testingAmazon BedrockOpenTelemetryagileaws
Details
Erfahrung
ab 5 Jahren
Methoden
CI/CD, Agile
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

We are looking for a Senior QA / ML Tester to join the AI Platform team and take ownership of quality assurance for the Agent Evaluation Framework built on AWS Agent

Core. This role involves designing, implementing, and maintaining a functional test suite that validates the correctness of AI agent evaluation pipelines — covering on-demand integration testing, online sampling accuracy, and multi-evaluator execution — and delivering a feasibility assessment for non-Agent

Core runtime evaluation scenarios. This is a hands-on, production-focused role at the intersection of software quality engineering and AI/ML system testing, operating within an Agile delivery team and contributing to the reliability of enterprise-grade agentic AI infrastructure.

Aufgaben

Responsibilities

Design and implement a functional test suite for the AWS Agent

Core Evaluation API using pytest, covering known-good / known-bad session pair validation, multi-evaluator execution correctness, and edge case handling Develop and maintain integration tests for on-demand evaluation mode, integrated into the CI/CD pipeline with automated execution on each build Validate online mode sampling accuracy, design test scenarios, define acceptance criteria, and report deviations with reproducible evidence Conduct and document a feasibility assessment for non-Agent

Core runtime evaluation: analyze alternative runtimes, define evaluation methodology, and deliver a structured findings report Test OpenTelemetry trace-based evaluation inpu

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs