Wir verwenden technische Cookies und das anonymisierte Besuchsprotokoll von Zorky. Yandex Metrica (Daten werden auf Servern in Russland gespeichert) läuft nur mit Ihrer Einwilligung. Wir verkaufen keine Daten. Mehr zu Cookies und Statistik.
Zorky läuft im Testmodus — alles ist kostenlos. Stellen und Unternehmensseiten sind für alle offen; Links zu den Anzeigen und Ihre persönliche Stellenauswahl gibt es nach der Registrierung. Registrieren →
← Alle Stellen

Research Engineer, Benchmarks

Level nicht angegebenoffice~$11.3K /moSingapore, SGvor 1 T.
Markteinblicke
📊 AI / ML / Data Science: Gehälter und Nachfrage am Markt
Stack
dockerlinuxpython
Unternehmen und Link anzeigen
Kostenlos, nach der Anmeldung.
Bewerben
Öffnen Sie oben das Unternehmen und den Link — Ihre Bewerbung geht direkt in das Recruiting-System des Unternehmens, ohne Vermittler.

Beschreibung

Über die Stelle

About the Role

Join a small, technical team building benchmarks to evaluate frontier AI agents on realistic, domain-specific workflows. You will own evaluation design and implementation, helping ensure benchmark results are rigorous, credible, and relevant to real-world performance.

Aufgaben

What You'll Do

Design, implement, and maintain benchmarks for evaluating frontier agents on domain-specific tasks.

Work with subject-matter experts to translate real workflows into realistic tasks and evaluation criteria.

Build reliable infrastructure for running models and agents against benchmark tasks at scale.

Develop metrics and analyses to assess benchmark difficulty, reliability, and failure modes.

Validate whether benchmark results correlate with real-world evaluations and user needs.

Write clear documentation and reports for technical audiences.

What We're Looking For

Two or more years of experience in research engineering or machine learning engineering, building AI benchmarks, evaluation infrastructure, or agent environments.

Technical education or equivalent grounding, with strong first-principles reasoning about task design, scoring, and failure modes.

Proficiency in Python, Docker, and Linux, including experience operating infrastructure for AI models or agents.

Hands-on experience designing and running evaluations for AI agents or large language models, with relevant, focused experience in benchmarks or evaluation.

Experience developing metrics, statistical analyses, or v

Vollständige Beschreibung, Unternehmen und Bewerbungslink — nach der Anmeldung. Anmelden
Kontaktdaten des Arbeitgebers (E-Mail/Telefon/Telegram) sind in der öffentlichen Vorschau ausgeblendet.
Dringende Frage? Schreiben Sie @termdocs