Usamos cookies técnicas y el registro de visitas anonimizado de Zorky. Yandex Metrica (los datos se guardan en servidores en Rusia) solo se activa con tu consentimiento. Nunca vendemos datos. Más sobre cookies y estadísticas.
Zorky está en modo de prueba: todo es gratis. Los empleos y las páginas de empresas están abiertos a todos; los enlaces a las ofertas y tu selección personal se abren tras registrarte. Regístrate →
← Todos los empleos

Research Engineer, Benchmarks

Nivel no indicadooffice~$11.3K /moSingapore, SGhace 3 d
Análisis del mercado
📊 AI / ML / Data Science: salarios y demanda en el mercado
Stack
dockerlinuxpython
Mostrar empresa y enlace
Gratis, tras iniciar sesión.
Postular
Abre la empresa y el enlace de arriba: tu candidatura va directamente al sistema de selección de la empresa, sin intermediarios.

Descripción

Sobre el puesto

About the Role

Join a small, technical team building benchmarks to evaluate frontier AI agents on realistic, domain-specific workflows. You will own evaluation design and implementation, helping ensure benchmark results are rigorous, credible, and relevant to real-world performance.

Responsabilidades

What You'll Do

Design, implement, and maintain benchmarks for evaluating frontier agents on domain-specific tasks.

Work with subject-matter experts to translate real workflows into realistic tasks and evaluation criteria.

Build reliable infrastructure for running models and agents against benchmark tasks at scale.

Develop metrics and analyses to assess benchmark difficulty, reliability, and failure modes.

Validate whether benchmark results correlate with real-world evaluations and user needs.

Write clear documentation and reports for technical audiences.

What We're Looking For

Two or more years of experience in research engineering or machine learning engineering, building AI benchmarks, evaluation infrastructure, or agent environments.

Technical education or equivalent grounding, with strong first-principles reasoning about task design, scoring, and failure modes.

Proficiency in Python, Docker, and Linux, including experience operating infrastructure for AI models or agents.

Hands-on experience designing and running evaluations for AI agents or large language models, with relevant, focused experience in benchmarks or evaluation.

Experience developing metrics, statistical analyses, or v

Descripción completa, empresa y enlace para postular: después de iniciar sesión. Iniciar sesión
Los contactos del empleador (correo/teléfono/telegram) están ocultos en la vista previa pública.
¿Pregunta urgente? Escribe a @termdocs