Staff Data Scientist, Agent Improvement Loop
Rol responsable de mejorar y evaluar agentes de IA, diseñando pruebas y cerrando el ciclo de mejora. Integrado en equipos de producto, ingeniería, delivery y customer success para convertir hallazgos en cambios medibles.
Qué harás
- Definir estrategia de evals: pruebas previas, monitoreo y jueces
- Analizar errores en trazas de agentes a escala y priorizar oportunidades
- Convertir hallazgos en fixes, nuevos evals y medir el impacto
- Mejorar skills, harness y CLI revisando repos y procesos
- Calibrar jueces LLM frente a revisión humana y medir estabilidad
Qué buscan
- BS o MS en campo técnico
- 8+ años entregando data science con impacto medible
- Experiencia práctica evaluando sistemas LLM o agentes
- Experto en Python y SQL; cómodo con TypeScript o dispuesto
- Fuertes prácticas de ingeniería de producción: testing y CI/CD
Habilidades
Resumen elaborado por StartupJobs a partir de la oferta de la empresa. La oferta completa está en la web de la empresa.
Este empleo viene de la página de empleo de Yalo. Enlazamos directamente a la fuente.