Volver a los empleos

Staff Data Scientist, Agent Improvement Loop

  • LATAM

Rol responsable de mejorar y evaluar agentes de IA, diseñando pruebas y cerrando el ciclo de mejora. Integrado en equipos de producto, ingeniería, delivery y customer success para convertir hallazgos en cambios medibles.

Qué harás

  • Definir estrategia de evals: pruebas previas, monitoreo y jueces
  • Analizar errores en trazas de agentes a escala y priorizar oportunidades
  • Convertir hallazgos en fixes, nuevos evals y medir el impacto
  • Mejorar skills, harness y CLI revisando repos y procesos
  • Calibrar jueces LLM frente a revisión humana y medir estabilidad

Qué buscan

  • BS o MS en campo técnico
  • 8+ años entregando data science con impacto medible
  • Experiencia práctica evaluando sistemas LLM o agentes
  • Experto en Python y SQL; cómodo con TypeScript o dispuesto
  • Fuertes prácticas de ingeniería de producción: testing y CI/CD

Habilidades

  • Python
  • SQL
  • TypeScript
  • LLM evaluation
  • Prompt and tool design
  • Agent frameworks (e.g., LangGraph)
  • LLM observability tooling (e.g., LangSmith)
  • Causal inference/experimentation

Resumen elaborado por StartupJobs a partir de la oferta de la empresa. La oferta completa está en la web de la empresa.

Este empleo viene de la página de empleo de Yalo. Enlazamos directamente a la fuente.

Postúlate en el sitio de la empresa

Recibe empleos como este por email

Un email a la semana con nuevos empleos del mismo ámbito y ciudad. Nada más.

Ofertas similares