Ingeniero de Investigación - Plataforma Eval

Acerca de Mistral
Mistral ofrece soluciones de inteligencia artificial completas: desde modelos de vanguardia hasta herramientas, aplicaciones y computación para desarrolladores. Nos asociamos con empresas que abordan los problemas más difíciles en industrias de alto riesgo como las finanzas, la manufactura, la defensa, la atención médica y el sector público, y cocreamos sistemas de inteligencia artificial personalizados que pueden ejecutar según sus condiciones.
Somos un equipo dinámico y colaborativo apasionado por la IA y su potencial para transformar la sociedad. Nuestra fuerza laboral diversa prospera en entornos competitivos y está comprometida a impulsar la innovación. Nuestros equipos están distribuidos entre Europa, Norteamérica, Asia y Medio Oriente. Somos creativos, bajos en ego y con espíritu de equipo.

El papel
La evaluación es cómo decidimos qué modelos, puntos de control y recetas se envían. Como ingeniero de investigación en el equipo de Eval Platform, construirá la infraestructura en la que confía cada equipo científico para medir la calidad del modelo y hacerlo confiable, reproducible y rápido.
No es necesario haber diseñado puntos de referencia antes. Debes preocuparte por lo que significa una puntuación y por saber cuándo es real una diferencia entre dos carreras.

que haras

• Construir sistemas que mantengan los resultados de las evaluaciones reproducibles y comparables a lo largo del tiempo, a medida que evolucionan los modelos, los puntos de referencia y el código.

• Ejecute evaluaciones a escala en nuestros clústeres de GPU, desde el servicio de modelos hasta la puntuación.

• Haga que los resultados de la evaluación sean fáciles de acceder, explorar y confiar, a través de API y paneles que los investigadores utilizan todos los días.

• Detectar evaluaciones rotas o ruidosas antes de que confundan las decisiones de investigación.

• Soportar la evaluación de modelos agentes, multiturno y de uso de herramientas.

• Trabajar en estrecha colaboración con los investigadores para convertir las nuevas necesidades de evaluación en herramientas sólidas y compartidas.

lo que estamos buscando

• Maestría o Doctorado en Informática, o experiencia equivalente.

• Más de 4 años creando software de producción, idealmente bases de código de aprendizaje automático a gran escala o sistemas distribuidos.

• Excelente Python y fuertes instintos de diseño de software: pruebas, revisión de código, CI/CD.

• Experiencia ejecutando cargas de trabajo en clusters de GPU (Slurm, Kubernetes, Ray o similares).

• Familiaridad con la inferencia y evaluación de LLM.

• Una mentalidad de producto: los investigadores son sus usuarios.

• Emprendedor, de bajo ego, colaborativo.

Es bueno tener

• Experiencia en la creación o mantenimiento de sistemas de evaluación o puntos de referencia.

• Experiencia práctica con motores de inferencia como vLLM o SGLang.

• Experiencia con entornos agentes o RL.

• Estadística para experimentación: estimación de varianza, pruebas de significancia.

• Contribuciones de código abierto a las herramientas de aprendizaje automático.

Lo que ofrecemos
Ofrecemos un paquete integral de beneficios diseñado para respaldar su bienestar, crecimiento y equilibrio entre el trabajo y la vida personal. Los beneficios varían según el país y pueden incluir cobertura de atención médica, licencia parental, planes de jubilación, apoyo para la reubicación, programas de bienestar, subsidios para comidas y transporte y otros beneficios específicos de la ubicación.
Para obtener los detalles más actualizados sobre los beneficios disponibles en su ubicación, consulte nuestra página de Beneficios.

Política de privacidad
Su privacidad nos importa. Puede obtener más información sobre cómo manejamos sus datos personales en nuestra Política de privacidad del solicitante.
Encuentre más trabajos de habla inglesa en Francia en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/research-engineer-eval-platform-paris-198093)