Ingénieur d'évaluation, IA appliquée

À propos de Mistral
Mistral fournit des solutions d'IA complètes : des modèles de pointe aux outils de développement, applications et calcul. Nous collaborons avec des entreprises qui s'attaquent aux problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, l'industrie manufacturière, la défense, la santé et le secteur public, en co-créant des systèmes d'IA personnalisés qu'elles peuvent exécuter selon leurs conditions.
Nous sommes une équipe dynamique et collaborative passionnée par l’IA et son potentiel à transformer la société. Notre main-d’œuvre diversifiée s’épanouit dans des environnements compétitifs et s’engage à stimuler l’innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, modestes et avons l'esprit d'équipe.

Le rôle
En tant qu'ingénieur d'évaluation au sein de l'équipe Applied AI, vous façonnerez la manière dont les entreprises clientes mesurent et font confiance aux solutions d'IA. Vous travaillerez en étroite collaboration avec les clients et les parties prenantes internes pour fournir des systèmes d'évaluation qui définissent quand un modèle d'IA est prêt à avoir un impact réel sur l'entreprise. La mission de l'équipe est de garantir que chaque projet, aussi ambitieux soit-il, passe de l'idée à la production avec clarté et responsabilité. Votre travail se situera à l'intersection de la recherche, de l'ingénierie et des solutions, influençant directement la façon dont les modèles sont améliorés et déployés dans des domaines variés.

Ce que vous ferez

• Concevoir et mettre en œuvre des cadres complets pour évaluer les performances des grands modèles de langage (LLM) dans les cas d'utilisation des clients.

• Créer et maintenir une infrastructure et des pipelines d'évaluation évolutifs pour une évaluation rapide et reproductible

• Développer de nouvelles méthodes d'évaluation pour les capacités de modèles spécifiques à un secteur ou émergentes.

• Collaborer avec les clients pour créer des suites d'évaluation personnalisées qui répondent à leurs besoins et critères uniques.

• Collaborer avec des équipes de recherche pour transformer les informations de l'évaluation en améliorations concrètes du modèle.

• Travailler avec les équipes produit pour affiner les outils d'évaluation en fonction des commentaires des utilisateurs.

• Définir et communiquer des mesures de réussite claires pour les modèles d'IA « prêts pour la production »

Ce que nous recherchons

• Au moins 3 ans d'expérience dans l'évaluation de systèmes ML, LLM ou agentiques.

• Expérience avérée dans la mise en œuvre de produits d'IA ou d'apprentissage automatique, en particulier avec des API ou des systèmes back-end.

• Solides compétences en codage Python

• Compréhension approfondie des concepts et des algorithmes d'apprentissage automatique, en particulier en ce qui concerne les LLM.

• Expérience dans la communication claire de sujets techniques à des publics techniques et non techniques

• Familiarité avec les cadres d'évaluation tels que LM Eval Harness ou OpenAI Evals, ou contributions à des projets open source associés.

• Expérience de travail avec les bibliothèques ML (par exemple, PyTorch, HuggingFace Transformers)

• Communicateur collaboratif et direct qui valorise les résultats et le travail d'équipe sans ego.

Ce que nous proposons
Nous proposons un ensemble d'avantages sociaux complet conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon les pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, une aide à la réinstallation, des programmes de bien-être, des indemnités de repas et de transport et d'autres avantages spécifiques au lieu.
Pour obtenir les détails les plus récents sur les avantages disponibles dans votre région, veuillez consulter notre page Avantages.

Politique de confidentialité
Votre vie privée nous tient à cœur. Vous pouvez en savoir plus sur la manière dont nous traitons vos données personnelles dans notre Politique de confidentialité des candidats.
Trouvez plus d'emplois anglophones en France sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/evaluation-engineer-applied-ai-paris-96814)