Emploi
De la source partenaire
Ingénieur de Recherche - Plateforme d'Eval
Prix sur demande
Détails
- Type de contrat
- Temps plein
- À distance
- Non
- Entreprise
- Mistral.ai
Description
Traduit automatiquement depuis English. Le texte original fait foi. Traduction automatique — une traduction plus précise est en préparation.
À propos de Mistral
Mistral fournit des solutions d'IA complètes : des modèles de pointe aux outils de développement, applications et calcul. Nous collaborons avec des entreprises qui s'attaquent aux problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, l'industrie manufacturière, la défense, la santé et le secteur public, en co-créant des systèmes d'IA personnalisés qu'elles peuvent exécuter selon leurs conditions.
Nous sommes une équipe dynamique et collaborative passionnée par l’IA et son potentiel à transformer la société. Notre main-d’œuvre diversifiée s’épanouit dans des environnements compétitifs et s’engage à stimuler l’innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, modestes et avons l'esprit d'équipe.
Le rôle
L'évaluation est la manière dont nous décidons quels modèles, points de contrôle et recettes seront expédiés. En tant qu'ingénieur de recherche au sein de l'équipe Eval Platform, vous construirez l'infrastructure sur laquelle chaque équipe scientifique s'appuie pour mesurer la qualité du modèle et le rendre fiable, reproductible et rapide.
Vous n’avez pas besoin d’avoir conçu des benchmarks auparavant. Vous devez vous soucier de ce que signifie un score et du moment où une différence entre deux courses est réelle.
Ce que tu feras
• Construisez des systèmes qui maintiennent les résultats d'évaluation reproductibles et comparables au fil du temps, à mesure que les modèles, les références et le code évoluent.
• Exécutez des évaluations à grande échelle sur nos clusters GPU, depuis la diffusion du modèle jusqu'à la notation.
• Rendre les résultats d'évaluation faciles d'accès, d'exploration et de confiance, grâce aux API et aux tableaux de bord que les chercheurs utilisent quotidiennement.
• Détectez les évaluations erronées ou bruyantes avant qu'elles n'induisent en erreur les décisions de recherche.
• Prise en charge de l'évaluation de modèles agentiques, multi-tours et utilisant des outils.
• Travailler en étroite collaboration avec les chercheurs pour transformer les nouveaux besoins d'évaluation en outils robustes et partagés.
Ce que nous recherchons
• Maîtrise ou doctorat en informatique, ou expérience équivalente.
• 4+ années d'expérience dans la création de logiciels de production, idéalement des bases de code ML à grande échelle ou des systèmes distribués.
• Excellent Python et fort instinct de conception de logiciels : tests, révision de code, CI/CD.
• Expérience de l'exécution de charges de travail sur des clusters GPU (Slurm, Kubernetes, Ray ou similaire).
• Familiarité avec l'inférence et l'évaluation LLM.
• Un état d'esprit produit : les chercheurs sont vos utilisateurs.
• Autonome, modeste, collaboratif.
C'est agréable d'avoir
• Expérience dans la création ou le maintien de harnais ou de critères d'évaluation.
• Expérience pratique avec les moteurs d'inférence tels que vLLM ou SGLang.
• Expérience avec les environnements agentiques ou RL.
• Statistiques pour l'expérimentation : estimation de la variance, tests de signification.
• Contributions open source aux outils ML.
Ce que nous proposons
Nous proposons un ensemble d'avantages sociaux complet conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon les pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, une aide à la réinstallation, des programmes de bien-être, des indemnités de repas et de transport et d'autres avantages spécifiques au lieu.
Pour obtenir les détails les plus récents sur les avantages disponibles dans votre région, veuillez consulter notre page Avantages.
Politique de confidentialité
Votre vie privée nous tient à cœur. Vous pouvez en savoir plus sur la manière dont nous traitons vos données personnelles dans notre Politique de confidentialité des candidats.
Trouvez plus d'emplois anglophones en France sur Arbeitnow
Source : Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/research-engineer-eval-platform-paris-198093)
Mistral fournit des solutions d'IA complètes : des modèles de pointe aux outils de développement, applications et calcul. Nous collaborons avec des entreprises qui s'attaquent aux problèmes les plus difficiles dans des secteurs à enjeux élevés tels que la finance, l'industrie manufacturière, la défense, la santé et le secteur public, en co-créant des systèmes d'IA personnalisés qu'elles peuvent exécuter selon leurs conditions.
Nous sommes une équipe dynamique et collaborative passionnée par l’IA et son potentiel à transformer la société. Notre main-d’œuvre diversifiée s’épanouit dans des environnements compétitifs et s’engage à stimuler l’innovation. Nos équipes sont réparties entre l'Europe, l'Amérique du Nord, l'Asie et le Moyen-Orient. Nous sommes créatifs, modestes et avons l'esprit d'équipe.
Le rôle
L'évaluation est la manière dont nous décidons quels modèles, points de contrôle et recettes seront expédiés. En tant qu'ingénieur de recherche au sein de l'équipe Eval Platform, vous construirez l'infrastructure sur laquelle chaque équipe scientifique s'appuie pour mesurer la qualité du modèle et le rendre fiable, reproductible et rapide.
Vous n’avez pas besoin d’avoir conçu des benchmarks auparavant. Vous devez vous soucier de ce que signifie un score et du moment où une différence entre deux courses est réelle.
Ce que tu feras
• Construisez des systèmes qui maintiennent les résultats d'évaluation reproductibles et comparables au fil du temps, à mesure que les modèles, les références et le code évoluent.
• Exécutez des évaluations à grande échelle sur nos clusters GPU, depuis la diffusion du modèle jusqu'à la notation.
• Rendre les résultats d'évaluation faciles d'accès, d'exploration et de confiance, grâce aux API et aux tableaux de bord que les chercheurs utilisent quotidiennement.
• Détectez les évaluations erronées ou bruyantes avant qu'elles n'induisent en erreur les décisions de recherche.
• Prise en charge de l'évaluation de modèles agentiques, multi-tours et utilisant des outils.
• Travailler en étroite collaboration avec les chercheurs pour transformer les nouveaux besoins d'évaluation en outils robustes et partagés.
Ce que nous recherchons
• Maîtrise ou doctorat en informatique, ou expérience équivalente.
• 4+ années d'expérience dans la création de logiciels de production, idéalement des bases de code ML à grande échelle ou des systèmes distribués.
• Excellent Python et fort instinct de conception de logiciels : tests, révision de code, CI/CD.
• Expérience de l'exécution de charges de travail sur des clusters GPU (Slurm, Kubernetes, Ray ou similaire).
• Familiarité avec l'inférence et l'évaluation LLM.
• Un état d'esprit produit : les chercheurs sont vos utilisateurs.
• Autonome, modeste, collaboratif.
C'est agréable d'avoir
• Expérience dans la création ou le maintien de harnais ou de critères d'évaluation.
• Expérience pratique avec les moteurs d'inférence tels que vLLM ou SGLang.
• Expérience avec les environnements agentiques ou RL.
• Statistiques pour l'expérimentation : estimation de la variance, tests de signification.
• Contributions open source aux outils ML.
Ce que nous proposons
Nous proposons un ensemble d'avantages sociaux complet conçu pour soutenir votre bien-être, votre croissance et votre équilibre travail-vie personnelle. Les avantages varient selon les pays et peuvent inclure une couverture santé, un congé parental, des plans de retraite, une aide à la réinstallation, des programmes de bien-être, des indemnités de repas et de transport et d'autres avantages spécifiques au lieu.
Pour obtenir les détails les plus récents sur les avantages disponibles dans votre région, veuillez consulter notre page Avantages.
Politique de confidentialité
Votre vie privée nous tient à cœur. Vous pouvez en savoir plus sur la manière dont nous traitons vos données personnelles dans notre Politique de confidentialité des candidats.
Trouvez plus d'emplois anglophones en France sur Arbeitnow
Source : Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/research-engineer-eval-platform-paris-198093)
Cette annonce provient d'un flux partenaire. Postulez sur le site source.
Source: Mistral.ai
Emplacement
Paris, France
Annonce fournie par Mistral.ai.
