Evaluierungsingenieur, Angewandte KI

Über Mistral
Mistral bietet Full-Stack-KI-Lösungen: von Grenzmodellen bis hin zu Entwicklertools, Anwendungen und Rechenleistung. Wir arbeiten mit Unternehmen zusammen, die die schwierigsten Probleme in wichtigen Branchen wie dem Finanzwesen, der Fertigung, der Verteidigung, dem Gesundheitswesen und dem öffentlichen Sektor angehen, und entwickeln gemeinsam maßgeschneiderte KI-Systeme, die sie nach ihren Vorstellungen betreiben können.
Wir sind ein dynamisches, kollaboratives Team mit Leidenschaft für KI und ihr Potenzial, die Gesellschaft zu verändern. Unsere vielfältige Belegschaft wächst in einem wettbewerbsintensiven Umfeld und ist bestrebt, Innovationen voranzutreiben. Unsere Teams sind auf Europa, Nordamerika, Asien und den Nahen Osten verteilt. Wir sind kreativ, selbstbewusst und teamfähig.

Die Rolle
Als Evaluation Engineer im Applied AI-Team prägen Sie die Art und Weise, wie Unternehmenskunden KI-Lösungen messen und ihnen vertrauen. Sie arbeiten eng mit Kunden und internen Stakeholdern zusammen, um Bewertungssysteme bereitzustellen, die definieren, wann ein KI-Modell für echte geschäftliche Auswirkungen bereit ist. Die Mission des Teams besteht darin, sicherzustellen, dass jedes Projekt – egal wie ehrgeizig – mit Klarheit und Verantwortlichkeit von der Idee bis zur Produktion übergeht. Ihre Arbeit wird an der Schnittstelle von Forschung, Technik und Lösungen angesiedelt sein und direkten Einfluss darauf haben, wie Modelle in verschiedenen Bereichen verbessert und eingesetzt werden.

Was Sie tun werden

• Entwerfen und implementieren Sie umfassende Frameworks zur Bewertung der Leistung großer Sprachmodelle (LLM) in Kundenanwendungsfällen

• Erstellen und pflegen Sie eine skalierbare Bewertungsinfrastruktur und Pipelines für eine schnelle, reproduzierbare Bewertung

• Entwickeln Sie neue Bewertungsmethoden für branchenspezifische oder neu entstehende Modellfähigkeiten

• Arbeiten Sie mit Kunden zusammen, um individuelle Bewertungssuiten zu erstellen, die ihren individuellen Bedürfnissen und Kriterien entsprechen

• Arbeiten Sie mit Forschungsteams zusammen, um Evaluierungserkenntnisse in umsetzbare Modellverbesserungen umzuwandeln

• Arbeiten Sie mit Produktteams zusammen, um die Bewertungstools basierend auf Benutzerfeedback zu verfeinern

• Definieren und kommunizieren Sie klare Erfolgsmetriken für „produktionsreife“ KI-Modelle

Was wir suchen

• Mindestens 3 Jahre Erfahrung in der Evaluierung von ML, LLM oder Agentensystemen

• Nachgewiesener Hintergrund in der Implementierung von KI- oder maschinellen Lernprodukten, insbesondere mit APIs oder Back-End-Systemen

• Starke Python-Programmierkenntnisse

• Tiefes Verständnis der Konzepte und Algorithmen des maschinellen Lernens, insbesondere in Bezug auf LLMs

• Erfahrung in der klaren Kommunikation technischer Themen sowohl für ein technisches als auch für ein nichttechnisches Publikum

• Vertrautheit mit Bewertungsframeworks wie LM Eval Harness oder OpenAI Evals oder Beiträge zu verwandten Open-Source-Projekten

• Erfahrung im Umgang mit ML-Bibliotheken (z. B. PyTorch, HuggingFace Transformers)

• Kollaborativer, direkter Kommunikator, der Ergebnisse und Teamarbeit ohne Ego schätzt

Was wir anbieten
Wir bieten ein umfassendes Leistungspaket, das Ihr Wohlbefinden, Ihr Wachstum und Ihre Work-Life-Balance unterstützt. Die Leistungen variieren je nach Land und können Krankenversicherung, Elternurlaub, Altersvorsorge, Umzugsunterstützung, Wellnessprogramme, Essens- und Transportkostenzuschüsse sowie andere standortspezifische Vergünstigungen umfassen.
Aktuelle Informationen zu den an Ihrem Standort verfügbaren Vorteilen finden Sie auf unserer Seite „Vorteile“.

Datenschutzrichtlinie
Ihre Privatsphäre ist uns wichtig. Weitere Informationen zum Umgang mit Ihren personenbezogenen Daten finden Sie in unserer Datenschutzerklärung für Bewerber.
Weitere englischsprachige Jobs in Frankreich finden Sie auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/evaluation-engineer-applied-ai-paris-96814)