Ingénieur en apprentissage automatique - LLM

Qui nous sommes
Vous avez commandé un dîner via Just Eat Takeaway. Vous avez acheté et vendu sur OLX. Vous avez payé avec PayU. Il y a de fortes chances que vous ayez déjà fait appel à une entreprise Prosus aujourd'hui.
Nous sommes Prosus, une entreprise technologique mondiale qui alimente certaines des plus grandes entreprises de commerce électronique de style de vie au monde. Chaque jour, des milliards de personnes en Inde, en Amérique latine, en Europe et au-delà utilisent nos produits et services pour acheter, vendre, payer, se connecter et découvrir.
Notre écosystème basé sur l'IA regroupe plus de 100 entreprises dans les domaines du commerce électronique, de la livraison de nourriture, de la fintech et des expériences, au service de milliards de consommateurs dans le monde. L'IA alimente notre façon de fonctionner et d'innover, avec plus de 60 000 agents d'IA actifs qui aident nos équipes à construire, évoluer et évoluer plus rapidement. Grâce à notre équipe d’investissement, nous soutenons également les fondateurs et les technologies qui façonnent l’avenir : de la robotique et des systèmes autonomes à la biologie synthétique et à l’IA de pointe.
Guidée par nos cinq valeurs Innovation, Résultats, Personnes, Impact et Entrepreneuriat, la culture est notre avantage concurrentiel. Nous prospérons grâce à l'expérimentation ; nous construisons, nous testons, nous apprenons, nous itérons.
Rejoignez-nous pour façonner l’avenir de la technologie à l’échelle mondiale.
Rejoignez notre équipe d'IA chez Prosus, la plus grande société Internet grand public en Europe et l'un des plus grands investisseurs technologiques au monde. Vous travaillerez au sein de l'équipe qui stimule la croissance et l'innovation au sein de l'entreprise, votre travail ayant un impact direct sur la façon dont des millions de personnes achètent en ligne.

Qui nous recherchons
Nous recherchons un ingénieur en apprentissage automatique expérimenté pour développer nos modèles de langage spécifiques à un domaine. Vous serez propriétaire de l'ensemble du pipeline de formation : de la pré-formation continue sur les données propriétaires, en passant par le réglage fin, jusqu'aux techniques avancées de post-formation. Vous possédez une expérience pratique dans la formation de modèles de langage à grande échelle (des modèles d'intégration aux LLM spécialisés), une compréhension approfondie des systèmes distribués et excellez dans la transformation de concepts de recherche en systèmes de production robustes. Vous êtes motivé à voir votre travail déployé et utilisé par des millions d'utilisateurs réels. Vous vous épanouissez dans des environnements en évolution rapide où vous équilibrez les connaissances de la recherche avec un impact commercial pratique.

Ce que tu feras

• Analyser les performances du modèle et les données de formation pour identifier les opportunités d'amélioration et formuler des hypothèses d'amélioration.

• Concevoir, exécuter et évaluer rigoureusement des expériences pour améliorer la qualité des modèles, l'efficacité de la formation et l'exécution des tâches en aval.

• Former de grands modèles de langage pour notre domaine grâce à une pré-formation continue et à un réglage complet des paramètres sur des ensembles de données propriétaires.

• Concevoir et mettre en œuvre des pipelines post-formation en utilisant RLHF, DPO, GRPO et d'autres techniques d'apprentissage par renforcement.

• Créez et optimisez une infrastructure de formation distribuée sur des clusters GPU multi-nœuds à l'aide de frameworks tels que DeepSpeed, FSDP, Megatron-LM ou Axolotl.

• Propre préparation de données à grande échelle : stratégies de filtrage, d'évaluation de la qualité, de déduplication et de mélange de données pour former des corpus à l'échelle de plus de 100 milliards de jetons.

• Générer et conserver des données synthétiques de haute qualité pour affiner l'enseignement et améliorer les capacités.

• Déboguer les problèmes de stabilité de la formation, optimiser le débit de la formation et surveiller les performances du modèle tout au long des tâches distribuées de longue durée.

• Mettre en œuvre des techniques issues d'articles récents et les adapter à nos cas d'utilisation

• Créer des cadres d'évaluation robustes pour mesurer la qualité du modèle et guider les décisions de formation.

• Rédiger du code de qualité production et bien testé et contribuer aux normes d'ingénierie de l'équipe.

Qualifications minimales

• 3 ans ou plus d'expérience en ingénierie ML

• Expérience avérée dans la formation et le déploiement de modèles de langage en production (modèles d'intégration, modèles d'encodeur ou grands modèles de langage), y compris la pré-formation, la pré-formation continue ou le réglage fin avec une évaluation rigoureuse

• Expérience dans la préparation d'ensembles de données de formation à grande échelle : filtrage des données, évaluation de la qualité, stratégies de déduplication et conception de mélanges de données.

• Expérience pratique des frameworks de formation distribués (DeepSpeed, FSDP, Megatron-LM ou Axolotl), y compris l'orchestration de tâches multi-nœuds, le débogage des échecs et l'optimisation du débit.

• Bonne compréhension de la dynamique de formation à grande échelle : débogage des instabilités de perte, réglage des calendriers de taux d'apprentissage, gestion de la stabilité de la formation sur des tâches multi-nœuds de longue durée

• Expert Python et PyTorch avec une expérience en production utilisant des bibliothèques de formation (Transformers, DeepSpeed, Accelerate)

• Solides pratiques d'ingénierie logicielle : contrôle de version, tests, CI/CD, révision de code

Qualifications préférées

• Publication de recherches lors de conférences ML (NeurIPS, ICML, ICLR, ACL, EMNLP), publication de modèles sur Hugging Face, création de benchmarks publics ou contribution à des projets open source.

• Expérience avec les méthodes post-formation : RLHF, DPO, GRPO ou autres approches d'apprentissage par renforcement pour l'alignement et le suivi des instructions.

• Expérience dans l'optimisation de modèles pour l'inférence de production : quantification, compression de modèles, distillation et cadres de service (vLLM).

• Compréhension de l'optimisation de la mémoire : points de contrôle de gradient, entraînement de précision mixte (FP16, BF16, FP8), optimisation ZeRO

• Expérience dans la création de pipelines de génération de données synthétiques pour le réglage des instructions ou l'adaptation de domaine.

• Contributions à la recherche : articles publiés lors de conférences ML, modèles publiés sur Hugging Face ou création de références utilisées par la communauté.

• Contributions à des projets ou outils de formation LLM open source

Ce que nous proposons

• Projets d'IA à fort impact qui sont stratégiquement vitaux pour l'entreprise, avec un engagement direct de la haute direction, y compris du PDG.

• Infrastructure de pointe : flotte de GPU H200, ensembles de données propriétaires massifs, accès à des modèles de pointe (OpenAI, Anthropic, Google, Together.ai) pour l'évaluation et les références.

• Des collègues experts qui ont publié les meilleurs modèles Hugging Face, rédigé des articles chez NeurIPS, créé des références bien connues et construit plusieurs systèmes d'IA de production…

Source : Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/machine-learning-engineer-llms-amsterdam-244530)