Ingénieur senior en apprentissage automatique, optimisation d'inférence LLM

À propos de Nébius :

Nebius ouvre une nouvelle ère en matière d'infrastructure cloud pour l'économie mondiale de l'IA. Nous construisons une plate-forme cloud d'IA complète qui prend en charge les développeurs et les entreprises, depuis la formation des données et des modèles jusqu'au déploiement en production, sans le coût et la complexité liés à la création d'une grande infrastructure interne d'IA/ML.

Construit par des ingénieurs, pour des ingénieurs. De l’orchestration GPU à grande échelle à l’optimisation des inférences, nous maîtrisons les problèmes difficiles liés au calcul, au stockage, à la mise en réseau et à l’IA appliquée.

Coté au Nasdaq (NBIS) et basé à Amsterdam, nous avons une présence mondiale avec des pôles de R&D en Europe, au Royaume-Uni, en Amérique du Nord et en Israël. Notre équipe de plus de 1 500 personnes comprend des centaines d’ingénieurs possédant une expertise approfondie en matière de R&D sur le matériel, les logiciels et l’IA.

Le rôle

En tant qu'ingénieur senior en apprentissage automatique au sein de l'équipe d'IA appliquée de Nebius Token Factory, vous serez responsable de l'optimisation des modèles et des points de terminaison, à partir des artefacts de modèle jusqu'au déploiement en production. Votre travail couvrira les composants internes du modèle, la quantification et la compression du modèle, le décodage spéculatif, l'optimisation du cache KV, les moteurs d'inférence, l'architecture de service et l'analyse comparative pour améliorer la latence, le débit, l'efficacité de la mémoire, l'utilisation du GPU et le coût par jeton tout en préservant la qualité et la fiabilité.

Vous travaillerez avec les ingénieurs du noyau et de la plate-forme pour étudier les problèmes de service, comparer les configurations et résoudre les régressions de performances et de qualité. Vous évaluerez les optimisations au niveau du modèle et du moteur ainsi que les conceptions d'inférence distribuées, y compris le routage des demandes, la planification, la coordination de pré-remplissage/décodage et l'exécution de GPU multi-nœuds. Vos améliorations seront validées par des tests de performances reproductibles et des déploiements de production sécurisés sous des charges de travail réelles.

Vos responsabilités

• Posséder des projets d'optimisation pour des familles de modèles spécifiques, des points de terminaison client ou des backends de service.

• Comparez les moteurs d'inférence et recommandez des configurations de service adaptées aux charges de travail individuelles.

• Diagnostiquer les régressions de qualité et de performances des modèles lors des déploiements en production.

• Améliorez la latence des points de terminaison LLM et VLM, le débit, l'efficacité de la mémoire, l'utilisation du GPU, la qualité et le coût par jeton.

• Déployer, configurer, évaluer et étendre des moteurs tels que vLLM, SGLang, TensorRT-LLM, Triton Inference Server et NVIDIA Dynamo.

• Développer des workflows de compression de modèles de production couvrant la quantification, la formation prenant en compte la quantification, la distillation, le traitement de bits faibles et la récupération de précision.

• Implémenter ou intégrer le décodage spéculatif, les approches de modèle préliminaire, l'optimisation du cache KV, la mise en cache des préfixes, le pré-remplissage fragmenté, le traitement par lots continu et le service de pré-remplissage/décodage désagrégé. Pour la désagrégation pré-remplissage-décodage (PDD), évaluez le transfert de cache KV, le placement des travailleurs et l'équilibrage des capacités pour déterminer quelles charges de travail bénéficient de l'architecture.

• Concevoir et améliorer les routeurs de requêtes LLM et les politiques de planification qui équilibrent l'utilisation des travailleurs, la file d'attente, les caractéristiques des requêtes et la localisation du cache KV tout en respectant les objectifs de latence et de fiabilité.

• Faites évoluer l'inférence dense et composée d'experts sur plusieurs nœuds GPU. Sélectionnez et ajustez le tenseur, le pipeline, les données et le parallélisme expert (y compris le parallélisme expert étendu (WideEP)) en prêtant attention à la topologie matérielle, à l'équilibrage de charge expert et aux frais généraux de communication.

• Créez des harnais de référence reproductibles mesurant le TTFT, le TPOT, les jetons par seconde par GPU, la latence p95/p99, la mémoire GPU, la fiabilité et le coût par jeton. Validez les choix d’architecture sous un trafic représentatif et des budgets GPU cohérents.

• Collaborez avec les ingénieurs du noyau et de la plate-forme GPU pour tracer les goulots d'étranglement dans les couches de code de modèle, de noyaux, d'exécution, de planificateur, de passerelle et de cluster.

• Produire des documents de conception, des rapports de performances, des plans de déploiement et des explications techniques destinées aux clients.

Les incontournables

• Solides compétences en ingénierie en Python et PyTorch.

• Expérience pratique du déploiement ou de l'optimisation de l'inférence LLM, VLM ou transformateur à haut débit.

• Connaissance pratique d'au moins une pile d'inférence moderne, telle que vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ou un système interne équivalent.

• Une solide compréhension des goulots d'étranglement d'inférence de transformateur impliquant le cache KV, l'attention, la bande passante mémoire, le traitement par lots, le parallélisme et le service à contexte long.

• Capacité à quantifier les compromis entre latence, débit, qualité, utilisation et coût.

• Expérience dans la conception ou l'optimisation d'une architecture de système d'inférence distribuée, avec un travail pratique dans un ou plusieurs domaines tels que le routage des requêtes, la planification distribuée, le PDD, l'inférence multi-nœuds ou le parallélisme expert.

• Solides compétences en communication et en collaboration au sein des équipes de recherche, du noyau, de l'infrastructure, des produits et des clients.

Les gentils à avoir

• Expérience avec la formation prenant en compte la quantification, la quantification post-formation, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ ou SmoothQuant.

• Expérience avec la distillation, le décodage spéculatif, EAGLE, Medusa, la prédiction multi-jetons ou les méthodes d'accélération d'inférence associées.

• Expérience dans la prise en charge de charges de travail agents impliquant des appels d'outils, des sorties structurées, des API de streaming, une simultanéité élevée et une orchestration en plusieurs étapes.

• Familiarité avec CUDA ou Triton; le rôle ne nécessite pas que l’ingénierie du noyau soit la spécialisation principale du candidat.

• Contributions à des projets open source tels que vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray ou KServe.

• Expérience de mise en œuvre du routage des requêtes prenant en compte le cache, PDD ou WideEP, y compris le diagnostic des goulots d'étranglement de communication et du déséquilibre de charge.

• Familiarité avec les bibliothèques de communication GPU et les interconnexions, telles que NCCL, NVLink, InfiniBand ou RoCE.

Avantages et avantages :

• Rémunération compétitive

• Possibilités d'évolution de carrière et d'apprentissage

• Flexibilité et appropriation

• Culture collaborative et innovante…

Source : Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-berlin-249817)