Ingénieur en apprentissage automatique, optimisation d'inférence LLM

À propos de Nébius :

Nebius ouvre une nouvelle ère en matière d'infrastructure cloud pour l'économie mondiale de l'IA. Nous construisons une plate-forme cloud d'IA complète qui prend en charge les développeurs et les entreprises, depuis la formation des données et des modèles jusqu'au déploiement en production, sans le coût et la complexité liés à la création d'une grande infrastructure interne d'IA/ML.

Construit par des ingénieurs, pour des ingénieurs. De l’orchestration GPU à grande échelle à l’optimisation des inférences, nous maîtrisons les problèmes difficiles liés au calcul, au stockage, à la mise en réseau et à l’IA appliquée.

Coté au Nasdaq (NBIS) et basé à Amsterdam, nous avons une présence mondiale avec des pôles de R&D en Europe, au Royaume-Uni, en Amérique du Nord et en Israël. Notre équipe de plus de 1 500 personnes comprend des centaines d’ingénieurs possédant une expertise approfondie en matière de R&D sur le matériel, les logiciels et l’IA.

Résumé du rôle

Nebius Token Factory crée des inférences de niveau production pour des modèles open source, client et optimisés en interne. Ce rôle gère le chemin depuis l'artefact de modèle jusqu'au point de terminaison rapide, fiable et rentable. Le travail se situe à l’intersection des éléments internes du modèle, des moteurs d’inférence, de l’architecture de service, de l’analyse comparative et du déploiement en production.

Ce que vous ferez

•
Posséder un pilier d'optimisation au niveau de la plate-forme tel que la quantification, le décodage spéculatif, l'optimisation du cache KV, la sélection de moteur ou la diffusion de contextes longs.

•
Créez des cadres d'évaluation, d'analyse comparative et de déploiement réutilisables sur plusieurs familles de modèles.

•
Fournir une orientation technique aux MLE, aux scientifiques appliqués, aux ingénieurs du noyau GPU et aux ingénieurs d'infrastructure sur des objectifs de performances partagés.

•
Optimisez les points de terminaison LLM et VLM pour la latence, le débit, l'efficacité de la mémoire, l'utilisation du GPU, la qualité et le coût par jeton.

•
Déployez, configurez, évaluez et étendez les moteurs d'inférence tels que vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo ou des systèmes similaires.

•
Créez et produisez des flux de travail de compression de modèles, notamment la quantification, la formation prenant en compte la quantification, la distillation, la diffusion de bits faibles et la récupération de précision.

•
Implémentez ou intégrez le décodage spéculatif, les approches de modèle préliminaire, l'optimisation du cache KV, la mise en cache des préfixes, le pré-remplissage fragmenté, le traitement par lots continu et le service de pré-remplissage/décodage désagrégé.

•
Créez des harnais de référence reproductibles pour TTFT, TPOT, jetons par seconde par GPU, latence p95/p99, mémoire GPU, fiabilité et coût par jeton.

•
Collaborez avec des ingénieurs de noyau GPU et des ingénieurs de plate-forme pour diagnostiquer les goulots d'étranglement dans les couches de code de modèle, de noyaux, d'exécution, de planificateur, de passerelle et de cluster.

•
Rédigez des documents de conception clairs, des rapports de performances, des plans de déploiement et des explications techniques destinées aux clients.

Qualifications requises

•
Solides compétences en ingénierie Python et PyTorch.

•
Expérience pratique du déploiement ou de l'optimisation de systèmes d'inférence de transformateur LLM, VLM ou à haut débit.

•
Connaissance pratique d'au moins une pile d'inférence moderne telle que vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ou des systèmes internes équivalents.

•
Bonne compréhension des goulots d'étranglement de l'inférence des transformateurs, notamment le cache KV, l'attention, la bande passante mémoire, le traitement par lots, le parallélisme et la diffusion de contextes longs.

•
Capacité à raisonner quantitativement sur les compromis en matière de latence, de débit, de qualité, d'utilisation et de coût.

•
Solides compétences en communication et capacité à collaborer avec les équipes de recherche, de noyau, d’infrastructure, de produits et de clients.

Qualifications préférées

•
Expérience avec la formation prenant en compte la quantification, la quantification post-formation, FP8 , INT8 , INT4 , NVFP4 , MXFP4 , AWQ , GPTQ , SmoothQuant ou des techniques connexes.

•
Expérience avec la distillation, le décodage spéculatif, EAGLE, Medusa, la prédiction multi-jetons ou d'autres méthodes d'accélération d'inférence.

•
Expérience avec les charges de travail agentiques, y compris les appels d'outils, les sorties structurées, les API de streaming, la simultanéité élevée et l'orchestration en plusieurs étapes.

•
Familiarité avec CUDA ou Triton, même si le rôle n'est pas principalement un rôle d'ingénierie du noyau.

•
Contributions open source à vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe ou à des projets associés.

Avantages et avantages :

• Rémunération compétitive

• Possibilités d'évolution de carrière et d'apprentissage

• Flexibilité et appropriation

• Culture collaborative et innovante

• Possibilité de travailler sur des projets d'IA percutants

• Environnement international et équipes talentueuses

Qu'est-ce que ça fait de travailler chez Nebius :

Evolution rapide - Réflexion audacieuse - Croissance constante - Impact significatif - Confiance et appropriation réelle - Opportunité de façonner l'avenir de l'IA

Déclaration sur l'égalité des chances :

Nebius est un employeur garantissant l'égalité des chances. Nous nous engageons à favoriser un lieu de travail inclusif et diversifié et à offrir des opportunités d'emploi égales dans tous les aspects de l'emploi. Nous ne faisons aucune discrimination fondée sur la race, la couleur, la religion, le sexe (y compris la grossesse), l'origine nationale, l'ascendance, l'âge, le handicap, les informations génétiques, l'état civil, le statut d'ancien combattant, l'orientation sexuelle, l'identité ou l'expression de genre, ou toute autre caractéristique protégée par la loi applicable.

Les candidats doivent être autorisés à travailler dans le pays dans lequel ils postulent et devront fournir une preuve d'éligibilité à l'emploi comme condition d'embauche.

Si vous avez besoin d'aménagements pendant le processus de candidature, veuillez nous en informer.

Trouvez un emploi au Royaume-Uni sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-london-213464)