Ingénieur logiciel, inférence

Vous serez propriétaire de la façon dont les modèles de Luma sont servis : intégration de nouvelles architectures dans le moteur d'inférence, mise à l'échelle des déploiements sur des milliers de machines et maintien d'occupations de flottes de GPU coûteuses tout en respectant les SLO internes.
Il s’agit d’un travail de systèmes d’inférence à grande échelle : planification, gestion de flotte, pipelines de déploiement et fiabilité entre les clusters et les fournisseurs de matériel. Il convient à un ingénieur système solide, à l'aise avec le service de modèles et Kubernetes à grande échelle. Si vous souhaitez une modélisation pure plutôt que des systèmes qui exécutent des modèles, c'est clairement le côté systèmes.
Ce que vous posséderez

• Expédiez de nouvelles architectures de modèles en les intégrant dans le moteur d'inférence.

• Collaborer entre la recherche, l'ingénierie et l'infrastructure pour optimiser l'efficacité et les déploiements des modèles.

• Créez des outils internes pour mesurer, profiler et suivre la durée de vie des tâches et des flux de travail d'inférence.

• Automatisez, testez et maintenez les services d'inférence pour une disponibilité et une fiabilité maximales.

• Gérez et optimisez les charges de travail d'inférence sur les clusters et les fournisseurs de matériel, et faites évoluer les déploiements sur des milliers de machines.

• Créez des systèmes de planification qui utilisent de manière optimale des ressources GPU coûteuses tout en respectant les SLO, et gérez CI/CD pour les points de contrôle des modèles et les SDK.

90 premiers jours
Une manière dont les 90 premiers pourraient se dérouler.

• Jours 1 à 30 — Immersion et diagnostic : découvrez la pile d'inférence, les flottes et les points de rupture de fiabilité ou d'utilisation.

• Jours 30 à 60 – Expédier et valider : intégrez un modèle ou expédiez des outils/une planification qui améliorent la disponibilité ou l'utilisation du GPU.

• Jours 60 à 90 — Mise à l'échelle et systématisation : renforcez les pipelines de déploiement et la planification entre les clusters et les fournisseurs.

Ce que vous apportez

• Solides compétences en Python et en architecture système.

• Expérience du déploiement de modèles avec PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM ou similaire.

• Expérience en matière de files d'attente, de planification, de contrôle du trafic et de gestion de flotte à grande échelle.

• Expérience avec Linux, Docker et Kubernetes, ainsi qu'avec l'orchestration, le déploiement et la planification.

• Familiarité avec Redis et le stockage compatible S3.

Agréable à avoir

• Piles réseau modernes, notamment RDMA (RoCE, InfiniBand, NVLink).

• Systèmes ML à grande échelle hautes performances (plus de 100 GPU).

• CUDA, et FFmpeg ou traitement multimédia.

À propos de Luma : La mission de Luma est de créer une intelligence générale unifiée capable de générer, de comprendre et d'opérer dans le monde physique. Nous pensons que la multimodalité est essentielle à l’intelligence : la prochaine étape au-delà des modèles linguistiques vient de la vision. Luma est un employeur garantissant l'égalité des chances.
Trouvez un emploi au Royaume-Uni sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/lumaai/software-engineer-inference-london-107112)