Ingénieur ML senior | Kimchi (optimisation de la pile d'inférence)

Pourquoi du Kimchi ?

Les grands modèles sont des matières premières. Le kimchi est ce qui se produit lorsque vous le faites fermenter avec une bonne ingénierie. Nous avons commencé au sein de CAST AI à aider les entreprises à exécuter des LLM sur leurs propres clusters Kubernetes ; aujourd'hui, nous exécutons notre propre faisceau de codage sur n'importe quel modèle que vous choisissez, et nous exécutons nous-mêmes les modèles en dessous.

Inférence Kimchi

Une seule ligne d'API et le client existant d'un client fonctionnent : DeepSeek, GLM, Kimi, MiniMax, Nemotron servis sans serveur à partir de notre propre flotte de GPU (compatibles OpenAI et Anthropic, paiement par jeton, dépenses visibles par utilisateur, équipe et clé). Lorsque le contrôle est important, les mêmes modèles s'exécutent sur le propre cluster du client. Derrière cette ligne se trouvent les machines que vous posséderez : les moteurs SGLang et vLLM, les nœuds B300, un système de fichiers de cluster partagé qui contient chaque point de contrôle exactement une fois, les caches KV exploitant le trafic de codage avec une réutilisation importante des préfixes et le harnais de référence qui contrôle chaque modification que nous expédions.

Fabriqué par Cast AI – une équipe basée à Miami et répartie dans le monde entier dans 34 pays qui a atteint le statut de licorne en janvier 2026 avec un investissement soutenu de plus de 50 milliards de dollars, poussant sa valorisation au-delà du milliard de dollars.

À propos du rôle

Débit. Latence. Démarrages à froid. Coût par jeton.

Déplacez ces quatre chiffres dans la bonne direction et deux choses se produisent : les clients obtiennent une inférence plus rapide et moins coûteuse, et nos marges s'améliorent. C'est toute la thèse de ce rôle. Chaque chargeur que vous réglez, chaque décision de planificateur que vous prenez, chaque noyau que vous regardez apparaît dans le p99 d'un client et dans notre P&L. Votre mandat est l'optimisation de la pile d'inférence, quoi qu'il en soit, et la direction technique de la manière dont nous l'optimisons vous appartient pour discuter des données.

Le problème : les points de contrôle fonctionnent entre 0,3 et 1,5 To, et la "bonne" configuration de service dépend de la forme du trafic, de la distribution de la longueur des séquences, de la dynamique des lots, du SKU du GPU, de la bande passante mémoire et de la tolérance de quantification, toutes variables qui changent de semaine en semaine. La plupart des équipes choisissent une configuration une seule fois, surprovisionnent les GPU et absorbent le coût. Ce n'est pas le cas : nous avons fait passer Kimi-K3 (1,5 To) de plus d'une heure à moins de douze minutes avec un système de fichiers partagé, des chargeurs de poids O_DIRECT et des caches JIT locaux de nœud, et nous sommes loin d'avoir terminé. Viennent ensuite la désagrégation du pré-remplissage/décodage et les caches KV hiérarchisés.

Pile : Python ; SG Lang ; vLLM ; TensorRT-LLM ; PyTorch ; tenseurs de sécurité rapides ; Outillage adjacent à CUDA ; Kubernetes ; systèmes de fichiers partagés virtiofs ; Cliquez sur Maison ; OpenTélémétrie ; Prométhée; Grafana; GitLabCI.

Exigences

• Vous construisez de véritables systèmes de ML depuis plus de 5 ans et votre portefeuille fait preuve de profondeur en matière d'infrastructure d'inférence ou de formation, et pas seulement de modèles de cahiers de formation.

• Votre Python est de niveau production : des services, pas des scripts.

• Vous avez réellement exécuté vLLM, SGLang ou TensorRT-LLM et vous disposez d'un modèle mental fonctionnel expliquant pourquoi un moteur fonctionne comme il le fait sur un GPU donné.

• Vous avez mesuré des régressions de quantification, pas seulement des taux de compression.

• Les configurations multi-GPU et multi-nœuds ne suscitent aucune crainte : tenseurs et parallélisme expert, communication collective et leurs modes de défaillance pratiques.

• Vous savez où se trouvent les octets (caches de pages, O_DIRECT, systèmes de fichiers réseau sous lectures à l'échelle du téraoctet) et à quelle vitesse ils se déplacent.

• Vous instrumentez avant d'optimiser, et vous pouvez déterminer une réelle victoire à partir d'un artefact de référence.

• Un mandat large vous excite plus qu'il ne vous déstabilise.

C'est agréable d'avoir

• Vous avez travaillé spécifiquement sur le routage LLM : évaluations de classe RouterBench, fronts Pareto coût/qualité/latence.

• Méthodes de calibrage, d'abstention ou de conformité dans les systèmes de décision de production.

• Vous avez exécuté des boucles A/B en ligne avec surveillance des dérives sur un modèle qui touche de l'argent réel.

Responsabilités

• Débit poussé. Traitement par lots continu, pré-remplissage fragmenté, décodage spéculatif avec brouillons de modèles, capture de graphiques CUDA et réglage du planificateur à travers le moteur
flotte. Recherchez le plafond de chaque SKU GPU, puis augmentez-le.

• Réduisez la latence. Attaquez TTFT et la latence entre jetons séparément ; profil pour trouver le goulot d'étranglement réel (calcul, bande passante mémoire, planification, stockage ou
réseau) et réparez-le, pas celui que vous avez supposé.

• Tirez le meilleur parti du cache KV. Attention hiérarchique et paginée, mise en cache des préfixes sur le trafic de codage à réutilisation intensive, politiques d'expulsion, KV quantifié. Beaucoup de
le débit non réalisé réside ici, et vous en serez propriétaire.

• Supprimez les démarrages à froid. Chargeurs de poids (O_DIRECT, classe fastsafetensors), caches JIT et de compilation, chemins de lecture du système de fichiers partagé. Un point de contrôle de 1,5 To n’a rien à voir avec
prendre une heure pour atteindre le service.

• Quantifier sans régresser la qualité. INT8/INT4, FP8/FP4 en termes de poids, d'activations et de KV, mesurés sur des charges de travail réelles, et pas seulement sur des critères de perplexité.

• Évoluez sur plusieurs nœuds. Topologies d'inférence distribuées, placement sensible au réseau, désagrégation de pré-remplissage/décodage, stratégies de points de contrôle qui ne créent pas de goulots d'étranglement
sur le stockage ou l’interconnexion.

• Définir la direction technique. Décidez de ce que nous évaluons, de ce que nous adoptons et de ce que nous construisons nous-mêmes. Amenez l'équipe avec des rédactions solides et reproductibles
expériences.

Qu’est-ce que cela vous apporte ?

• Salaire compétitif (selon le niveau d'expérience).

• Profitez d'un environnement mondial flexible et à distance.

• Collaborer avec une équipe mondiale d'experts et d'innovateurs en matière de cloud, passionnés par le fait de repousser les limites de la technologie Kubernetes.

• Options sur actions.

• Obtenez des commentaires rapides grâce à un flux de travail rapide. La plupart des projets de fonctionnalités sont terminés en 1 à 4 semaines.

• Consacrez 10 % de votre temps de travail à des projets personnels ou à votre développement personnel.

• Budget d'apprentissage pour le développement professionnel et personnel - y compris l'accès à des conférences et cours internationaux qui améliorent vos compétences.

• Hackathon annuel pour susciter de nouvelles idées et renforcer les liens d'équipe.

• Budget de consolidation d'équipe et événements d'entreprise pour communiquer avec vos collègues.

• Budget d'équipement pour vous assurer d'avoir tout ce dont vous avez besoin.

• Jours de congé supplémentaires pour aider à maintenir un équilibre sain entre travail et vie privée.

Processus d'embauche

• Appel de sélection avec le recruteur…

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-95364)