Leitender ML-Ingenieur | Kimchi (Inferenzstapeloptimierung)

Warum Kimchi?

Großartige Modelle sind Rohstoffe. Kimchi entsteht, wenn man sie mit guter Technik fermentiert. Wir begannen bei CAST AI und unterstützten Unternehmen dabei, LLMs auf ihren eigenen Kubernetes-Clustern auszuführen. Heute betreiben wir unsere eigene Codierungsumgebung für jedes von Ihnen ausgewählte Modell und führen die darunter liegenden Modelle selbst aus.

Kimchi-Schlussfolgerung

Eine API-Linie und der bestehende Client eines Kunden funktionieren einfach: DeepSeek, GLM, Kimi, MiniMax, Nemotron werden serverlos von unserer eigenen GPU-Flotte bedient (OpenAI- und Anthropic-kompatibel, Bezahlung pro Token, Ausgaben pro Benutzer, Team und Schlüssel sichtbar). Wenn es auf die Kontrolle ankommt, laufen dieselben Modelle stattdessen auf dem eigenen Cluster des Kunden. Hinter dieser einen Zeile befindet sich die Maschinerie, die Sie besitzen werden: SGLang- und vLLM-Engines, B300-Knoten, ein gemeinsames Cluster-Dateisystem, das jeden Prüfpunkt genau einmal hält, KV-Caches, die den Codierungsverkehr mit starker Wiederverwendung von Präfixen steuern, und die Benchmark-Verkabelung, die jede von uns ausgelieferte Änderung abschließt.

Hergestellt von Cast AI – einem in Miami ansässigen, weltweit in 34 Ländern verteilten Team, das im Januar 2026 mit einer über 50 Milliarden US-Dollar gesicherten Investition den Einhorn-Status erreichte und seinen Wert auf über 1 Milliarde US-Dollar steigerte.

Über die Rolle

Durchsatz. Latenz. Kaltstarts. Kosten pro Token.

Wenn Sie diese vier Zahlen in die richtige Richtung bewegen, passieren zwei Dinge: Kunden erhalten schnellere und günstigere Schlussfolgerungen und unsere Margen verbessern sich. Das ist die ganze These dieser Rolle. Jeder Loader, den Sie optimieren, jede Scheduler-Entscheidung, die Sie treffen, jeder Kernel, den Sie anstarren, erscheint im P99 eines Kunden und in unserer Gewinn- und Verlustrechnung. Ihr Auftrag ist die Optimierung des Inferenzstapels, was auch immer erforderlich ist, und die technische Richtung, in der wir ihn optimieren, liegt bei Ihnen, um mit Daten zu argumentieren.

Das Problem: Die Prüfpunkte laufen mit 0,3–1,5 TB und die „richtige“ Bereitstellungskonfiguration hängt von der Verkehrsform, der Sequenzlängenverteilung, der Stapeldynamik, der GPU-SKU, der Speicherbandbreite und der Quantisierungstoleranz ab – alles Variablen, die sich von Woche zu Woche ändern. Die meisten Teams entscheiden sich einmal für eine Konfiguration, stellen zu viel GPUs bereit und übernehmen die Kosten. Das tun wir nicht: Wir haben Kimi-K3 (1,5 TB) mit einem gemeinsamen Dateisystem, O_DIRECT-Gewichtsladern und knotenlokalen JIT-Caches von über einer Stunde bis zur Bereitstellung auf unter zwölf Minuten verkürzt, und wir sind noch lange nicht fertig. Als nächstes folgen die Disaggregation vorab füllen/dekodieren und abgestufte KV-Caches.

Stapel: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; Fastsafetensoren; CUDA-benachbarte Werkzeuge; Kubernetes; Virtiofs gemeinsam genutzte Dateisysteme; ClickHouse; OpenTelemetry; Prometheus; Grafana; GitLab CI.

Anforderungen

• Sie haben über 5 Jahre lang echte ML-Systeme entwickelt und Ihr Portfolio zeigt Tiefe in der Inferenz- oder Trainingsinfrastruktur, nicht nur in Modell-Trainingsnotizbüchern.

• Ihr Python ist produktionstauglich: Dienste, keine Skripte.

• Sie haben vLLM, SGLang oder TensorRT-LLM in der Realität ausgeführt und verfügen über ein funktionierendes mentales Modell dafür, warum eine Engine auf einer bestimmten GPU so funktioniert, wie sie es tut.

• Sie haben Quantisierungsregressionen gemessen, nicht nur Komprimierungsverhältnisse.

• Multi-GPU- und Multi-Node-Setups bieten keine Angst: Tensor- und Expertenparallelität, kollektive Kommunikation und ihre praktischen Fehlermodi.

• Sie wissen, wo sich die Bytes befinden (Seitencaches, O_DIRECT, Netzwerkdateisysteme bei Lesevorgängen im Terabyte-Bereich) und wie schnell sie sich bewegen.

• Sie instrumentieren, bevor Sie optimieren, und Sie können anhand eines Benchmark-Artefakts einen echten Gewinn erkennen.

• Ein umfangreiches Mandat erregt Sie mehr, als dass es Sie verunsichert.

Schön zu haben

• Sie haben speziell am LLM-Routing gearbeitet: Evaluierungen der RouterBench-Klasse, Kosten-/Qualitäts-/Latenz-Pareto-Fronten.

• Kalibrierung, Enthaltung oder konforme Methoden in Produktionsentscheidungssystemen.

• Sie haben Online-A/B-Schleifen mit Driftüberwachung an einem Modell ausgeführt, das echtes Geld berührt.

Verantwortlichkeiten

• Push-Durchsatz. Kontinuierliches Batching, Chunked Prefill, spekulative Dekodierung mit Entwurfsmodellen, CUDA-Graph-Erfassung und Scheduler-Optimierung in der gesamten Engine
Flotte. Finden Sie die Obergrenze für jede GPU-SKU und erhöhen Sie sie.

• Reduzieren Sie die Latenz. TTFT und Inter-Token-Latenz separat angreifen; Profil, um den tatsächlichen Engpass zu finden (Rechenleistung, Speicherbandbreite, Planung, Speicher usw.).
Netzwerk) und beheben Sie es, nicht das, was Sie angenommen haben.

• Holen Sie mehr aus dem KV-Cache heraus. Hierarchische und seitenweise Aufmerksamkeit, Präfix-Caching bei stark wiederverwendetem Codierungsverkehr, Räumungsrichtlinien, quantisierter KV. Viele davon
Unrealisierter Durchsatz lebt hier, und Sie werden es besitzen.

• Kaltstarts verhindern. Gewichtslader (O_DIRECT, Fastsafetensors-Klasse), JIT- und Kompilierungscaches, Lesepfade für gemeinsam genutzte Dateisysteme. Ein 1,5-TB-Kontrollpunkt hat nichts zu suchen
Es dauert eine Stunde, bis der Serviervorgang erreicht ist.

• Quantisieren Sie, ohne die Qualität zu beeinträchtigen. INT8/INT4, FP8/FP4 über Gewichtungen, Aktivierungen und KV hinweg, gemessen an echten Arbeitslasten, nicht nur an Ratlosigkeits-Benchmarks.

• Skalierung über Knoten hinweg. Verteilte Inferenztopologien, netzwerkbewusste Platzierung, Disaggregation vor dem Ausfüllen/Decodieren, Checkpointing-Strategien, die keinen Engpass verursachen
auf Speicher oder Interconnect.

• Legen Sie die technische Richtung fest. Entscheiden Sie, was wir vergleichen, was wir übernehmen und was wir selbst entwickeln. Bringen Sie das Team mit aussagekräftigen und reproduzierbaren Texten zusammen
Experimente.

Was haben Sie davon?

• Wettbewerbsfähiges Gehalt (je nach Erfahrungsgrad).

• Genießen Sie eine flexible, remote-orientierte globale Umgebung.

• Arbeiten Sie mit einem globalen Team aus Cloud-Experten und Innovatoren zusammen, die sich leidenschaftlich dafür einsetzen, die Grenzen der Kubernetes-Technologie zu erweitern

• Aktienoptionen.

• Erhalten Sie schnelles Feedback mit einem schnellen Workflow. Die meisten Feature-Projekte sind in 1 bis 4 Wochen abgeschlossen.

• Verbringen Sie 10 % Ihrer Arbeitszeit mit persönlichen Projekten oder der Selbstverbesserung.

• Lernbudget für die berufliche und persönliche Weiterentwicklung – einschließlich Zugang zu internationalen Konferenzen und Kursen, die Ihre Fähigkeiten verbessern.

• Jährlicher Hackathon, um neue Ideen anzuregen und Teambindungen zu stärken.

• Teambuilding-Budget und Firmenveranstaltungen, um mit Ihren Kollegen in Kontakt zu treten.

• Ausstattungsbudget, um sicherzustellen, dass Sie alles haben, was Sie brauchen.

• Zusätzliche freie Tage, um eine gesunde Work-Life-Balance aufrechtzuerhalten.

Einstellungsprozess

• Screening-Anruf mit dem Personalvermittler…

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-95364)