Starszy inżynier ML | Kimchi (optymalizacja stosu wnioskowań)

Dlaczego Kimchi?

Świetne modele to surowce. Kimchi powstaje, gdy je fermentuje się przy użyciu dobrej inżynierii. Zaczęliśmy od CAST AI, pomagając firmom prowadzić LLM we własnych klastrach Kubernetes; dzisiaj uruchamiamy własną wiązkę kodowania dla dowolnego wybranego przez Ciebie modelu i sami uruchamiamy modele znajdujące się pod nim.

Wnioski dotyczące Kimchi

Jedna linia API i istniejący klient klienta po prostu działają: DeepSeek, GLM, Kimi, MiniMax, Nemotron obsługiwane bezserwerowo z naszej własnej floty procesorów graficznych (kompatybilne z OpenAI i Anthropic, płatność za token, wydatki widoczne na użytkownika, zespół i klucz). Gdy liczy się kontrola, te same modele działają w klastrze klienta. Za tą linią znajduje się maszyna, którą będziesz posiadać: silniki SGLang i vLLM, węzły B300, współdzielony klastrowy system plików, który przechowuje każdy punkt kontrolny dokładnie raz, KV buforuje ruch kodujący z częstym ponownym wykorzystaniem prefiksów oraz okablowanie testowe, które bramkuje każdą wprowadzaną przez nas zmianę.

Wykonane przez Cast AI — zespół z siedzibą w Miami, rozproszony na całym świecie w 34 krajach, który osiągnął status jednorożca w styczniu 2026 r. dzięki inwestycji zabezpieczonej na ponad 50 miliardów dolarów, co spowodowało, że jego wycena przekroczyła 1 miliard dolarów.

O roli

Przepustowość. Utajenie. Zimne starty. Koszt za token.

Jeśli przesuniesz te cztery liczby we właściwym kierunku, staną się dwie rzeczy: klienci uzyskają szybsze i tańsze wnioski, a nasze marże wzrosną. Oto cała teza tej roli. Każdy dostrojony moduł ładujący, każda decyzja planisty, na którą się zdecydujesz, każde jądro, na które patrzysz, pojawia się na stronie 99 klienta i w naszych zyskach i stratach. Twoim zadaniem jest optymalizacja stosu wnioskowania, cokolwiek będzie potrzebne, a techniczny kierunek optymalizacji należy do Ciebie, aby spierać się z danymi.

Problem: punkty kontrolne zajmują 0,3–1,5 TB, a „właściwa” konfiguracja obsługi zależy od kształtu ruchu, rozkładu długości sekwencji, dynamiki wsadowej, jednostki SKU procesora graficznego, przepustowości pamięci i tolerancji kwantyzacji – wszystkich zmiennych zmieniających się z tygodnia na tydzień. Większość zespołów wybiera konfigurację raz, nadmiarowo udostępnia procesory graficzne i przejmuje koszty. My tego nie robimy: skróciliśmy czas oczekiwania Kimi-K3 (1,5 TB) na udostępnienie w czasie krótszym niż godzina do mniej niż dwanaście minut przy współdzielonym systemie plików, modułach ładujących wagę O_DIRECT i pamięciach podręcznych JIT lokalnych węzłów, ale to jeszcze nie koniec. Następne w kolejności są wstępne wypełnianie/dekodowanie dezagregacji i wielopoziomowe pamięci podręczne KV.

Stos: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; szybkiebezpiecznetensory; Narzędzia sąsiadujące z CUDA; Kubernetesa; współdzielone systemy plików virtiofs; KliknijDom; Otwarta telemetria; Prometeusz; Grafana; GitLab CI.

Wymagania

• Tworzysz prawdziwe systemy uczenia maszynowego od ponad 5 lat, a Twoje portfolio pokazuje dogłębną infrastrukturę wnioskowania lub szkolenia, a nie tylko modelowanie notatników szkoleniowych.

• Twój Python jest klasy produkcyjnej: usługi, a nie skrypty.

• Naprawdę uruchomiłeś vLLM, SGLang lub TensorRT-LLM i masz działający model mentalny wyjaśniający, dlaczego silnik działa w taki sposób, w jaki działa na danym GPU.

• Zmierzyłeś regresję kwantyzacji, a nie tylko współczynniki kompresji.

• Konfiguracje z wieloma procesorami graficznymi i wieloma węzłami nie budzą obaw: równoległość tensorowa i ekspercka, komunikacja zbiorowa i ich praktyczne tryby awarii.

• Wiesz, gdzie znajdują się bajty (pamięć podręczna stron, O_DIRECT, sieciowe systemy plików z odczytami w skali terabajtów) i jak szybko się przemieszczają.

• Instrumentujesz przed optymalizacją i możesz odróżnić prawdziwą wygraną od artefaktu porównawczego.

• Szeroki mandat bardziej Cię ekscytuje niż niepokoi.

Miło mieć

• Pracowałeś szczególnie nad routingiem LLM: oceny klasy RouterBench, fronty Pareto dotyczące kosztów/jakości/opóźnień.

• Metody kalibracji, wstrzymania się lub zgodności w systemach podejmowania decyzji produkcyjnych.

• Uruchomiłeś pętle A/B online z monitorowaniem dryfu na modelu, który dotyka prawdziwych pieniędzy.

Obowiązki

• Przepustowość push. Ciągłe przetwarzanie wsadowe, wstępne wypełnianie fragmentami, dekodowanie spekulatywne za pomocą modeli roboczych, przechwytywanie wykresów CUDA i dostrajanie harmonogramu w całym silniku
flota. Znajdź sufit na każdym SKU procesora graficznego, a następnie podnieś go.

• Zmniejsz opóźnienia. Oddzielnie atakuj opóźnienia TTFT i między tokenami; profile, aby znaleźć rzeczywiste wąskie gardło (obliczenia, przepustowość pamięci, planowanie, pamięć masowa lub
network) i napraw go, a nie ten, który zakładałeś.

• Wydobądź więcej z pamięci podręcznej KV. Hierarchiczna i stronicowana uwaga, buforowanie prefiksów w ruchu związanym z kodowaniem często używanym, zasady eksmisji, skwantowana wartość KV. Wiele
niezrealizowana przepustowość mieszka tutaj i będziesz jej właścicielem.

• Zatrzymaj zimne starty. Moduły ładujące wagi (O_DIRECT, klasa fastsafetensors), pamięci podręczne JIT i kompilacji, ścieżki odczytu współdzielonego systemu plików. Punkt kontrolny o pojemności 1,5 TB nie ma żadnego zastosowania
dotarcie do serwisu zajmuje godzinę.

• Kwantyzacja bez utraty jakości. INT8/INT4, FP8/FP4 w zakresie wag, aktywacji i KV, mierzonych na podstawie rzeczywistych obciążeń, a nie tylko testów porównawczych zakłopotania.

• Skaluj w węzłach. Topologie wnioskowania rozproszonego, rozmieszczenie uwzględniające sieć, dezagregacja wstępnego wypełniania/dekodowania, strategie punktów kontrolnych, które nie tworzą wąskich gardeł
w pamięci masowej lub połączeniach międzysieciowych.

• Ustal kierunek techniczny. Zdecyduj, co będziemy testować, co przyjmiemy i co sami zbudujemy. Zabierz ze sobą zespół z mocnymi i powtarzalnymi opisami
eksperymenty.

Co z tego wynika dla Ciebie?

• Konkurencyjne wynagrodzenie (zależne od poziomu doświadczenia).

• Ciesz się elastycznym, zdalnym, globalnym środowiskiem.

• Współpracuj z globalnym zespołem ekspertów i innowatorów w dziedzinie chmury, których pasją jest przesuwanie granic technologii Kubernetes

• Opcje na akcje.

• Uzyskaj szybką informację zwrotną dzięki szybkiemu przepływowi pracy. Większość projektów fabularnych jest ukończona w ciągu 1 do 4 tygodni.

• Poświęć 10% swojego czasu pracy na osobiste projekty lub samodoskonalenie.

• Budżet edukacyjny na rozwój zawodowy i osobisty – obejmujący dostęp do międzynarodowych konferencji i kursów podnoszących Twoje umiejętności.

• Coroczny hackaton mający na celu pobudzenie nowych pomysłów i wzmocnienie więzi w zespole.

• Budżet budowania zespołu i wydarzenia firmowe umożliwiające kontakt ze współpracownikami.

• Budżet na sprzęt zapewniający wszystko, czego potrzebujesz.

• Dodatkowe dni wolne, aby pomóc zachować zdrową równowagę między życiem zawodowym a prywatnym.

Proces rekrutacji

• Rozmowa kwalifikacyjna z Rekruterem…

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-248455)