Inżynier uczenia maszynowego, optymalizacja wnioskowania LLM

O Nebiusie:

Nebius wyznacza nową erę w infrastrukturze chmurowej dla globalnej gospodarki opartej na sztucznej inteligencji. Budujemy kompleksową platformę chmurową AI, która wspiera programistów i przedsiębiorstwa od szkolenia danych i modeli po wdrożenie produkcyjne, bez kosztów i złożoności budowania dużej wewnętrznej infrastruktury AI/ML.

Zbudowany przez inżynierów dla inżynierów. Od orkiestracji procesorów graficznych na dużą skalę po optymalizację wnioskowania – jesteśmy odpowiedzialni za trudne problemy związane z obliczeniami, pamięcią masową, siecią i zastosowaną sztuczną inteligencją.

Jesteśmy notowani na giełdzie Nasdaq (NBIS) z siedzibą w Amsterdamie. Mamy globalny zasięg z ośrodkami badawczo-rozwojowymi w Europie, Wielkiej Brytanii, Ameryce Północnej i Izraelu. Nasz zespół liczący ponad 1500 osób składa się z setek inżynierów posiadających głęboką wiedzę specjalistyczną w zakresie sprzętu, oprogramowania oraz badań i rozwoju sztucznej inteligencji.

Podsumowanie roli

Nebius Token Factory buduje wnioskowanie klasy produkcyjnej dla modeli open source, klientów i modeli zoptymalizowanych wewnętrznie. Ta rola jest właścicielem ścieżki od artefaktu modelu do szybkiego, niezawodnego i ekonomicznego punktu końcowego. Prace dotyczą elementów wewnętrznych modeli, silników wnioskowania, architektury obsługującej, testów porównawczych i wdrażania produkcyjnego.

Co zrobisz

•
Posiadaj filar optymalizacji na poziomie platformy, taki jak kwantyzacja, dekodowanie spekulatywne, optymalizacja pamięci podręcznej KV, wybór silnika lub udostępnianie w długim kontekście.

•
Twórz platformy oceny, testów porównawczych i wdrażania wielokrotnego użytku w wielu rodzinach modeli.

•
Zapewnij wskazówki techniczne pracownikom MLE, naukowcom stosowanym, inżynierom jądra GPU i inżynierom infrastruktury w zakresie wspólnych celów związanych z wydajnością.

•
Optymalizuj punkty końcowe LLM i VLM pod kątem opóźnień, przepustowości, wydajności pamięci, wykorzystania procesora graficznego, jakości i kosztu na token.

•
Wdrażaj, konfiguruj, testuj i rozszerzaj silniki wnioskowania, takie jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo lub podobne systemy.

•
Twórz i produkuj przepływy pracy związane z kompresją modelu, w tym kwantyzacją, szkoleniem uwzględniającym kwantyzację, destylacją, obsługą małej liczby bitów i odzyskiwaniem dokładności.

•
Wdrażaj lub integruj dekodowanie spekulatywne, podejście do modelu roboczego, optymalizację pamięci podręcznej KV, buforowanie prefiksów, wstępne wypełnianie fragmentami, ciągłe przetwarzanie wsadowe i zdezagregowane udostępnianie wstępnego wypełniania/dekodowania.

•
Twórz powtarzalne zestawy testów porównawczych dla TTFT, TPOT, tokenów na sekundę na procesor graficzny, opóźnienia p95/p99, pamięci GPU, niezawodności i kosztu na token.

•
Współpracuj z inżynierami jądra GPU i inżynierami platform, aby diagnozować wąskie gardła w kodzie modelu, jądrach, środowisku wykonawczym, harmonogramie, bramie i warstwach klastra.

•
Twórz przejrzystą dokumentację projektową, raporty wydajności, plany wdrożenia i wyjaśnienia techniczne skierowane do klienta.

Wymagane kwalifikacje

•
Silne umiejętności inżynieryjne w Pythonie i PyTorch.

•
Praktyczne doświadczenie we wdrażaniu lub optymalizacji systemów wnioskowania LLM, VLM lub wysokoprzepustowych transformatorów.

•
Praktyczna znajomość co najmniej jednego nowoczesnego stosu wnioskowania, takiego jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe lub równoważnych systemów wewnętrznych.

•
Dobra znajomość wąskich gardeł wnioskowania transformatora, w tym pamięci podręcznej KV, uwagi, przepustowości pamięci, przetwarzania wsadowego, równoległości i obsługi długiego kontekstu.

•
Umiejętność ilościowego rozumowania na temat opóźnień, przepustowości, jakości, wykorzystania i kompromisów kosztowych.

•
Silne umiejętności komunikacyjne i umiejętność współpracy z zespołami badawczymi, jądrem, infrastrukturą, produktem i klientami.

Preferowane kwalifikacje

•
Doświadczenie w szkoleniu uwzględniającym kwantyzację, kwantyzacji po treningu, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant lub pokrewnych technikach.

•
Doświadczenie w zakresie destylacji, dekodowania spekulatywnego, EAGLE, Medusa, przewidywania wielotokenowego lub innych metod przyspieszania wnioskowania.

•
Doświadczenie z obciążeniami agentowymi, w tym wywoływaniem narzędzi, ustrukturyzowanymi wynikami, interfejsami API przesyłania strumieniowego, wysoką współbieżnością i wieloetapową orkiestracją.

•
Znajomość CUDA lub Triton, nawet jeśli rola nie jest głównie rolą związaną z inżynierią jądra.

•
Wkład typu open source do vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe lub powiązanych projektów.

Korzyści i korzyści:

• Konkurencyjne wynagrodzenie

• Możliwości rozwoju kariery i uczenia się

• Elastyczność i odpowiedzialność

• Kultura współpracy i innowacyjności

• Możliwość pracy nad wpływowymi projektami AI

• Międzynarodowe środowisko i utalentowane zespoły

Jak wygląda praca w firmie Nebius:

Szybkość działania – Odważne myślenie – Stały rozwój – Znaczący wpływ – Zaufanie i prawdziwa własność – Możliwość kształtowania przyszłości sztucznej inteligencji

Oświadczenie o równych szansach:

Nebius jest pracodawcą zapewniającym równe szanse. Zależy nam na wspieraniu włączającego i zróżnicowanego miejsca pracy oraz zapewnianiu równych możliwości zatrudnienia we wszystkich aspektach zatrudnienia. Nie dyskryminujemy ze względu na rasę, kolor skóry, religię, płeć (w tym ciążę), narodowość, pochodzenie, wiek, niepełnosprawność, informacje genetyczne, stan cywilny, status weterana, orientację seksualną, tożsamość lub ekspresję płciową lub jakąkolwiek inną cechę chronioną przez obowiązujące prawo.

Kandydaci muszą posiadać zezwolenie na pracę w kraju, w którym składają wniosek, a jako warunek zatrudnienia będą zobowiązani do przedstawienia dowodu potwierdzającego uprawnienia do zatrudnienia.

Jeśli potrzebujesz zakwaterowania w trakcie procesu aplikacyjnego, daj nam znać.

Znajdź więcej ofert pracy ze znajomością języka angielskiego w Holandii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-amsterdam-403133)