Praca
Z kanału partnera
Starszy inżynier uczenia maszynowego, optymalizacja wnioskowania LLM
Cena na życzenie
Szczegóły
- Typ zatrudnienia
- Pełny etat
- Zdalnie
- Nie
- Firma
- Nebius
Opis
Automatyczne tłumaczenie z języka English. Oryginał jest wiążący. Tłumaczenie maszynowe — trwają prace nad dokładniejszą wersją.
O Nebiusie:
Nebius wyznacza nową erę w infrastrukturze chmurowej dla globalnej gospodarki opartej na sztucznej inteligencji. Budujemy kompleksową platformę chmurową AI, która wspiera programistów i przedsiębiorstwa od szkolenia danych i modeli po wdrożenie produkcyjne, bez kosztów i złożoności budowania dużej wewnętrznej infrastruktury AI/ML.
Zbudowany przez inżynierów dla inżynierów. Od orkiestracji procesorów graficznych na dużą skalę po optymalizację wnioskowania – jesteśmy odpowiedzialni za trudne problemy związane z obliczeniami, pamięcią masową, siecią i zastosowaną sztuczną inteligencją.
Jesteśmy notowani na giełdzie Nasdaq (NBIS) z siedzibą w Amsterdamie. Mamy globalny zasięg z ośrodkami badawczo-rozwojowymi w Europie, Wielkiej Brytanii, Ameryce Północnej i Izraelu. Nasz zespół liczący ponad 1500 osób składa się z setek inżynierów posiadających głęboką wiedzę specjalistyczną w zakresie sprzętu, oprogramowania oraz badań i rozwoju sztucznej inteligencji.
Rola
Jako starszy inżynier uczenia maszynowego w zespole Applied AI w Nebius Token Factory będziesz właścicielem optymalizacji modelu i punktu końcowego od artefaktów modelu po wdrożenie produkcyjne. Twoja praca będzie obejmować elementy wewnętrzne modelu, kwantyzację i kompresję modelu, dekodowanie spekulatywne, optymalizację pamięci podręcznej KV, silniki wnioskowania, architekturę obsługi i testy porównawcze w celu poprawy opóźnień, przepustowości, wydajności pamięci, wykorzystania procesora graficznego i kosztu tokenu przy jednoczesnym zachowaniu jakości i niezawodności.
Będziesz współpracować z inżynierami jądra i platformy, aby zbadać problemy z obsługą, porównać konfiguracje i rozwiązać problemy związane z wydajnością i jakością. Ocenisz optymalizacje na poziomie modelu i silnika wraz z projektami rozproszonego wnioskowania, w tym routingiem żądań, planowaniem, koordynacją wstępnego wypełniania/dekodowania i wykonywaniem wielowęzłowego procesora graficznego. Twoje ulepszenia zostaną zweryfikowane za pomocą powtarzalnych testów porównawczych i bezpiecznych wdrożeń produkcyjnych przy rzeczywistych obciążeniach.
Twoje obowiązki
• Własne projekty optymalizacyjne dla konkretnych rodzin modeli, punktów końcowych klientów lub obsługujących backendów.
• Porównaj silniki wnioskowania i zarekomenduj konfiguracje obsługi dostosowane do indywidualnych obciążeń.
• Diagnozuj regresję jakości i wydajności modelu podczas wdrożeń produkcyjnych.
• Popraw opóźnienia, przepustowość, wydajność pamięci, wykorzystanie procesora graficznego, jakość i koszt w przeliczeniu na token w punktach końcowych LLM i VLM.
• Wdrażaj, konfiguruj, testuj i rozszerzaj silniki, takie jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server i NVIDIA Dynamo.
• Opracuj przepływy pracy związane z kompresją modelu produkcyjnego, obejmujące kwantyzację, szkolenie uwzględniające kwantyzację, destylację, obsługę o niskiej zawartości bitów i odzyskiwanie dokładności.
• Wdrożenie lub zintegrowanie dekodowania spekulatywnego, podejścia do modelu roboczego, optymalizacji pamięci podręcznej KV, buforowania prefiksów, wstępnego wypełniania fragmentarycznego, ciągłego przetwarzania wsadowego i zdezagregowanego udostępniania wstępnego wypełniania/dekodowania. W przypadku dezagregacji wstępnego wypełnienia i dekodowania (PDD) należy ocenić transfer pamięci podręcznej KV, rozmieszczenie procesów roboczych i równoważenie wydajności, aby określić, które obciążenia skorzystają z danej architektury.
• Projektuj i ulepszaj routery żądań LLM i zasady planowania, które równoważą wykorzystanie procesów roboczych, kolejkowanie, charakterystykę żądań i lokalizację pamięci podręcznej KV, przy jednoczesnym spełnieniu docelowych opóźnień i niezawodności.
• Skaluj gęste i złożone wnioskowanie na wielu węzłach GPU. Wybierz i dostrój tensor, potok, dane i specjalistyczną równoległość — w tym szeroką równoległość ekspercką (WideEP) — z uwzględnieniem topologii sprzętu, specjalistycznego równoważenia obciążenia i narzutu komunikacji.
• Twórz powtarzalne zestawy testów porównawczych mierzących TTFT, TPOT, tokeny na sekundę na procesor graficzny, opóźnienie p95/p99, pamięć GPU, niezawodność i koszt na token. Sprawdź wybór architektury w ramach reprezentatywnego ruchu i spójnych budżetów GPU.
• Współpraca z inżynierami jądra procesora graficznego i platformy w celu śledzenia wąskich gardeł w kodzie modelu, jądrach, środowisku wykonawczym, programie planującym, bramie i warstwach klastra.
• Twórz dokumenty projektowe, raporty wydajności, plany wdrożenia i wyjaśnienia techniczne skierowane do klienta.
Niezbędne rzeczy
• Silne umiejętności inżynieryjne w Pythonie i PyTorch.
• Praktyczne doświadczenie we wdrażaniu lub optymalizacji LLM, VLM lub wnioskowania o transformatorze o dużej przepustowości.
• Praktyczna znajomość co najmniej jednego nowoczesnego stosu wnioskowania, takiego jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe lub równoważnego systemu wewnętrznego.
• Dobra znajomość wąskich gardeł wnioskowania o transformatorze, związanych z pamięcią podręczną KV, uwagą, przepustowością pamięci, przetwarzaniem wsadowym, równoległością i obsługą długiego kontekstu.
• Możliwość ilościowego określenia kompromisów pomiędzy opóźnieniami, przepustowością, jakością, wykorzystaniem i kosztami.
• Doświadczenie w projektowaniu lub optymalizowaniu architektury systemu wnioskowania rozproszonego, z praktyczną pracą w jednym lub większej liczbie obszarów, takich jak routing żądań, planowanie rozproszone, PDD, wnioskowanie wielowęzłowe lub równoległość ekspercka.
• Silne umiejętności komunikacji i współpracy w zespołach badawczych, jądrach, infrastrukturze, produktach i klientach.
Miło to mieć
• Doświadczenie w szkoleniu uwzględniającym kwantyzację, kwantyzacji po treningu, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ lub SmoothQuant.
• Doświadczenie w zakresie destylacji, dekodowania spekulatywnego, EAGLE, Medusa, przewidywania wielotokenowego lub powiązanych metod przyspieszania wnioskowania.
• Doświadczenie w obsłudze obciążeń agentowych obejmujących wywoływanie narzędzi, ustrukturyzowane wyniki, interfejsy API przesyłania strumieniowego, wysoką współbieżność i wieloetapową orkiestrację.
• Znajomość CUDA lub Triton; stanowisko to nie wymaga, aby inżynieria jądra była główną specjalizacją kandydata.
• Wkład w projekty open source, takie jak vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray lub KServe.
• Doświadczenie we wdrażaniu routingu żądań uwzględniającego pamięć podręczną, PDD lub WideEP, w tym diagnozowanie wąskich gardeł komunikacyjnych i nierównowagi obciążenia.
• Znajomość bibliotek komunikacyjnych GPU i połączeń wzajemnych, takich jak NCCL, NVLink, InfiniBand lub RoCE.
Korzyści i korzyści:
• Konkurencyjne wynagrodzenie
• Możliwości rozwoju kariery i uczenia się
• Elastyczność i odpowiedzialność
• Kultura współpracy i innowacji…
Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-berlin-249817)
Nebius wyznacza nową erę w infrastrukturze chmurowej dla globalnej gospodarki opartej na sztucznej inteligencji. Budujemy kompleksową platformę chmurową AI, która wspiera programistów i przedsiębiorstwa od szkolenia danych i modeli po wdrożenie produkcyjne, bez kosztów i złożoności budowania dużej wewnętrznej infrastruktury AI/ML.
Zbudowany przez inżynierów dla inżynierów. Od orkiestracji procesorów graficznych na dużą skalę po optymalizację wnioskowania – jesteśmy odpowiedzialni za trudne problemy związane z obliczeniami, pamięcią masową, siecią i zastosowaną sztuczną inteligencją.
Jesteśmy notowani na giełdzie Nasdaq (NBIS) z siedzibą w Amsterdamie. Mamy globalny zasięg z ośrodkami badawczo-rozwojowymi w Europie, Wielkiej Brytanii, Ameryce Północnej i Izraelu. Nasz zespół liczący ponad 1500 osób składa się z setek inżynierów posiadających głęboką wiedzę specjalistyczną w zakresie sprzętu, oprogramowania oraz badań i rozwoju sztucznej inteligencji.
Rola
Jako starszy inżynier uczenia maszynowego w zespole Applied AI w Nebius Token Factory będziesz właścicielem optymalizacji modelu i punktu końcowego od artefaktów modelu po wdrożenie produkcyjne. Twoja praca będzie obejmować elementy wewnętrzne modelu, kwantyzację i kompresję modelu, dekodowanie spekulatywne, optymalizację pamięci podręcznej KV, silniki wnioskowania, architekturę obsługi i testy porównawcze w celu poprawy opóźnień, przepustowości, wydajności pamięci, wykorzystania procesora graficznego i kosztu tokenu przy jednoczesnym zachowaniu jakości i niezawodności.
Będziesz współpracować z inżynierami jądra i platformy, aby zbadać problemy z obsługą, porównać konfiguracje i rozwiązać problemy związane z wydajnością i jakością. Ocenisz optymalizacje na poziomie modelu i silnika wraz z projektami rozproszonego wnioskowania, w tym routingiem żądań, planowaniem, koordynacją wstępnego wypełniania/dekodowania i wykonywaniem wielowęzłowego procesora graficznego. Twoje ulepszenia zostaną zweryfikowane za pomocą powtarzalnych testów porównawczych i bezpiecznych wdrożeń produkcyjnych przy rzeczywistych obciążeniach.
Twoje obowiązki
• Własne projekty optymalizacyjne dla konkretnych rodzin modeli, punktów końcowych klientów lub obsługujących backendów.
• Porównaj silniki wnioskowania i zarekomenduj konfiguracje obsługi dostosowane do indywidualnych obciążeń.
• Diagnozuj regresję jakości i wydajności modelu podczas wdrożeń produkcyjnych.
• Popraw opóźnienia, przepustowość, wydajność pamięci, wykorzystanie procesora graficznego, jakość i koszt w przeliczeniu na token w punktach końcowych LLM i VLM.
• Wdrażaj, konfiguruj, testuj i rozszerzaj silniki, takie jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server i NVIDIA Dynamo.
• Opracuj przepływy pracy związane z kompresją modelu produkcyjnego, obejmujące kwantyzację, szkolenie uwzględniające kwantyzację, destylację, obsługę o niskiej zawartości bitów i odzyskiwanie dokładności.
• Wdrożenie lub zintegrowanie dekodowania spekulatywnego, podejścia do modelu roboczego, optymalizacji pamięci podręcznej KV, buforowania prefiksów, wstępnego wypełniania fragmentarycznego, ciągłego przetwarzania wsadowego i zdezagregowanego udostępniania wstępnego wypełniania/dekodowania. W przypadku dezagregacji wstępnego wypełnienia i dekodowania (PDD) należy ocenić transfer pamięci podręcznej KV, rozmieszczenie procesów roboczych i równoważenie wydajności, aby określić, które obciążenia skorzystają z danej architektury.
• Projektuj i ulepszaj routery żądań LLM i zasady planowania, które równoważą wykorzystanie procesów roboczych, kolejkowanie, charakterystykę żądań i lokalizację pamięci podręcznej KV, przy jednoczesnym spełnieniu docelowych opóźnień i niezawodności.
• Skaluj gęste i złożone wnioskowanie na wielu węzłach GPU. Wybierz i dostrój tensor, potok, dane i specjalistyczną równoległość — w tym szeroką równoległość ekspercką (WideEP) — z uwzględnieniem topologii sprzętu, specjalistycznego równoważenia obciążenia i narzutu komunikacji.
• Twórz powtarzalne zestawy testów porównawczych mierzących TTFT, TPOT, tokeny na sekundę na procesor graficzny, opóźnienie p95/p99, pamięć GPU, niezawodność i koszt na token. Sprawdź wybór architektury w ramach reprezentatywnego ruchu i spójnych budżetów GPU.
• Współpraca z inżynierami jądra procesora graficznego i platformy w celu śledzenia wąskich gardeł w kodzie modelu, jądrach, środowisku wykonawczym, programie planującym, bramie i warstwach klastra.
• Twórz dokumenty projektowe, raporty wydajności, plany wdrożenia i wyjaśnienia techniczne skierowane do klienta.
Niezbędne rzeczy
• Silne umiejętności inżynieryjne w Pythonie i PyTorch.
• Praktyczne doświadczenie we wdrażaniu lub optymalizacji LLM, VLM lub wnioskowania o transformatorze o dużej przepustowości.
• Praktyczna znajomość co najmniej jednego nowoczesnego stosu wnioskowania, takiego jak vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe lub równoważnego systemu wewnętrznego.
• Dobra znajomość wąskich gardeł wnioskowania o transformatorze, związanych z pamięcią podręczną KV, uwagą, przepustowością pamięci, przetwarzaniem wsadowym, równoległością i obsługą długiego kontekstu.
• Możliwość ilościowego określenia kompromisów pomiędzy opóźnieniami, przepustowością, jakością, wykorzystaniem i kosztami.
• Doświadczenie w projektowaniu lub optymalizowaniu architektury systemu wnioskowania rozproszonego, z praktyczną pracą w jednym lub większej liczbie obszarów, takich jak routing żądań, planowanie rozproszone, PDD, wnioskowanie wielowęzłowe lub równoległość ekspercka.
• Silne umiejętności komunikacji i współpracy w zespołach badawczych, jądrach, infrastrukturze, produktach i klientach.
Miło to mieć
• Doświadczenie w szkoleniu uwzględniającym kwantyzację, kwantyzacji po treningu, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ lub SmoothQuant.
• Doświadczenie w zakresie destylacji, dekodowania spekulatywnego, EAGLE, Medusa, przewidywania wielotokenowego lub powiązanych metod przyspieszania wnioskowania.
• Doświadczenie w obsłudze obciążeń agentowych obejmujących wywoływanie narzędzi, ustrukturyzowane wyniki, interfejsy API przesyłania strumieniowego, wysoką współbieżność i wieloetapową orkiestrację.
• Znajomość CUDA lub Triton; stanowisko to nie wymaga, aby inżynieria jądra była główną specjalizacją kandydata.
• Wkład w projekty open source, takie jak vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray lub KServe.
• Doświadczenie we wdrażaniu routingu żądań uwzględniającego pamięć podręczną, PDD lub WideEP, w tym diagnozowanie wąskich gardeł komunikacyjnych i nierównowagi obciążenia.
• Znajomość bibliotek komunikacyjnych GPU i połączeń wzajemnych, takich jak NCCL, NVLink, InfiniBand lub RoCE.
Korzyści i korzyści:
• Konkurencyjne wynagrodzenie
• Możliwości rozwoju kariery i uczenia się
• Elastyczność i odpowiedzialność
• Kultura współpracy i innowacji…
Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-berlin-249817)
To ogłoszenie pochodzi z feedu partnera. Aplikuj na stronie źródłowej.
Źródło: Nebius
Lokalizacja
Berlin, Niemcy
Ogłoszenie pochodzi od Nebius.
