Штатний інженер машинного навчання, магістр права, оптимізація висновків

Про Nebius:

Nebius відкриває нову еру хмарної інфраструктури для глобальної економіки ШІ. Ми створюємо повну хмарну платформу штучного інтелекту, яка підтримує розробників і підприємства від навчання даних і моделям до розгортання виробництва без витрат і складності створення великої внутрішньої інфраструктури штучного інтелекту/ML.

Створено інженерами, для інженерів. Від великомасштабної оркестровки графічного процесора до оптимізації логічного висновку ми вирішуємо складні проблеми з обчисленнями, сховищами, мережами та прикладним штучним інтелектом.

Котирується на Nasdaq (NBIS) і має штаб-квартиру в Амстердамі, ми маємо глобальний слід із науково-дослідними центрами в Європі, Великобританії, Північній Америці та Ізраїлі. Наша команда з 1500+ включає в себе сотні інженерів з глибоким досвідом роботи з обладнанням, програмним забезпеченням і дослідженнями та розробками штучного інтелекту.

Резюме ролі

Nebius Token Factory створює висновки виробничого рівня для моделей з відкритим вихідним кодом, клієнтів і внутрішньо оптимізованих моделей. Ця роль відповідає за шлях від артефакту моделі до швидкої, надійної та рентабельної кінцевої точки. Робота знаходиться на перетині внутрішніх елементів моделі, механізмів висновку, архітектури обслуговування, порівняльного аналізу та розгортання виробництва.

Що ви будете робити

•
Володійте основою оптимізації на рівні платформи, наприклад квантуванням, спекулятивним декодуванням, оптимізацією KV-кешу, вибором двигуна або обслуговуванням довгого контексту.

•
Створюйте багаторазові системи оцінювання, порівняльного аналізу та розгортання в кількох сімействах моделей.

•
Надавати технічні вказівки MLEs, прикладним науковцям, інженерам ядра GPU та інженерам інфраструктури щодо спільних цілей продуктивності.

•
Оптимізуйте кінцеві точки LLM і VLM для затримки, пропускної спроможності, ефективності пам’яті, використання GPU, якості та вартості за маркер.

•
Розгортайте, налаштовуйте, тестуйте та розширюйте механізми логічного висновку, такі як vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo або подібні системи.

•
Створюйте та створюйте робочі процеси стиснення моделі, включаючи квантування, навчання з урахуванням квантування, дистиляцію, низькорозрядне обслуговування та відновлення точності.

•
Впроваджуйте або інтегруйте спекулятивне декодування, підходи до чорнової моделі, оптимізацію кешу KV, кешування префіксів, фрагментоване попереднє заповнення, безперервне пакетування та дезагреговане обслуговування попереднього заповнення/декодування.

•
Створюйте відтворювані контрольні системи для TTFT, TPOT, токенів за секунду на GPU, затримки p95/p99, пам’яті GPU, надійності та вартості за маркер.

•
Співпрацюйте з інженерами ядра GPU та інженерами платформи для діагностики вузьких місць у коді моделі, ядрах, середовищі виконання, планувальнику, шлюзі та кластерних рівнях.

•
Напишіть чітку проектну документацію, звіти про ефективність, плани розгортання та технічні пояснення, орієнтовані на клієнтів.

Необхідна кваліфікація

•
Сильні інженерні навички Python і PyTorch.

•
Практичний досвід розгортання або оптимізації LLM, VLM або високопродуктивних трансформаторних систем виведення.

•
Практичні знання принаймні одного сучасного стеку висновків, наприклад vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe або еквівалентних внутрішніх систем.

•
Чітке розуміння вузьких місць трансформаторного висновку, включаючи кеш KV, увагу, пропускну здатність пам’яті, пакетування, паралелізм і довгоконтекстне обслуговування.

•
Здатність кількісно міркувати про затримку, пропускну здатність, якість, використання та витрати.

•
Хороші комунікативні навички та здатність співпрацювати з командами досліджень, ядра, інфраструктури, продуктів і клієнтів.

Бажані кваліфікації

•
Досвід роботи з навчанням з урахуванням квантування, квантуванням після навчання, FP8 , INT8 , INT4 , NVFP4 , MXFP4 , AWQ , GPTQ , SmoothQuant або подібними техніками.

•
Досвід роботи з дистиляцією, спекулятивним декодуванням, EAGLE, Medusa, багатотокенним прогнозуванням або іншими методами прискорення висновку.

•
Досвід роботи з агентськими робочими навантаженнями, включаючи виклики інструментів, структуровані виходи, потокові API, високий паралелізм і багатоетапну оркестровку.

•
Знайомство з CUDA або Triton, навіть якщо ця роль не є основною роллю розробки ядра.

•
Внески з відкритим кодом у vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe або пов’язані проекти.

Переваги та переваги:

• Конкурентна винагорода

• Кар'єрний ріст і можливості навчання

• Гнучкість і власність

• Культура співпраці та інновацій

• Можливість працювати над ефективними проектами ШІ

• Міжнародне середовище та талановиті команди

Як це – працювати в Nebius:

Швидкий рух - Сміливе мислення - Постійне зростання - Значущий вплив - Довіра та реальна власність - Можливість формувати майбутнє ШІ

Заява про рівні можливості:

Nebius є роботодавцем рівних можливостей. Ми прагнемо сприяти інклюзивному та різноманітному робочому середовищу та надавати рівні можливості працевлаштування в усіх аспектах зайнятості. Ми не проводимо дискримінації на основі раси, кольору шкіри, релігії, статі (включаючи вагітність), національного походження, походження, віку, інвалідності, генетичної інформації, сімейного стану, статусу ветерана, сексуальної орієнтації, гендерної ідентичності чи самовираження чи будь-якої іншої характеристики, захищеної чинним законодавством.

Кандидати повинні мати дозвіл на роботу в країні, в якій вони подають заявку, і повинні будуть надати підтвердження права на працевлаштування як умову найму.

Якщо вам потрібне розміщення під час подання заявки, повідомте нам про це.

Знайдіть роботу в Німеччині на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-berlin-249546)