Старший інженер з машинного навчання, магістр права, оптимізація висновків

Про Nebius:

Nebius відкриває нову еру хмарної інфраструктури для глобальної економіки ШІ. Ми створюємо повну хмарну платформу штучного інтелекту, яка підтримує розробників і підприємства від навчання даних і моделям до розгортання виробництва без витрат і складності створення великої внутрішньої інфраструктури штучного інтелекту/ML.

Створено інженерами, для інженерів. Від великомасштабної оркестровки графічного процесора до оптимізації логічного висновку ми вирішуємо складні проблеми з обчисленнями, сховищами, мережами та прикладним штучним інтелектом.

Котирується на Nasdaq (NBIS) і має штаб-квартиру в Амстердамі, ми маємо глобальний слід із науково-дослідними центрами в Європі, Великобританії, Північній Америці та Ізраїлі. Наша команда з 1500+ включає в себе сотні інженерів з глибоким досвідом роботи з обладнанням, програмним забезпеченням і дослідженнями та розробками штучного інтелекту.

роль

Як старший інженер з машинного навчання в групі прикладного штучного інтелекту на заводі Nebius Token, ви будете володіти оптимізацією моделі та кінцевої точки від артефактів моделі до розгортання виробництва. Ваша робота охоплюватиме внутрішні елементи моделі, квантування та стиснення моделі, спекулятивне декодування, оптимізацію KV-кешу, механізми виведення, архітектуру обслуговування та порівняльний аналіз для покращення затримки, пропускної здатності, ефективності пам’яті, використання графічного процесора та вартості токена, зберігаючи при цьому якість і надійність.

Ви працюватимете з інженерами ядра та платформи, щоб досліджувати проблеми обслуговування, порівнювати конфігурації та вирішувати регресії продуктивності та якості. Ви оціните оптимізацію на рівні моделі та двигуна разом із моделями розподіленого логічного висновку, включаючи маршрутизацію запитів, планування, координацію попереднього заповнення/декодування та багатовузлове виконання GPU. Ваші вдосконалення будуть підтверджені за допомогою відтворюваних тестів і безпечного виробництва в умовах реального робочого навантаження.

Ваші обов'язки

• Власні проекти оптимізації для конкретних сімейств моделей, кінцевих точок клієнтів або серверних серверів обслуговування.

• Порівняйте механізми логічного висновку та порекомендуйте конфігурації обслуговування, які відповідають індивідуальним навантаженням.

• Діагностика регресії якості моделі та продуктивності під час розгортання виробництва.

• Покращте затримку кінцевих точок LLM і VLM, пропускну здатність, ефективність пам’яті, використання графічного процесора, якість і вартість токена.

• Розгортання, налаштування, тестування та розширення механізмів, таких як vLLM, SGLang, TensorRT-LLM, Triton Inference Server і NVIDIA Dynamo.

• Розробити робочі процеси стиснення виробничої моделі, що охоплюють квантування, навчання з урахуванням квантування, дистиляцію, низькорозрядне обслуговування та відновлення точності.

• Впроваджуйте або інтегруйте спекулятивне декодування, підходи до чорнової моделі, оптимізацію KV-кешу, кешування префіксів, фрагментоване попереднє заповнення, безперервне пакетування та дезагреговане обслуговування попереднього заповнення/декодування. Для дезагрегації попереднього заповнення та декодування (PDD) оцініть передачу KV-кешу, розміщення робочих елементів і балансування ємності, щоб визначити, які робочі навантаження виграють від архітектури.

• Розробляйте та вдосконалюйте маршрутизатори запитів LLM і політики планування, які збалансовують використання працівників, чергування, характеристики запитів і локальність KV-кешу, одночасно задовольняючи цільові показники затримки та надійності.

• Щільне масштабування та змішування експертних висновків на кількох вузлах GPU. Виберіть і налаштуйте паралелізм тензорів, конвеєрів, даних і експертів, включно з широким паралелізмом експертів (WideEP), звертаючи увагу на апаратну топологію, експертний баланс навантаження та витрати на зв’язок.

• Створення відтворюваних контрольних систем вимірювання TTFT, TPOT, токенів за секунду на GPU, затримки p95/p99, пам'яті GPU, надійності та вартості за маркер. Перевірте вибір архітектури за репрезентативного трафіку та стабільних бюджетів GPU.

• Співпраця з інженерами ядра графічного процесора та платформи для відстеження вузьких місць у коді моделі, ядрах, середовищі виконання, планувальнику, шлюзі та рівнях кластера.

• Створення проектної документації, звітів про продуктивність, планів розгортання та технічних пояснень для клієнтів.

Маст-хев

• Сильні інженерні навички в Python і PyTorch.

• Практичний досвід розгортання або оптимізації LLM, VLM або високопродуктивного трансформатора.

• Практичні знання принаймні одного сучасного стеку висновків, наприклад vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe або еквівалентної внутрішньої системи.

• Чітке розуміння вузьких місць трансформаторного висновку, пов’язаних із кеш-пам’яттю KV, увагою, пропускною здатністю пам’яті, пакетуванням, паралелізмом і обслуговуванням довгого контексту.

• Можливість кількісного визначення компромісів між затримкою, пропускною здатністю, якістю, використанням і вартістю.

• Досвід проектування або оптимізації архітектури системи розподіленого висновку з практичною роботою в одній або кількох сферах, таких як маршрутизація запитів, розподілене планування, PDD, багатовузловий висновок або експертний паралелізм.

• Сильні комунікативні навички та навички співпраці між командами досліджень, ядра, інфраструктури, продуктів і клієнтів.

Приємно мати

• Досвід навчання з урахуванням квантування, квантування після навчання, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ або SmoothQuant.

• Досвід роботи з дистиляцією, спекулятивним декодуванням, EAGLE, Medusa, багатотокенним прогнозуванням або пов’язаними методами прискорення логічного висновку.

• Досвід підтримки агентських робочих навантажень, включаючи виклики інструментів, структуровані виходи, потокові API, високий паралелізм і багатоетапну оркестровку.

• Знайомство з CUDA або Triton; посада не вимагає, щоб розробка ядра була основною спеціалізацією кандидата.

• Внесок у проекти з відкритим кодом, такі як vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray або KServe.

• Досвід впровадження маршрутизації запитів з урахуванням кешу, PDD або WideEP, включаючи діагностику вузьких місць зв’язку та дисбалансу навантаження.

• Знайомство з комунікаційними бібліотеками GPU та з’єднаннями, такими як NCCL, NVLink, InfiniBand або RoCE.

Переваги та переваги:

• Конкурентна винагорода

• Кар'єрний ріст і можливості навчання

• Гнучкість і власність

• Спільна та інноваційна культура…

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701)