Старший инженер по машинному обучению, LLM Inference Optimization

О Небиусе:

Nebius возглавляет новую эру облачной инфраструктуры для глобальной экономики искусственного интеллекта. Мы создаем полнофункциональную облачную платформу искусственного интеллекта, которая поддерживает разработчиков и предприятия от обучения данным и моделям до производственного развертывания, без затрат и сложностей, связанных с созданием большой собственной инфраструктуры искусственного интеллекта и машинного обучения.

Создано инженерами для инженеров. От крупномасштабной оркестрации графических процессоров до оптимизации вывода — мы решаем сложные проблемы вычислений, хранения данных, сетей и прикладного искусственного интеллекта.

Компания зарегистрирована на Nasdaq (NBIS) и имеет штаб-квартиру в Амстердаме. Мы имеем глобальное присутствие с центрами исследований и разработок в Европе, Великобритании, Северной Америке и Израиле. В нашу команду, насчитывающую более 1500 человек, входят сотни инженеров с глубокими знаниями в области аппаратного и программного обеспечения, а также исследований и разработок в области искусственного интеллекта.

Роль

Будучи старшим инженером по машинному обучению в команде прикладного ИИ в Nebius Token Factory, вы будете заниматься оптимизацией модели и конечных точек, начиная с артефактов модели и заканчивая производственным развертыванием. Ваша работа будет охватывать внутреннее устройство модели, квантование и сжатие модели, спекулятивное декодирование, оптимизацию KV-кэша, механизмы вывода, обслуживающую архитектуру и тестирование производительности для улучшения задержки, пропускной способности, эффективности памяти, использования графического процессора и стоимости токена при сохранении качества и надежности.

Вы будете работать с инженерами ядра и платформы, чтобы исследовать проблемы обслуживания, сравнивать конфигурации и устранять проблемы с производительностью и качеством. Вы оцените оптимизацию на уровне модели и механизма вместе с проектами распределенного вывода, включая маршрутизацию запросов, планирование, координацию предварительного заполнения/декодирования и выполнение на нескольких узлах графического процессора. Ваши улучшения будут подтверждены воспроизводимыми тестами и безопасным развертыванием производства в условиях реальных рабочих нагрузок.

Ваши обязанности

• Собственные проекты оптимизации для конкретных семейств моделей, конечных точек клиентов или обслуживающих серверов.

• Сравните механизмы вывода и порекомендуйте конфигурации обслуживания, подходящие для индивидуальных рабочих нагрузок.

• Диагностика снижения качества модели и производительности во время производственного развертывания.

• Улучшите задержку конечных точек LLM и VLM, пропускную способность, эффективность памяти, использование графического процессора, качество и стоимость токена.

• Развертывание, настройка, тестирование и расширение таких механизмов, как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.

• Разработать рабочие процессы сжатия производственной модели, включающие квантование, обучение с учетом квантования, дистилляцию, низкобитовую обработку и восстановление точности.

• Внедрить или интегрировать спекулятивное декодирование, подходы к черновой модели, оптимизацию KV-кэша, кэширование префиксов, фрагментированное предварительное заполнение, непрерывную пакетную обработку и дезагрегированное обслуживание предварительного заполнения/декодирования. Для дезагрегации предварительного заполнения и декодирования (PDD) оцените передачу KV-кэша, размещение рабочих мест и балансировку мощности, чтобы определить, какие рабочие нагрузки извлекают выгоду из этой архитектуры.

• Разрабатывать и совершенствовать маршрутизаторы запросов LLM и политики планирования, которые обеспечивают баланс между использованием работников, организацией очередей, характеристиками запросов и локальностью KV-кэша, обеспечивая при этом целевые показатели задержки и надежности.

• Масштабируйте плотные и смешанные выводы экспертов на нескольких узлах графического процессора. Выбирайте и настраивайте тензор, конвейер, данные и экспертный параллелизм, включая широкий экспертный параллелизм (WideEP), уделяя внимание топологии оборудования, экспертному балансу нагрузки и затратам на связь.

• Создавайте воспроизводимые тестовые программы, измеряющие TTFT, TPOT, количество токенов в секунду на один графический процессор, задержку p95/p99, память графического процессора, надежность и стоимость токена. Проверка выбора архитектуры при репрезентативном трафике и стабильном бюджете графического процессора.

• Сотрудничать с разработчиками ядра графического процессора и платформы для отслеживания узких мест на уровнях кода модели, ядер, среды выполнения, планировщика, шлюза и кластера.

• Создавать проектную документацию, отчеты о производительности, планы внедрения и технические пояснения для клиентов.

Обязательно

• Сильные инженерные навыки в Python и PyTorch.

• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного трансформаторного вывода.

• Практическое знание хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.

• Четкое понимание узких мест трансформаторного вывода, связанных с KV-кэшем, вниманием, пропускной способностью памяти, пакетной обработкой, параллелизмом и долгоконтекстным обслуживанием.

• Возможность количественной оценки компромиссов между задержкой, пропускной способностью, качеством, использованием и стоимостью.

• Опыт проектирования или оптимизации архитектуры системы распределенного вывода с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределенное планирование, PDD, многоузловой вывод или экспертный параллелизм.

• Сильные навыки общения и сотрудничества между исследовательскими командами, командами ядра, инфраструктуры, продуктов и клиентов.

Приятно иметь

• Опыт обучения с учетом квантования, квантования после обучения, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.

• Опыт работы с дистилляцией, спекулятивным декодированием, EAGLE, Medusa, прогнозированием нескольких токенов или соответствующими методами ускорения вывода.

• Опыт поддержки агентных рабочих нагрузок, включающих вызов инструментов, структурированные выходные данные, потоковые API, высокий уровень параллелизма и многоэтапную оркестровку.

• Знакомство с CUDA или Triton; эта роль не требует, чтобы разработка ядра была основной специализацией кандидата.

• Вклад в проекты с открытым исходным кодом, такие как vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.

• Опыт внедрения маршрутизации запросов с учетом кэша, PDD или WideEP, включая диагностику узких мест связи и дисбаланса нагрузки.

• Знакомство с библиотеками связи и соединениями графического процессора, такими как NCCL, NVLink, InfiniBand или RoCE.

Преимущества и льготы:

• Конкурентное вознаграждение

• Карьерный рост и возможности обучения.

• Гибкость и ответственность

• Культура сотрудничества и инноваций…

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701).