Штатный инженер по машинному обучению, LLM Inference Optimization

О Небиусе:

Nebius возглавляет новую эру облачной инфраструктуры для глобальной экономики искусственного интеллекта. Мы создаем полнофункциональную облачную платформу искусственного интеллекта, которая поддерживает разработчиков и предприятия от обучения данным и моделям до производственного развертывания, без затрат и сложностей, связанных с созданием большой собственной инфраструктуры искусственного интеллекта и машинного обучения.

Создано инженерами для инженеров. От крупномасштабной оркестрации графических процессоров до оптимизации вывода — мы решаем сложные проблемы вычислений, хранения данных, сетей и прикладного искусственного интеллекта.

Компания зарегистрирована на Nasdaq (NBIS) и имеет штаб-квартиру в Амстердаме. Мы имеем глобальное присутствие с центрами исследований и разработок в Европе, Великобритании, Северной Америке и Израиле. В нашу команду, насчитывающую более 1500 человек, входят сотни инженеров с глубокими знаниями в области аппаратного и программного обеспечения, а также исследований и разработок в области искусственного интеллекта.

Краткое описание ролей

Nebius Token Factory занимается созданием логического вывода производственного уровня для моделей с открытым исходным кодом, клиентских и внутренне оптимизированных моделей. Эта роль отвечает за путь от артефакта модели до быстрой, надежной и экономичной конечной точки. Работа находится на стыке внутреннего устройства модели, механизмов вывода, обслуживающей архитектуры, сравнительного анализа и производственного развертывания.

Что ты будешь делать

•
Владение компонентами оптимизации на уровне платформы, такими как квантование, спекулятивное декодирование, оптимизация KV-кэша, выбор механизма или обслуживание длинного контекста.

•
Создавайте многоразовые системы оценки, сравнительного анализа и развертывания в нескольких семействах моделей.

•
Предоставляйте технические указания MLE, ученым-прикладникам, инженерам ядра графического процессора и инженерам инфраструктуры по общим целям производительности.

•
Оптимизируйте конечные точки LLM и VLM с точки зрения задержки, пропускной способности, эффективности памяти, использования графического процессора, качества и стоимости токена.

•
Развертывайте, настраивайте, тестируйте и расширяйте механизмы вывода, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo или аналогичные системы.

•
Создавайте и внедряйте рабочие процессы сжатия моделей, включая квантование, обучение с учетом квантования, дистилляцию, низкобитовую обработку и восстановление точности.

•
Внедрите или интегрируйте спекулятивное декодирование, подходы к черновой модели, оптимизацию KV-кеша, кэширование префиксов, фрагментированное предварительное заполнение, непрерывную пакетную обработку и дезагрегированное обслуживание предварительного заполнения/декодирования.

•
Создавайте воспроизводимые тестовые программы для TTFT, TPOT, количества токенов в секунду на графический процессор, задержки p95/p99, памяти графического процессора, надежности и стоимости токена.

•
Сотрудничайте с разработчиками ядра графического процессора и разработчиками платформ для диагностики узких мест на уровнях кода модели, ядер, среды выполнения, планировщика, шлюза и кластера.

•
Напишите четкую проектную документацию, отчеты о производительности, планы развертывания и технические пояснения для клиентов.

Требуемая квалификация

•
Сильные инженерные навыки Python и PyTorch.

•
Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительных систем вывода трансформаторов.

•
Практическое знание хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентных внутренних систем.

•
Четкое понимание узких мест вывода трансформатора, включая кэш KV, внимание, пропускную способность памяти, пакетную обработку, параллелизм и обслуживание длинного контекста.

•
Способность количественно рассуждать о задержке, пропускной способности, качестве, использовании и затратах.

•
Сильные коммуникативные навыки и способность сотрудничать с командами исследований, ядра, инфраструктуры, продуктов и клиентов.

Предпочтительные квалификации

•
Опыт обучения с учетом квантования, квантования после обучения, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant или связанных с ними методов.

•
Опыт работы с дистилляцией, спекулятивным декодированием, EAGLE, Medusa, прогнозированием нескольких токенов или другими методами ускорения вывода.

•
Опыт работы с агентскими рабочими нагрузками, включая вызов инструментов, структурированные выходные данные, потоковые API, высокий уровень параллелизма и многоэтапную оркестровку.

•
Знакомство с CUDA или Triton, даже если эта роль в первую очередь не связана с разработкой ядра.

•
Вклад с открытым исходным кодом в vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe или связанные проекты.

Преимущества и льготы:

• Конкурентное вознаграждение

• Карьерный рост и возможности обучения.

• Гибкость и ответственность

• Культура сотрудничества и инноваций.

• Возможность работать над эффективными проектами в области искусственного интеллекта.

• Международная среда и талантливые команды

Каково работать в Небиусе:

Быстрое движение - Смелое мышление - Постоянный рост - Значимое влияние - Доверие и реальная ответственность - Возможность формировать будущее искусственного интеллекта

Заявление о равных возможностях:

Небиус – работодатель, предоставляющий равные возможности. Мы стремимся способствовать инклюзивному и разнообразному рабочему месту и предоставлять равные возможности трудоустройства во всех аспектах занятости. Мы не проводим дискриминацию по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, происхождения, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или самовыражения или любых других характеристик, защищаемых действующим законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявление, и должны будут предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам понадобится жилье во время процесса подачи заявления, сообщите нам об этом.

Найдите работу в Германии на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-berlin-249546).