Старший инженер по машинному обучению – LLM

Кто мы
Вы заказали ужин через Just Eat Takeaway. Вы покупали и продавали на OLX. Вы заплатили с помощью PayU. Скорее всего, вы уже воспользовались услугами компании Prosus сегодня.
Мы — Prosus, глобальная технологическая компания, обеспечивающая развитие некоторых ведущих мировых компаний в сфере электронной коммерции. Каждый день миллиарды людей в Индии, Латинской Америке, Европе и за ее пределами используют наши продукты и услуги, чтобы покупать, продавать, платить, подключаться и делать открытия.
Наша экосистема, основанная на искусственном интеллекте, охватывает более 100 компаний, занимающихся электронной коммерцией, доставкой еды, финансовыми технологиями и опытом, обслуживая миллиарды потребителей по всему миру. ИИ определяет нашу деятельность и инновации: более 60 000 активных агентов ИИ помогают нашим командам создавать, масштабировать и двигаться быстрее. Через нашу инвестиционную команду мы также поддерживаем основателей и технологии, формирующие будущее: от робототехники и автономных систем до синтетической биологии и передового искусственного интеллекта.
Основываясь на наших пяти ценностях: «Инновации», «Результаты», «Люди», «Воздействие» и «Предпринимательство», культура является нашим конкурентным преимуществом. Мы преуспеваем благодаря экспериментам; мы создаем, тестируем, учимся, повторяем.
Присоединяйтесь к нам в формировании будущего технологий в глобальном масштабе.
Кого мы ищем
Мы ищем старшего инженера по машинному обучению для обучения языковым моделям, специфичным для предметной области, и обеспечения технического руководства командой. Вы будете владеть критически важными частями нашей инфраструктуры обучения, наставлять инженеров и принимать технические решения, начиная с подготовки данных и заканчивая развертыванием производства. У вас есть глубокий практический опыт обучения языковым моделям в больших масштабах, вы подаете пример посредством тщательного экспериментирования и высококачественного кода, а также мотивированы тем, что видите, как ваша работа используется миллионами пользователей. Вы преуспеваете в быстро меняющейся среде, где сочетаете техническую глубину с практическим эффектом для бизнеса.
Что ты будешь делать

• Анализируйте производительность модели и данные обучения, формулируйте гипотезы, разрабатывайте и проводите строгие эксперименты для систематического улучшения качества модели, эффективности обучения и вывода, а также производительности последующих задач.

• Управлять принятием технических решений по архитектуре модели, стратегиям обучения и выбору инфраструктуры.

• Обеспечение технического руководства и наставничества для инженеров и стажеров машинного обучения, проведение проверок кода, обмен передовым опытом и ускорение роста команды.

• Обучайте большие языковые модели посредством непрерывного предварительного обучения и полной точной настройки параметров на собственных наборах данных.

• Создавайте и оптимизируйте инфраструктуру распределенного обучения в многоузловых кластерах графических процессоров с помощью таких платформ, как DeepSpeed, FSDP, Megatron-LM или Axolotl.

• Собственная крупномасштабная подготовка данных: фильтрация, оценка качества, дедупликация и стратегии смешивания данных для обучения корпусов в масштабе 100B+ токенов.

• Создавайте и обрабатывайте высококачественные синтетические данные для точной настройки инструкций и расширения возможностей.

• Отладка проблем со стабильностью обучения, оптимизация производительности обучения и вывода (квантование, дистилляция, оптимизация обслуживания) и мониторинг производительности модели во время длительных распределенных заданий.

• Создайте надежную систему оценки и установите показатели для измерения качества модели и принятия решений.

• Напишите хорошо протестированный код промышленного уровня и установите технические стандарты для команды.

Минимальная квалификация

• Более 7 лет опыта работы в области машинного обучения

• Опыт технического руководства: наставничество инженеров, проведение проверок кода, принятие архитектурных решений и реализация проектов с измеримым эффектом для бизнеса.

• Подтвержденный опыт обучения и внедрения языковых моделей в производство (модели внедрения, модели кодировщиков или большие языковые модели), включая предварительное обучение, продолжение предварительного обучения или тонкую настройку со строгой оценкой и оптимизацией вывода.

• Опыт подготовки крупномасштабных наборов обучающих данных: фильтрация данных, оценка качества, стратегии дедупликации и проектирование смесей данных.

• Практический опыт работы с распределенными платформами обучения (DeepSpeed, FSDP, Megatron-LM или Axolotl), включая организацию многоузловых заданий, отладку сбоев и оптимизацию пропускной способности.

• Четкое понимание динамики обучения в масштабе: устранение нестабильности потерь, настройка графиков скорости обучения, управление стабильностью обучения в длительных многоузловых заданиях.

• Эксперт Python и PyTorch с опытом работы с использованием обучающих библиотек (Transformers, DeepSpeed, Accelerate)

Предпочтительная квалификация

• Публиковал исследования на конференциях по машинному обучению (NeurIPS, ICML, ICLR, ACL, EMNLP), выпускал модели Hugging Face, создавал общедоступные тесты или участвовал в проектах с открытым исходным кодом.

• Опыт работы с методами постобучения: RLHF, DPO, GRPO или другими подходами к обучению с подкреплением для согласования и следования инструкциям.

• Опыт оптимизации моделей для производственного вывода, включая квантование, сжатие моделей, дистилляцию и платформы обслуживания (vLLM, TensorRT-LLM).

• Понимание оптимизации памяти: контрольные точки градиента, обучение смешанной точности (FP16, BF16, FP8), оптимизация ZeRO.

• Глубокие знания архитектур графических процессоров (A100, H100, H200) и их значения для обучения и оптимизации вывода.

• Опыт создания конвейеров генерации синтетических данных для настройки инструкций или адаптации предметной области.

Что мы предлагаем

• Высокоэффективные проекты искусственного интеллекта, которые стратегически важны для компании, при непосредственном участии высшего руководства, включая генерального директора.

• Современная инфраструктура: парк графических процессоров H200, огромные собственные наборы данных, доступ к передовым моделям (OpenAI, Anthropic, Google, Together.ai) для оценки и базовых показателей.

• Коллеги-эксперты, которые выпустили лучшие модели Hugging Face, написали статьи в NeurIPS, создали известные тесты и создали несколько промышленных систем искусственного интеллекта.

• Значительная автономия и свобода проверять идеи, экспериментировать с новыми подходами и принимать технические решения.

• Современные инструменты: новейшие платформы машинного обучения, помощники по программированию, лучшая в своем классе среда разработки…

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/senior-machine-learning-engineer-llms-amsterdam-22288).