Инженер по машинному обучению - LLM

Кто мы
Вы заказали ужин через Just Eat Takeaway. Вы покупали и продавали на OLX. Вы заплатили с помощью PayU. Скорее всего, вы уже воспользовались услугами компании Prosus сегодня.
Мы — Prosus, глобальная технологическая компания, обеспечивающая развитие некоторых ведущих мировых компаний в сфере электронной коммерции. Каждый день миллиарды людей в Индии, Латинской Америке, Европе и за ее пределами используют наши продукты и услуги, чтобы покупать, продавать, платить, подключаться и делать открытия.
Наша экосистема, основанная на искусственном интеллекте, охватывает более 100 компаний, занимающихся электронной коммерцией, доставкой еды, финансовыми технологиями и опытом, обслуживая миллиарды потребителей по всему миру. ИИ определяет нашу деятельность и инновации: более 60 000 активных агентов ИИ помогают нашим командам создавать, масштабировать и двигаться быстрее. Через нашу инвестиционную команду мы также поддерживаем основателей и технологии, формирующие будущее: от робототехники и автономных систем до синтетической биологии и передового искусственного интеллекта.
Основываясь на наших пяти ценностях: «Инновации», «Результаты», «Люди», «Воздействие» и «Предпринимательство», культура является нашим конкурентным преимуществом. Мы преуспеваем благодаря экспериментам; мы создаем, тестируем, учимся, повторяем.
Присоединяйтесь к нам в формировании будущего технологий в глобальном масштабе.
Присоединяйтесь к нашей команде по искусственному интеллекту в Prosus, крупнейшей потребительской интернет-компании в Европе и одном из крупнейших технологических инвесторов в мире. Вы будете работать в команде, которая способствует росту и инновациям во всей компании, и ваша работа напрямую повлияет на то, как миллионы людей совершают покупки в Интернете.

Кого мы ищем
Мы ищем опытного инженера по машинному обучению для разработки языковых моделей, специфичных для предметной области. Вы будете владеть полным набором инструментов обучения — от непрерывного предварительного обучения на собственных данных и тонкой настройки до передовых методов постобучения. У вас есть практический опыт обучения языковым моделям в любом масштабе (от моделей внедрения до специализированных программ LLM), глубокое понимание распределенных систем и умение превращать исследовательские концепции в надежные производственные системы. Вы мотивированы, видя, как вашу работу внедряют и используют миллионы реальных пользователей. Вы преуспеваете в быстро меняющейся среде, где сочетаете результаты исследований с практическим влиянием на бизнес.

Что ты будешь делать

• Анализировать производительность модели и данные обучения, чтобы определить возможности улучшения и сформулировать гипотезы для улучшения.

• Планируйте, проводите и тщательно оценивайте эксперименты для улучшения качества модели, эффективности обучения и выполнения последующих задач.

• Обучение больших языковых моделей для нашей предметной области путем непрерывного предварительного обучения и полной настройки параметров на собственных наборах данных.

• Разработать и внедрить конвейеры постобучения с использованием RLHF, DPO, GRPO и других методов обучения с подкреплением.

• Создавайте и оптимизируйте инфраструктуру распределенного обучения в многоузловых кластерах графических процессоров с помощью таких платформ, как DeepSpeed, FSDP, Megatron-LM или Axolotl.

• Собственная крупномасштабная подготовка данных: фильтрация, оценка качества, дедупликация и стратегии смешивания данных для обучения корпусов в масштабе 100B+ токенов.

• Создавайте и обрабатывайте высококачественные синтетические данные для точной настройки инструкций и расширения возможностей.

• Отладка проблем со стабильностью обучения, оптимизация производительности обучения и мониторинг производительности модели во время длительных распределенных заданий.

• Внедрить методы из последних статей и адаптировать их к нашим сценариям использования.

• Создайте надежную систему оценки для измерения качества модели и принятия решений по обучению.

• Пишите хорошо протестированный код промышленного уровня и вносите вклад в разработку стандартов команды.

Минимальная квалификация

• Более 3 лет опыта работы в области машинного обучения

• Подтвержденный опыт обучения и внедрения языковых моделей в производство (модели внедрения, модели кодировщиков или большие языковые модели), включая предварительное обучение, продолжительное предварительное обучение или тонкую настройку со строгой оценкой.

• Опыт подготовки крупномасштабных наборов обучающих данных: фильтрация данных, оценка качества, стратегии дедупликации и проектирование смесей данных.

• Практический опыт работы с распределенными платформами обучения (DeepSpeed, FSDP, Megatron-LM или Axolotl), включая организацию многоузловых заданий, отладку сбоев и оптимизацию пропускной способности.

• Четкое понимание динамики обучения в масштабе: устранение нестабильности потерь, настройка графиков скорости обучения, управление стабильностью обучения в длительных многоузловых заданиях.

• Эксперт Python и PyTorch с опытом работы с использованием обучающих библиотек (Transformers, DeepSpeed, Accelerate)

• Надежные методы разработки программного обеспечения: контроль версий, тестирование, CI/CD, проверка кода.

Предпочтительная квалификация

• Публиковал исследования на конференциях по машинному обучению (NeurIPS, ICML, ICLR, ACL, EMNLP), выпускал модели Hugging Face, создавал общедоступные тесты или участвовал в проектах с открытым исходным кодом.

• Опыт работы с методами постобучения: RLHF, DPO, GRPO или другими подходами к обучению с подкреплением для согласования и следования инструкциям.

• Опыт оптимизации моделей для получения производственных выводов: квантование, сжатие моделей, дистилляция и платформы обслуживания (vLLM).

• Понимание оптимизации памяти: контрольные точки градиента, обучение смешанной точности (FP16, BF16, FP8), оптимизация ZeRO.

• Опыт создания конвейеров генерации синтетических данных для настройки инструкций или адаптации предметной области.

• Вклад в исследования: публиковал статьи на конференциях по машинному обучению, выпускал модели Hugging Face или создавал тесты, используемые сообществом.

• Вклад в учебные проекты или инструменты LLM с открытым исходным кодом.

Что мы предлагаем

• Высокоэффективные проекты искусственного интеллекта, которые стратегически важны для компании, при непосредственном участии высшего руководства, включая генерального директора.

• Современная инфраструктура: парк графических процессоров H200, огромные собственные наборы данных, доступ к передовым моделям (OpenAI, Anthropic, Google, Together.ai) для оценки и базовых показателей.

• Коллеги-эксперты, которые выпустили лучшие модели Hugging Face, написали статьи в NeurIPS, создали известные тесты и создали несколько промышленных систем искусственного интеллекта…

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/machine-learning-engineer-llms-amsterdam-244530).