Інженер машинного навчання - LLMs

Хто ми
Ви замовили вечерю через Just Eat Takeaway. Ви купували та продавали на OLX. Ви заплатили за допомогою PayU. Швидше за все, ви вже користувалися послугами компанії Prosus сьогодні.
Ми є Prosus, глобальною технологічною компанією, яка підтримує деякі з провідних світових компаній електронної комерції. Щодня мільярди людей по всій Індії, Латинській Америці, Європі та за її межами користуються нашими продуктами та послугами, щоб купувати, продавати, платити, підключатися та відкривати.
Наша екосистема, керована штучним інтелектом, охоплює понад 100 компаній, що займаються електронною комерцією, доставкою їжі, фінтехнологіями та досвідом, обслуговуючи мільярди споживачів у всьому світі. AI забезпечує те, як ми працюємо та впроваджуємо інновації, завдяки більш ніж 60 000 активних агентів AI, які допомагають нашим командам будувати, масштабувати та рухатися швидше. Через нашу інвестиційну команду ми також підтримуємо засновників і технології, які формують майбутнє: від робототехніки та автономних систем до синтетичної біології та передового ШІ.
Керуючись нашими п’ятьма цінностями: інновації, результати, люди, вплив і підприємливість, культура є нашою конкурентною перевагою. Ми процвітаємо завдяки експериментуванню; ми будуємо, ми тестуємо, ми вчимося, ми повторюємо.
Приєднуйтесь до нас у формуванні майбутнього технологій у глобальному масштабі.
Приєднуйтесь до нашої команди зі штучного інтелекту в Prosus, найбільшій споживчій інтернет-компанії в Європі та одному з найбільших технологічних інвесторів у світі. Ви працюватимете в команді, яка сприяє розвитку та інноваціям у всій компанії, і ваша робота безпосередньо впливатиме на те, як мільйони людей роблять покупки в Інтернеті.

Кого ми шукаємо
Ми шукаємо досвідченого інженера з машинного навчання для розробки наших предметно-спеціальних мовних моделей. Ви будете володіти повною системою навчання – від постійного попереднього навчання на власних даних, через тонке налаштування до вдосконалених методів після навчання. Ви маєте практичний досвід навчання мовним моделям у масштабі (від моделей вбудовування до спеціалізованих LLM), глибоке розуміння розподілених систем і відмінні результати в перетворенні дослідницьких концепцій у надійні виробничі системи. Ви отримуєте мотивацію, коли бачите, як вашу роботу розгортають і використовують мільйони реальних користувачів. Ви досягаєте успіху в динамічному середовищі, де ви балансуєте між дослідженнями та практичним впливом на бізнес.

Що ти зробиш

• Аналізуйте продуктивність моделі та навчальні дані, щоб виявити можливості покращення та сформулювати гіпотези для вдосконалення

• Розробляйте, виконуйте та ретельно оцінюйте експерименти для покращення якості моделі, ефективності навчання та виконання наступних завдань

• Навчання великих мовних моделей для нашого домену шляхом постійного попереднього навчання та повного налаштування параметрів на власних наборах даних

• Розробка та реалізація конвеєрів після навчання з використанням RLHF, DPO, GRPO та інших методів навчання з підкріпленням

• Створюйте та оптимізуйте розподілену навчальну інфраструктуру в багатовузлових кластерах GPU за допомогою таких інфраструктур, як DeepSpeed, FSDP, Megatron-LM або Axolotl

• Власна широкомасштабна підготовка даних: фільтрація, оцінка якості, дедуплікація та стратегії змішування даних для навчальних корпусів у масштабі 100 B+ токенів

• Створюйте та керуйте високоякісними синтетичними даними для точного налаштування інструкцій і покращення можливостей

• Вирішуйте проблеми зі стабільністю навчання, оптимізуйте пропускну здатність навчання та відстежуйте продуктивність моделі протягом довгострокових розподілених завдань

• Впровадити методи з останніх статей і адаптувати їх до наших випадків використання

• Створіть надійні системи оцінювання для вимірювання якості моделі та прийняття рішень щодо навчання

• Пишіть виробничий, добре перевірений код і сприяйте стандартам командного проектування

Мінімальна кваліфікація

• 3+ роки досвіду розробки ML

• Досвідчений досвід навчання та розгортання мовних моделей у виробництві (вбудованих моделей, моделей кодувальників або великих мовних моделей), включаючи попереднє навчання, продовження попереднього навчання або тонке налаштування з суворим оцінюванням

• Досвід підготовки великомасштабних навчальних наборів даних: фільтрація даних, оцінка якості, стратегії дедуплікації та дизайн суміші даних

• Практичний досвід роботи з розподіленими навчальними платформами (DeepSpeed, FSDP, Megatron-LM або Axolotl), включаючи оркестрування багатовузлових завдань, налагодження збоїв і оптимізацію пропускної здатності

• Чітке розуміння динаміки навчання в масштабі: налагодження нестабільності втрат, налаштування графіків швидкості навчання, керування стабільністю навчання в тривалих роботах із кількома вузлами

• Експерт із Python і PyTorch із досвідом роботи з навчальними бібліотеками (Transformers, DeepSpeed, Accelerate)

• Сувора практика розробки програмного забезпечення: контроль версій, тестування, CI/CD, перевірка коду

Бажані кваліфікації

• Публікували дослідження на конференціях МЛ (NeurIPS, ICML, ICLR, ACL, EMNLP), випускали моделі на Hugging Face, створювали публічні тести або брали участь у проектах з відкритим кодом

• Досвід роботи з методами після навчання: RLHF, DPO, GRPO або іншими підходами до навчання з підкріпленням для узгодження та виконання інструкцій

• Досвід оптимізації моделей для висновків про виробництво: квантування, стиснення моделі, дистиляція та інфраструктури обслуговування (vLLM)

• Розуміння оптимізації пам’яті: контрольні точки градієнта, навчання змішаної точності (FP16, BF16, FP8), оптимізація ZeRO

• Досвід створення конвеєрів генерації синтетичних даних для налаштування інструкцій або адаптації домену

• Дослідницькі внески: опубліковані статті на конференціях МЛ, опубліковані моделі на Hugging Face або створені тести, які використовуються спільнотою

• Внесок у навчальні проекти або інструменти LLM з відкритим кодом

Що ми пропонуємо

• Високоефективні проекти штучного інтелекту, які є стратегічно життєво важливими для компанії, з безпосереднім залученням вищого керівництва, включаючи генерального директора

• Найсучасніша інфраструктура: парк графічних процесорів H200, масивні власні набори даних, доступ до передових моделей (OpenAI, Anthropic, Google, Together.ai) для оцінки та базових показників

• Колеги-експерти, які випустили найпопулярніші моделі Hugging Face, автори статей у NeurIPS, створили добре відомі тести та створили кілька робочих систем ШІ…

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/machine-learning-engineer-llms-amsterdam-244530)