Senior Machine Learning Engineer – LLMs

Хто ми
Ви замовили вечерю через Just Eat Takeaway. Ви купували та продавали на OLX. Ви заплатили за допомогою PayU. Швидше за все, ви вже користувалися послугами компанії Prosus сьогодні.
Ми є Prosus, глобальною технологічною компанією, яка підтримує деякі з провідних світових компаній електронної комерції. Щодня мільярди людей по всій Індії, Латинській Америці, Європі та за її межами користуються нашими продуктами та послугами, щоб купувати, продавати, платити, підключатися та відкривати.
Наша екосистема, керована штучним інтелектом, охоплює понад 100 компаній, що займаються електронною комерцією, доставкою їжі, фінтехнологіями та досвідом, обслуговуючи мільярди споживачів у всьому світі. AI забезпечує те, як ми працюємо та впроваджуємо інновації, завдяки більш ніж 60 000 активних агентів AI, які допомагають нашим командам будувати, масштабувати та рухатися швидше. Через нашу інвестиційну команду ми також підтримуємо засновників і технології, які формують майбутнє: від робототехніки та автономних систем до синтетичної біології та передового ШІ.
Керуючись нашими п’ятьма цінностями: інновації, результати, люди, вплив і підприємливість, культура є нашою конкурентною перевагою. Ми процвітаємо завдяки експериментуванню; ми будуємо, ми тестуємо, ми вчимося, ми повторюємо.
Приєднуйтесь до нас у формуванні майбутнього технологій у глобальному масштабі.
Кого ми шукаємо
Ми шукаємо старшого інженера з машинного навчання, щоб навчати предметно-спеціальні мовні моделі та забезпечувати технічне керівництво командою. Ви будете володіти критично важливими частинами нашої навчальної інфраструктури, наставляти інженерів і приймати технічні рішення від підготовки даних до розгортання виробництва. Ви маєте глибокий практичний досвід навчання мовним моделям у масштабі, подаєте приклад завдяки ретельним експериментам і високоякісному коду, і вас надихає те, що ваша робота розгортається для мільйонів користувачів. Ви досягаєте успіху в динамічному середовищі, де ви балансуєте між технічною глибиною та практичним впливом на бізнес.
Що ви будете робити

• Аналізуйте продуктивність моделі та навчальні дані, формулюйте гіпотези, плануйте та проводите суворі експерименти для систематичного покращення якості моделі, ефективності навчання та логічного висновку, а також виконання подальших завдань

• Сприяти прийняттю технічних рішень щодо архітектури моделі, стратегій навчання та вибору інфраструктури

• Забезпечуйте технічне керівництво та наставництво для інженерів і стажерів ML, проводячи перевірки коду, обмінюючись найкращими практиками та прискорюючи зростання команди

• Навчання великих мовних моделей шляхом постійного попереднього навчання та повного налаштування параметрів на власних наборах даних

• Створюйте та оптимізуйте розподілену навчальну інфраструктуру в багатовузлових кластерах GPU за допомогою таких інфраструктур, як DeepSpeed, FSDP, Megatron-LM або Axolotl

• Власна широкомасштабна підготовка даних: фільтрація, оцінка якості, дедуплікація та стратегії змішування даних для навчальних корпусів у масштабі 100 B+ токенів

• Створюйте та керуйте високоякісними синтетичними даними для точного налаштування інструкцій і покращення можливостей

• Вирішуйте проблеми зі стабільністю навчання, оптимізуйте навчання та пропускну здатність логічного висновку (квантування, дистиляція, оптимізація обслуговування), а також відстежуйте продуктивність моделі протягом довгострокових розподілених завдань

• Створіть надійні системи оцінки та встановіть показники для вимірювання якості моделі та прийняття рішень

• Напишіть виробничий, добре перевірений код і встановіть інженерні стандарти для команди

Мінімальна кваліфікація

• 7+ років досвіду розробки ML

• Досвід технічного лідерства: наставництво інженерів, проведення аналізів коду, прийняття рішень щодо архітектури та реалізація проектів із вимірним бізнес-впливом

• Перевірений досвід навчання та розгортання мовних моделей у виробництві (вбудованих моделей, моделей кодувальників або великих мовних моделей), включаючи попереднє навчання, безперервне попереднє навчання або тонке налаштування з ретельним оцінюванням і оптимізацією висновків

• Досвід підготовки великомасштабних навчальних наборів даних: фільтрація даних, оцінка якості, стратегії дедуплікації та дизайн суміші даних

• Практичний досвід роботи з розподіленими навчальними платформами (DeepSpeed, FSDP, Megatron-LM або Axolotl), включаючи оркестрування багатовузлових завдань, налагодження збоїв і оптимізацію пропускної здатності

• Чітке розуміння динаміки навчання в масштабі: налагодження нестабільності втрат, налаштування графіків швидкості навчання, керування стабільністю навчання в тривалих роботах із кількома вузлами

• Експерт із Python і PyTorch із досвідом виробництва з використанням навчальних бібліотек (Transformers, DeepSpeed, Accelerate)

Бажані кваліфікації

• Публікували дослідження на конференціях МЛ (NeurIPS, ICML, ICLR, ACL, EMNLP), випускали моделі на Hugging Face, створювали публічні тести або брали участь у проектах з відкритим кодом

• Досвід роботи з методами після навчання: RLHF, DPO, GRPO або іншими підходами до навчання з підкріпленням для узгодження та виконання інструкцій

• Досвід оптимізації моделей для виробничого висновку, включаючи квантування, стиснення моделі, дистиляцію та структуру обслуговування (vLLM, TensorRT-LLM)

• Розуміння оптимізації пам’яті: контрольні точки градієнта, навчання змішаної точності (FP16, BF16, FP8), оптимізація ZeRO

• Глибоке знання архітектур GPU (A100, H100, H200) та їх наслідків для навчання та оптимізації висновків

• Досвід створення конвеєрів генерації синтетичних даних для налаштування інструкцій або адаптації домену

Що ми пропонуємо

• Високоефективні проекти штучного інтелекту, які є стратегічно життєво важливими для компанії, з безпосереднім залученням вищого керівництва, включаючи генерального директора

• Найсучасніша інфраструктура: парк графічних процесорів H200, масивні власні набори даних, доступ до передових моделей (OpenAI, Anthropic, Google, Together.ai) для оцінки та базових показників

• Колеги-експерти, які випустили найпопулярніші моделі Hugging Face, автори статей у NeurIPS, створили добре відомі тести та створили кілька робочих систем ШІ

• Значна автономія та свобода тестування ідей, експериментування з новими підходами та прийняття технічних рішень

• Сучасний інструментарій: новітні фреймворки ML, помічники кодування, найкраще в своєму класі середовище розробки…

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/senior-machine-learning-engineer-llms-amsterdam-22288)