Інженер-дослідник - Eval Platform

Про Містраль
Mistral надає комплексні рішення ШІ: від передових моделей до інструментів розробника, додатків і обчислень. Ми співпрацюємо з підприємствами, які вирішують найскладніші проблеми в галузях із високими ставками, як-от фінанси, виробництво, оборона, охорона здоров’я та державний сектор, спільно створюючи індивідуальні системи штучного інтелекту, які вони можуть використовувати на своїх умовах.
Ми — динамічна команда, яка співпрацює, захоплюючись ШІ та його потенціалом для трансформації суспільства. Наша різноманітна робоча сила процвітає в конкурентному середовищі та прагне просувати інновації. Наші команди розподілені по Європі, Північній Америці, Азії та Близькому Сходу. Ми творчі, стримані та командні.

Роль
Оцінка – це те, як ми вирішуємо, які моделі, контрольні точки та рецепти відправляємо. Як інженер-дослідник у команді Eval Platform ви побудуєте інфраструктуру, на яку покладається кожна наукова група для вимірювання якості моделі, і зробите її надійною, відтворюваною та швидкою.
Вам не потрібно розробляти контрольні показники раніше. Ви повинні дбати про те, що означає рахунок, і про те, коли різниця між двома пробіжками є реальною.

Що ви будете робити

• Створюйте системи, які забезпечують відтворюваність і порівняльність результатів оцінювання з часом у міру розвитку моделей, тестів і коду.

• Виконуйте оцінки в масштабі наших кластерів GPU, від обслуговування моделі до оцінювання.

• Зробіть доступ до результатів оцінки простим, досліджуйте та довіряйте їм за допомогою API та інформаційних панелей, якими дослідники користуються щодня.

• Виловлюйте несправні або шумні оцінки, перш ніж вони введуть в оману дослідницькі рішення.

• Підтримка оцінки агентних, багатоповоротних і інструментальних моделей.

• Тісно співпрацюйте з дослідниками, щоб перетворити нові потреби в оцінюванні в надійний спільний інструментарій.

Те, що ми шукаємо

• Ступінь магістра чи доктора філософії з комп’ютерних наук або еквівалентний досвід.

• 4+ роки створення програмного забезпечення виробничого класу, в ідеалі великомасштабних баз коду ML або розподілених систем.

• Відмінний Python і сильні інстинкти розробки програмного забезпечення: тестування, перевірка коду, CI/CD.

• Досвід виконання робочих навантажень на кластерах GPU (Slurm, Kubernetes, Ray або подібні).

• Знайомство з висновками та оцінкою LLM.

• Мислення про продукт: дослідники – це ваші користувачі.

• Самопочатковий, низький его, співпрацюючий.

Приємно мати

• Досвід побудови або підтримки систем оцінки або контрольних показників.

• Практичний досвід роботи з механізмами логічного висновку, такими як vLLM або SGLang.

• Досвід роботи з агентським середовищем або середовищем RL.

• Статистика для експериментів: оцінка дисперсії, перевірка значущості.

• Внески з відкритим вихідним кодом в інструменти ММ.

Що ми пропонуємо
Ми пропонуємо комплексний пакет переваг, розроблений для підтримки вашого добробуту, розвитку та балансу між роботою та особистим життям. Пільги залежать від країни та можуть включати медичне страхування, відпустку по догляду за дитиною, пенсійні плани, підтримку при переїзді, оздоровчі програми, компенсації на харчування та транспортування та інші пільги, залежні від місця проживання.
Щоб отримати найновішу інформацію про переваги, доступні у вашому регіоні, перегляньте нашу сторінку переваг .

Політика конфіденційності
Ваша конфіденційність важлива для нас. Ви можете дізнатися більше про те, як ми обробляємо ваші персональні дані, у нашій Політиці конфіденційності заявника.
Знайдіть більше англомовних вакансій у Франції на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/research-engineer-eval-platform-paris-198093)