Інженер з оцінки прикладного штучного інтелекту

Про Містраль
Mistral надає комплексні рішення ШІ: від передових моделей до інструментів розробника, додатків і обчислень. Ми співпрацюємо з підприємствами, які вирішують найскладніші проблеми в галузях із високими ставками, як-от фінанси, виробництво, оборона, охорона здоров’я та державний сектор, спільно створюючи індивідуальні системи штучного інтелекту, які вони можуть використовувати на своїх умовах.
Ми — динамічна команда, яка співпрацює, захоплюючись ШІ та його потенціалом для трансформації суспільства. Наша різноманітна робоча сила процвітає в конкурентному середовищі та прагне просувати інновації. Наші команди розподілені по Європі, Північній Америці, Азії та Близькому Сходу. Ми творчі, стримані та командні.

Роль
Як інженер з оцінювання в команді прикладного штучного інтелекту ви будете формувати те, як корпоративні клієнти оцінюють рішення штучного інтелекту та довіряють їм. Ви тісно співпрацюватимете з клієнтами та внутрішніми зацікавленими сторонами, щоб розробити системи оцінювання, які визначають, коли модель AI готова для реального впливу на бізнес. Місія команди полягає в тому, щоб кожен проект, незалежно від того, наскільки він амбітний, рухався від ідеї до виробництва з чіткістю та відповідальністю. Ваша робота буде знаходитися на перетині досліджень, розробки та рішень, безпосередньо впливаючи на те, як моделі вдосконалюються та розгортаються в різних сферах.

Що ви будете робити

• Розробляйте та впроваджуйте комплексні структури для оцінки продуктивності великої мовної моделі (LLM) у різних випадках використання клієнтами

• Створіть і підтримуйте масштабовану інфраструктуру оцінювання та конвеєри для швидкого, відтворюваного оцінювання

• Розробка нових методів оцінки можливостей, що стосуються конкретного сектора або нових моделей

• Співпрацюйте з клієнтами, щоб створити індивідуальні пакети оцінок, які відповідають їхнім унікальним потребам і критеріям

• Співпрацюйте з дослідницькими групами, щоб перетворити розуміння оцінки на дієві вдосконалення моделі

• Співпрацюйте з командами продуктів для вдосконалення інструментів оцінки на основі відгуків користувачів

• Визначайте та повідомляйте чіткі показники успіху для «готових до виробництва» моделей ШІ

Що ми шукаємо

• Принаймні 3 роки досвіду оцінювання ML, LLM або агентських систем

• Перевірений досвід впровадження штучного інтелекту або продуктів машинного навчання, особливо з API або внутрішніми системами

• Сильні навички програмування Python

• Глибоке розуміння концепцій і алгоритмів машинного навчання, особливо, що стосується LLM

• Досвід чіткого донесення технічних тем до технічної та нетехнічної аудиторії

• Знайомство зі системами оцінювання, такими як LM Eval Harness або OpenAI Evals, або внесок у відповідні проекти з відкритим кодом

• Досвід роботи з бібліотеками ML (наприклад, PyTorch, HuggingFace Transformers)

• Співпрацівник, прямий комунікатор, який цінує результати та командну роботу з низьким егоїзмом

Що ми пропонуємо
Ми пропонуємо комплексний пакет переваг, розроблений для підтримки вашого добробуту, розвитку та балансу між роботою та особистим життям. Пільги залежать від країни та можуть включати медичне страхування, відпустку по догляду за дитиною, пенсійні плани, підтримку при переїзді, оздоровчі програми, компенсації на харчування та транспортування та інші пільги, залежні від місця проживання.
Щоб отримати найновішу інформацію про переваги, доступні у вашому регіоні, перегляньте нашу сторінку переваг .

Політика конфіденційності
Ваша конфіденційність важлива для нас. Ви можете дізнатися більше про те, як ми обробляємо ваші персональні дані, у нашій Політиці конфіденційності заявника.
Знайдіть більше англомовних вакансій у Франції на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/evaluation-engineer-applied-ai-paris-96814)