Инженер-исследователь – Eval Platform

О Мистрале
Mistral предлагает комплексные решения в области искусственного интеллекта: от передовых моделей до инструментов разработки, приложений и вычислений. Мы сотрудничаем с предприятиями, решающими самые сложные проблемы в таких важных отраслях, как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные системы искусственного интеллекта, которые они могут использовать на своих условиях.
Мы — динамичная, сплоченная команда, увлеченная искусственным интеллектом и его потенциалом преобразования общества. Наш разнообразный персонал процветает в конкурентной среде и стремится внедрять инновации. Наши команды распределены по Европе, Северной Америке, Азии и Ближнему Востоку. Мы креативны, с низким эго и командным духом.

Роль
Оценка — это то, как мы решаем, какие модели, контрольные точки и рецепты будут выпущены. В качестве инженера-исследователя в команде Eval Platform вы будете создавать инфраструктуру, на которую опирается каждая научная группа, чтобы измерять качество модели и делать ее надежной, воспроизводимой и быстрой.
Вам не нужно заранее разрабатывать тесты. Вам действительно нужно заботиться о том, что означает результат, и о том, когда разница между двумя пробегами реальна.

Что ты будешь делать

• Создавайте системы, обеспечивающие воспроизводимость и сопоставимость результатов оценки с течением времени по мере развития моделей, тестов и кода.

• Выполняйте масштабные оценки во всех наших кластерах графических процессоров, от обслуживания модели до оценки.

• Обеспечьте легкий доступ, изучение и доверие к результатам оценки с помощью API и информационных панелей, которые исследователи используют каждый день.

• Выявляйте ошибочные или некорректные оценки до того, как они введут в заблуждение при принятии исследовательских решений.

• Поддержка оценки агентных, многооборотных и инструментальных моделей.

• Тесно сотрудничать с исследователями, чтобы превратить новые потребности в оценке в надежные, общие инструменты.

Что мы ищем

• Степень магистра или доктора компьютерных наук или эквивалентный опыт.

• Более 4 лет создания программного обеспечения промышленного уровня, в идеале крупномасштабных кодовых баз машинного обучения или распределенных систем.

• Превосходный Python и сильные инстинкты проектирования программного обеспечения: тестирование, проверка кода, CI/CD.

• Опыт выполнения рабочих нагрузок на кластерах графических процессоров (Slurm, Kubernetes, Ray или аналогичных).

• Знакомство с выводами и оценкой LLM.

• Продуктовое мышление: исследователи — ваши пользователи.

• Самостоятельность, низкое эго, готовность к сотрудничеству.

Приятно иметь

• Опыт создания или поддержки оценочных систем или эталонов.

• Практический опыт работы с механизмами вывода, такими как vLLM или SGLang.

• Опыт работы с агентными средами или средами RL.

• Статистика для экспериментов: оценка дисперсии, проверка значимости.

• Вклад открытого исходного кода в инструменты машинного обучения.

Что мы предлагаем
Мы предлагаем комплексный пакет льгот, предназначенный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы различаются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, поддержку при переезде, оздоровительные программы, пособия на питание и транспорт, а также другие льготы, зависящие от местоположения.
Для получения самой последней информации о преимуществах, доступных в вашем регионе, посетите нашу страницу «Преимущества» .

Политика конфиденциальности
Ваша конфиденциальность важна для нас. Вы можете узнать больше о том, как мы обрабатываем ваши персональные данные, в нашей Политике конфиденциальности кандидатов.
Найдите больше англоговорящих вакансий во Франции на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/research-engineer-eval-platform-paris-198093).