Инженер-оценщик, прикладной искусственный интеллект

О Мистрале
Mistral предлагает комплексные решения в области искусственного интеллекта: от передовых моделей до инструментов разработки, приложений и вычислений. Мы сотрудничаем с предприятиями, решающими самые сложные проблемы в таких важных отраслях, как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные системы искусственного интеллекта, которые они могут использовать на своих условиях.
Мы — динамичная, сплоченная команда, увлеченная искусственным интеллектом и его потенциалом преобразования общества. Наш разнообразный персонал процветает в конкурентной среде и стремится внедрять инновации. Наши команды распределены по Европе, Северной Америке, Азии и Ближнему Востоку. Мы креативны, с низким эго и командным духом.

Роль
В качестве инженера по оценке в команде прикладного ИИ вы будете определять, как корпоративные клиенты оценивают решения ИИ и доверяют им. Вы будете тесно сотрудничать с клиентами и внутренними заинтересованными сторонами для создания систем оценки, которые определяют, когда модель ИИ готова к реальному воздействию на бизнес. Миссия команды — обеспечить, чтобы каждый проект — каким бы амбициозным он ни был — переходил от идеи к производству с ясностью и ответственностью. Ваша работа будет находиться на стыке исследований, разработок и решений, напрямую влияя на то, как модели улучшаются и применяются в различных областях.

Что ты будешь делать

• Разрабатывать и внедрять комплексные платформы для оценки производительности модели большого языка (LLM) в различных сценариях использования клиентами.

• Создавать и поддерживать масштабируемую инфраструктуру и конвейеры оценки для быстрой и воспроизводимой оценки.

• Разработать новые методы оценки отраслевых или новых возможностей моделей.

• Сотрудничать с клиентами для создания индивидуальных пакетов оценки, соответствующих их уникальным потребностям и критериям.

• Сотрудничайте с исследовательскими группами, чтобы превратить результаты оценки в практические улучшения моделей.

• Работайте с группами разработчиков над совершенствованием инструментов оценки на основе отзывов пользователей.

• Определить и сообщить четкие показатели успеха для готовых к производству моделей ИИ.

Что мы ищем

• Не менее 3 лет опыта оценки ML, LLM или агентных систем.

• Подтвержденный опыт внедрения продуктов искусственного интеллекта или машинного обучения, особенно с API или серверными системами.

• Хорошие навыки программирования на Python.

• Глубокое понимание концепций и алгоритмов машинного обучения, особенно в том, что касается LLM.

• Опыт четкого изложения технических тем как технической, так и нетехнической аудитории.

• Знакомство со системами оценки, такими как LM Eval Harness или OpenAI Evals, или участие в соответствующих проектах с открытым исходным кодом.

• Опыт работы с библиотеками машинного обучения (например, PyTorch, HuggingFace Transformers)

• Способный к сотрудничеству, прямой коммуникатор, который ценит результаты и командную работу с низким эго.

Что мы предлагаем
Мы предлагаем комплексный пакет льгот, предназначенный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы различаются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, поддержку при переезде, оздоровительные программы, пособия на питание и транспорт, а также другие льготы, зависящие от местоположения.
Для получения самой последней информации о преимуществах, доступных в вашем регионе, посетите нашу страницу «Преимущества» .

Политика конфиденциальности
Ваша конфиденциальность важна для нас. Вы можете узнать больше о том, как мы обрабатываем ваши персональные данные, в нашей Политике конфиденциальности кандидатов.
Найдите больше англоговорящих вакансий во Франции на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/mistralai/evaluation-engineer-applied-ai-paris-96814).