Инженер прикладных исследований, оценка

О лабораториях Шварцвальда
Мы — команда разработчиков Laten Diffusion, Stable Diffusion и FLUX — основополагающих технологий, которые изменили то, как мир создает изображения и видео. Наши модели FLUX являются одними из самых передовых в мире, и мы только начинаем.
Штаб-квартира компании находится во Фрайбурге (Германия), а присутствие в Сан-Франциско расширяется. Мы быстро масштабируемся, оставаясь верными тому, что отличает нас от других: передовым исследованиям, открытой науке и строительным технологиям, расширяющим творческий потенциал человека.

Почему эта роль
Передовые модели изображений и видео теперь достаточно хороши, и трудный вопрос больше не в том, работают ли они, а в том, действительно ли новая модель лучше и как это узнать. Эстетика, следование подсказкам, точность редактирования, рендеринг текста, согласованность символов: ничто из этого не сводится к одному числу, а общедоступные тесты сильно отстают от моделей, которые они призваны измерять.
Вы будете работать над системой, которую BFL использует, чтобы ответить на этот вопрос. Каждая контрольная точка FLUX, каждая тонкая настройка и запуск RL, а также каждый выпуск конкурентов проходят через наш стек оценок, и вы поможете его создать и усовершенствовать. Исследование продукта опирается на полученные данные, чтобы решить, что исправлять дальше, и подтвердить, что исправление сработало.
Дальше становится сложнее. FLUX 3 — наша первая мультимодальная модель, охватывающая изображение, видео, звук и действие, и каждая новая модальность нуждается в своем собственном способе измерения.

Над чем вы будете работать
То, на чем вы сосредоточитесь, будет зависеть от того, в чем вы сильнее всего и что больше всего нужно команде, когда вы присоединитесь.
В объеме:

• Создание и поддержание набора оценок, через который должна пройти каждая контрольная точка модели и доказать свою эффективность: от автоматизированного сравнительного анализа и конвейеров LLM в качестве судьи до оценки человеком через группы (Prolific и другие).

• Разработка широты оценки по всей таксономии: от быстрого соблюдения правил, точности редактирования, эстетики, рендеринга текста, согласованности тем и символов до безопасности.

• Оценка самого набора оценок: проверка того, что результаты человеческой и автоматизированной оценки совпадают, что результаты остаются стабильными с течением времени, и их улучшение, если это не так.

• Постоянно сравнивать FLUX с передовыми моделями, получая при этом значимое представление о том, где мы лучше или хуже конкурентов и что на самом деле означают такие различия.

• Выявление причин, по которым качество результатов модели оказывается неудовлетворительным и которые не отражаются совокупными показателями.

• Замыкание цикла, в идеале, с помощью RL и точной настройки исследователей путем определения целевых показателей, к которым они будут стремиться, и проверки того, что новая контрольная точка устранила слабое место, не вводя новых.

• Разработка того, как лучше всего использовать сигналы, которые мы уже фиксируем с помощью API и MCP, и какие новые сигналы нам следует фиксировать, с помощью исследований, обработки данных и юридических аспектов.

• Сохранение полезности существующих показателей в течение их естественного жизненного цикла вызывает проблемы, связанные с игрой и переоснащением, и ожидание этого для новых показателей.

Что мы ищем
Вы уже внесли значимый вклад в оценку генеративных моделей. Вы понимаете, что эталонная цифра без тщательного учета размера выборки и согласия судей с людьми — это в лучшем случае неосведомленный оптимизм, а в худшем — опасное заблуждение, и именно вы обнаружили ту неудобную регрессию, о которой никто не хотел говорить.
Вероятно, у вас есть:

• Ученая степень (MS/PhD) в соответствующей области или продемонстрированный эквивалентный практический опыт.

• Практический опыт оценки генеративных моделей на практике. Возможно, вы уже работали с моделями изображений или видео, основанными на диффузии или сопоставлении потоков, но способность серьезно оценивать их переносится и на другие модальности.

• Очень сильные навыки Python и разработки программного обеспечения, конвейеры работают надежно и которые при необходимости могут прочитать другие люди.

• Практические знания PyTorch и современной инфраструктуры и методов машинного обучения; вы не чистый Python-разработчик, вы знаете, как выглядит современный ML-код

• Четкое понимание статистики и ее недостатков на практике, а также того, как с ними работать; размеры выборки, соглашение между аннотаторами, уровни достоверности и т. д., а также здоровый скептицизм в отношении того, что эти цифры говорят о мире.

• Практический опыт создания и эксплуатации систем LLM в качестве судьи и понимание их ограничений.

• Практические знания современных практик бенчмаркинга, а также стандартных наборов данных и эталонов, уже существующих в этой области; у вас есть представление, чему доверять, а чему игнорировать

• Склонность смотреть на фактические результаты, которые оценивает ваша система, и обращать внимание на то, что находится за пределами совокупного балла.

Мы будем особенно рады, если вы:

• Иметь практический опыт оценки человеком, включая разработку и проведение исследования с помощью групп, а также анализ разногласий и работу аннотаторов.

• Работали там, где оценка соответствует обучению (модели вознаграждения, данные о предпочтениях, RLHF, DPO и т. п.) и знали, что все, для чего вы оптимизируете, — это то, чему обучается модель.

• Оценивали агентные или многоэтапные системы и знаем, насколько сложно приписать успех или неудачу одному шагу.

• Создали инструменты, которые люди действительно хотят использовать внутри компании.

• Сделали публичный вклад в эту область: статьи, материалы с открытым исходным кодом или иным образом.

Как мы работаем вместе
Мы — распределенная команда с реальными офисами, которыми люди действительно пользуются. Эта должность находится во Фрайбурге, где вы будете присоединяться к нам как минимум 2 дня в неделю (или одну полную неделю раз в две недели). Чтобы сделать это возможным, мы покроем разумные транспортные расходы. Мы считаем, что личное время имеет значение, и мы структурировали его так, чтобы сделать его доступным для всех. Мы обсудим, как это будет выглядеть, во время нашего собеседования.

Все, что мы делаем, основано на четырех ценностях:

• Одержим. Мы передовая исследовательская лаборатория. Наука должна быть правильной, понимание глубоким, продукт красивым.…

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)