Інженер прикладних досліджень, оцінка

Про Black Forest Labs
Ми є командою Latent Diffusion, Stable Diffusion і FLUX — основоположними технологіями, які змінили спосіб створення зображень і відео у світі. Наші моделі FLUX є одними з найдосконаліших у світі, і ми тільки починаємо.
Штаб-квартира розташована у Фрайбурзі (Німеччина) і зростає в Сан-Франциско. Ми швидко розширюємося, залишаючись вірними тому, що відрізняє нас від інших: досконалість досліджень, відкрита наука та будівельні технології, які розширюють творчий потенціал людини.

Чому ця роль
Пограничні моделі зображень і відео тепер достатньо хороші, тому складне питання полягає не в тому, чи працюють вони, а в тому, чи дійсно нова краща, і як ви про це знаєте. Естетика, оперативне відстеження, точність редагування, відтворення тексту, узгодженість символів: жодне з них не згортається в одне число, а загальнодоступні тести значно відстають від моделей, які вони мають вимірювати.
Ви попрацюєте над системою, яку використовує BFL, щоб відповісти на це запитання. Кожна контрольна точка FLUX, кожне тонке налаштування та запуск RL, а також кожен випуск конкурента проходить через наш стек оцінки, і ви допоможете створити та вдосконалити його. Дослідження продукту покладається на те, що воно показує, щоб вирішити, що виправити далі, і підтвердити, що виправлення спрацювало.
Звідси стає важче. FLUX 3 — це наша перша мультимодальна модель, яка охоплює зображення, відео, аудіо та дію, і кожна нова модальність потребує власного способу вимірювання.

Над чим ви працюватимете
На чому ви зосередитеся, залежатиме від того, де ви найсильніші та що найбільше потрібно команді, коли ви приєднаєтеся.
В обсязі:

• Створення та підтримка стека оцінювання, через який має пройти кожна контрольна точка моделі та продемонструвати себе в ньому, від автоматизованого порівняльного аналізу та конвеєрів LLM-as-judge до оцінки людьми через панелі (Prolific та інші).

• Розробка широкого спектру оцінок у всій таксономії, від швидкого дотримання, точності редагування, естетики, рендерингу тексту, узгодженості тем і персонажів до безпеки.

• Оцінка самого стека оцінки: перевірка узгодженості людських і автоматичних оцінок, чи результати залишаються стабільними протягом тривалого часу, і покращення їх, якщо вони не збігаються.

• Безперервне порівняння FLUX із передовими моделями, отримуючи значущу перспективу того, де ми кращі чи гірші за конкурентів, і що такі відмінності насправді означають.

• Пошук способів, за допомогою яких якість результату моделі не враховується сукупними цифрами.

• Замикання циклу, в ідеалі, з дослідниками RL і точного налаштування шляхом визначення цільових показників, до яких вони повинні прагнути, і перевірки того, що нова контрольна точка покращує слабкі місця без введення нових.

• Розробка того, як найкраще використовувати сигнали, які ми вже фіксуємо за допомогою API і MCP, і які нові сигнали ми повинні фіксувати, за допомогою досліджень, інженерії даних і юристів.

• Підтримка корисності існуючих показників, оскільки їхній природний життєвий цикл викликає занепокоєння щодо ігор і переобладнання, і передбачення цього для нових показників.

Що ми шукаємо
Ви вже зробили значний внесок в оцінку генеративних моделей. Ви розумієте, що еталонна цифра без ретельного розгляду розміру вибірки та згоди суддів з людьми є в кращому випадку необізнаним оптимізмом, а в гіршому — небезпечно оманливою, і ви були тим, хто знайшов ту незручну регресію, про яку ніхто не хотів говорити.
Ймовірно, у вас є:

• Вчений ступінь (MS/PhD) у відповідній галузі або продемонстрований еквівалентний практичний досвід

• Практичний досвід оцінювання генеративних моделей у практичній формі. Можливо, ви вже працювали з моделями зображень або відео на основі дифузії або зіставлення потоку, але можливість серйозно оцінити їх також переноситься на інші модальності

• Дуже сильні навички Python та розробки програмного забезпечення, з конвеєрами, які працюють надійно та які інші люди можуть читати, якщо потрібно

• Практичні знання PyTorch та сучасної інфраструктури та практик машинного навчання; Ви не є чистим розробником Python, ви знаєте, як виглядає сучасний код ML

• Добре володіти статистикою та її недоліками на практиці, а також як з ними працювати; розміри вибірки, погодження між анотаторами, рівні достовірності тощо, а також здоровий скептицизм щодо того, що ці цифри говорять про світ

• Практичний досвід побудови та експлуатації систем LLM-as-judge та розуміння їх обмежень

• Практичні знання сучасної практики бенчмаркінгу та стандартних наборів даних і бенчмарків у цій галузі; у вас є уявлення про те, кому довіряти, а яким нехтувати

• Схильність дивитися на фактичні результати, які оцінює ваша система, і дбати про те, що є поза сукупним балом

Ми будемо особливо раді, якщо ви:

• Володіти практичним досвідом людського оцінювання, включаючи проектування та виконання дослідження за допомогою панелей, а також аналіз розбіжностей і роботи анотатора

• Ви працювали там, де оцінка зустрічається з навчанням (моделі винагороди, дані про переваги, RLHF, DPO тощо) і знайте, що все, для чого ви оптимізуєте, це те, що вивчає модель

• Ви оцінювали агентські або багатоетапні системи та знаєте, як важко приписати успіх чи невдачу одному кроку

• Створили інструменти, які люди дійсно хочуть використовувати всередині

• Зробили публічний внесок у цю сферу: статті, відкриті коди чи інше

Як ми працюємо разом
Ми розподілена команда з реальними офісами, якими люди фактично користуються. Ця посада знаходиться у Фрайбурзі, де ви приєднуватиметеся до нас принаймні 2 дні на тиждень (або один повний тиждень через тиждень). Щоб це стало можливим, ми покриємо розумні витрати на дорогу. Ми вважаємо, що особистий час має значення, і ми структурували все, щоб зробити його доступним для всіх. Ми обговоримо, як це виглядатиме під час співбесіди.

Усе, що ми робимо, базується на чотирьох цінностях:

• Одержимий. Ми є передовою дослідницькою лабораторією. Наука має бути правильною, розуміння глибоким, продукт красивим...

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)