Ingénieur de Recherche Appliquée, Évaluation

À propos des laboratoires de la Forêt-Noire
Nous sommes l'équipe derrière Latent Diffusion, Stable Diffusion et FLUX, des technologies fondamentales qui ont changé la façon dont le monde crée des images et des vidéos. Nos modèles FLUX sont parmi les plus avancés au monde, et nous ne faisons que commencer.
Basés à Fribourg, en Allemagne, avec une présence croissante à San Francisco, nous évoluons rapidement tout en restant fidèles à ce qui nous différencie : l'excellence en recherche, la science ouverte et la création de technologies qui développent la créativité humaine.

Pourquoi ce rôle
Les modèles d'image et de vidéo Frontier sont désormais suffisamment performants pour que la question difficile n'est plus de savoir s'ils fonctionnent, mais si un nouveau modèle est réellement meilleur et comment le savoir. Esthétique, suivi rapide, fidélité de l'édition, rendu du texte, cohérence des caractères : aucun de ces éléments ne se réduit à un seul chiffre, et les références publiques sont bien en retard par rapport aux modèles qu'ils sont censés mesurer.
Vous travaillerez sur le système utilisé par BFL pour répondre à cette question. Chaque point de contrôle FLUX, chaque réglage fin et exécution RL, et chaque version concurrente passe par notre pile d'évaluation, et vous aiderez à la construire et à l'affiner. La recherche produit s'appuie sur ce qu'elle montre pour décider quoi corriger ensuite et pour confirmer que le correctif a fonctionné.
Cela devient plus difficile à partir d'ici. FLUX 3 est notre premier modèle multimodal, couvrant l'image, la vidéo, l'audio et l'action, et chaque nouvelle modalité a besoin de sa propre façon d'être mesurée.

Ce sur quoi vous travaillerez
Ce sur quoi vous vous concentrerez dépendra de l'endroit où vous êtes le plus fort et de ce dont l'équipe a le plus besoin lorsque vous la rejoignez.
Dans le champ d'application :

• Construire et maintenir la pile d'évaluation que chaque point de contrôle de modèle doit traverser et faire ses preuves, depuis l'analyse comparative automatisée et les pipelines LLM-as-juge, jusqu'à l'évaluation humaine via des panels (Prolific et autres).

• Concevoir l'étendue de l'évaluation à travers la taxonomie, depuis l'adhésion rapide, la fidélité de l'édition, l'esthétique, le rendu du texte, la cohérence du sujet et des personnages, jusqu'à la sécurité.

• Évaluer la pile d'évaluation elle-même : vérifier que les évaluations humaines et automatisées concordent, que les résultats restent stables dans le temps et les améliorer lorsqu'ils ne le sont pas.

• Comparer continuellement FLUX aux modèles frontières, tout en obtenant une perspective significative sur les points où nous sommes meilleurs ou pires que nos concurrents et ce que ces différences signifient réellement.

• Trouver les raisons pour lesquelles la qualité des résultats du modèle est insuffisante et qui ne sont pas reflétées dans les chiffres globaux.

• Idéalement, boucler la boucle avec le RL et peaufiner les chercheurs, en définissant des mesures cibles qu'ils doivent viser et en vérifiant qu'un nouveau point de contrôle a amélioré la faiblesse sans en introduire de nouvelles.

• Concevoir la meilleure façon d'exploiter les signaux que nous captons déjà via l'API et le MCP, et quels nouveaux signaux nous devrions capturer, avec l'aide de la recherche, de l'ingénierie des données et du juridique.

• Maintenir l'utilité des métriques existantes alors que leur cycle de vie naturel soulève des problèmes de jeu et de surapprentissage, et anticiper cela pour les nouvelles métriques.

Ce que nous recherchons
Vous avez déjà apporté des contributions significatives à l’évaluation des modèles génératifs. Vous comprenez qu’un chiffre de référence sans un examen attentif de la taille de l’échantillon et sans un accord avec les humains est au mieux un optimisme mal informé et au pire dangereusement trompeur, et vous avez été la personne qui a découvert cette régression gênante dont personne ne voulait parler.
Vous avez probablement :

• Diplôme d'études supérieures (MS/PhD) dans un domaine pertinent ou expérience pratique équivalente démontrée

• Expérience pratique de l'évaluation de modèles génératifs, de manière pratique. Vous avez peut-être déjà travaillé avec des modèles d'images ou de vidéos basés sur la diffusion ou la correspondance de flux, mais la capacité de les évaluer sérieusement est également transférée à d'autres modalités.

• Très solides compétences en Python et en génie logiciel, avec des pipelines qui fonctionnent de manière fiable et que d'autres personnes peuvent lire si nécessaire

• Connaissance pratique de PyTorch et de l'infrastructure et des pratiques modernes de ML ; vous n'êtes pas un pur développeur Python, vous savez à quoi ressemble le code ML moderne

• Bonne maîtrise des statistiques et de leurs lacunes dans la pratique, et de la manière de travailler avec celles-ci ; tailles d'échantillon, accord entre annotateurs, niveaux de confiance, etc., et un scepticisme sain quant à ce que ces chiffres disent sur le monde

• Expérience pratique dans la création et l'exploitation de systèmes LLM-as-juge et dans la compréhension de leurs limites.

• Connaissance pratique des pratiques modernes d'analyse comparative et des ensembles de données et références standard déjà disponibles dans le domaine ; vous avez une idée à laquelle faire confiance et à laquelle ignorer

• La tendance à examiner les résultats réels que votre système juge et à se soucier de ce qui existe au-delà d'un score global.

Nous serions particulièrement heureux si vous :

• Avoir une expérience pratique de l'évaluation humaine, y compris la conception et l'exécution d'études via des panels, ainsi que l'analyse des désaccords et des performances des annotateurs.

• Avoir travaillé là où l'évaluation rencontre la formation (modèles de récompense, données de préférences, RLHF, DPO ou similaire) et sachez que ce que vous optimisez est ce que le modèle apprend.

• Avoir évalué des systèmes agents ou multi-étapes et savoir à quel point il est difficile d'attribuer le succès ou l'échec à une seule étape

• Avoir construit des outils que les gens souhaitent réellement utiliser en interne

• Avoir apporté des contributions publiques dans le domaine : articles, open source ou autre

Comment nous travaillons ensemble
Nous sommes une équipe distribuée avec de vrais bureaux que les gens utilisent réellement. Ce poste est basé à Fribourg, où vous nous rejoindrez au moins 2 jours par semaine (ou une semaine complète toutes les deux semaines). Nous couvrirons les frais de déplacement raisonnables pour rendre cela possible. Nous pensons que le temps passé en personne est important et nous avons structuré les choses pour le rendre accessible à tous. Nous discuterons de ce à quoi cela ressemblera au cours de notre processus d’entretien.

Tout ce que nous faisons est fondé sur quatre valeurs :

• Obsédé. Nous sommes un laboratoire de recherche frontalière. La science doit être juste, la compréhension profonde, le produit beau.…

Source : Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)