Ingenieur für angewandte Forschung, Evaluierung

Über Black Forest Labs
Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegenden Technologien, die die Art und Weise verändert haben, wie die Welt Bilder und Videos erstellt. Unsere FLUX-Modelle gehören zu den fortschrittlichsten der Welt und wir fangen gerade erst an.
Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco skalieren wir schnell und bleiben dabei dem treu, was uns auszeichnet: Spitzenforschung, offene Wissenschaft und Gebäudetechnologie, die die menschliche Kreativität erweitert.

Warum diese Rolle
Die Bild- und Videomodelle von Frontier sind mittlerweile so gut, dass die schwierige Frage nicht mehr lautet, ob sie funktionieren, sondern ob ein neues Modell tatsächlich besser ist und woher man das weiß. Ästhetik, schnelles Folgen, Wiedergabetreue, Textwiedergabe, Zeichenkonsistenz: Nichts davon lässt sich in einer einzigen Zahl zusammenfassen, und öffentliche Benchmarks sind deutlich hinter den Modellen zurückgeblieben, die sie messen sollten.
Sie arbeiten an dem System, das BFL zur Beantwortung dieser Frage verwendet. Jeder FLUX-Checkpoint, jede Feinabstimmung und jeder RL-Lauf sowie jede Mitbewerberversion durchläuft unseren Bewertungsstapel, und Sie helfen beim Aufbau und der Verbesserung. Die Produktforschung verlässt sich auf die Ergebnisse, um zu entscheiden, was als Nächstes behoben werden soll, und um zu bestätigen, dass die Fehlerbehebung funktioniert hat.
Von hier aus wird es schwieriger. FLUX 3 ist unser erstes multimodales Modell, das Bild, Video, Audio und Aktion umfasst, und jede neue Modalität benötigt ihre eigene Art der Messung.

Woran Sie arbeiten werden
Worauf Sie sich konzentrieren, hängt davon ab, wo Sie am stärksten sind und was das Team bei Ihrem Beitritt am meisten braucht.
Im Umfang:

• Aufbau und Pflege des Bewertungsstapels, den jeder Modellkontrollpunkt durchlaufen und an dem er sich beweisen muss, vom automatisierten Benchmarking und LLM-as-Judge-Pipelines bis hin zur menschlichen Bewertung durch Gremien (prolific und anders).

• Gestaltung der Breite der Bewertung in der gesamten Taxonomie, von der sofortigen Einhaltung, Bearbeitungstreue, Ästhetik, Textwiedergabe, Themen- und Zeichenkonsistenz bis hin zur Sicherheit.

• Evaluierung des Evaluierungsstapels selbst: Überprüfung, ob menschliche und automatisierte Evaluierungen übereinstimmen, ob die Ergebnisse über die Zeit stabil bleiben, und Verbesserung, wenn dies nicht der Fall ist.

• Kontinuierliches Benchmarking von FLUX mit den Grenzmodellen, um gleichzeitig eine aussagekräftige Perspektive darüber zu erhalten, wo wir besser oder schlechter als die Konkurrenz sind und was solche Unterschiede wirklich bedeuten.

• Finden von Möglichkeiten, bei denen die Qualität der Modellausgabe unzureichend ist und die nicht durch aggregierte Zahlen erfasst werden.

• Idealerweise den Kreis mit den RL- und Feinabstimmungsforschern schließen, indem Zielmetriken definiert werden, die sie anstreben sollen, und überprüft wird, ob ein neuer Kontrollpunkt die Schwachstelle verbessert, ohne neue einzuführen.

• Entwerfen, wie wir die Signale, die wir bereits über die API und das MCP erfassen, am besten nutzen können und welche neuen Signale wir erfassen sollten, mit Hilfe von Forschung, Datentechnik und Rechtsabteilung.

• Beibehaltung der Nützlichkeit vorhandener Metriken, da ihr natürlicher Lebenszyklus Bedenken hinsichtlich Spiel und Überanpassung aufwirft, und Vorwegnahme dieser Tatsache für neue Metriken.

Was wir suchen
Sie haben bereits bedeutende Beiträge zur Evaluierung generativer Modelle geleistet. Sie verstehen, dass eine Benchmark-Zahl ohne sorgfältige Berücksichtigung der Stichprobengröße und der Übereinstimmung der Richter mit Menschen im besten Fall uninformierter Optimismus und im schlimmsten Fall gefährlich irreführend ist, und Sie waren die Person, die diese unbequeme Regression festgestellt hat, über die niemand sprechen wollte.
Sie haben wahrscheinlich:

• Fortgeschrittener Abschluss (MS/PhD) in einem relevanten Bereich oder nachgewiesene gleichwertige praktische Erfahrung

• Praktische Erfahrung mit der praktischen Bewertung generativer Modelle. Möglicherweise haben Sie bereits mit auf Diffusion oder Flow-Matching basierenden Bild- oder Videomodellen gearbeitet, aber die Fähigkeit, diese ernsthaft auszuwerten, lässt sich auch auf andere Modalitäten übertragen

• Sehr gute Python- und Software-Engineering-Kenntnisse, mit Pipelines, die zuverlässig laufen und die bei Bedarf von anderen Leuten gelesen werden können

• Praktische Kenntnisse von PyTorch und moderner ML-Infrastruktur und -Praktiken; Sie sind kein reiner Python-Entwickler, Sie wissen, wie der moderne ML-Code aussieht

• Ausgeprägtes Verständnis von Statistiken und deren Mängeln in der Praxis sowie deren Umgang damit; Stichprobengrößen, Übereinstimmung zwischen Annotatoren, Konfidenzniveaus usw. und eine gesunde Skepsis gegenüber dem, was diese Zahlen über die Welt aussagen

• Praktische Erfahrung mit dem Aufbau und Betrieb von LLM-as-Judge-Systemen und Verständnis ihrer Grenzen

• Praktische Kenntnisse moderner Benchmarking-Praktiken sowie bereits vorhandener Standarddatensätze und Benchmarks; Sie haben eine Vorstellung davon, welchen Sie vertrauen und welche Sie ignorieren sollten

• Die Neigung, sich die tatsächlichen Ergebnisse anzusehen, die Ihr System beurteilt, und sich darum zu kümmern, was über eine Gesamtpunktzahl hinaus vorhanden ist

Wir würden uns besonders freuen, wenn Sie:

• Sie verfügen über praktische Erfahrung mit menschlicher Bewertung, einschließlich Studiendesign und -durchführung durch Gremien sowie der Analyse von Meinungsverschiedenheiten und der Leistung von Kommentatoren

• Sie haben dort gearbeitet, wo Bewertung auf Training trifft (Belohnungsmodelle, Präferenzdaten, RLHF, DPO oder ähnliches) und wissen, dass das Modell alles lernt, wofür Sie optimieren

• Sie haben Agenten- oder Mehrschrittsysteme evaluiert und wissen, wie schwierig es ist, Erfolg oder Misserfolg einem einzelnen Schritt zuzuordnen

• Sie haben Tools entwickelt, die die Leute tatsächlich intern verwenden möchten

• Sie haben öffentliche Beiträge zu diesem Fachgebiet geleistet: Aufsätze, Open Source oder auf andere Weise

Wie wir zusammenarbeiten
Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Diese Stelle ist in Freiburg angesiedelt, wo Sie mindestens zwei Tage pro Woche (oder alle zwei Wochen eine ganze Woche) bei uns einsteigen. Um dies zu ermöglichen, übernehmen wir die angemessenen Reisekosten. Wir glauben, dass persönliche Zeit wichtig ist, und wir haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wie das aussehen wird, besprechen wir im Rahmen unseres Vorstellungsgesprächs.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Pionierforschungslabor. Die Wissenschaft muss stimmen, das Verständnis tiefgreifend, das Produkt schön.…

Quelle: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)