Inżynier ds. badań stosowanych, ewaluacja

O laboratoriach w Schwarzwaldzie
Jesteśmy zespołem odpowiedzialnym za Latent Diffusion, Stable Diffusion i FLUX — podstawowe technologie, które zmieniły sposób, w jaki świat tworzy obrazy i filmy. Nasze modele FLUX należą do najbardziej zaawansowanych na świecie, a dopiero zaczynamy.
Z siedzibą we Freiburgu w Niemczech i rosnącą obecnością w San Francisco, szybko się rozwijamy, pozostając wierni temu, co nas wyróżnia: doskonałości badawczej, otwartej nauce i technologii budowania, która rozwija ludzką kreatywność.

Dlaczego ta rola
Frontierowe modele obrazów i filmów są teraz na tyle dobre, że trudnym pytaniem nie jest już to, czy działają, ale czy nowy jest rzeczywiście lepszy i skąd można to wiedzieć. Estetyka, szybkość działania, wierność redakcyjna, renderowanie tekstu, spójność znaków: nic z tego nie sprowadza się do jednej liczby, a publiczne standardy znacznie odbiegają od modeli, które miały mierzyć.
Będziesz pracować nad systemem, którego używa BFL, aby odpowiedzieć na to pytanie. Każdy punkt kontrolny FLUX, każde dostrajanie i przebieg RL oraz każde wydanie konkurencji przechodzi przez nasz stos ewaluacyjny, a Ty pomożesz go zbudować i udoskonalić. Badania produktów opierają się na wynikach, aby podjąć decyzję, co należy naprawić w następnej kolejności i potwierdzić, że poprawka zadziałała.
Odtąd jest coraz trudniej. FLUX 3 to nasz pierwszy model multimodalny, obejmujący obraz, wideo, dźwięk i akcję, a każda nowa modalność wymaga własnego sposobu pomiaru.

Nad czym będziesz pracować
To, na czym się skupisz, będzie zależeć od tego, gdzie jesteś najsilniejszy i czego najbardziej potrzebuje zespół, gdy dołączysz.
W zakresie:

• Budowanie i utrzymywanie stosu ocen, przez który musi przejść każdy punkt kontrolny modelu i się sprawdzić, od automatycznych testów porównawczych i rurociągów LLM jako sędzia, po ocenę ludzką za pośrednictwem paneli (Prolific i inne).

• Projektowanie szerokiego zakresu ewaluacji w całej taksonomii, od szybkiego przestrzegania zasad, wierności redakcyjnej, estetyki, renderowania tekstu, spójności tematu i charakteru, po bezpieczeństwo.

• Ocena samego stosu ewaluacji: sprawdzanie, czy ewaluacje ludzkie i automatyczne są zgodne, czy wyniki pozostają stabilne w czasie, oraz ulepszanie ich, jeśli tak nie jest.

• Ciągłe porównywanie FLUX z pionierskimi modelami, uzyskując jednocześnie znaczącą perspektywę tego, gdzie jesteśmy lepsi, a gdzie gorsi od konkurencji i co tak naprawdę oznaczają te różnice.

• Znalezienie powodów, dla których jakość wyników modelu jest niska, a których nie da się ująć za pomocą liczb zagregowanych.

• Najlepiej zamknąć obieg z RL i udoskonalić badaczy poprzez zdefiniowanie docelowych wskaźników, do których powinni dążyć, i sprawdzenie, czy nowy punkt kontrolny poprawił słabe punkty bez wprowadzania nowych.

• Zaprojektowanie, w jaki sposób najlepiej wykorzystać sygnały, które już przechwytujemy poprzez API i MCP, oraz jakie nowe sygnały powinniśmy przechwytywać, korzystając z badań, inżynierii danych i prawa.

• Utrzymanie przydatności istniejących wskaźników, ponieważ ich naturalny cykl życia rodzi obawy związane z grami i nadmiernym dopasowaniem oraz przewidywanie tego w przypadku nowych wskaźników.

Czego szukamy
Wniosłeś już znaczący wkład w ocenę modeli generatywnych. Rozumiesz, że wartość referencyjna bez dokładnego rozważenia wielkości próby i zgodności sędziów z ludźmi jest w najlepszym wypadku pozbawionym wiedzy optymizmem, a w najgorszym niebezpiecznie wprowadzającym w błąd, i byłeś osobą, która odkryła tę niewygodną regresję, o której nikt nie chciał rozmawiać.
Prawdopodobnie masz:

• Wykształcenie wyższe (MS/doktorat) w odpowiedniej dziedzinie lub udokumentowane równoważne doświadczenie praktyczne

• Praktyczne doświadczenie w praktycznej ocenie modeli generatywnych. Być może pracowałeś już z modelami obrazów lub wideo opartymi na rozpowszechnianiu lub dopasowaniu przepływu, ale możliwość ich rzetelnej oceny przenosi się również na inne modalności

• Bardzo dobre umiejętności w zakresie Pythona i inżynierii oprogramowania, z potokami, które działają niezawodnie i które w razie potrzeby mogą przeczytać inni ludzie

• Praktyczna wiedza na temat PyTorch oraz nowoczesnej infrastruktury i praktyk ML; nie jesteś programistą Pythona, wiesz, jak wygląda nowoczesny kod ML

• Dobra znajomość statystyki i jej braków w praktyce oraz tego, jak z nimi pracować; wielkość próby, zgodność między komentatorami, poziomy ufności itp. oraz zdrowy sceptycyzm co do tego, co te liczby mówią o świecie

• Praktyczne doświadczenie w budowaniu i obsłudze systemów LLM jako sędzia oraz zrozumienie ich ograniczeń

• Praktyczna wiedza na temat nowoczesnych praktyk benchmarkingowych oraz standardowych zbiorów danych i benchmarków stosowanych już w tej dziedzinie; masz pojęcie, któremu zaufać, a które zignorować

• Skłonność do patrzenia na rzeczywiste wyniki oceniane przez system i dbania o to, co jest poza zbiorczym wynikiem

Będziemy szczególnie podekscytowani, jeśli:

• Posiadać praktyczne doświadczenie w ocenie ludzi, w tym w projektowaniu i przeprowadzaniu badań za pośrednictwem paneli, a także w analizie rozbieżności i wydajności autorów komentarzy

• Pracowałeś tam, gdzie ewaluacja łączy się ze szkoleniem (modele wynagrodzeń, dane dotyczące preferencji, RLHF, DPO lub podobne) i wiesz, że niezależnie od tego, pod kątem optymalizacji, nauczy się model

• Oceniłeś systemy agentowe lub systemy wieloetapowe i wiesz, jak trudno jest przypisać sukces lub porażkę pojedynczemu krokowi

• Stworzyli narzędzia, z których ludzie rzeczywiście chcą korzystać wewnętrznie

• Wnieśli publiczny wkład w tę dziedzinę: artykuły, oprogramowanie typu open source lub w inny sposób

Jak współpracujemy
Jesteśmy rozproszonym zespołem z prawdziwymi biurami, z których ludzie faktycznie korzystają. Ta rola znajduje się we Fryburgu, gdzie będziesz do nas dołączać co najmniej 2 dni w tygodniu (lub jeden pełny tydzień co drugi tydzień). Aby było to możliwe, pokryjemy rozsądne koszty podróży. Uważamy, że czas spędzony osobiście ma znaczenie i zorganizowaliśmy wszystko tak, aby był dostępny dla wszystkich. Jak to będzie wyglądać, omówimy podczas rozmowy kwalifikacyjnej.

Wszystko, co robimy, opiera się na czterech wartościach:

• Obsesja. Jesteśmy pionierskim laboratorium badawczym. Nauka musi się zgadzać, zrozumienie głębokie, a produkt piękny.…

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)