Μηχανικός Εφαρμοσμένης Έρευνας, Αξιολόγηση

Σχετικά με το Black Forest Labs
Είμαστε η ομάδα πίσω από τα Latent Diffusion, Stable Diffusion και FLUX — θεμελιώδεις τεχνολογίες που άλλαξαν τον τρόπο με τον οποίο ο κόσμος δημιουργεί εικόνες και βίντεο. Τα μοντέλα μας FLUX είναι από τα πιο προηγμένα στον κόσμο και μόλις ξεκινάμε.
Με έδρα το Φράιμπουργκ της Γερμανίας με αυξανόμενη παρουσία στο Σαν Φρανσίσκο, κλιμακώνουμε γρήγορα, παραμένοντας πιστοί σε αυτό που μας κάνει διαφορετικούς: ερευνητική αριστεία, ανοιχτή επιστήμη και οικοδόμηση τεχνολογίας που διευρύνει την ανθρώπινη δημιουργικότητα.

Γιατί αυτός ο ρόλος
Τα μοντέλα εικόνας και βίντεο Frontier είναι πλέον αρκετά καλά ώστε το δύσκολο ερώτημα δεν είναι πλέον εάν λειτουργούν, αλλά εάν ένα νέο είναι πραγματικά καλύτερο και πώς θα ξέρετε. Αισθητική, άμεση παρακολούθηση, πιστότητα επεξεργασίας, απόδοση κειμένου, συνέπεια χαρακτήρων: κανένα από αυτά δεν συμπτύσσεται σε έναν ενιαίο αριθμό και τα δημόσια σημεία αναφοράς έχουν πέσει πολύ πίσω από τα μοντέλα που προορίζονται να μετρήσουν.
Θα εργαστείτε στο σύστημα που χρησιμοποιεί η BFL για να απαντήσει σε αυτήν την ερώτηση. Κάθε σημείο ελέγχου FLUX, κάθε εκτέλεση λεπτομέρειας και RL και κάθε έκδοση ανταγωνιστή περνά από τη στοίβα αξιολόγησης και θα βοηθήσετε στη δημιουργία και την όξυνσή της. Η Έρευνα Προϊόντος βασίζεται σε αυτό που δείχνει για να αποφασίσει τι να διορθώσει στη συνέχεια και να επιβεβαιώσει ότι η επιδιόρθωση λειτούργησε.
Από εδώ και πέρα ​​γίνεται πιο δύσκολο. Το FLUX 3 είναι το πρώτο μας πολυτροπικό μοντέλο, που εκτείνεται σε εικόνα, βίντεο, ήχο και δράση, και κάθε νέος τρόπος μέτρησης χρειάζεται τον δικό του τρόπο μέτρησης.

Τι θα εργαστείτε
Αυτό στο οποίο θα εστιάσετε θα εξαρτηθεί από το πού είστε πιο δυνατοί και τι χρειάζεται περισσότερο η ομάδα όταν γίνετε μέλος.
Στο πεδίο εφαρμογής:

• Δημιουργία και διατήρηση της στοίβας αξιολόγησης από την οποία πρέπει να περάσει και να αποδειχθεί κάθε μοντέλο ελέγχου, από την αυτοματοποιημένη συγκριτική αξιολόγηση και τους αγωγούς LLM-as-judge, έως την ανθρώπινη αξιολόγηση μέσω πάνελ (Prolific και άλλα).

• Σχεδιασμός του εύρους της αξιολόγησης σε όλη την ταξινόμηση, από την άμεση συμμόρφωση, την πιστότητα επεξεργασίας, την αισθητική, την απόδοση κειμένου, τη συνέπεια θέματος και χαρακτήρων, έως την ασφάλεια.

• Αξιολόγηση της ίδιας της στοίβας αξιολόγησης: έλεγχος ότι οι άνθρωποι και οι αυτοματοποιημένες αξιολογήσεις συμφωνούν, ότι τα αποτελέσματα παραμένουν σταθερά με την πάροδο του χρόνου και βελτίωσή τους όταν δεν το κάνουν.

• Συνεχής συγκριτική αξιολόγηση του FLUX έναντι των μοντέλων αιχμής, αποκτώντας ταυτόχρονα μια ουσιαστική προοπτική για το πού είμαστε καλύτεροι ή χειρότεροι από τους ανταγωνιστές και τι πραγματικά σημαίνουν τέτοιες διαφορές.

• Εύρεση τρόπων με τους οποίους η ποιότητα της παραγωγής του μοντέλου υπολείπεται που δεν αποτυπώνονται με συγκεντρωτικούς αριθμούς.

• Κλείσιμο του βρόχου, ιδανικά, με το RL και βελτιστοποίηση των ερευνητών, ορίζοντας μετρήσεις-στόχους στις οποίες θα στοχεύουν και επαληθεύοντας ότι ένα νέο σημείο ελέγχου βελτίωσε την αδυναμία χωρίς να εισάγει νέα.

• Σχεδιασμός του καλύτερου τρόπου εκμετάλλευσης των σημάτων που ήδη συλλαμβάνουμε μέσω του API και του MCP και ποια νέα σήματα πρέπει να συλλαμβάνουμε, με τη βοήθεια της έρευνας, της μηχανικής δεδομένων και της νομικής.

• Η διατήρηση της χρησιμότητας των υπαρχουσών μετρήσεων ως φυσικού κύκλου ζωής τους εγείρει ανησυχίες σχετικά με το gaming και την υπερπροσαρμογή, και η πρόβλεψη αυτού για νέες μετρήσεις.

Αυτό που Ψάχνουμε
Έχετε ήδη συνεισφέρει ουσιαστικά στην αξιολόγηση των παραγωγικών μοντέλων. Καταλαβαίνετε ότι ένας αριθμός αναφοράς χωρίς προσεκτική εξέταση του μεγέθους του δείγματος και η συμφωνία του κριτή με τους ανθρώπους είναι στην καλύτερη περίπτωση ανενημέρωτη αισιοδοξία και στη χειρότερη επικίνδυνα παραπλανητική, και εσείς ήσασταν το άτομο που διαπίστωσε αυτήν την άβολη παλινδρόμηση για την οποία κανείς δεν ήθελε να μιλήσει.
Πιθανότατα έχετε:

• Προχωρημένο πτυχίο (MS/PhD) σε σχετικό τομέα ή αποδεδειγμένη αντίστοιχη πρακτική εμπειρία

• Πρακτική εμπειρία στην αξιολόγηση μοντέλων παραγωγής, με πρακτικό τρόπο. Μπορεί να έχετε ήδη εργαστεί με μοντέλα εικόνας ή βίντεο που βασίζονται σε διάχυση ή αντιστοίχιση ροής, αλλά έχετε τη δυνατότητα να τα αξιολογήσετε σοβαρά και σε άλλους τρόπους

• Πολύ ισχυρές δεξιότητες μηχανικής Python και λογισμικού, με αγωγούς που εκτελούνται αξιόπιστα και που άλλα άτομα μπορούν να διαβάσουν εάν χρειαστεί

• Εργασιακή γνώση της PyTorch και της σύγχρονης υποδομής και πρακτικών ML. δεν είστε καθαρά προγραμματιστής Python, ξέρετε πώς μοιάζει ο σύγχρονος κώδικας ML

• Ισχυρή κατανόηση των στατιστικών και των ελλείψεών τους στην πράξη, και πώς να εργαστείτε με αυτά. μεγέθη δειγμάτων, συμφωνία μεταξύ των σχολιαστών, επίπεδα εμπιστοσύνης κ.λπ., και ένας υγιής σκεπτικισμός για το τι λένε αυτοί οι αριθμοί για τον κόσμο

• Πρακτική εμπειρία στην κατασκευή και λειτουργία συστημάτων LLM-as-judge και κατανόηση των περιορισμών τους

• Εργασιακή γνώση των σύγχρονων πρακτικών συγκριτικής αξιολόγησης και των τυπικών συνόλων δεδομένων και σημείων αναφοράς ήδη στον τομέα. έχετε μια ιδέα ποια να εμπιστευτείτε και ποια να αγνοήσετε

• Η τάση να εξετάζετε τα πραγματικά αποτελέσματα που κρίνει το σύστημά σας και να νοιάζεστε για το τι υπάρχει εκεί πέρα από μια συνολική βαθμολογία

Θα ήμασταν ιδιαίτερα ενθουσιασμένοι αν:

• Να έχουν πρακτική εμπειρία με την ανθρώπινη αξιολόγηση, συμπεριλαμβανομένου του σχεδιασμού και της εκτέλεσης μελέτης μέσω πάνελ και ανάλυσης διαφωνιών και απόδοσης σχολιαστή

• Έχετε εργαστεί εκεί όπου η αξιολόγηση συναντά την εκπαίδευση (μοντέλα ανταμοιβής, δεδομένα προτιμήσεων, RLHF, DPO ή παρόμοια) και γνωρίζετε ότι ό,τι βελτιστοποιείτε είναι αυτό που μαθαίνει το μοντέλο

• Έχετε αξιολογήσει πρακτορεία ή συστήματα πολλαπλών βημάτων και γνωρίζετε πόσο δύσκολο είναι να αποδώσετε επιτυχία ή αποτυχία σε ένα μόνο βήμα

• Έχετε δημιουργήσει εργαλεία που οι άνθρωποι θέλουν πραγματικά να χρησιμοποιήσουν εσωτερικά

• Έχουν κάνει δημόσιες συνεισφορές στο πεδίο: έγγραφα, ανοιχτού κώδικα ή με άλλο τρόπο

Πώς Δουλεύουμε Μαζί
Είμαστε μια κατανεμημένη ομάδα με πραγματικά γραφεία που χρησιμοποιούν πραγματικά οι άνθρωποι. Αυτός ο ρόλος βασίζεται στο Φράιμπουργκ, όπου θα είστε μαζί μας τουλάχιστον 2 ημέρες την εβδομάδα (ή μια ολόκληρη εβδομάδα κάθε δεύτερη εβδομάδα). Θα καλύψουμε λογικά έξοδα ταξιδιού για να το κάνουμε αυτό δυνατό. Πιστεύουμε ότι ο αυτοπροσώπως χρόνος έχει σημασία και έχουμε δομήσει τα πράγματα για να τον κάνουμε προσβάσιμο σε όλους. Θα συζητήσουμε πώς θα μοιάζει κατά τη διάρκεια της συνέντευξης μας.

Ό,τι κάνουμε βασίζεται σε τέσσερις αξίες:

• Εμμονή. Είμαστε ένα ερευνητικό εργαστήριο αιχμής. Η επιστήμη πρέπει να είναι σωστή, η κατανόηση βαθιά, το προϊόν όμορφο.…

Πηγή: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)