Senior Machine Learning Engineer, LLM Inference Optimization

Σχετικά με τον Nebius:

Ο Nebius ηγείται μιας νέας εποχής στην υποδομή cloud για την παγκόσμια οικονομία AI. Κατασκευάζουμε μια πλήρους στοίβας πλατφόρμα cloud τεχνητής νοημοσύνης που υποστηρίζει προγραμματιστές και επιχειρήσεις από την εκπαίδευση δεδομένων και μοντέλων μέχρι την ανάπτυξη παραγωγής, χωρίς το κόστος και την πολυπλοκότητα της κατασκευής μεγάλης εσωτερικής υποδομής AI/ML.

Κατασκευασμένο από μηχανικούς, για μηχανικούς. Από την ενορχήστρωση GPU μεγάλης κλίμακας έως τη βελτιστοποίηση συμπερασμάτων, είμαστε κύριοι των δύσκολων προβλημάτων στους υπολογισμούς, την αποθήκευση, τη δικτύωση και την εφαρμοσμένη τεχνητή νοημοσύνη.

Εισηγμένες στο Nasdaq (NBIS) και με έδρα το Άμστερνταμ, έχουμε παγκόσμιο αποτύπωμα με κόμβους Ε&Α σε όλη την Ευρώπη, το Ηνωμένο Βασίλειο, τη Βόρεια Αμερική και το Ισραήλ. Η ομάδα μας των 1.500+ περιλαμβάνει εκατοντάδες μηχανικούς με βαθιά εξειδίκευση σε υλικό, λογισμικό και Ε&Α τεχνητής νοημοσύνης.

Ο ρόλος

Ως Senior Machine Learning Engineer στην ομάδα Applied AI στο Nebius Token Factory, θα έχετε τη βελτιστοποίηση μοντέλου και τελικού σημείου από τεχνουργήματα μοντέλων μέσω της ανάπτυξης παραγωγής. Η εργασία σας θα περιλαμβάνει εσωτερικά μοντέλα, κβαντοποίηση και συμπίεση μοντέλου, κερδοσκοπική αποκωδικοποίηση, βελτιστοποίηση κρυφής μνήμης KV, μηχανές συμπερασμάτων, αρχιτεκτονική εξυπηρέτησης και συγκριτική αξιολόγηση για τη βελτίωση της καθυστέρησης, της απόδοσης, της απόδοσης μνήμης, της χρήσης GPU και του κόστους ανά διακριτικό διατηρώντας παράλληλα την ποιότητα και την αξιοπιστία.

Θα συνεργαστείτε με μηχανικούς πυρήνα και πλατφόρμας για να διερευνήσετε προβλήματα εξυπηρέτησης, να συγκρίνετε διαμορφώσεις και να επιλύσετε παλινδρομήσεις απόδοσης και ποιότητας. Θα αξιολογήσετε βελτιστοποιήσεις σε επίπεδο μοντέλου και κινητήρα μαζί με σχέδια κατανεμημένων συμπερασμάτων, συμπεριλαμβανομένης της δρομολόγησης αιτημάτων, του προγραμματισμού, του συντονισμού προπλήρωσης/αποκωδικοποίησης και της εκτέλεσης GPU σε πολλούς κόμβους. Οι βελτιώσεις σας θα επικυρωθούν μέσω αναπαραγώγιμων σημείων αναφοράς και ασφαλούς διάθεσης παραγωγής υπό πραγματικούς φόρτους εργασίας.

Οι ευθύνες σας

• Διαθέτετε έργα βελτιστοποίησης για συγκεκριμένες οικογένειες μοντέλων, τελικά σημεία πελατών ή υπηρεσίες υποστήριξης.

• Συγκρίνετε μηχανές συμπερασμάτων και προτείνετε διαμορφώσεις εξυπηρέτησης κατάλληλες για μεμονωμένους φόρτους εργασίας.

• Διάγνωση παλινδρόμησης ποιότητας μοντέλου και απόδοσης κατά την κυκλοφορία της παραγωγής.

• Βελτιώστε την καθυστέρηση, την απόδοση, την απόδοση μνήμης, τη χρήση GPU, την ποιότητα και το κόστος ανά διακριτικό LLM και VLM.

• Ανάπτυξη, διαμόρφωση, συγκριτική αξιολόγηση και επέκταση μηχανών όπως vLLM, SGLang, TensorRT-LLM, Triton Inference Server και NVIDIA Dynamo.

• Αναπτύξτε ροές εργασιών συμπίεσης μοντέλου παραγωγής που καλύπτουν την κβαντοποίηση, την εκπαίδευση με επίγνωση κβαντισμού, την απόσταξη, την παροχή χαμηλών bit και την ανάκτηση ακρίβειας.

• Εφαρμόστε ή ενσωματώστε κερδοσκοπική αποκωδικοποίηση, προσεγγίσεις πρόχειρων μοντέλων, βελτιστοποίηση κρυφής μνήμης KV, προσωρινή αποθήκευση προθεμάτων, τμηματοποιημένη προπλήρωση, συνεχή ομαδοποίηση και ομαδοποιημένη υπηρεσία προπλήρωσης/αποκωδικοποίησης. Για την αποσυσσώρευση προπλήρωσης-αποκωδικοποίησης (PDD), αξιολογήστε τη μεταφορά κρυφής μνήμης KV, την τοποθέτηση εργαζομένων και την εξισορρόπηση χωρητικότητας για να προσδιορίσετε ποιοι φόρτοι εργασίας επωφελούνται από την αρχιτεκτονική.

• Σχεδιάστε και βελτιώστε τους δρομολογητές αιτημάτων LLM και τις πολιτικές προγραμματισμού που εξισορροπούν τη χρήση των εργαζομένων, την ουρά, τα χαρακτηριστικά αιτημάτων και την εντοπιότητα της κρυφής μνήμης KV, ενώ πληρούν τους στόχους καθυστέρησης και αξιοπιστίας.

• Κλιμάκωση πυκνών συμπερασμάτων με συνδυασμό ειδικών σε πολλούς κόμβους GPU. Επιλέξτε και συντονίστε τον τανυστή, τη σωλήνωση, τα δεδομένα και τον παραλληλισμό ειδικών — συμπεριλαμβανομένου του παραλληλισμού ευρείας ειδικού (WideEP) — ​​με προσοχή στην τοπολογία υλικού, την ισορροπία φορτίου ειδικού και τα γενικά έξοδα επικοινωνίας.

• Δημιουργήστε αναπαραγώγιμες πλεξούδες αναφοράς που μετρούν TTFT, TPOT, διακριτικά ανά δευτερόλεπτο ανά GPU, καθυστέρηση p95/p99, μνήμη GPU, αξιοπιστία και κόστος ανά διακριτικό. Επικυρώστε τις επιλογές αρχιτεκτονικής υπό αντιπροσωπευτική κίνηση και συνεπείς προϋπολογισμούς GPU.

• Συνεργαστείτε με μηχανικούς πυρήνα και πλατφόρμας GPU για τον εντοπισμό σημείων συμφόρησης μεταξύ του κώδικα μοντέλου, των πυρήνων, του χρόνου εκτέλεσης, του προγραμματιστή, της πύλης και των επιπέδων συμπλέγματος.

• Δημιουργήστε έγγραφα σχεδιασμού, αναφορές απόδοσης, σχέδια διάθεσης και τεχνικές επεξηγήσεις που απευθύνονται στους πελάτες.

Must-haves

• Ισχυρές μηχανικές δεξιότητες σε Python και PyTorch.

• Πρακτική εμπειρία ανάπτυξης ή βελτιστοποίησης συμπεράσματα μετασχηματιστών LLM, VLM ή υψηλής απόδοσης.

• Πρακτική γνώση τουλάχιστον μίας σύγχρονης στοίβας συμπερασμάτων, όπως vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ή ισοδύναμο εσωτερικό σύστημα.

• Ισχυρή κατανόηση των σημείων συμφόρησης του μετασχηματιστή που περιλαμβάνουν κρυφή μνήμη KV, προσοχή, εύρος ζώνης μνήμης, ομαδοποίηση, παραλληλισμό και προβολή μεγάλου πλαισίου.

• Δυνατότητα ποσοτικοποίησης των αντισταθμίσεων μεταξύ καθυστέρησης, απόδοσης, ποιότητας, χρήσης και κόστους.

• Απολαύστε τη σχεδίαση ή τη βελτιστοποίηση της αρχιτεκτονικής κατανεμημένων συστημάτων συμπερασμάτων, με πρακτική εργασία σε έναν ή περισσότερους τομείς όπως δρομολόγηση αιτημάτων, κατανεμημένος προγραμματισμός, PDD, συμπέρασμα πολλαπλών κόμβων ή παραλληλισμός ειδικών.

• Ισχυρές δεξιότητες επικοινωνίας και συνεργασίας σε ομάδες έρευνας, πυρήνα, υποδομής, προϊόντων και πελατών.

Ωραίος

• Εμπειρία με εκπαίδευση με επίγνωση κβαντισμού, κβαντοποίηση μετά την εκπαίδευση, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ ή SmoothQuant.

• Εμπειρία με μεθόδους απόσταξης, κερδοσκοπικής αποκωδικοποίησης, EAGLE, Medusa, πρόβλεψης πολλαπλών σημείων ή σχετικών μεθόδων επιτάχυνσης συμπερασμάτων.

• Απολαύστε την υποστήριξη φόρτου εργασίας αντιπροσώπων που περιλαμβάνουν κλήση εργαλείων, δομημένες εξόδους, API ροής, υψηλή ταυτόχρονη χρήση και ενορχήστρωση πολλαπλών βημάτων.

• Εξοικείωση με το CUDA ή το Triton. ο ρόλος δεν απαιτεί η μηχανική πυρήνα να είναι η κύρια εξειδίκευση του υποψηφίου.

• Συνεισφορές σε έργα ανοιχτού κώδικα όπως vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray ή KServe.

• Εμπειρία υλοποίησης με δρομολόγηση αιτημάτων με επίγνωση της κρυφής μνήμης, PDD ή WideEP, συμπεριλαμβανομένης της διάγνωσης σημείων συμφόρησης επικοινωνίας και ανισορροπίας φορτίου.

• Εξοικείωση με βιβλιοθήκες επικοινωνίας GPU και διασυνδέσεις, όπως NCCL, NVLink, InfiniBand ή RoCE.

Οφέλη και προνόμια:

• Ανταγωνιστική αποζημίωση

• Ευκαιρίες ανάπτυξης σταδιοδρομίας και μάθησης

• Ευελιξία και ιδιοκτησία

• Συνεργατική και καινοτόμος κουλτούρα…

Πηγή: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-berlin-249817)