Staff Machine Learning Engineer, LLM Inference Optimization

Σχετικά με τον Nebius:

Ο Nebius ηγείται μιας νέας εποχής στην υποδομή cloud για την παγκόσμια οικονομία AI. Κατασκευάζουμε μια πλήρους στοίβας πλατφόρμα cloud τεχνητής νοημοσύνης που υποστηρίζει προγραμματιστές και επιχειρήσεις από την εκπαίδευση δεδομένων και μοντέλων μέχρι την ανάπτυξη παραγωγής, χωρίς το κόστος και την πολυπλοκότητα της κατασκευής μεγάλης εσωτερικής υποδομής AI/ML.

Κατασκευασμένο από μηχανικούς, για μηχανικούς. Από την ενορχήστρωση GPU μεγάλης κλίμακας έως τη βελτιστοποίηση συμπερασμάτων, είμαστε κύριοι των δύσκολων προβλημάτων στους υπολογισμούς, την αποθήκευση, τη δικτύωση και την εφαρμοσμένη τεχνητή νοημοσύνη.

Εισηγμένες στο Nasdaq (NBIS) και με έδρα το Άμστερνταμ, έχουμε παγκόσμιο αποτύπωμα με κόμβους Ε&Α σε όλη την Ευρώπη, το Ηνωμένο Βασίλειο, τη Βόρεια Αμερική και το Ισραήλ. Η ομάδα μας των 1.500+ περιλαμβάνει εκατοντάδες μηχανικούς με βαθιά εξειδίκευση σε υλικό, λογισμικό και Ε&Α τεχνητής νοημοσύνης.

Περίληψη Ρόλων

Το Nebius Token Factory δημιουργεί συμπεράσματα ποιότητας παραγωγής για μοντέλα ανοιχτού κώδικα, πελάτες και εσωτερικά βελτιστοποιημένα μοντέλα. Αυτός ο ρόλος κατέχει τη διαδρομή από το τεχνούργημα μοντέλου στο γρήγορο, αξιόπιστο, οικονομικά αποδοτικό τελικό σημείο. Το έργο βρίσκεται στη διασταύρωση εσωτερικών μοντέλων, κινητήρων συμπερασμάτων, αρχιτεκτονικής εξυπηρέτησης, συγκριτικής αξιολόγησης και ανάπτυξης παραγωγής.

Τι θα κάνετε

•
Διαθέτετε έναν πυλώνα βελτιστοποίησης σε επίπεδο πλατφόρμας, όπως κβαντοποίηση, κερδοσκοπική αποκωδικοποίηση, βελτιστοποίηση κρυφής μνήμης KV, επιλογή κινητήρα ή υπηρεσία μακράς διάρκειας.

•
Δημιουργήστε επαναχρησιμοποιήσιμα πλαίσια αξιολόγησης, συγκριτικής αξιολόγησης και διάθεσης σε πολλές οικογένειες μοντέλων.

•
Παρέχετε τεχνική καθοδήγηση σε MLE, Εφαρμοσμένους Επιστήμονες, μηχανικούς πυρήνα GPU και μηχανικούς υποδομής σχετικά με κοινούς στόχους απόδοσης.

•
Βελτιστοποιήστε τα τελικά σημεία LLM και VLM για καθυστέρηση, απόδοση, απόδοση μνήμης, χρήση GPU, ποιότητα και κόστος ανά διακριτικό.

•
Ανάπτυξη, διαμόρφωση, συγκριτική αξιολόγηση και επέκταση μηχανών συμπερασμάτων όπως vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo ή παρόμοια συστήματα.

•
Δημιουργήστε και δημιουργήστε ροές εργασίας συμπίεσης μοντέλων, συμπεριλαμβανομένης της κβαντοποίησης, της εκπαίδευσης με επίγνωση κβαντισμού, της απόσταξης, της εξυπηρέτησης χαμηλών bit και της ανάκτησης ακρίβειας.

•
Εφαρμόστε ή ενσωματώστε κερδοσκοπική αποκωδικοποίηση, προσεγγίσεις πρόχειρων μοντέλων, βελτιστοποίηση κρυφής μνήμης KV, προσωρινή αποθήκευση προθέματος, τμηματοποιημένη προπλήρωση, συνεχή ομαδοποίηση και ομαδοποιημένη υπηρεσία προπλήρωσης/αποκωδικοποίησης.

•
Δημιουργήστε αναπαραγώγιμες πλεξούδες αναφοράς για TTFT , TPOT , tokens ανά δευτερόλεπτο ανά GPU, p95/p99 latency, μνήμη GPU, αξιοπιστία και κόστος ανά διακριτικό.

•
Συνεργαστείτε με μηχανικούς πυρήνα GPU και μηχανικούς πλατφόρμας για τη διάγνωση σημείων συμφόρησης σε κώδικα μοντέλου, πυρήνες, χρόνο εκτέλεσης, προγραμματιστή, πύλη και επίπεδα συμπλέγματος.

•
Γράψτε σαφή έγγραφα σχεδίασης, αναφορές απόδοσης, σχέδια διάθεσης και τεχνικές επεξηγήσεις που απευθύνονται στους πελάτες.

Απαιτούμενα Προσόντα

•
Ισχυρές μηχανικές δεξιότητες Python και PyTorch.

•
Πρακτική εμπειρία στην ανάπτυξη ή τη βελτιστοποίηση συστημάτων συμπερασμάτων LLM, VLM ή μετασχηματιστών υψηλής απόδοσης.

•
Πρακτική γνώση τουλάχιστον μιας σύγχρονης στοίβας συμπερασμάτων όπως vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ή ισοδύναμα εσωτερικά συστήματα.

•
Ισχυρή κατανόηση των σημείων συμφόρησης των συμπερασμάτων μετασχηματιστών, συμπεριλαμβανομένης της κρυφής μνήμης KV, της προσοχής, του εύρους ζώνης μνήμης, της παρτίδας, του παραλληλισμού και της προβολής μεγάλου πλαισίου.

•
Δυνατότητα ποσοτικής αιτιολογίας σχετικά με την καθυστέρηση, την απόδοση, την ποιότητα, τη χρήση και τις ανταλλαγές κόστους.

•
Ισχυρές επικοινωνιακές δεξιότητες και ικανότητα συνεργασίας με ομάδες έρευνας, πυρήνα, υποδομής, προϊόντων και πελατών.

Προτιμώμενα Προσόντα

•
Εμπειρία με εκπαίδευση με επίγνωση κβαντισμού, κβαντοποίηση μετά την εκπαίδευση, FP8 , INT8 , INT4 , NVFP4 , MXFP4 , AWQ , GPTQ , SmoothQuant ή σχετικές τεχνικές.

•
Εμπειρία με απόσταξη, κερδοσκοπική αποκωδικοποίηση, EAGLE, Medusa, πρόβλεψη πολλαπλών σημείων ή άλλες μεθόδους επιτάχυνσης συμπερασμάτων.

•
Εμπειρία με ατζέντηδες φόρτους εργασίας, συμπεριλαμβανομένης της κλήσης εργαλείων, των δομημένων εξόδων, των API ροής, της υψηλής ταυτόχρονης λειτουργίας και της ενορχήστρωσης πολλαπλών βημάτων.

•
Οικειότητα CUDA ή Triton, ακόμα κι αν ο ρόλος δεν είναι πρωταρχικά ρόλος πυρήνα-μηχανικής.

•
Συνεισφορές ανοιχτού κώδικα σε vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe ή σχετικά έργα.

Οφέλη και προνόμια:

• Ανταγωνιστική αποζημίωση

• Ευκαιρίες ανάπτυξης σταδιοδρομίας και μάθησης

• Ευελιξία και ιδιοκτησία

• Συνεργατική και καινοτόμος κουλτούρα

• Ευκαιρία να εργαστείτε σε έργα τεχνητής νοημοσύνης με αντίκτυπο

• Διεθνές περιβάλλον και ταλαντούχες ομάδες

Πώς είναι να εργάζεσαι στη Nebius:

Γρήγορη κίνηση - Τολμηρή σκέψη - Συνεχής ανάπτυξη - Σημαντικός αντίκτυπος - Εμπιστοσύνη και πραγματική ιδιοκτησία - Ευκαιρία να διαμορφώσετε το μέλλον της τεχνητής νοημοσύνης

Δήλωση ίσων ευκαιριών:

Ο Nebius είναι εργοδότης ίσων ευκαιριών. Δεσμευόμαστε να προωθήσουμε έναν εργασιακό χώρο χωρίς αποκλεισμούς και ποικιλομορφία και να παρέχουμε ίσες ευκαιρίες απασχόλησης σε όλες τις πτυχές της απασχόλησης. Δεν κάνουμε διακρίσεις με βάση τη φυλή, το χρώμα, τη θρησκεία, το φύλο (συμπεριλαμβανομένης της εγκυμοσύνης), την εθνική καταγωγή, την καταγωγή, την ηλικία, την αναπηρία, τις γενετικές πληροφορίες, την οικογενειακή κατάσταση, την κατάσταση βετεράνου, τον σεξουαλικό προσανατολισμό, την ταυτότητα φύλου ή έκφραση ή οποιοδήποτε άλλο χαρακτηριστικό που προστατεύεται από την ισχύουσα νομοθεσία.

Οι υποψήφιοι πρέπει να έχουν εξουσιοδότηση να εργαστούν στη χώρα στην οποία υποβάλλουν αίτηση και θα πρέπει να προσκομίσουν απόδειξη επιλεξιμότητας για εργασία ως προϋπόθεση πρόσληψης.

Εάν χρειάζεστε καταλύματα κατά τη διαδικασία αίτησης, ενημερώστε μας.

Βρείτε περισσότερες αγγλόφωνες θέσεις εργασίας στην Ολλανδία στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-amsterdam-403133)