Senior ML Engineer | Kimchi (Inference Stack Optimization)

Γιατί Kimchi;

Τα υπέροχα μοντέλα είναι πρώτες ύλες. Το Kimchi είναι αυτό που συμβαίνει όταν τα ζυμώνεις με καλή μηχανική. Ξεκινήσαμε μέσα στο CAST AI βοηθώντας εταιρείες να τρέχουν LLM στα δικά τους συμπλέγματα Kubernetes. Σήμερα τρέχουμε τη δική μας πλεξούδα κωδικοποίησης σε οποιοδήποτε μοντέλο επιλέξετε και τρέχουμε μόνοι μας τα μοντέλα από κάτω.

Συμπέρασμα Kimchi

Μια γραμμή API και ο υπάρχων πελάτης ενός πελάτη απλώς λειτουργεί: DeepSeek, GLM, Kimi, MiniMax, Nemotron εξυπηρετούνται χωρίς διακομιστή από τον δικό μας στόλο GPU (συμβατό με OpenAI και Anthropic, πληρωμή ανά διακριτικό, ορατή δαπάνη ανά χρήστη, ομάδα και κλειδί). Όταν έχει σημασία ο έλεγχος, τα ίδια μοντέλα εκτελούνται στο σύμπλεγμα του ίδιου του πελάτη. Πίσω από αυτή τη γραμμή βρίσκεται το μηχάνημα που θα διαθέτετε: μηχανές SGLang και vLLM, κόμβοι B300, ένα κοινό σύστημα αρχείων συμπλέγματος που συγκρατεί κάθε σημείο ελέγχου ακριβώς μία φορά, κρυφές μνήμες KV που οδηγούν την κυκλοφορία κωδικοποίησης με βαριά επαναχρησιμοποίηση προθέματος και η ζώνη αναφοράς που δεσμεύει κάθε αλλαγή που αποστέλλουμε.

Κατασκευάστηκε από την Cast AI — μια ομάδα με έδρα το Μαϊάμι, διεσπαρμένη παγκοσμίως σε 34 χώρες που πέτυχαν το καθεστώς του μονόκερου τον Ιανουάριο του 2026 με μια επένδυση που υποστηρίζεται από 50 δισεκατομμύρια $+ που ωθεί την αποτίμησή της στο 1 δισεκατομμύριο δολάρια.

Σχετικά με τον ρόλο

Διακίνηση. Αφάνεια. Ένα κρύο ξεκίνημα. Κόστος ανά διακριτικό.

Μετακινήστε αυτούς τους τέσσερις αριθμούς στη σωστή κατεύθυνση και συμβαίνουν δύο πράγματα: οι πελάτες λαμβάνουν γρηγορότερα, φθηνότερα συμπεράσματα και τα περιθώρια κέρδους μας βελτιώνονται. Αυτή είναι η όλη θέση αυτού του ρόλου. Κάθε loader που συντονίζετε, κάθε απόφαση προγραμματιστή που προσγειώνετε, κάθε πυρήνας που κοιτάζετε εμφανίζεται στο p99 ενός πελάτη και στο P&L μας. Η εντολή σας είναι η βελτιστοποίηση της στοίβας συμπερασμάτων, ό,τι κι αν χρειαστεί, και η τεχνική κατεύθυνση του τρόπου με τον οποίο βελτιστοποιούμε είναι δική σας η διαφωνία με τα δεδομένα.

Το πρόβλημα: τα σημεία ελέγχου εκτελούν 0,3-1,5 TB και η "σωστή" διαμόρφωση υπηρεσίας εξαρτάται από το σχήμα κυκλοφορίας, την κατανομή μήκους ακολουθίας, τη δυναμική παρτίδας, το SKU της GPU, το εύρος ζώνης μνήμης και την ανοχή κβαντισμού, όλες οι μεταβλητές που αλλάζουν από εβδομάδα σε εβδομάδα. Οι περισσότερες ομάδες επιλέγουν μια διαμόρφωση μία φορά, υπερπαρέχουν GPU και απορροφούν το κόστος. Δεν το κάνουμε: μεταφέραμε το Kimi-K3 (1,5 TB) από πάνω από μία ώρα κρύο σε σερβίρισμα σε λιγότερο από δώδεκα λεπτά με ένα κοινό σύστημα αρχείων, φορτωτές βάρους O_DIRECT και τοπικές κρυφές μνήμες JIT κόμβων και δεν τελειώσαμε σχεδόν καθόλου. Ακολουθούν η διάσπαση προγεμίσματος/αποκωδικοποίησης και οι κρυφές μνήμες KV σε βαθμίδες.

Στοίβα: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; γρήγορες ασφαλιστικές συσκευές? CUDA-γειτονικά εργαλεία. Kubernetes; virtiofs κοινόχρηστα συστήματα αρχείων. ClickHouse; OpenTelemetry; Προμηθέας; Γραφάνα; GitLab CI.

Απαιτήσεις

• Έχετε δημιουργήσει πραγματικά συστήματα ML για 5+ χρόνια και το χαρτοφυλάκιό σας δείχνει βάθος σε συμπεράσματα ή υποδομή εκπαίδευσης, όχι μόνο μοντέλα φορητών υπολογιστών εκπαίδευσης.

• Η Python σας είναι ποιότητας παραγωγής: υπηρεσίες, όχι σενάρια.

• Έχετε τρέξει πραγματικά vLLM, SGLang ή TensorRT-LLM και έχετε ένα λειτουργικό νοητικό μοντέλο για το γιατί ένας κινητήρας αποδίδει όπως κάνει σε μια δεδομένη GPU.

• Έχετε μετρήσει παλινδρομήσεις κβαντοποίησης, όχι μόνο λόγους συμπίεσης.

• Οι ρυθμίσεις πολλαπλών GPU και πολλών κόμβων δεν προκαλούν φόβο: παραλληλισμός τανυστών και ειδικών, συλλογική επικοινωνία και οι πρακτικοί τρόποι αποτυχίας τους.

• Γνωρίζετε πού βρίσκονται τα byte (κρυφές μνήμες σελίδων, O_DIRECT, συστήματα αρχείων δικτύου υπό αναγνώσεις κλίμακας terabyte) και πόσο γρήγορα κινούνται.

• Μπορείτε να ορίσετε πριν βελτιστοποιήσετε και μπορείτε να διακρίνετε μια πραγματική νίκη από ένα τεχνούργημα αναφοράς.

• Μια ευρεία εντολή σε ενθουσιάζει περισσότερο παρά σε αναστατώνει.

Ωραίο να το έχεις

• Έχετε εργαστεί στη δρομολόγηση LLM συγκεκριμένα: βαθμίδες κατηγορίας RouterBench, μέτωπα Pareto κόστους/ποιότητας/λανθάνουσας κατάστασης.

• Μέθοδοι βαθμονόμησης, αποχής ή σύμφωνης συμφωνίας στα συστήματα αποφάσεων παραγωγής.

• Έχετε εκτελέσει διαδικτυακούς βρόχους A/B με παρακολούθηση drift σε ένα μοντέλο που αγγίζει πραγματικά χρήματα.

Ευθύνες

• Παροχή ώθησης. Συνεχής παρτίδα, τεμαχισμένη προπλήρωση, κερδοσκοπική αποκωδικοποίηση με πρόχειρα μοντέλα, λήψη γραφήματος CUDA και συντονισμός προγραμματιστή σε όλο τον κινητήρα
στόλο. Βρείτε το ανώτατο όριο σε κάθε SKU της GPU και, στη συνέχεια, σηκώστε το.

• Περικοπή καθυστέρησης. Επίθεση στο TTFT και στον λανθάνοντα χρόνο μεταξύ διακριτικών χωριστά. προφίλ για να βρείτε το πραγματικό σημείο συμφόρησης (υπολογισμός, εύρος ζώνης μνήμης, προγραμματισμός, αποθήκευση ή
δίκτυο) και επιδιορθώστε το, όχι αυτό που υποθέσατε.

• Αξιοποιήστε περισσότερο την κρυφή μνήμη KV. Ιεραρχική και σελιδοποιημένη προσοχή, προσωρινή αποθήκευση προθέματος σε κίνηση κωδικοποίησης βαριάς επαναχρησιμοποίησης, πολιτικές εξώθησης, κβαντισμένο KV. Πολλά από τα
Η μη πραγματοποιηθείσα απόδοση ζει εδώ και θα την κατέχετε.

• Σκοτώστε τις κρύες εκκινήσεις. Φορτωτές βάρους (O_DIRECT, fastsafetensors-class), κρυφές μνήμες JIT και compile, διαδρομές ανάγνωσης κοινόχρηστου συστήματος αρχείων. Ένα σημείο ελέγχου 1,5 TB δεν έχει καμία δουλειά
χρειάζεται μια ώρα για να φτάσει στο σερβίρισμα.

• Κβαντισμός χωρίς παλινδρόμηση της ποιότητας. INT8/INT4, FP8/FP4 σε βάρη, ενεργοποιήσεις και KV, που μετρώνται με πραγματικούς φόρτους εργασίας και όχι μόνο με κριτήρια αμηχανίας.

• Κλίμακα σε κόμβους. Κατανεμημένες τοπολογίες συμπερασμάτων, τοποθέτηση με επίγνωση του δικτύου, διαχωρισμός προγεμίσματος/αποκωδικοποίησης, στρατηγικές σημείων ελέγχου που δεν εμποδίζουν
σε αποθήκευση ή διασύνδεση.

• Ορίστε την τεχνική κατεύθυνση. Αποφασίστε τι συγκρίνουμε, τι υιοθετούμε και τι χτίζουμε μόνοι μας. Φέρτε την ομάδα μαζί με δυνατές εγγραφές και αναπαραγώγιμες
πειράματα.

Τι είναι αυτό για εσάς;

• Ανταγωνιστικός μισθός (ανάλογα με το επίπεδο εμπειρίας).

• Απολαύστε ένα ευέλικτο, απομακρυσμένο παγκόσμιο περιβάλλον.

• Συνεργαστείτε με μια παγκόσμια ομάδα ειδικών και καινοτόμων στο cloud, παθιασμένοι με την υπέρβαση των ορίων της τεχνολογίας Kubernetes

• Δικαιώματα μετοχών.

• Λάβετε γρήγορα σχόλια με γρήγορη ροή εργασίας. Τα περισσότερα έργα μεγάλου μήκους ολοκληρώνονται σε 1 έως 4 εβδομάδες.

• Αφιερώστε το 10% του χρόνου εργασίας σας σε προσωπικά έργα ή αυτοβελτίωση.

• Προϋπολογισμός μάθησης για επαγγελματική και προσωπική ανάπτυξη - συμπεριλαμβανομένης της πρόσβασης σε διεθνή συνέδρια και μαθήματα που αναβαθμίζουν τις δεξιότητές σας.

• Ετήσιο hackathon για να πυροδοτήσει νέες ιδέες και να ενισχύσει τους δεσμούς της ομάδας.

• Προϋπολογισμός δημιουργίας ομάδας και εταιρικές εκδηλώσεις για να συνδεθείτε με τους συναδέλφους σας.

• Προϋπολογισμός εξοπλισμού για να διασφαλίσετε ότι έχετε όλα όσα χρειάζεστε.

• Επιπλέον ημέρες άδειας για να διατηρηθεί μια υγιής ισορροπία μεταξύ επαγγελματικής και προσωπικής ζωής.

Διαδικασία πρόσληψης

• Διαλογή κλήσης με Recruiter…

Πηγή: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-375002)