Agentic Compiler Engineer

ΠΕΡΙ ΚΟΓΚ
Η Kog δημιουργεί μια συν-σχεδιασμένη στοίβα συμπερασμάτων για πράκτορες τεχνητής νοημοσύνης σε πραγματικό χρόνο σε τυπικές GPU κέντρων δεδομένων, εκτεταμένη αρχιτεκτονική μοντέλων, μηχανή συμπερασμάτων, μεταγλωττιστές και πυρήνες GPU χαμηλού επιπέδου.
Από την πλευρά του μοντέλου, αναπτύξαμε το Laneformer 2B και το Delayed Tensor Parallelism (DTP), μια αρχιτεκτονική μετασχηματιστή που επικαλύπτει την επικοινωνία με χρήσιμους υπολογισμούς και ροή βάρους.
Από την πλευρά του συστήματος, το Kog Inference Engine εκτελεί αυτήν τη στοίβα σε τυπικές GPU κέντρων δεδομένων AMD και NVIDIA.
Το Kog δημιουργεί 3.500 tokens/s ανά αίτημα σε 8 AMD MI300X GPU και 2.100 tokens/s ανά αίτημα σε 8 GPU NVIDIA H200, στο FP16 σε μέγεθος παρτίδας 1, με απενεργοποιημένη την κβαντοποίηση και την κερδοσκοπική αποκωδικοποίηση.
Το επόμενο μεγάλο έργο μας είναι η AGCO, ο agent compiler μας. Το AGCO έχει σχεδιαστεί για να βελτιστοποιεί τα LLM σε διαφορετικές GPU και στόχους βελτιστοποίησης, συμπεριλαμβανομένης της πολύ γρήγορης εξαγωγής συμπερασμάτων.
Η ομάδα αποτελείται από 10 άτομα, μεταξύ των οποίων 9 μηχανικοί και ερευνητές και 4 διδάκτορες.
Δοκιμάστε το στο playground.kog.ai. Διαβάστε τις τεχνικές λεπτομέρειες στο ιστολόγιο της Kog Labs.

ΣΕ ΤΙ ΘΑ ΔΟΥΛΕΥΕΤΕ
Θα εργαστείτε απευθείας στην AGCO.
Ο στόχος είναι να δημιουργηθεί ένα σύστημα που μπορεί να εξερευνήσει τρόπους βελτιστοποίησης της εκτέλεσης LLM, να δημιουργήσει αλλαγές, να τις μεταγλωττίσει, να ελέγξει την ορθότητα, να τις εκτελέσει σε πραγματικό υλικό, να μετρήσει τα αποτελέσματα και να χρησιμοποιήσει αυτή την ανάδραση για να καθοδηγήσει την επόμενη βελτιστοποίηση.
Θα συνεισφέρετε σε τομείς όπως:

• Σχεδιασμός μεταγλωττιστή και IR για αναπαράσταση και μετασχηματισμό υπολογισμών LLM.

• Περάσματα βελτιστοποίησης, μείωση και δημιουργία κώδικα.

• Μέθοδοι αναζήτησης για την εξερεύνηση διαφορετικών υλοποιήσεων και στρατηγικών εκτέλεσης.

• Έλεγχοι επαλήθευσης και ορθότητας για αλλαγές που δημιουργούνται.

• Εκτέλεση GPU, διαμόρφωση προφίλ και βελτιστοποίηση απόδοσης.

• Συμπεράσματα LLM μεταξύ τελεστών, μνήμης, παραλληλισμού και επικοινωνίας.

• Βρόχοι βελτιστοποίησης που συνδέουν τις παραγόμενες αλλαγές με μετρήσεις σε πραγματικές GPU.

Μια κατεύθυνση που εξερευνούμε συνδυάζει ένα IR, έναν επαληθευτή, έναν μεταγλωττιστή και έναν βελτιστοποιητή αναζήτησης. Σκοπεύουμε να ξεκινήσουμε με εστιασμένα προβλήματα, να δημιουργήσουμε λειτουργικά πρωτότυπα και να επεκτείνουμε το σύστημα από όσα μαθαίνουμε.
Ο κύριος τομέας σας θα εξαρτηθεί από την εμπειρία, τις δεξιότητες και τα ενδιαφέροντά σας. Μπορείτε να εστιάσετε περισσότερο σε μεταγλωττιστές, συστήματα GPU ή συμπεράσματα LLM ενώ εργάζεστε στενά με άτομα σε ολόκληρη τη στοίβα.

ΤΙ ΨΑΧΝΟΥΜΕ
Αναζητούμε μηχανικούς με βαθιά τεχνική εξειδίκευση και πρωτότυπη εργασία σε τουλάχιστον έναν τομέα που σχετίζεται με την AGCO.
Η σχετική εμπειρία περιλαμβάνει:

• Μηχανική μεταγλωττιστή, συμπεριλαμβανομένων των περασμάτων βελτιστοποίησης, IR, μείωσης, δημιουργίας κώδικα, LLVM ή MLIR.

• Προγραμματισμός GPU με CUDA, HIP, Metal, Vulkan ή παρόμοιες τεχνολογίες.

• Εργασία απόδοσης GPU που περιλαμβάνει πυρήνες, μνήμη, συγχρονισμό, δημιουργία προφίλ ή συμπεριφορά υλικού.

• Μηχανές συμπερασμάτων LLM και βελτιστοποίηση απόδοσης.

• Προσοχή, MoE, παραλληλισμός, επικοινωνία ή άλλα τμήματα σε επίπεδο συστήματος της εκτέλεσης LLM.

• Επίσημη επαλήθευση, έλεγχος ισοδυναμίας, SAT/SMT ή σχετικές μέθοδοι.

• Συστήματα που δημιουργούν, αναζητούν, δοκιμάζουν, συγκρίνουν ή βελτιστοποιούν κώδικα αυτόματα.

Μας ενδιαφέρει αυτό που κατασκευάσατε εσείς προσωπικά και οι τεχνικές αποφάσεις πίσω από αυτό. Οι δυνατοί υποψήφιοι μπορούν να εξηγήσουν το πρόβλημα, την προσέγγισή τους, τις εναλλακτικές που διερεύνησαν και πώς μέτρησαν το αποτέλεσμα.
Εξετάζουμε την τεχνική εργασία κατά τη διάρκεια της διαδικασίας. Αυτό μπορεί να είναι δημόσιος κώδικας, μια ανάντη συνεισφορά, μια εργασία, μια διατριβή, ένα τεχνικό έργο ή μια λεπτομερής σύνταξη με βάση την εργασία που μπορείτε να μοιραστείτε.

ΤΙ ΠΡΟΣΦΕΡΟΥΜΕ
Θα συμμετάσχετε σε μια μικρή ομάδα που χτίζει την AGCO ως βασικό μέρος της τεχνολογίας της Kog.

• Εργαστείτε στη διασταύρωση μεταγλωττιστών, συστημάτων GPU και συμπερασμάτων LLM.

• Άμεση πρόσβαση σε μηχανικούς που εργάζονται σε ολόκληρη τη στοίβα συμπερασμάτων.

• Ένας γρήγορος βρόχος από μια ιδέα βελτιστοποίησης έως τη μεταγλώττιση, την εκτέλεση, την επαλήθευση και τη μέτρηση σε πραγματικές GPU.

• Η ευκαιρία να πάτε βαθιά στην ισχυρότερη τεχνική περιοχή σας ενώ επεκτείνεστε στα άλλα μέρη της στοίβας.

• Υψηλή ιδιοκτησία σε τεχνικές αποφάσεις και συστήματα που θα διαμορφώσουν τον τρόπο με τον οποίο η Kog βελτιστοποιεί το συμπέρασμα LLM.

Αυτός ο ρόλος βασίζεται στο Παρίσι και αναζητούμε υποψηφίους που μπορούν να μετακομίσουν στο Παρίσι και να συνεργαστούν στενά με την ομάδα.
Βρείτε θέσεις εργασίας στη Γαλλία στο Arbeitnow

Πηγή: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/agentic-compiler-engineer-paris-247204)