Ανώτερος Μηχανικός Λογισμικού (Πλατφόρμα δεδομένων, C++)

Σχετικά με τον Nebius:

Ο Nebius ηγείται μιας νέας εποχής στην υποδομή cloud για την παγκόσμια οικονομία AI. Κατασκευάζουμε μια πλήρους στοίβας πλατφόρμα cloud τεχνητής νοημοσύνης που υποστηρίζει προγραμματιστές και επιχειρήσεις από την εκπαίδευση δεδομένων και μοντέλων μέχρι την ανάπτυξη παραγωγής, χωρίς το κόστος και την πολυπλοκότητα της κατασκευής μεγάλης εσωτερικής υποδομής AI/ML.

Κατασκευασμένο από μηχανικούς, για μηχανικούς. Από την ενορχήστρωση GPU μεγάλης κλίμακας έως τη βελτιστοποίηση συμπερασμάτων, είμαστε κύριοι των δύσκολων προβλημάτων στους υπολογισμούς, την αποθήκευση, τη δικτύωση και την εφαρμοσμένη τεχνητή νοημοσύνη.

Εισηγμένες στο Nasdaq (NBIS) και με έδρα το Άμστερνταμ, έχουμε παγκόσμιο αποτύπωμα με κόμβους Ε&Α σε όλη την Ευρώπη, το Ηνωμένο Βασίλειο, τη Βόρεια Αμερική και το Ισραήλ. Η ομάδα μας των 1.500+ περιλαμβάνει εκατοντάδες μηχανικούς με βαθιά εξειδίκευση σε υλικό, λογισμικό και Ε&Α τεχνητής νοημοσύνης.

Ο ρόλος

#LI-MM1

Αναζητούμε έναν Μηχανικό Λογισμικού με ισχυρή τεχνογνωσία στην C++ για να συμμετάσχει στην ομαδική δημιουργία και λειτουργία της πλατφόρμας δεδομένων Nebius — έναν κατανεμημένο χώρο αποθήκευσης και μια πλατφόρμα επεξεργασίας που λειτουργεί ως η «πηγή αλήθειας» της εταιρείας και η ραχοκοκαλιά πολλών εσωτερικών (και ορισμένων εξωτερικών) προϊόντων.

Το Nebius Data Platform είναι ένα ενιαίο οικοσύστημα πολλαπλών ενοικιαστών που βασίζεται στο YTsaurus — αντί να εκτελούμε ξεχωριστά συστήματα τύπου HDFS/Kafka/HBase, παρέχουμε δυνατότητες αποθήκευσης, υπολογισμού και ανάλυσης σε μία πλατφόρμα.

Χτισμένο πάνω στο οικοσύστημα ανοιχτού κώδικα YTsaurus, εκτελούμε και επεκτείνουμε τη δική μας διανομή Nebius και αναπτύσσουμε σημαντική εσωτερική λειτουργικότητα (πυρήνας και επίπεδο πλατφόρμας). Μπορούμε να σχεδιάσουμε, να εφαρμόσουμε και να διαθέσουμε λειτουργίες από άκρο σε άκρο στα συμπλέγματά μας χωρίς να περιμένουμε εγκρίσεις ανάντη και να συνεισφέρουμε ανάντη όταν είναι λογικό.

Σε κλίμακα σήμερα, αυτό περιλαμβάνει ~500 διακομιστές, ~20.000 πυρήνες CPU και ~10 PB συμπιεσμένων δεδομένων στο μεγαλύτερο σύμπλεγμα παραγωγής μας, που υποστηρίζουν φόρτους εργασίας που κυμαίνονται από κρίσιμες για τις επιχειρήσεις αγωγούς και οικονομικές συναλλαγές έως μεγάλης κλίμακας σύνολα δεδομένων εκπαίδευσης ML/LLM και υπολογιστές.

Τι υπάρχει μέσα στην πλατφόρμα

Θα εργαστείτε σε ένα σύστημα που περιλαμβάνει (και συνδέεται):

• Κατανεμημένη αποθήκευση (Cypress): σημασιολογία συναλλαγών, κλιμακωτή αποθήκευση, κωδικοποίηση διαγραφής, αναπαραγωγή και ισχυρές προσδοκίες αξιοπιστίας.

• Υπολογισμός & ETL : ένας προγραμματιστής εργασιών σε όλο το σύμπλεγμα (δεκάδες χιλιάδες πυρήνες), MapReduce, YQL για επεξεργασία δεδομένων τύπου SQL και SPYT (Spark over YTsaurus) για σύγχρονη μηχανική δεδομένων.

• Διαδραστικά αναλυτικά στοιχεία (CHYT): Οι περιπτώσεις ClickHouse® περιστρέφονται απευθείας σε κόμβους υπολογιστών για γρήγορη SQL μέσω δεδομένων επί τόπου.

• Δυναμικοί πίνακες: NoSQL KV χαμηλής καθυστέρησης με κατανεμημένες συναλλαγές ACID για φόρτους εργασίας τύπου OLTP και χώρους αποθήκευσης δυνατοτήτων.

• Orchestracto: ενορχήστρωση ροής εργασιών βαθιά ενσωματωμένη με την πλατφόρμα (σαν ροή αέρα, αλλά εγγενής πλατφόρμα).

Τι θα κάνετε

Αναζητούμε μηχανικούς που συνδυάζουν ισχυρές δεξιότητες συστημάτων με την αίσθηση του προϊόντος: κατανοούν ποιος χρησιμοποιεί την πλατφόρμα, γιατί ορισμένες δυνατότητες έχουν σημασία και πραγματοποιούν πραγματιστικές ανταλλαγές για τη μεγιστοποίηση του αντίκτυπου. Στην ομάδα μας, οι εργασίες μηχανικής αναμένεται να συνδέονται με πραγματικούς χρήστες και αποτελέσματα — θα ευθυγραμμίζεστε τακτικά με εσωτερικά ενδιαφερόμενα μέρη, θα αποσαφηνίζετε τις απαιτήσεις και θα συμβάλλετε στον καθορισμό προτεραιοτήτων.

Σε αυτόν τον ρόλο, θα:

• Σχεδιάστε και εφαρμόστε νέα λειτουργικότητα στον πυρήνα YTsaurus (C++) με γνώμονα την αξιοπιστία παραγωγής.

• Δημιουργία και εξέλιξη ικανοτήτων σε επίπεδο πλατφόρμας: αρχιτεκτονική πλατφόρμας και μοντέλο λειτουργίας—ανάπτυξη πολλαπλών συστάδων, κοινά πρωτόγονα και συνεπής εμπειρία που κλιμακώνεται με νέες ομάδες και περιπτώσεις χρήσης.

• Βελτιώστε την εμπειρία πλατφόρμας από άκρο σε άκρο για εσωτερικούς (και εξωτερικούς) χρήστες: API, προστατευτικά κιγκλιδώματα, ροές εργασιών εντοπισμού σφαλμάτων και αυτοματοποίηση.

• Ίδια ποιότητα παραγωγής: απόκριση περιστατικού / εναλλαγή κατά την κλήση, ανάλυση βασικών αιτιών και μετατροπή των μαθημάτων σε ανθεκτικές επιδιορθώσεις.

Παραδείγματα έργων

• Αναπτύξτε τα τεμαχισμένα Masters YTsaurus (συμπεριλαμβανομένης της υποστήριξης χειριστή Kubernetes) και δημιουργήστε αυτόματη εξισορρόπηση μεταδεδομένων στα κύρια κελιά (ομάδες συναίνεσης) για να αφαιρέσετε τα σημεία συμφόρησης του επιπέδου ελέγχου και να ξεκλειδώσετε 10-100 φορές την ανάπτυξη συμπλέγματος .

• Κάντε το CHYT διαδραστικό SQL ταχύτερο και πιο προβλέψιμο σε υψηλό φορτίο μέσω εργασιών απόδοσης, όπως ευρετήρια τύπου παράκαμψης δεδομένων / ελάχιστου μέγιστου και βελτιωμένη ενδοσκόπηση εκτέλεσης.

• Μετατρέψτε το Orchestracto σε προϊόν πλατφόρμας ορίζοντας τα δομικά στοιχεία, την εμπειρία προγραμματιστή και τη διακυβέρνηση για τον τρόπο με τον οποίο οι ομάδες δημιουργούν και μοιράζονται ροές εργασίας.

• Κλιμακώστε και σκληρύνετε το Parquet-on-S3 για εγγενείς φόρτους εργασίας YTsaurus αντιμετωπίζοντας την αναπαραγωγή/κίνηση, τη συνεπή σημασιολογία του κύκλου ζωής και τις βελτιστοποιήσεις μεταδεδομένων κύριου διακομιστή για απόδοση και αξιοπιστία.

• Σχεδιάστε και στείλτε πλήρεις, αξιόπιστες διαδρομές ελέγχου για αλλαγές δεδομένων (ποιος/τι/πότε) σε ετερογενείς διαδρομές αποθήκευσης και υπολογισμού.

Τεχνική στοίβα

• Πυρήνας: μοντέρνα C++ (C++20, ασύγχρονα + πολυνηματική primitives)

• Υπηρεσίες και εργαλεία: Go και Python (μικροϋπηρεσίες, βοηθητικά προγράμματα, δοκιμές ενοποίησης)

Αυτό που περιμένουμε

• 5+ χρόνια εμπειρία σε μηχανική λογισμικού.

• Ισχυρές δεξιότητες C++ (θα γράψετε τον βασικό κώδικα).

• Γνώση εργασίας Python ή/και Go (δεν χρειάζεται να είστε ειδικός, αλλά θα πρέπει να είστε άνετοι στην πλοήγησή τους).

• Εμπειρία ανάπτυξης και/ή λειτουργίας κατανεμημένων υπηρεσιών υψηλού φορτίου.

• Παραγωγική νοοτροπία: ικανότητα χρήσης SSH, ανάγνωσης αρχείων καταγραφής/μετρήσεων/ιχνών και εντοπισμού σφαλμάτων στη συμπεριφορά κατανεμημένων συστημάτων.

• Στερεά βασικά στοιχεία CS: αλγόριθμοι, δομές δεδομένων, βασικά στοιχεία συγχρονισμού.

Ωραίο να έχουμε

• Εμπειρία με συστήματα Big Data (YTsaurus/Hadoop/Spark/ClickHouse/οικοσυστήματα τύπου Κάφκα).

• Εμπειρία με πλατφόρμες πολλαπλών μισθωτών, χρονοπρογραμματιστές, απομόνωση πόρων, ποσοστώσεις και μηχανική αξιοπιστίας.

• Ισχυρές δεξιότητες μηχανικής απόδοσης (δημιουργία προφίλ, διαμάχη κλειδώματος, ανταλλαγές καθυστέρησης/μεταφοράς).

Πραγματοποιούμε συνεντεύξεις κωδικοποίησης ως μέρος της διαδικασίας.
Οφέλη και προνόμια:

• Ανταγωνιστική αποζημίωση

• Ευκαιρίες ανάπτυξης σταδιοδρομίας και μάθησης

• Ευελιξία και ιδιοκτησία

• Συνεργατική και καινοτόμος κουλτούρα

• Ευκαιρία να εργαστείτε σε έργα τεχνητής νοημοσύνης με αντίκτυπο

• Διεθνές περιβάλλον και ταλαντούχες ομάδες…

Πηγή: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)