Ingénieur logiciel senior (plateforme de données, C++)

À propos de Nébius :

Nebius ouvre une nouvelle ère en matière d'infrastructure cloud pour l'économie mondiale de l'IA. Nous construisons une plate-forme cloud d'IA complète qui prend en charge les développeurs et les entreprises, depuis la formation des données et des modèles jusqu'au déploiement en production, sans le coût et la complexité liés à la création d'une grande infrastructure interne d'IA/ML.

Construit par des ingénieurs, pour des ingénieurs. De l’orchestration GPU à grande échelle à l’optimisation des inférences, nous maîtrisons les problèmes difficiles liés au calcul, au stockage, à la mise en réseau et à l’IA appliquée.

Coté au Nasdaq (NBIS) et basé à Amsterdam, nous avons une présence mondiale avec des pôles de R&D en Europe, au Royaume-Uni, en Amérique du Nord et en Israël. Notre équipe de plus de 1 500 personnes comprend des centaines d’ingénieurs possédant une expertise approfondie en matière de R&D sur le matériel, les logiciels et l’IA.

Le rôle

#LI-MM1

Nous recherchons un ingénieur logiciel possédant une solide expertise C++ pour rejoindre l'équipe qui constitue et exploite Nebius Data Platform, une plate-forme de stockage et de traitement distribué qui agit comme la « source de vérité » de l'entreprise et l'épine dorsale de nombreux produits internes (et certains externes).

Nebius Data Platform est un écosystème multi-tenant unique basé sur YTsaurus : au lieu d'exécuter des systèmes distincts de type HDFS/Kafka/HBase, nous fournissons des capacités de stockage, de calcul et d'analyse au sein d'une seule plateforme.

Construits sur l'écosystème open source YTsaurus, nous gérons et étendons notre propre distribution Nebius et développons d'importantes fonctionnalités internes (au niveau du noyau et de la plate-forme). Nous pouvons concevoir, implémenter et déployer des fonctionnalités de bout en bout sur nos clusters sans attendre les approbations en amont et contribuer en amont lorsque cela est logique.

À l'échelle actuelle, cela comprend environ 500 serveurs, environ 20 000 cœurs de processeur et environ 10 Po de données compressées dans notre plus grand cluster de production, prenant en charge des charges de travail allant des pipelines critiques pour l'entreprise et des transactions financières aux ensembles de données et calculs de formation ML/LLM à grande échelle.

Qu'y a-t-il à l'intérieur de la plateforme

Vous travaillerez sur un système qui comprend (et relie) :

• Stockage distribué (Cypress) : sémantique transactionnelle, stockage hiérarchisé, codage d'effacement, réplication et attentes fortes en matière de fiabilité.

• Compute & ETL : un planificateur de tâches à l'échelle du cluster (des dizaines de milliers de cœurs), MapReduce, YQL pour le traitement des données de type SQL et SPYT (Spark over YTsaurus) pour l'ingénierie de données moderne.

• Analyse interactive (CHYT) : les instances ClickHouse® sont lancées directement sur les nœuds de calcul pour un SQL rapide sur les données en place.

• Tables dynamiques : KV NoSQL à faible latence avec transactions ACID distribuées pour les charges de travail et les magasins de fonctionnalités de style OLTP.

• Orchestracto : orchestration de workflow profondément intégrée à la plateforme (Airflow-like, mais plateforme native).

Ce que tu feras

Nous recherchons des ingénieurs qui combinent de solides compétences en systèmes avec un sens du produit : comprendre qui utilise la plateforme, pourquoi certaines fonctionnalités sont importantes et faire des compromis pragmatiques pour maximiser l'impact. Au sein de notre équipe, le travail d'ingénierie doit être lié aux utilisateurs et aux résultats réels : vous vous alignerez régulièrement sur les parties prenantes internes, clarifierez les exigences et contribuerez à l'établissement des priorités.

Dans ce rôle, vous :

• Concevoir et implémenter de nouvelles fonctionnalités dans le noyau YTsaurus (C++) en gardant à l'esprit la fiabilité de la production.

• Créez et faites évoluer des fonctionnalités au niveau de la plateforme : architecture de plateforme et modèle opérationnel : croissance multicluster, primitives partagées et expérience cohérente qui s'adapte à de nouvelles équipes et à de nouveaux cas d'utilisation.

• Améliorez l'expérience de bout en bout de la plateforme pour les utilisateurs internes (et externes) : API, garde-fous, workflows de débogage et automatisation.

• Propre qualité de production : réponse aux incidents/rotation d'astreinte, analyse des causes profondes et transformation des enseignements en solutions durables.

Exemples de projets

• Déployez des maîtres YTsaurus fragmentés (y compris la prise en charge des opérateurs Kubernetes) et établissez un équilibrage automatique des métadonnées entre les cellules maîtresses (groupes de consensus) pour supprimer les goulots d'étranglement du plan de contrôle et débloquer une croissance de cluster de 10 à 100 fois.

• Rendre le SQL interactif CHYT plus rapide et plus prévisible à charge élevée via des travaux de performance tels que le saut de données/index de style min-max et une introspection d'exécution améliorée.

• Transformez Orchestracto en un produit de plateforme en définissant les éléments de base, l'expérience des développeurs et la gouvernance de la façon dont les équipes créent et partagent des flux de travail.

• Faites évoluer et renforcez Parquet-on-S3 pour les charges de travail natives de YTsaurus en abordant la réplication/déplacement, une sémantique de cycle de vie cohérente et des optimisations de métadonnées de serveur maître pour des performances et une fiabilité.

• Concevoir et diffuser des pistes d'audit complètes et fiables pour les modifications de données (qui/quoi/quand) sur des chemins de stockage et de calcul hétérogènes.

Pile technologique

• Noyau : C++ moderne (C++20, async + primitives multithread)

• Services & outils : Go et Python (microservices, utilitaires, tests d'intégration)

Ce que nous attendons

• 5+ années d'expérience en génie logiciel.

• Solides compétences en C++ (vous écrirez du code de base).

• Connaissance pratique de Python et/ou Go (vous n'avez pas besoin d'être un expert, mais vous devez être à l'aise pour les naviguer).

• Expérience dans le développement et/ou l'exploitation de services distribués à forte charge.

• Esprit de production : capacité à utiliser SSH, à lire les journaux/métriques/traces et à déboguer le comportement des systèmes distribués.

• Bases fondamentales du CS : algorithmes, structures de données, bases de la concurrence.

C'est agréable d'avoir

• Expérience avec les systèmes Big Data (écosystèmes de type YTsaurus/Hadoop/Spark/ClickHouse/Kafka).

• Expérience avec les plates-formes multi-locataires, les planificateurs, l'isolation des ressources, les quotas et l'ingénierie de fiabilité.

• Solides compétences en ingénierie des performances (profilage, conflits de verrouillage, compromis latence/débit).

Nous menons des entretiens de codage dans le cadre du processus.
Avantages et avantages :

• Rémunération compétitive

• Possibilités d'évolution de carrière et d'apprentissage

• Flexibilité et appropriation

• Culture collaborative et innovante

• Possibilité de travailler sur des projets d'IA percutants

• Environnement international et équipes talentueuses…

Source : Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)