Job
Aus Partner-Feed
Senior Software Engineer (Datenplattform, C++)
Preis auf Anfrage
Details
- Beschäftigungsart
- Vollzeit
- Remote
- Nein
- Unternehmen
- Nebius
Beschreibung
Automatisch aus dem English übersetzt. Der Originaltext ist maßgeblich. Maschinenübersetzung – eine genauere Version wird vorbereitet.
Über Nebius:
Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-KI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus einer großen internen KI/ML-Infrastruktur.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung beherrschen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicher, Netzwerk und angewandte KI.
Wir sind an der Nasdaq (NBIS) notiert und haben unseren Hauptsitz in Amsterdam. Wir verfügen über eine globale Präsenz mit Forschungs- und Entwicklungszentren in Europa, Großbritannien, Nordamerika und Israel. Zu unserem über 1.500-köpfigen Team gehören Hunderte von Ingenieuren mit umfassendem Fachwissen in den Bereichen Hardware, Software und KI-Forschung und -Entwicklung.
Die Rolle
#LI-MM1
Wir suchen einen Software-Ingenieur mit ausgeprägter C++-Expertise, der sich dem Team anschließt, das die Nebius Data Platform aufbaut und betreibt – eine verteilte Speicher- und Verarbeitungsplattform, die als „Quelle der Wahrheit“ des Unternehmens und als Rückgrat vieler interner (und einiger externer) Produkte fungiert.
Die Nebius Data Platform ist ein einzelnes Multi-Tenant-Ökosystem, das auf YTsaurus basiert. Anstatt separate Systeme im HDFS-/Kafka-/HBase-Stil auszuführen, bieten wir Speicher-, Rechen- und Analysefunktionen innerhalb einer Plattform.
Aufbauend auf dem Open-Source-Ökosystem YTsaurus betreiben und erweitern wir unsere eigene Nebius-Distribution und entwickeln bedeutende interne Funktionen (Kern- und Plattformebene). Wir können Funktionen durchgängig in unseren Clustern entwerfen, implementieren und einführen, ohne auf Genehmigungen vorgelagerter Unternehmen warten zu müssen, und im vorgelagerten Umfeld einen Beitrag leisten, wenn es sinnvoll ist.
Im heutigen Maßstab umfasst dies etwa 500 Server, etwa 20.000 CPU-Kerne und etwa 10 PB an komprimierten Daten in unserem größten Produktionscluster und unterstützt Workloads, die von geschäftskritischen Pipelines und Finanztransaktionen bis hin zu umfangreichen ML/LLM-Trainingsdatensätzen und Rechenleistung reichen.
Was ist in der Plattform?
Sie arbeiten an einem System, das Folgendes umfasst (und miteinander verknüpft):
• Verteilter Speicher (Cypress): Transaktionssemantik, mehrstufiger Speicher, Erasure Coding, Replikation und hohe Zuverlässigkeitserwartungen.
• Compute & ETL: ein Cluster-weiter Job-Scheduler (Zehntausende Kerne), MapReduce, YQL für SQL-ähnliche Datenverarbeitung und SPYT (Spark over YTsaurus) für modernes Data Engineering.
• Interaktive Analyse (CHYT): ClickHouse®-Instanzen werden direkt auf Rechenknoten gestartet, um schnelles SQL über Daten vor Ort zu ermöglichen.
• Dynamische Tabellen: NoSQL-KV mit geringer Latenz und verteilten ACID-Transaktionen für Workloads und Feature-Stores im OLTP-Stil.
• Orchestracto: Workflow-Orchestrierung, tief in die Plattform integriert (Airflow-ähnlich, aber plattformnativ).
Was Sie tun werden
Wir suchen Ingenieure, die starke Systemkenntnisse mit Produktgespür verbinden: Sie verstehen, wer die Plattform nutzt, warum bestimmte Funktionen wichtig sind und pragmatische Kompromisse eingehen, um die Wirkung zu maximieren. In unserem Team wird erwartet, dass die technische Arbeit mit echten Benutzern und Ergebnissen verknüpft ist. Sie stimmen sich regelmäßig mit internen Stakeholdern ab, klären Anforderungen und helfen bei der Priorisierung.
In dieser Rolle werden Sie:
• Entwerfen und implementieren Sie neue Funktionen im YTsaurus-Kern (C++) unter Berücksichtigung der Produktionszuverlässigkeit.
• Funktionen auf Plattformebene aufbauen und weiterentwickeln: Plattformarchitektur und Betriebsmodell – Multi-Cluster-Wachstum, gemeinsame Grundelemente und eine konsistente Erfahrung, die mit neuen Teams und Anwendungsfällen skaliert.
• Verbessern Sie die End-to-End-Plattformerfahrung für interne (und externe) Benutzer: APIs, Leitplanken, Debugging-Workflows und Automatisierung.
• Eigene Produktionsqualität: Reaktion auf Vorfälle/Bereitschaftsrotation, Ursachenanalyse und Umsetzung von Erkenntnissen in dauerhafte Lösungen.
Beispielprojekte
• Einführung von Shard-YTsaurus-Mastern (einschließlich Kubernetes-Betreiberunterstützung) und Aufbau eines automatischen Ausgleichs von Metadaten über Masterzellen (Konsensgruppen) hinweg, um Engpässe auf der Steuerungsebene zu beseitigen und ein 10- bis 100-faches Clusterwachstum zu ermöglichen.
• Machen Sie interaktives CHYT-SQL bei hoher Auslastung schneller und vorhersehbarer durch Leistungsmaßnahmen wie Datenüberspringen/Min-Max-Indizes und verbesserte Ausführungsintrospektion.
• Verwandeln Sie Orchestracto in ein Plattformprodukt, indem Sie die Bausteine, die Entwicklererfahrung und die Governance dafür definieren, wie Teams Workflows erstellen und teilen.
• Skalieren und härten Sie Parquet-on-S3 für native YTsaurus-Workloads durch Replikation/Verschiebung, konsistente Lebenszyklussemantik und Master-Server-Metadatenoptimierungen für Leistung und Zuverlässigkeit.
• Entwerfen und liefern Sie vollständige, vertrauenswürdige Prüfprotokolle für Datenänderungen (wer/was/wann) über heterogene Speicher- und Rechenpfade hinweg.
Tech-Stack
• Kern: modernes C++ (C++20, asynchrone + Multithread-Primitive)
• Dienste und Tools: Go und Python (Microservices, Dienstprogramme, Integrationstests)
Was wir erwarten
• Mehr als 5 Jahre Erfahrung in der Softwareentwicklung.
• Starke C++-Kenntnisse (Sie schreiben Kerncode).
• Praktische Kenntnisse in Python und/oder Go (Sie müssen kein Experte sein, sollten sich aber mit deren Navigation auskennen).
• Erfahrung in der Entwicklung und/oder dem Betrieb verteilter Hochlastdienste.
• Produktionsmentalität: Fähigkeit, SSH zu verwenden, Protokolle/Metriken/Traces zu lesen und das Verhalten verteilter Systeme zu debuggen.
• Solide CS-Grundlagen: Algorithmen, Datenstrukturen, Parallelitätsgrundlagen.
Schön zu haben
• Erfahrung mit Big-Data-Systemen (YTsaurus/Hadoop/Spark/ClickHouse/Kafka-ähnliche Ökosysteme).
• Erfahrung mit mandantenfähigen Plattformen, Planern, Ressourcenisolation, Quoten und Zuverlässigkeitstechnik.
• Ausgeprägte Performance-Engineering-Fähigkeiten (Profilerstellung, Sperrkonflikte, Latenz-/Durchsatz-Kompromisse).
Als Teil des Prozesses führen wir Coding-Interviews durch.
Vorteile und Vorteile:
• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur
• Möglichkeit, an wirkungsvollen KI-Projekten zu arbeiten
• Internationales Umfeld und talentierte Teams…
Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)
Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine Full-Stack-KI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus einer großen internen KI/ML-Infrastruktur.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung beherrschen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicher, Netzwerk und angewandte KI.
Wir sind an der Nasdaq (NBIS) notiert und haben unseren Hauptsitz in Amsterdam. Wir verfügen über eine globale Präsenz mit Forschungs- und Entwicklungszentren in Europa, Großbritannien, Nordamerika und Israel. Zu unserem über 1.500-köpfigen Team gehören Hunderte von Ingenieuren mit umfassendem Fachwissen in den Bereichen Hardware, Software und KI-Forschung und -Entwicklung.
Die Rolle
#LI-MM1
Wir suchen einen Software-Ingenieur mit ausgeprägter C++-Expertise, der sich dem Team anschließt, das die Nebius Data Platform aufbaut und betreibt – eine verteilte Speicher- und Verarbeitungsplattform, die als „Quelle der Wahrheit“ des Unternehmens und als Rückgrat vieler interner (und einiger externer) Produkte fungiert.
Die Nebius Data Platform ist ein einzelnes Multi-Tenant-Ökosystem, das auf YTsaurus basiert. Anstatt separate Systeme im HDFS-/Kafka-/HBase-Stil auszuführen, bieten wir Speicher-, Rechen- und Analysefunktionen innerhalb einer Plattform.
Aufbauend auf dem Open-Source-Ökosystem YTsaurus betreiben und erweitern wir unsere eigene Nebius-Distribution und entwickeln bedeutende interne Funktionen (Kern- und Plattformebene). Wir können Funktionen durchgängig in unseren Clustern entwerfen, implementieren und einführen, ohne auf Genehmigungen vorgelagerter Unternehmen warten zu müssen, und im vorgelagerten Umfeld einen Beitrag leisten, wenn es sinnvoll ist.
Im heutigen Maßstab umfasst dies etwa 500 Server, etwa 20.000 CPU-Kerne und etwa 10 PB an komprimierten Daten in unserem größten Produktionscluster und unterstützt Workloads, die von geschäftskritischen Pipelines und Finanztransaktionen bis hin zu umfangreichen ML/LLM-Trainingsdatensätzen und Rechenleistung reichen.
Was ist in der Plattform?
Sie arbeiten an einem System, das Folgendes umfasst (und miteinander verknüpft):
• Verteilter Speicher (Cypress): Transaktionssemantik, mehrstufiger Speicher, Erasure Coding, Replikation und hohe Zuverlässigkeitserwartungen.
• Compute & ETL: ein Cluster-weiter Job-Scheduler (Zehntausende Kerne), MapReduce, YQL für SQL-ähnliche Datenverarbeitung und SPYT (Spark over YTsaurus) für modernes Data Engineering.
• Interaktive Analyse (CHYT): ClickHouse®-Instanzen werden direkt auf Rechenknoten gestartet, um schnelles SQL über Daten vor Ort zu ermöglichen.
• Dynamische Tabellen: NoSQL-KV mit geringer Latenz und verteilten ACID-Transaktionen für Workloads und Feature-Stores im OLTP-Stil.
• Orchestracto: Workflow-Orchestrierung, tief in die Plattform integriert (Airflow-ähnlich, aber plattformnativ).
Was Sie tun werden
Wir suchen Ingenieure, die starke Systemkenntnisse mit Produktgespür verbinden: Sie verstehen, wer die Plattform nutzt, warum bestimmte Funktionen wichtig sind und pragmatische Kompromisse eingehen, um die Wirkung zu maximieren. In unserem Team wird erwartet, dass die technische Arbeit mit echten Benutzern und Ergebnissen verknüpft ist. Sie stimmen sich regelmäßig mit internen Stakeholdern ab, klären Anforderungen und helfen bei der Priorisierung.
In dieser Rolle werden Sie:
• Entwerfen und implementieren Sie neue Funktionen im YTsaurus-Kern (C++) unter Berücksichtigung der Produktionszuverlässigkeit.
• Funktionen auf Plattformebene aufbauen und weiterentwickeln: Plattformarchitektur und Betriebsmodell – Multi-Cluster-Wachstum, gemeinsame Grundelemente und eine konsistente Erfahrung, die mit neuen Teams und Anwendungsfällen skaliert.
• Verbessern Sie die End-to-End-Plattformerfahrung für interne (und externe) Benutzer: APIs, Leitplanken, Debugging-Workflows und Automatisierung.
• Eigene Produktionsqualität: Reaktion auf Vorfälle/Bereitschaftsrotation, Ursachenanalyse und Umsetzung von Erkenntnissen in dauerhafte Lösungen.
Beispielprojekte
• Einführung von Shard-YTsaurus-Mastern (einschließlich Kubernetes-Betreiberunterstützung) und Aufbau eines automatischen Ausgleichs von Metadaten über Masterzellen (Konsensgruppen) hinweg, um Engpässe auf der Steuerungsebene zu beseitigen und ein 10- bis 100-faches Clusterwachstum zu ermöglichen.
• Machen Sie interaktives CHYT-SQL bei hoher Auslastung schneller und vorhersehbarer durch Leistungsmaßnahmen wie Datenüberspringen/Min-Max-Indizes und verbesserte Ausführungsintrospektion.
• Verwandeln Sie Orchestracto in ein Plattformprodukt, indem Sie die Bausteine, die Entwicklererfahrung und die Governance dafür definieren, wie Teams Workflows erstellen und teilen.
• Skalieren und härten Sie Parquet-on-S3 für native YTsaurus-Workloads durch Replikation/Verschiebung, konsistente Lebenszyklussemantik und Master-Server-Metadatenoptimierungen für Leistung und Zuverlässigkeit.
• Entwerfen und liefern Sie vollständige, vertrauenswürdige Prüfprotokolle für Datenänderungen (wer/was/wann) über heterogene Speicher- und Rechenpfade hinweg.
Tech-Stack
• Kern: modernes C++ (C++20, asynchrone + Multithread-Primitive)
• Dienste und Tools: Go und Python (Microservices, Dienstprogramme, Integrationstests)
Was wir erwarten
• Mehr als 5 Jahre Erfahrung in der Softwareentwicklung.
• Starke C++-Kenntnisse (Sie schreiben Kerncode).
• Praktische Kenntnisse in Python und/oder Go (Sie müssen kein Experte sein, sollten sich aber mit deren Navigation auskennen).
• Erfahrung in der Entwicklung und/oder dem Betrieb verteilter Hochlastdienste.
• Produktionsmentalität: Fähigkeit, SSH zu verwenden, Protokolle/Metriken/Traces zu lesen und das Verhalten verteilter Systeme zu debuggen.
• Solide CS-Grundlagen: Algorithmen, Datenstrukturen, Parallelitätsgrundlagen.
Schön zu haben
• Erfahrung mit Big-Data-Systemen (YTsaurus/Hadoop/Spark/ClickHouse/Kafka-ähnliche Ökosysteme).
• Erfahrung mit mandantenfähigen Plattformen, Planern, Ressourcenisolation, Quoten und Zuverlässigkeitstechnik.
• Ausgeprägte Performance-Engineering-Fähigkeiten (Profilerstellung, Sperrkonflikte, Latenz-/Durchsatz-Kompromisse).
Als Teil des Prozesses führen wir Coding-Interviews durch.
Vorteile und Vorteile:
• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur
• Möglichkeit, an wirkungsvollen KI-Projekten zu arbeiten
• Internationales Umfeld und talentierte Teams…
Quelle: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)
Dieses Angebot stammt aus einem Partner-Feed. Bewerben Sie sich auf der Quell-Website.
Quelle: Nebius
Standort
Amsterdam, Niederlande
Inserat bereitgestellt von Nebius.
