Старший інженер-програміст (платформа даних, C++)

Про Nebius:

Nebius відкриває нову еру хмарної інфраструктури для глобальної економіки ШІ. Ми створюємо повну хмарну платформу штучного інтелекту, яка підтримує розробників і підприємства від навчання даних і моделям до розгортання виробництва без витрат і складності створення великої внутрішньої інфраструктури штучного інтелекту/ML.

Створено інженерами, для інженерів. Від великомасштабної оркестровки графічного процесора до оптимізації логічного висновку ми вирішуємо складні проблеми з обчисленнями, сховищами, мережами та прикладним штучним інтелектом.

Котирується на Nasdaq (NBIS) і має штаб-квартиру в Амстердамі, ми маємо глобальний слід із науково-дослідними центрами в Європі, Великобританії, Північній Америці та Ізраїлі. Наша команда з 1500+ включає в себе сотні інженерів з глибоким досвідом роботи з обладнанням, програмним забезпеченням і дослідженнями та розробками штучного інтелекту.

роль

#LI-MM1

Ми шукаємо інженера-програміста з сильним досвідом C++, щоб приєднатися до створення команди та керування платформою даних Nebius — розподіленим сховищем даних і платформою обробки, яка діє як «джерело істини» компанії та основа багатьох внутрішніх (і деяких зовнішніх) продуктів.

Платформа даних Nebius — це єдина екосистема з кількома клієнтами на основі YTsaurus — замість запуску окремих систем у стилі HDFS/Kafka/HBase ми надаємо можливості зберігання, обчислень і аналітики в одній платформі.

Створені на основі екосистеми YTsaurus з відкритим кодом, ми запускаємо та розширюємо наш власний дистрибутив Nebius і розробляємо значну власну функціональність (на рівні ядра та платформи). Ми можемо розробляти, впроваджувати та наскрізно розгортати функції на наших кластерах, не чекаючи схвалень на випереджаючих напрямках, і робити внески на розгортання, коли це має сенс.

На сьогоднішній день це включає ~500 серверів, ~20 тис. ядер ЦП і ~10 ПБ стиснених даних у нашому найбільшому виробничому кластері, підтримуючи робочі навантаження, починаючи від критично важливих для бізнесу конвеєрів і фінансових транзакцій до великомасштабних наборів даних для навчання ML/LLM і обчислень.

Що всередині платформи

Ви працюватимете над системою, яка включає (і об’єднує):

• Розподілене сховище (Cypress): семантика транзакцій, багаторівневе сховище, кодування стирання, реплікація та високі очікування щодо надійності.

• Compute & ETL: загальнокластерний планувальник завдань (десятки тисяч ядер), MapReduce, YQL для SQL-подібної обробки даних і SPYT (Spark через YTsaurus) для сучасної інженерії даних.

• Інтерактивна аналітика (CHYT): екземпляри ClickHouse® розгортаються безпосередньо на обчислювальних вузлах для швидкого SQL над даними на місці.

• Динамічні таблиці: NoSQL KV з низькою затримкою з розподіленими транзакціями ACID для робочих навантажень у стилі OLTP і сховищ функцій.

• Orchestrato: оркестровка робочого процесу, глибоко інтегрована з платформою (схожа на Airflow, але рідна для платформи).

Що ви будете робити

Ми шукаємо інженерів, які поєднують сильні системні навички з розумінням продукту: розуміють, хто використовує платформу, чому певні можливості важливі, і роблять прагматичні компроміси для досягнення максимального ефекту. Очікується, що в нашій команді інженерна робота буде пов’язана з реальними користувачами та результатами — ви регулярно погоджуватиметеся з внутрішніми зацікавленими сторонами, роз’яснюватимете вимоги та допомагатимете визначати пріоритети.

У цій ролі ви:

• Розробляйте та впроваджуйте нові функції в ядрі YTsaurus (C++) з урахуванням надійності виробництва.

• Створюйте та розвивайте можливості на рівні платформи: архітектура платформи та операційна модель — багатокластерне зростання, спільні примітиви та узгоджений досвід, який масштабується з новими командами та сценаріями використання.

• Покращте взаємодію з наскрізною платформою для внутрішніх (і зовнішніх) користувачів: API, огорожі, робочі процеси налагодження та автоматизація.

• Якість власного виробництва: реагування на інциденти / чергування за викликом, аналіз першопричин і перетворення отриманих знань у довгострокові виправлення.

Приклади проектів

• Розгортання сегментованих головних елементів YTsaurus (включно з підтримкою оператора Kubernetes) і створення автоматичного балансування метаданих у головних комірках (консенсусних групах), щоб усунути вузькі місця на рівні керування та розблокувати зростання кластерів у 10–100 разів.

• Зробіть інтерактивний SQL CHYT швидшим і більш передбачуваним при високому навантаженні за допомогою роботи з підвищення продуктивності, наприклад індексів у стилі пропуску даних / мінімально-максимального стилю та покращеного самоаналізу виконання.

• Перетворіть Orchestrato на платформний продукт, визначивши будівельні блоки, досвід розробників і керування тим, як команди створюють і спільно використовують робочі процеси.

• Масштабуйте та зміцнюйте Parquet-on-S3 для власних робочих навантажень YTsaurus шляхом вирішення реплікації/переміщення, узгодженої семантики життєвого циклу та оптимізації метаданих головного сервера для продуктивності та надійності.

• Розробляйте та надсилайте повні, надійні журнали аудиту для змін даних (хто/що/коли) у гетерогенних сховищах і обчислювальних шляхах.

Технічний стек

• Ядро: сучасний C++ (C++20, асинхронний + багатопотокові примітиви)

• Сервіси та інструменти: Go і Python (мікросервіси, утиліти, інтеграційні тести)

Що ми очікуємо

• 5+ років досвіду розробки програмного забезпечення.

• Сильні навички C++ (ви будете писати основний код).

• Практичні знання Python і/або Go (необов’язково бути експертом, але вам має бути зручно орієнтуватися в них).

• Досвід розробки та/або експлуатації розподілених послуг із високим навантаженням.

• Виробничий спосіб мислення: здатність використовувати SSH, читати журнали/метрики/трасування та налагоджувати поведінку розподілених систем.

• Надійні основи CS: алгоритми, структури даних, основи паралелізму.

Приємно мати

• Досвід роботи з системами Big Data (YTsaurus/Hadoop/Spark/ClickHouse/Kafka-like ecosystems).

• Досвід роботи з мультитенантними платформами, планувальниками, ізоляцією ресурсів, квотами та розробкою надійності.

• Сильні навички розробки продуктивності (профілювання, суперечка за блокування, компроміс між затримкою/пропускною здатністю).

Ми проводимо співбесіди з кодування як частину процесу.
Переваги та переваги:

• Конкурентна винагорода

• Кар'єрний ріст і можливості навчання

• Гнучкість і власність

• Культура співпраці та інновацій

• Можливість працювати над ефективними проектами ШІ

• Міжнародне середовище та талановиті команди…

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297)