Старший инженер-программист (платформа данных, C++)

О Небиусе:

Nebius возглавляет новую эру облачной инфраструктуры для глобальной экономики искусственного интеллекта. Мы создаем полнофункциональную облачную платформу искусственного интеллекта, которая поддерживает разработчиков и предприятия от обучения данным и моделям до производственного развертывания, без затрат и сложностей, связанных с созданием большой собственной инфраструктуры искусственного интеллекта и машинного обучения.

Создано инженерами для инженеров. От крупномасштабной оркестрации графических процессоров до оптимизации вывода — мы решаем сложные проблемы вычислений, хранения данных, сетей и прикладного искусственного интеллекта.

Компания зарегистрирована на Nasdaq (NBIS) и имеет штаб-квартиру в Амстердаме. Мы имеем глобальное присутствие с центрами исследований и разработок в Европе, Великобритании, Северной Америке и Израиле. В нашу команду, насчитывающую более 1500 человек, входят сотни инженеров с глубокими знаниями в области аппаратного и программного обеспечения, а также исследований и разработок в области искусственного интеллекта.

Роль

#ЛИ-ММ1

Мы ищем инженера-программиста с глубокими знаниями C++, который присоединится к созданию команды и эксплуатации платформы данных Nebius — распределенной платформы хранения и обработки, которая выступает в качестве «источника истины» компании и основы многих внутренних (и некоторых внешних) продуктов.

Платформа данных Nebius — это единая мультитенантная экосистема на базе YTsaurus — вместо запуска отдельных систем в стиле HDFS/Kafka/HBase мы предоставляем возможности хранения, вычислений и аналитики внутри одной платформы.

Построенный на основе экосистемы YTsaurus с открытым исходным кодом, мы запускаем и расширяем наш собственный дистрибутив Nebius, а также разрабатываем значительные собственные функциональные возможности (на уровне ядра и платформы). Мы можем проектировать, внедрять и развертывать комплексные функции в наших кластерах, не дожидаясь одобрения вышестоящих компаний, и вносить вклад в восходящие потоки, когда это имеет смысл.

В сегодняшнем масштабе это включает около 500 серверов, около 20 тысяч процессорных ядер и около 10 ПБ сжатых данных в нашем крупнейшем производственном кластере, поддерживающем самые разные рабочие нагрузки: от критически важных для бизнеса конвейеров и финансовых транзакций до крупномасштабных наборов обучающих данных ML/LLM и вычислений.

Что внутри платформы

Вы будете работать над системой, которая включает в себя (и объединяет):

• Распределенное хранилище (Cypress): транзакционная семантика, многоуровневое хранилище, стирающее кодирование, репликация и высокие требования к надежности.

• Compute & ETL: планировщик заданий всего кластера (десятки тысяч ядер), MapReduce, YQL для SQL-подобной обработки данных и SPYT (Spark поверх YTsaurus) для современной обработки данных.

• Интерактивная аналитика (CHYT). Экземпляры ClickHouse® развертываются непосредственно на вычислительных узлах для быстрого выполнения SQL над данными на месте.

• Динамические таблицы: NoSQL KV с малой задержкой и распределенными транзакциями ACID для рабочих нагрузок в стиле OLTP и хранилищ функций.

• Orchestrato: оркестровка рабочих процессов, глубоко интегрированная с платформой (аналогично Airflow, но встроенная в платформу).

Что ты будешь делать

Мы ищем инженеров, которые сочетают в себе сильные системные навыки с чувством продукта: понимают, кто использует платформу, почему определенные возможности важны, и идут на прагматичные компромиссы для максимизации эффекта. Ожидается, что в нашей команде инженерная работа будет связана с реальными пользователями и результатами — вы будете регулярно координировать свои действия с внутренними заинтересованными сторонами, уточнять требования и помогать расставлять приоритеты.

В этой роли вы будете:

• Разработать и внедрить новые функции в ядре YTsaurus (C++) с учетом производственной надежности.

• Создавайте и развивайте возможности уровня платформы: архитектура платформы и операционная модель — рост нескольких кластеров, общие примитивы и согласованный опыт, который масштабируется с новыми командами и сценариями использования.

• Улучшение комплексного взаимодействия с платформой для внутренних (и внешних) пользователей: API, защитные меры, рабочие процессы отладки и автоматизация.

• Собственное качество производства: реагирование на инциденты/ротация дежурств, анализ первопричин и превращение полученных знаний в долгосрочные решения.

Примеры проектов

• Разверните сегментированные главные узлы YTsaurus (включая поддержку операторов Kubernetes) и создайте автоматическую балансировку метаданных между главными ячейками (консенсусными группами), чтобы устранить узкие места в плоскости управления и обеспечить рост кластера в 10–100 раз.

• Сделайте интерактивный SQL CHYT более быстрым и предсказуемым при высокой нагрузке за счет повышения производительности, например, с пропуском данных или индексами в стиле min-max, а также улучшенным самоанализом выполнения.

• Превратите Orchestracto в платформенный продукт, определив строительные блоки, опыт разработчиков и управление тем, как команды создают и совместно используют рабочие процессы.

• Масштабируйте и укрепляйте Parquet-on-S3 для собственных рабочих нагрузок YTsaurus, обеспечивая репликацию/перемещение, согласованную семантику жизненного цикла и оптимизацию метаданных главного сервера для повышения производительности и надежности.

• Создавайте и распространяйте полные и надежные журналы аудита изменений данных (кто/что/когда) в гетерогенных хранилищах и вычислительных путях.

Технический стек

• Ядро: современный C++ (C++20, асинхронность + многопоточные примитивы).

• Сервисы и инструменты: Go и Python (микросервисы, утилиты, интеграционные тесты).

Чего мы ожидаем

• Опыт разработки программного обеспечения более 5 лет.

• Уверенные навыки работы с C++ (вы будете писать основной код).

• Практическое знание Python и/или Go (не обязательно быть экспертом, но вам должно быть удобно в них ориентироваться).

• Опыт разработки и/или эксплуатации высоконагруженных распределенных сервисов.

• Производственное мышление: способность использовать SSH, читать журналы/метрики/трассировки и отлаживать поведение распределенных систем.

• Прочные основы CS: алгоритмы, структуры данных, основы параллелизма.

Приятно иметь

• Опыт работы с системами больших данных (экосистемы YTsaurus/Hadoop/Spark/ClickHouse/Kafka-like).

• Опыт работы с многопользовательскими платформами, планировщиками, изоляцией ресурсов, квотами и обеспечением надежности.

• Хорошие навыки проектирования производительности (профилирование, борьба за блокировки, компромисс между задержкой и пропускной способностью).

В рамках процесса мы проводим собеседования по программированию.
Преимущества и льготы:

• Конкурентное вознаграждение

• Карьерный рост и возможности обучения.

• Гибкость и ответственность

• Культура сотрудничества и инноваций.

• Возможность работать над эффективными проектами в области искусственного интеллекта.

• Международная среда и талантливые команды…

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-software-engineer-data-platform-c-amsterdam-173297).