Старший инженер данных

О Небиусе:

Nebius возглавляет новую эру облачной инфраструктуры для глобальной экономики искусственного интеллекта. Мы создаем полнофункциональную облачную платформу искусственного интеллекта, которая поддерживает разработчиков и предприятия от обучения данным и моделям до производственного развертывания, без затрат и сложностей, связанных с созданием большой собственной инфраструктуры искусственного интеллекта и машинного обучения.

Создано инженерами для инженеров. От крупномасштабной оркестрации графических процессоров до оптимизации вывода — мы решаем сложные проблемы вычислений, хранения данных, сетей и прикладного искусственного интеллекта.

Компания зарегистрирована на Nasdaq (NBIS) и имеет штаб-квартиру в Амстердаме. Мы имеем глобальное присутствие с центрами исследований и разработок в Европе, Великобритании, Северной Америке и Израиле. В нашу команду, насчитывающую более 1500 человек, входят сотни инженеров с глубокими знаниями в области аппаратного и программного обеспечения, а также исследований и разработок в области искусственного интеллекта.

Роль

Команда Data Engineering создает и управляет платформой данных, которая обеспечивает аналитику, бизнес-аналитику, оперативную отчетность и продукты, управляемые данными, в Nebius. Мы получаем данные из внутренних и внешних систем, разрабатываем надежные конвейеры преобразования и модели данных, а также делаем надежные наборы данных доступными для бизнеса и продуктовых команд.

Мы ищем старшего инженера по обработке данных, который будет владеть значительной частью нашей платформы данных и обеспечивать комплексные продукты обработки данных. Вы превратите неоднозначные потребности бизнеса в прагматичные технические решения, найдете компромиссы в архитектуре и реализации, а также повысите надежность, масштабируемость и удобство использования нашей экосистемы данных.

Вы будете тесно сотрудничать с командами разработчиков продуктов, платформ и бизнеса, помогая им эффективно использовать данные, обеспечивая при этом надежность и надежность наших систем по мере роста Nebius.

Ваши обязанности:

• Владеть проектированием, поставкой и эксплуатацией сложных конвейеров данных, наборов данных и компонентов платформы.

• Преобразуйте бизнес- и аналитические требования в масштабируемые модели данных, надежные информационные продукты и четкие технические планы.

• Проектировать и развивать архитектуру данных, шаблоны хранения, обработки и оркестрации данных для крупномасштабных рабочих нагрузок.

• Улучшение качества данных, наблюдаемости, происхождения и реагирования на инциденты для критически важных наборов данных и конвейеров.

• Исследовать и решать сложные проблемы производительности, надежности и правильности данных в производстве.

• Создайте многоразовые инструменты, соглашения и средства автоматизации, которые повышают производительность проектирования и снижают операционные риски.

• Работайте с продуктовыми командами и заинтересованными сторонами бизнеса для определения контрактов данных, приоритетов и критериев успеха.

• Вносить вклад в техническое руководство посредством анализа проекта, продуманных компромиссов и документации.

• Поддерживайте и наставляйте других инженеров посредством обзоров, объединения в пары и обмена знаниями.

• Участвуйте в ротации дежурств и возьмите на себя ответственность за улучшение эксплуатационного состояния систем, которые вы поддерживаете.

Обязательно:

• Более 5 лет опыта работы в сфере обработки данных, серверной разработки или в аналогичной должности; или эквивалентный опыт доставки и эксплуатации систем производственных данных.

• Подтвержденный опыт самостоятельной реализации сложных конвейеров данных или возможностей платформы данных, от определения проблемы до производственной эксплуатации.

• Хорошие навыки работы с Python и SQL, включая написание удобного в сопровождении производственного кода и оптимизацию нетривиальных запросов.

• Практический опыт работы с инструментами оркестрации рабочих процессов, такими как Airflow, Prefect или Dagster.

• Глубокое понимание моделирования данных, включая разработку обслуживаемых аналитических моделей и контрактов данных для нескольких потребителей.

• Уверенные знания архитектур данных и систем хранения, включая компромиссы между различными подходами к обработке и хранению.

• Опыт проектирования для обеспечения надежности: тестирование, мониторинг, проверка качества данных, оповещение, отладка и разрешение инцидентов.

• Способность принимать технические решения в условиях неопределенности, четко объяснять компромиссы и эффективно сотрудничать с инженерами и заинтересованными сторонами, не являющимися техническими специалистами.

Приятно иметь:

• Опыт работы с платформами данных в реальном времени или на основе событий и технологиями потоковой передачи.

• Опыт создания или эксплуатации облачных сервисов с помощью Docker и Kubernetes.

• Знакомство с инфраструктурой как кодом, особенно с Terraform.

• Опыт работы с управлением данными, контролем доступа, конфиденциальностью и соблюдением требований, таких как GDPR или SOC 2.

• Опыт работы с инструментами или структурами наблюдения за данными и качества, такими как «Большие надежды».

• Опыт улучшения инженерных стандартов с помощью общих библиотек, инструментов платформы, технической документации или наставничества.

В рамках процесса мы проводим собеседования по программированию.

Преимущества и льготы:

• Конкурентное вознаграждение

• Карьерный рост и возможности обучения.

• Гибкость и ответственность

• Культура сотрудничества и инноваций.

• Возможность работать над эффективными проектами в области искусственного интеллекта.

• Международная среда и талантливые команды

Каково работать в Небиусе:

Быстрое движение - Смелое мышление - Постоянный рост - Значимое влияние - Доверие и реальная ответственность - Возможность формировать будущее искусственного интеллекта

Заявление о равных возможностях:

Небиус – работодатель, предоставляющий равные возможности. Мы стремимся способствовать инклюзивному и разнообразному рабочему месту и предоставлять равные возможности трудоустройства во всех аспектах занятости. Мы не проводим дискриминацию по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, происхождения, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или самовыражения или любых других характеристик, защищаемых действующим законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявление, и должны будут предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам понадобится жилье во время процесса подачи заявления, сообщите нам об этом.

Источник: Jobicy (https://jobicy.com/jobs/156537-senior-data-engineer-5).