Старший інженер з даних

Про Nebius:

Nebius відкриває нову еру хмарної інфраструктури для глобальної економіки ШІ. Ми створюємо повну хмарну платформу штучного інтелекту, яка підтримує розробників і підприємства від навчання даних і моделям до розгортання виробництва без витрат і складності створення великої внутрішньої інфраструктури штучного інтелекту/ML.

Створено інженерами, для інженерів. Від великомасштабної оркестровки графічного процесора до оптимізації логічного висновку ми вирішуємо складні проблеми з обчисленнями, сховищами, мережами та прикладним штучним інтелектом.

Котирується на Nasdaq (NBIS) і має штаб-квартиру в Амстердамі, ми маємо глобальний слід із науково-дослідними центрами в Європі, Великобританії, Північній Америці та Ізраїлі. Наша команда з 1500+ включає в себе сотні інженерів з глибоким досвідом роботи з обладнанням, програмним забезпеченням і дослідженнями та розробками штучного інтелекту.

роль

Команда Data Engineering створює та керує платформою даних, яка забезпечує аналітику, бізнес-аналітику, оперативну звітність і продукти на основі даних у Nebius. Ми отримуємо дані з внутрішніх і зовнішніх систем, розробляємо надійні конвеєри трансформації та моделі даних, а також надаємо надійні набори даних доступними для бізнес-команд і груп продуктів.

Ми шукаємо старшого інженера з обробки даних, який би володів значною частиною нашої платформи даних і надавав комплексні продукти обробки даних. Ви перетворите неоднозначні бізнес-потреби на прагматичні технічні рішення, зробите компроміси між архітектурою та впровадженням і підвищите надійність, масштабованість і зручність використання нашої екосистеми даних.

Ви тісно співпрацюватимете з продуктами, платформами та бізнес-командами, допомагаючи їм ефективно використовувати дані, гарантуючи, що наші системи залишатимуться придатними для обслуговування та надійними в міру зростання Nebius.

Ваші обов'язки:

• Володіти розробкою, доставкою та експлуатацією складних конвеєрів даних, наборів даних і компонентів платформи.

• Транслюйте бізнес-аналітичні вимоги в масштабовані моделі даних, надійні дані та чіткі технічні плани.

• Проектуйте та розвивайте шаблони архітектури даних, зберігання, обробки та оркестровки для великих робочих навантажень.

• Покращте якість даних, можливість спостереження, походження та реагування на інциденти для критичних наборів даних і конвеєрів.

• Досліджуйте та вирішуйте складні проблеми з продуктивністю, надійністю та правильністю даних у виробництві.

• Встановіть багаторазові інструменти, угоди та автоматизацію, які покращують продуктивність проектування та зменшують операційний ризик.

• Працюйте з командами продуктів і бізнес-стейкхолдерами, щоб визначити контракти на дані, пріоритети та критерії успіху.

• Зробіть внесок у технічне керівництво через огляд дизайну, продумані компроміси та документацію.

• Підтримуйте та наставляйте інших інженерів через огляди, створення пар і обмін знаннями.

• Беріть участь у чергуванні за викликом і візьміть на себе відповідальність за покращення робочого стану систем, які ви підтримуєте.

Необхідні речі:

• 5+ років досвіду в інженерії даних, бекенд-інженерії або на відповідній посаді; або еквівалентний досвід доставки та експлуатації систем виробничих даних.

• Перевірений досвід незалежної доставки складних конвеєрів даних або можливостей платформи даних від визначення проблеми до виробничої експлуатації.

• Хороші навички володіння Python і SQL, включаючи написання робочого коду, що підтримується, і оптимізацію нетривіальних запитів.

• Практичний досвід роботи з такими інструментами оркестровки робочого процесу, як Airflow, Prefect або Dagster.

• Глибоке розуміння моделювання даних, включаючи розробку підтримуваних аналітичних моделей і контрактів на дані для багатьох споживачів.

• Глибоке знання архітектури даних і систем зберігання, включаючи компроміси між різними підходами до обробки та зберігання.

• Досвід проектування для забезпечення надійності: тестування, моніторинг, перевірка якості даних, попередження, налагодження та вирішення інцидентів.

• Здатність приймати технічні рішення в умовах неоднозначності, чітко пояснювати компроміси та ефективно співпрацювати з інженерами та нетехнічними зацікавленими сторонами

Приємно мати:

• Досвід роботи з платформами даних і потоковими технологіями в режимі реального часу або на основі подій.

• Досвід створення та експлуатації хмарних служб за допомогою Docker і Kubernetes.

• Знайомство з інфраструктурою як кодом, зокрема з Terraform.

• Досвід керування даними, контролю доступу, конфіденційності та відповідності вимогам, таким як GDPR або SOC 2.

• Досвід роботи з інструментами чи фреймворками для спостереження та якості даних, наприклад Great Expectations.

• Досвід вдосконалення інженерних стандартів за допомогою спільних бібліотек, інструментів платформи, технічної документації або наставництва.

Ми проводимо співбесіди з кодування як частину процесу.

Переваги та переваги:

• Конкурентна винагорода

• Кар'єрний ріст і можливості навчання

• Гнучкість і власність

• Культура співпраці та інновацій

• Можливість працювати над ефективними проектами ШІ

• Міжнародне середовище та талановиті команди

Як це – працювати в Nebius:

Швидкий рух - Сміливе мислення - Постійне зростання - Значущий вплив - Довіра та реальна власність - Можливість формувати майбутнє ШІ

Заява про рівні можливості:

Nebius є роботодавцем рівних можливостей. Ми прагнемо сприяти інклюзивному та різноманітному робочому середовищу та надавати рівні можливості працевлаштування в усіх аспектах зайнятості. Ми не проводимо дискримінації на основі раси, кольору шкіри, релігії, статі (включаючи вагітність), національного походження, походження, віку, інвалідності, генетичної інформації, сімейного стану, статусу ветерана, сексуальної орієнтації, гендерної ідентичності чи самовираження чи будь-якої іншої характеристики, захищеної чинним законодавством.

Кандидати повинні мати дозвіл на роботу в країні, в якій вони подають заявку, і повинні будуть надати підтвердження права на працевлаштування як умову найму.

Якщо вам потрібне розміщення під час подання заявки, повідомте нам про це.

Джерело: Jobicy (https://jobicy.com/jobs/156537-senior-data-engineer-5)