Інженер з інфраструктури даних та ML

Ми розширюємо нашу команду за допомогою інженера з інфраструктури даних і машинного навчання, який візьме на себе відповідальність за платформу, яка забезпечує прийом, обробку, зберігання та робочі процеси машинного навчання для багатьох продуктів. Працюючи на стику науки про дані, розробки програмного забезпечення та хмарної інфраструктури, ви створите фундамент і забезпечите, щоб наші системи ML були масштабованими, відтворюваними та готовими до виробництва.

На цій посаді ви розроблятимете, впроваджуватимете та постійно вдосконалюватимете хмарну платформу даних і машинного навчання, яка підтримує кілька продуктів і команд. Ви відповідатимете за надійність платформи, масштабованість і економічну ефективність, водночас забезпечуючи науковців із обробки даних та інженерів ML інструментами та інфраструктурою для ефективної розробки, навчання, перевірки та розгортання моделей машинного навчання. Ви слугуватимете технічним мостом між командами з обробки даних та ІТ/інфраструктури, перетворюючи вимоги на надійні та придатні для обслуговування системи.

Ця роль включає право власності на існуючу платформу, надану постачальником, і її еволюцію до повністю автоматизованої, відтворюваної та багатопродуктової платформи машинного навчання.

Основні обов'язки:

• Проектувати, впроваджувати та підтримувати інфраструктуру платформи даних та ML, включаючи системи прийому, зберігання, обробки та навчання даних.

• Забезпечте високу доступність, надійність і час безперебійної роботи платформи, оскільки це має вирішальне значення для цінності бізнес-пропозиції.

• Підтримуйте та вдосконалюйте компоненти платформи, що постачаються постачальниками, і забезпечуйте довгострокову підтримку та незалежність.

• Створюйте та підтримуйте робочі процеси даних, включаючи інструменти для версії набору даних, відстеження експериментів і керування життєвим циклом моделей для багатьох продуктів.

• Застосування практик DevOps / MLOps, включаючи конвеєри CI/CD, інфраструктуру як код і автоматизовані робочі процеси.

• Розробка хмарних контейнерних рішень, які можуть працювати в публічних і приватних хмарних середовищах у межах обмежень ЄС.

• Оптимізуйте зберігання даних, політики життєвого циклу та економічну ефективність, включаючи багаторівневе зберігання та стратегії збереження.

• Впровадити та підтримувати системи моніторингу та оповіщення (наприклад, Prometheus, Grafana) для трубопроводів, інфраструктури та використання ресурсів.

• Забезпечити керування даними, безпеку та відповідність вимогам, включаючи контроль доступу, журналювання аудиту та вимоги до анонімізації.

• Тісно співпрацюйте з спеціалістами з обробки даних, інженерами з машинного навчання та ІТ-командами, щоб створити інфраструктуру, яка відповідає оперативним потребам.

• Керуйте ресурсами та контролем витрат, включаючи бюджети, затвердження та відстеження.

• Зробіть внесок у документацію, робочі журнали та матеріали для ознайомлення з платформою.

Чому приєднатися до нас?

• Приєднайтеся до однієї з найперспективніших європейських компаній із розширення глибоких технологій.

• Формуйте майбутнє багатодисциплінарної науково-дослідної організації, що швидко розвивається.

• Конкурентоспроможна заробітна плата та пакет пільг.

• Насолоджуйтесь регулярними командними заходами та корпоративними заходами.

• Свіжі обіди для команди надаються 3 рази на тиждень.

Необхідні кваліфікації:

• Магістр наук або еквівалент з 5+ роками досвіду роботи в галузі комп’ютерних наук, обробки даних, машинного навчання або в суміжній галузі.

• Значний досвід роботи з платформами даних, хмарною інфраструктурою та розподіленими системами (AWS, GCP, Azure).

• Перевірений досвід роботи з інфраструктурою як код (наприклад, Terraform) і автоматизованим розгортанням.

• Досвід роботи з платформами та інструментами ML (MLflow, Feast, DVC, DataHub або еквівалент).

• Досвід роботи з платформами AWS Sagemaker або Google Vertex AI.

• Досвід роботи з базами даних (MongoDB, PostgreSQL, InfluxDB або еквівалент).

• Досвід роботи з брокерами повідомлень і потоковими системами (Kafka, RabbitMQ або еквівалент).

• Практичний досвід роботи з контейнеризацією (Docker/OCI) і оркестровкою (Kubernetes або подібне).

• Досвід роботи з системами CI/CD (наприклад, GitLab CI).

• Навички програмування на Python.

• Досвід роботи з інструментами моніторингу та спостереження (Prometheus, Grafana).

• Розуміння практик DevOps і MLOps.

• Здатність працювати між командами та перетворювати вимоги на масштабовані інфраструктурні рішення.

Приємно мати:

• Знання управління даними, IAM та інфраструктури безпеки.

• Досвід оптимізації витрат і управління ресурсами в хмарних середовищах.

• Знайомство з архітектурою мультитенантної або мультипродуктової платформи.

• Досвід роботи з обмеженнями відповідності даних ЄС в енергетиці, морському судноплавстві чи обороні.

Безпека та відповідність:
Ви працюватимете з клієнтами в секторах оборони та безпеки, отримання Сертифікату про відсутність заперечень, виданого AIVD (Голландська служба загальної розвідки та безпеки), є обов’язковим. Це означає, що вам потрібно буде пройти перевірку безпеки. Для отримання додаткової інформації зверніться до деталей перевірки безпеки.
Знайдіть більше англомовних вакансій у Нідерландах на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/optics11/data-ml-infrastructure-engineer-amsterdam-379597)