Инженер по инфраструктуре данных и машинного обучения

Мы расширяем нашу команду инженером по инфраструктуре данных и машинного обучения, который возьмет на себя ответственность за платформу, обеспечивающую прием, обработку, хранение и рабочие процессы машинного обучения в нескольких продуктах. Работая на стыке науки о данных, разработки программного обеспечения и облачной инфраструктуры, вы создадите основу и обеспечите масштабируемость, воспроизводимость и готовность к производству наших систем машинного обучения.

В этой роли вы будете проектировать, внедрять и постоянно совершенствовать облачно-независимую платформу данных и машинного обучения, которая поддерживает множество продуктов и команд. Вы будете отвечать за надежность, масштабируемость и экономическую эффективность платформы, а также предоставлять специалистам по данным и инженерам машинного обучения инструменты и инфраструктуру для эффективной разработки, обучения, проверки и развертывания моделей машинного обучения. Вы будете служить техническим мостом между отделами обработки данных и ИТ/инфраструктуры, переводя требования в надежные и удобные в обслуживании системы.

Эта роль включает в себя владение существующей платформой, предоставляемой поставщиком, и ее развитие в полностью автоматизированную, воспроизводимую и многофункциональную платформу машинного обучения.

Ключевые обязанности:

• Проектировать, внедрять и поддерживать инфраструктуру платформы данных и машинного обучения, включая системы для приема, хранения, обработки и обучения данных.

• Обеспечьте высокую доступность, надежность и бесперебойную работу платформы, поскольку это имеет решающее значение для бизнес-предложения.

• Поддерживать и развивать компоненты платформы, поставляемые поставщиками, и обеспечивать долгосрочную ремонтопригодность и независимость.

• Создавайте и обслуживайте рабочие процессы с данными, включая инструменты для управления версиями наборов данных, отслеживания экспериментов и управления жизненным циклом моделей для нескольких продуктов.

• Внедрять методы DevOps/MLOps, включая конвейеры CI/CD, инфраструктуру как код и автоматизированные рабочие процессы.

• Разрабатывать облачно-независимые и контейнерные решения, которые могут работать в общедоступных и частных облачных средах в рамках ограничений ЕС.

• Оптимизируйте хранение данных, политики жизненного цикла и экономическую эффективность, включая стратегии многоуровневого хранения и хранения.

• Внедрять и поддерживать системы мониторинга и оповещения (например, Prometheus, Grafana) для конвейеров, инфраструктуры и использования ресурсов.

• Обеспечьте управление данными, безопасность и соответствие требованиям, включая контроль доступа, ведение журнала аудита и требования к анонимности.

• Тесно сотрудничать со специалистами по данным, инженерами машинного обучения и ИТ-командами для создания инфраструктуры, отвечающей оперативным потребностям.

• Управляйте контролем ресурсов и затрат, включая бюджеты, утверждения и отслеживание.

• Вносить вклад в разработку документации, рабочих руководств и вводных материалов для платформы.

Зачем присоединяться к нам?

• Присоединяйтесь к одному из самых многообещающих проектов в сфере глубоких технологий в Европе.

• Формируйте будущее быстро растущей многопрофильной научно-исследовательской организации.

• Конкурентная заработная плата и социальный пакет.

• Наслаждайтесь регулярными командными мероприятиями и корпоративными мероприятиями.

• Свежие обеды для команды предоставляются 3 раза в неделю.

Требуемая квалификация:

• Магистр или эквивалент с опытом работы более 5 лет в области компьютерных наук, обработки данных, машинного обучения или смежных областях.

• Большой опыт работы с платформами данных, облачной инфраструктурой и распределенными системами (AWS, GCP, Azure).

• Подтвержденный опыт работы с инфраструктурой как кодом (например, Terraform) и автоматизированным развертыванием.

• Опыт работы с платформами и инструментами ML (MLflow, Feast, DVC, DataHub или эквивалент).

• Опыт работы с платформами AWS Sagemaker или Google Vertex AI.

• Опыт работы с базами данных (MongoDB, PostgreSQL, InfluxDB или эквивалент).

• Опыт работы с брокерами сообщений и системами потоковой передачи (Kafka, RabbitMQ или эквивалент).

• Практический опыт работы с контейнеризацией (Docker/OCI) и оркестровкой (Kubernetes или аналогичный).

• Опыт работы с системами CI/CD (например, GitLab CI).

• Навыки программирования на Python.

• Опыт работы с инструментами мониторинга и наблюдения (Prometheus, Grafana).

• Понимание практик DevOps и MLOps.

• Способность работать в группах и преобразовывать требования в масштабируемые инфраструктурные решения.

Приятно иметь:

• Знание управления данными, IAM и систем безопасности.

• Опыт оптимизации затрат и управления ресурсами в облачных средах.

• Знакомство с архитектурами мультитенантных или мультипродуктовых платформ.

• Опыт работы с ограничениями соответствия данным ЕС в энергетике, морском судоходстве или обороне.

Безопасность и соответствие:
Вы будете работать с клиентами в секторах обороны и безопасности, поэтому получение Сертификата об отсутствии возражений, выданного AIVD (Голландской службой общей разведки и безопасности), является обязательным. Это означает, что вам придется пройти проверку безопасности. Для получения дополнительной информации, пожалуйста, обратитесь к подробной информации о проверке безопасности.
Найдите больше англоговорящих вакансий в Нидерландах на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/optics11/data-ml-infrastructure-engineer-amsterdam-379597).