Інженер даних - конвеєри штучного інтелекту та DataOps

Ми хочемо, щоб ви розвивалися разом з нами
Високоякісні надійні дані є основою, на якій будується кожен сценарій використання штучного інтелекту, і ця роль відповідає за те, щоб ця основа була непохитною. Як наш інженер даних для конвеєрів AI Pipelines & DataOps, ви розроблятимете та постачатимете конвеєри прийому даних, потокові архітектури та API, які забезпечуватимуть штучний інтелект та аналітичні системи Intersnack даними, необхідними для роботи в масштабі. Ви підпорядковуватиметеся програмі штучного інтелекту та тісно співпрацюватимете з інженерами штучного інтелекту, архітекторами даних і бізнес-командами, приділяючи особливу увагу виробничим середовищам, де дані периферійних пристроїв становлять унікальні проблеми. У Intersnack ми спираємося на міцну цифрову основу, і ваша інженерна робота буде центральною для розширення цієї основи в епоху ШІ.
Що ми можемо запропонувати
Ця посада дає можливість працювати в дійсно різноманітному просторі даних, від виробництва периферійних пристроїв і датчиків Інтернету речей до систем структурованих корпоративних даних у сфері закупівель і продажів, надаючи вам широкий спектр технічних завдань, з яким можуть зрівнятися небагато ролей інженерів даних. Ви матимете прямий вплив на використання штучного інтелекту та аналітики в бізнесі вартістю 4,5 мільярда євро, маючи автономію, щоб визначати шаблони конвеєрів, стандарти API та практики DataOps, на яких будуватимуть інші. Співпраця є основою нашої роботи, і ви входите до команди програми, яка охоплює науку про дані, архітектуру штучного інтелекту та розвиток бізнесу. Дюссельдорф — це домашня база, яка забезпечує гнучкість для віддаленої роботи.
Як ви будете витрачати свій час, будучи нашим наступним інженером з обробки даних – AI Pipelines & DataOps
Ви розробите та побудуєте інфраструктуру даних, яка забезпечує програму штучного інтелекту Intersnack, від масштабованих конвеєрів прийому даних, які обробляють як структуровані корпоративні дані, так і неструктуровані сигнали з виробничих середовищ, до API, які надають дані, моделі та служби штучного інтелекту для використання в усій організації. Ваша робота охоплюватиме архітектуру, реалізацію та операції, приділяючи значну увагу якості, спостережливості та постійному вдосконаленню.
Що ви будете робити

• Розробляйте та впроваджуйте масштабовані канали прийому даних для структурованих і неструктурованих джерел даних, включаючи виробничі системи, периферійні пристрої та корпоративні платформи даних, забезпечуючи незмінну якість даних від джерела до споживання

• Створюйте та обслуговуйте як пакетні, так і потокові конвеєри даних для аналітики та випадків використання штучного інтелекту, використовуючи хмарні інструменти на Microsoft Azure та/або AWS

• Розробляйте та надавайте API REST або GraphQL для активів даних, кінцевих точок моделі машинного навчання та служб штучного інтелекту, забезпечуючи надійне, кероване споживання внутрішніми програмами та аналітичними системами

• Впроваджуйте практики CI/CD і принципи DataOps у розробці та розгортанні конвеєрів, підтримуючи автоматизоване тестування, керування версіями та керування випусками інфраструктури даних

• Забезпечте якість даних, родовід і спостережуваність у всіх конвеєрах, запровадивши моніторинг і сповіщення, які виявляють проблеми з даними, перш ніж вони вплинуть на результати штучного інтелекту або аналітику

• Підтримка інтеграції виробничих даних і даних периферійних пристроїв, включаючи системи IoT і OT, у центральну платформу даних, вирішуючи конкретні проблеми затримки, формату та обсягу операційних технологічних середовищ

• Співпрацюйте з науковцями з обробки даних та інженерами зі штучного інтелекту, щоб розробити й оптимізувати потоки даних, які підтримують навчання моделі, конвеєрні висновки та канали пошуку знань

• Застосовуйте методи безпеки за проектом до всіх конвеєрів і API, включаючи контроль доступу, шифрування та захист від витоку даних, відповідно до суверенітету Intersnack і стандартів відповідності

• Зробіть внесок у програму підвищення кваліфікації та розвитку ШІ, підтримуючи колег у розумінні стану конвеєра даних, стандартів якості даних і ролі надійних даних у результатах ШІ

Основні навички та досвід

• Перевірений досвід проектування та впровадження конвеєрів даних виробничого рівня з використанням хмарних сервісів у Microsoft Azure (наприклад, Azure Data Factory, Azure Event Hubs, Databricks) та/або AWS (наприклад, AWS Glue, Kinesis, Lake Formation)

• Досконале знання принаймні одного конвеєра або середовища трансформації (наприклад, Apache Spark, dbt, Apache Kafka або еквівалент) і мови сценаріїв, наприклад Python або Scala

• Значний практичний досвід роботи з базами даних SQL і NoSQL (наприклад, PostgreSQL, Cosmos DB, MongoDB або еквівалент), включаючи моделювання даних і оптимізацію запитів для транзакційних і аналітичних навантажень.

• Досвід створення та підтримки потокових і пакетних конвеєрів для аналітики та додатків ШІ з розумінням компромісів між двома підходами

• Здатність розробляти та впроваджувати API REST або GraphQL для обслуговування даних і моделей із розумінням версії API, документації та управління

• Знайомство з практиками DataOps і CI/CD, які застосовуються до інженерії даних, включаючи автоматичне тестування, оркестровку конвеєрів і інфраструктуру як код

• Досвід роботи з інструментами якості даних, відстеженням походження та структурами спостережуваності (наприклад, Great Expectations, OpenLineage або еквівалент)

• Практичні знання AI та основ безпеки даних, включаючи контроль доступу до даних, шифрування та ризики, такі як викрадання даних у конвеєрних контекстах

• Обізнаність із GDPR, Законом ЄС про штучний інтелект та вимогами ЄС щодо суверенітету даних та їх наслідками для розробки інфраструктури даних

• Потрібне добре володіння усною та письмовою англійською мовою; знання німецької мови вважається перевагою

Цінний досвід

• Досвід роботи з виробничими або операційними технологічними (OT) середовищами даних, включаючи прийом даних IoT/граничних пристроїв і обробку даних часових рядів

• Знайомство з Microsoft Fabric, OneLake або Azure Purview для єдиного керування платформою даних…

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)