Инженер по данным — конвейеры искусственного интеллекта и операции с данными

Мы хотим, чтобы вы росли вместе с нами
Высококачественные и надежные данные — это основа, на которой строится каждый вариант использования ИИ, и эта роль отвечает за то, чтобы сделать эту основу непоколебимой. В качестве нашего инженера по обработке данных для AI-конвейеров и DataOps вы будете проектировать и поставлять конвейеры приема, потоковые архитектуры и API-интерфейсы, которые снабжают системы искусственного интеллекта и аналитики Intersnack данными, необходимыми для работы в масштабе. Вы будете подчиняться программе искусственного интеллекта и работать в тесном сотрудничестве с инженерами искусственного интеллекта, архитекторами данных и бизнес-командами, уделяя особое внимание производственной среде, где данные периферийных устройств представляют собой уникальные проблемы с приемом. В Intersnack мы опираемся на прочную цифровую основу, и ваша инженерная работа будет иметь решающее значение для расширения этой основы в эпоху искусственного интеллекта.
Что мы можем предложить
Эта должность дает возможность работать в действительно разнообразной среде данных: от производства периферийных устройств и датчиков Интернета вещей до структурированных корпоративных систем данных в сфере закупок и продаж, что дает вам такой широкий спектр технических задач, с которым могут справиться лишь немногие должности в области инженерии данных. Вы будете иметь прямое влияние на то, как варианты использования искусственного интеллекта и аналитики реализуются в бизнесе стоимостью 4,5 миллиарда евро, а также сможете самостоятельно определять шаблоны конвейеров, стандарты API и практики DataOps, на основе которых будут опираться другие. Сотрудничество лежит в основе нашей работы, и вы будете включены в программную команду, которая занимается наукой о данных, архитектурой искусственного интеллекта и поддержкой бизнеса. Дюссельдорф — это базовый город с возможностью удаленной работы.
Как вы будете проводить свое время в качестве нашего следующего инженера по данным — AI Pipelines & DataOps
Вы спроектируете и создадите инфраструктуру данных, лежащую в основе программы искусственного интеллекта Intersnack: от масштабируемых конвейеров приема, которые обрабатывают как структурированные корпоративные данные, так и неструктурированные сигналы из производственных сред, до API-интерфейсов, которые предоставляют данные, модели и сервисы искусственного интеллекта для использования во всей организации. Ваша работа будет охватывать архитектуру, реализацию и операции, уделяя особое внимание качеству, наблюдаемости и постоянному совершенствованию.
Что ты будешь делать

• Разработка и внедрение масштабируемых конвейеров приема данных для структурированных и неструктурированных источников данных, включая производственные системы, периферийные устройства и корпоративные платформы данных, обеспечивая стабильное качество данных от источника до потребления.

• Создавайте и обслуживайте конвейеры пакетных и потоковых данных для сценариев использования аналитики и искусственного интеллекта, используя облачные инструменты Microsoft Azure и/или AWS.

• Разрабатывать и предоставлять API-интерфейсы REST или GraphQL для ресурсов данных, конечных точек модели машинного обучения и служб искусственного интеллекта, обеспечивая надежное и управляемое использование внутренними приложениями и аналитическими системами.

• Внедрять методы CI/CD и принципы DataOps при разработке и развертывании конвейеров, поддерживая автоматическое тестирование, управление версиями и управление выпусками для инфраструктуры данных.

• Обеспечьте качество, происхождение и наблюдаемость данных во всех конвейерах, внедрив мониторинг и оповещения, которые выявляют проблемы с данными до того, как они повлияют на результаты ИИ или аналитики.

• Поддержка интеграции данных производственных и периферийных устройств, включая системы Интернета вещей и OT, в центральную платформу данных, решая конкретные проблемы с задержкой, форматом и объемом в операционных технологических средах.

• Сотрудничать с учеными, работающими с данными, и инженерами по искусственному интеллекту для проектирования и оптимизации потоков данных, которые поддерживают конвейеры обучения моделей, вывода и извлечения знаний.

• Применять методы обеспечения безопасности при разработке всех конвейеров и API, включая контроль доступа, шифрование и защиту от утечки данных, в соответствии со стандартами суверенитета и соответствия Intersnack.

• Вносить вклад в программу повышения грамотности и возможностей ИИ, помогая коллегам понять состояние конвейера данных, стандарты качества данных и роль надежных данных в результатах ИИ.

Основные навыки и опыт

• Подтвержденный опыт проектирования и внедрения конвейеров данных производственного уровня с использованием облачных сервисов Microsoft Azure (например, Azure Data Factory, Azure Event Hubs, Databricks) и/или AWS (например, AWS Glue, Kinesis, Lake Formation).

• Уверенное владение хотя бы одним конвейером или инфраструктурой преобразования (например, Apache Spark, dbt, Apache Kafka или эквивалентом) и языком сценариев, например Python или Scala.

• Солидный практический опыт работы с базами данных SQL и NoSQL (например, PostgreSQL, Cosmos DB, MongoDB или эквивалентными), включая моделирование данных и оптимизацию запросов как для транзакционных, так и для аналитических рабочих нагрузок.

• Опыт создания и обслуживания потоковых и пакетных конвейеров для аналитических приложений и приложений искусственного интеллекта с пониманием компромиссов между двумя подходами.

• Способность проектировать и внедрять API-интерфейсы REST или GraphQL для обслуживания данных и моделей с пониманием управления версиями API, документацией и управлением.

• Знакомство с практиками DataOps и CI/CD применительно к инженерии данных, включая автоматическое тестирование, оркестровку конвейеров и инфраструктуру как код.

• Опыт работы с инструментами обеспечения качества данных, отслеживанием происхождения и системами наблюдения (например, Great Expectations, OpenLineage или эквивалентными).

• Практические знания основ искусственного интеллекта и безопасности данных, включая контроль доступа к данным, шифрование и риски, такие как утечка данных в контексте конвейера.

• Осведомленность о GDPR, Законе ЕС об искусственном интеллекте и требованиях ЕС к суверенитету данных и их последствиях для проектирования инфраструктуры данных.

• Требуется уверенное владение разговорным и письменным английским языком; знание немецкого языка считается преимуществом

Ценный опыт

• Опыт работы со средами данных производственных или эксплуатационных технологий (OT), включая прием данных IoT/граничных устройств и обработку данных временных рядов.

• Знакомство с Microsoft Fabric, OneLake или Azure Purview для унифицированного управления платформой данных…

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107).