Ingénieur de données - Pipelines IA et DataOps

Nous voulons que vous grandissiez avec nous
Des données fiables et de haute qualité constituent la base sur laquelle repose chaque cas d’utilisation de l’IA, et ce rôle est chargé de rendre cette fondation inébranlable. En tant qu'ingénieur de données pour les pipelines d'IA et les DataOps, vous concevrez et fournirez les pipelines d'ingestion, les architectures de streaming et les API qui alimentent les systèmes d'IA et d'analyse d'Intersnack avec les données dont ils ont besoin pour fonctionner à grande échelle. Vous relèverez du programme IA et travaillerez en étroite collaboration avec des ingénieurs IA, des architectes de données et des équipes commerciales, avec un accent particulier sur les environnements de fabrication, où les données des appareils de pointe présentent des défis d'ingestion uniques. Chez Intersnack, nous nous appuyons sur une base numérique solide, et votre travail d'ingénierie sera essentiel pour étendre cette base à l'ère de l'IA.
Ce que nous pouvons offrir
Ce rôle offre la possibilité de travailler dans un paysage de données véritablement diversifié, depuis les appareils de pointe de fabrication et les capteurs IoT jusqu'aux systèmes de données d'entreprise structurés en passant par les achats et les ventes, vous offrant ainsi un éventail de défis techniques que peu de postes d'ingénierie de données peuvent relever. Vous aurez une influence directe sur la façon dont les cas d'utilisation de l'IA et de l'analyse sont activés au sein d'une entreprise de 4,5 milliards d'euros, avec l'autonomie nécessaire pour définir des modèles de pipeline, des normes API et des pratiques DataOps sur lesquelles d'autres s'appuieront. La collaboration est au cœur de notre façon de travailler et vous serez intégré à une équipe de programme qui couvre la science des données, l'architecture de l'IA et l'habilitation commerciale. Düsseldorf est le port d'attache, avec une flexibilité pour le travail à distance.
Comment vous passerez votre temps en tant que prochain ingénieur de données - AI Pipelines & DataOps
Vous concevrez et construirez l'infrastructure de données qui alimente le programme d'IA d'Intersnack, depuis les pipelines d'ingestion évolutifs qui gèrent à la fois les données d'entreprise structurées et les signaux non structurés provenant des environnements de fabrication, jusqu'aux API qui exposent les données, les modèles et les services d'IA pour une consommation dans toute l'organisation. Votre travail couvrira l'architecture, la mise en œuvre et les opérations, en mettant fortement l'accent sur la qualité, l'observabilité et l'amélioration continue.
Ce que vous ferez

• Concevoir et mettre en œuvre des pipelines d'ingestion de données évolutifs pour les sources de données structurées et non structurées, y compris les systèmes de fabrication, les appareils de pointe et les plates-formes de données d'entreprise, garantissant une qualité de données constante de la source à la consommation.

• Créer et maintenir des pipelines de données par lots et en streaming pour les cas d'utilisation d'analyse et d'IA, en tirant parti des outils cloud natifs sur Microsoft Azure et/ou AWS.

• Concevoir et exposer des API REST ou GraphQL pour les actifs de données, les points de terminaison du modèle d'apprentissage automatique et les services d'IA, permettant une consommation fiable et gouvernée par les applications internes et les systèmes analytiques.

• Mettre en œuvre les pratiques CI/CD et les principes DataOps dans le développement et le déploiement de pipelines, en prenant en charge les tests automatisés, la gestion des versions et les versions pour l'infrastructure de données.

• Assurer la qualité, la traçabilité et l'observabilité des données sur tous les pipelines, en mettant en œuvre une surveillance et des alertes qui font apparaître les problèmes de données avant qu'ils n'affectent les résultats de l'IA ou de l'analyse.

• Prendre en charge l'intégration des données de fabrication et des appareils de pointe, y compris les systèmes IoT et OT, dans la plate-forme de données centrale, en répondant aux défis spécifiques en matière de latence, de format et de volume des environnements technologiques opérationnels.

• Collaborer avec des scientifiques de données et des ingénieurs en IA pour concevoir et optimiser les flux de données qui prennent en charge les pipelines de formation de modèles, d'inférence et de récupération de connaissances.

• Appliquer des pratiques de sécurité dès la conception à toutes les conceptions de pipelines et d'API, y compris le contrôle d'accès, le cryptage et les protections contre les fuites de données, conformément aux normes de souveraineté et de conformité d'Intersnack.

• Contribuer au programme d'initiation et d'habilitation à l'IA en aidant vos collègues à comprendre l'état du pipeline de données, les normes de qualité des données et le rôle des données fiables dans les résultats de l'IA.

Compétences essentielles et expérience

• Expérience avérée dans la conception et la mise en œuvre de pipelines de données de qualité production à l'aide de services cloud natifs sur Microsoft Azure (par exemple, Azure Data Factory, Azure Event Hubs, Databricks) et/ou AWS (par exemple, AWS Glue, Kinesis, Lake Formation).

• Forte maîtrise d'au moins un pipeline ou d'un framework de transformation (par exemple, Apache Spark, dbt, Apache Kafka ou équivalent) et d'un langage de script tel que Python ou Scala.

• Solide expérience pratique avec les bases de données SQL et NoSQL (par exemple, PostgreSQL, Cosmos DB, MongoDB ou équivalent), y compris la modélisation des données et l'optimisation des requêtes pour les charges de travail transactionnelles et analytiques.

• Expérience dans la création et la maintenance de pipelines de streaming et par lots pour les applications d'analyse et d'IA, avec une compréhension des compromis entre les deux approches.

• Capacité à concevoir et à mettre en œuvre des API REST ou GraphQL pour le service de données et de modèles, avec une compréhension de la gestion des versions, de la documentation et de la gouvernance des API.

• Familiarité avec les pratiques DataOps et CI/CD appliquées à l'ingénierie des données, y compris les tests automatisés, l'orchestration de pipelines et l'infrastructure en tant que code.

• Expérience avec les outils de qualité des données, le suivi du lignage et les cadres d'observabilité (par exemple, Great Expectations, OpenLineage ou équivalent)

• Connaissance pratique des principes fondamentaux de l'IA et de la sécurité des données, y compris les contrôles d'accès aux données, le chiffrement et les risques tels que l'exfiltration de données dans des contextes de pipeline.

• Connaissance du RGPD, de la loi européenne sur l'IA et des exigences de l'UE en matière de souveraineté des données et de leurs implications pour la conception de l'infrastructure de données.

• Une solide maîtrise de l'anglais parlé et écrit est requise ; la connaissance de l'allemand est considérée comme un avantage

Expérience précieuse

• Expérience de travail avec des environnements de données de fabrication ou de technologie opérationnelle (OT), y compris l'ingestion de données d'appareils IoT/Edge et la gestion de données de séries chronologiques.

• Familiarité avec Microsoft Fabric, OneLake ou Azure Purview pour la gestion unifiée des plateformes de données…

Source : Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)