Dateningenieur – KI-Pipelines und DataOps

Wir möchten, dass Sie mit uns wachsen
Hochwertige, zuverlässige Daten sind die Grundlage, auf der jeder KI-Anwendungsfall aufbaut, und diese Rolle ist dafür verantwortlich, dass diese Grundlage unerschütterlich bleibt. Als unser Dateningenieur für KI-Pipelines und DataOps entwerfen und liefern Sie die Aufnahmepipelines, Streaming-Architekturen und APIs, die die KI- und Analysesysteme von Intersnack mit den Daten versorgen, die sie für eine skalierbare Leistung benötigen. Sie berichten an das KI-Programm und arbeiten eng mit KI-Ingenieuren, Datenarchitekten und Geschäftsteams zusammen, mit besonderem Schwerpunkt auf Fertigungsumgebungen, in denen Edge-Gerätedaten einzigartige Herausforderungen bei der Aufnahme stellen. Bei Intersnack bauen wir auf einer soliden digitalen Grundlage auf, und Ihre Ingenieursarbeit wird von zentraler Bedeutung für die Ausweitung dieser Grundlage auf das KI-Zeitalter sein.
Was wir bieten können
Diese Rolle bietet die Möglichkeit, in einer wirklich vielfältigen Datenlandschaft zu arbeiten, von der Herstellung von Edge-Geräten und IoT-Sensoren bis hin zu strukturierten Unternehmensdatensystemen im Bereich Beschaffung und Vertrieb, und bietet Ihnen eine Bandbreite an technischen Herausforderungen, die nur wenige Data-Engineering-Rollen bewältigen können. Sie haben direkten Einfluss darauf, wie KI- und Analyse-Anwendungsfälle in einem 4,5-Milliarden-Euro-Unternehmen aktiviert werden, und haben die Autonomie, Pipeline-Muster, API-Standards und DataOps-Praktiken zu definieren, auf denen andere aufbauen. Zusammenarbeit steht im Mittelpunkt unserer Arbeitsweise und Sie werden in ein Programmteam eingebettet, das Datenwissenschaft, KI-Architektur und Geschäftsförderung umfasst. Düsseldorf ist die Heimatbasis mit Flexibilität für Remote-Arbeit.
Wie Sie Ihre Zeit als unser nächster Dateningenieur verbringen werden – AI Pipelines & DataOps
Sie entwerfen und bauen die Dateninfrastruktur auf, die das KI-Programm von Intersnack antreibt, von skalierbaren Aufnahmepipelines, die sowohl strukturierte Unternehmensdaten als auch unstrukturierte Signale aus Fertigungsumgebungen verarbeiten, bis hin zu den APIs, die Daten, Modelle und KI-Dienste für den Verbrauch im gesamten Unternehmen verfügbar machen. Ihre Arbeit umfasst Architektur, Implementierung und Betrieb, mit einem starken Fokus auf Qualität, Beobachtbarkeit und kontinuierlicher Verbesserung.
Was Sie tun werden

• Entwerfen und implementieren Sie skalierbare Datenerfassungspipelines für strukturierte und unstrukturierte Datenquellen, einschließlich Fertigungssystemen, Edge-Geräten und Unternehmensdatenplattformen, um eine konsistente Datenqualität von der Quelle bis zum Verbrauch sicherzustellen

• Erstellen und pflegen Sie sowohl Batch- als auch Streaming-Datenpipelines für Analysen und KI-Anwendungsfälle und nutzen Sie dabei cloudnative Tools auf Microsoft Azure und/oder AWS

• Entwerfen und stellen Sie REST- oder GraphQL-APIs für Datenbestände, Modellendpunkte für maschinelles Lernen und KI-Dienste bereit und ermöglichen Sie so eine zuverlässige, kontrollierte Nutzung durch interne Anwendungen und Analysesysteme

• Implementieren Sie CI/CD-Praktiken und DataOps-Prinzipien in der gesamten Pipeline-Entwicklung und -Bereitstellung und unterstützen Sie automatisierte Tests, Versionierung und Release-Management für die Dateninfrastruktur

• Stellen Sie die Qualität, Herkunft und Beobachtbarkeit der Daten über alle Pipelines hinweg sicher, indem Sie Überwachung und Warnungen implementieren, die Datenprobleme aufdecken, bevor sie sich auf die KI- oder Analyseausgaben auswirken

• Unterstützen Sie die Integration von Fertigungs- und Edge-Gerätedaten, einschließlich IoT- und OT-Systemen, in die zentrale Datenplattform und bewältigen Sie dabei die spezifischen Latenz-, Format- und Volumenherausforderungen betrieblicher Technologieumgebungen

• Arbeiten Sie mit Datenwissenschaftlern und KI-Ingenieuren zusammen, um Datenflüsse zu entwerfen und zu optimieren, die Pipelines für Modelltraining, Inferenz und Wissensabruf unterstützen

• Wenden Sie Security-by-Design-Praktiken auf das gesamte Pipeline- und API-Design an, einschließlich Zugriffskontrolle, Verschlüsselung und Schutz vor Datenlecks, im Einklang mit den Souveränitäts- und Compliance-Standards von Intersnack

• Tragen Sie zum KI-Kompetenz- und -Aktivierungsprogramm bei, indem Sie Kollegen dabei unterstützen, den Zustand der Datenpipeline, Datenqualitätsstandards und die Rolle zuverlässiger Daten für KI-Ergebnisse zu verstehen

Grundlegende Fähigkeiten und Erfahrung

• Nachgewiesene Erfahrung beim Entwerfen und Implementieren von Datenpipelines in Produktionsqualität mithilfe cloudnativer Dienste auf Microsoft Azure (z. B. Azure Data Factory, Azure Event Hubs, Databricks) und/oder AWS (z. B. AWS Glue, Kinesis, Lake Formation)

• Gute Kenntnisse in mindestens einem Pipeline- oder Transformations-Framework (z. B. Apache Spark, dbt, Apache Kafka oder gleichwertig) und einer Skriptsprache wie Python oder Scala

• Solide praktische Erfahrung mit SQL- und NoSQL-Datenbanken (z. B. PostgreSQL, Cosmos DB, MongoDB oder gleichwertig), einschließlich Datenmodellierung und Abfrageoptimierung für transaktionale und analytische Workloads

• Erfahrung im Aufbau und der Wartung von Streaming- und Batch-Pipelines für Analyse- und KI-Anwendungen, mit einem Verständnis für die Kompromisse zwischen den beiden Ansätzen

• Fähigkeit, REST- oder GraphQL-APIs für die Daten- und Modellbereitstellung zu entwerfen und zu implementieren, mit einem Verständnis für API-Versionierung, Dokumentation und Governance

• Vertrautheit mit DataOps- und CI/CD-Praktiken, wie sie auf das Data Engineering angewendet werden, einschließlich automatisierter Tests, Pipeline-Orchestrierung und Infrastructure-as-Code

• Erfahrung mit Datenqualitätstools, Herkunftsverfolgung und Observability-Frameworks (z. B. Great Expectations, OpenLineage oder gleichwertig)

• Praktische Kenntnisse der KI- und Datensicherheitsgrundlagen, einschließlich Datenzugriffskontrollen, Verschlüsselung und Risiken wie Datenexfiltration im Pipeline-Kontext

• Kenntnis der DSGVO, des EU-KI-Gesetzes und der Anforderungen an die Datensouveränität der EU und deren Auswirkungen auf die Gestaltung der Dateninfrastruktur

• Gute Englischkenntnisse in Wort und Schrift sind erforderlich; Deutschkenntnisse werden als Vorteil angesehen

Wertvolle Erfahrung

• Erfahrung in der Arbeit mit Datenumgebungen in der Fertigungs- oder Betriebstechnik (OT), einschließlich der Datenerfassung von IoT-/Edge-Geräten und der Verarbeitung von Zeitreihendaten

• Vertrautheit mit Microsoft Fabric, OneLake oder Azure Purview für eine einheitliche Datenplattformverwaltung …

Quelle: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)