Ingeniero de datos - AI Pipelines & DataOps

Queremos que crezcas con nosotros
Los datos confiables y de alta calidad son la base sobre la cual se construye cada caso de uso de IA, y esta función es responsable de hacer que esa base sea inquebrantable. Como nuestro ingeniero de datos para AI Pipelines & DataOps, diseñará y entregará los pipelines de ingesta, las arquitecturas de transmisión y las API que alimentan los sistemas de análisis e inteligencia artificial de Intersnack con los datos que necesitan para funcionar a escala. Informará al Programa de IA y trabajará en estrecha colaboración con ingenieros de IA, arquitectos de datos y equipos comerciales, con un enfoque particular en entornos de fabricación, donde los datos de los dispositivos de borde presentan desafíos de ingesta únicos. En Intersnack, nos basamos en una base digital sólida y su trabajo de ingeniería será fundamental para extender esa base a la era de la IA.
Qué podemos ofrecer
Este puesto ofrece la oportunidad de trabajar en un panorama de datos genuinamente diverso, desde la fabricación de dispositivos de vanguardia y sensores de IoT hasta sistemas de datos empresariales estructurados en adquisiciones y ventas, lo que le brinda una amplitud de desafíos técnicos que pocos roles de ingeniería de datos pueden igualar. Tendrá influencia directa sobre cómo se habilitan los casos de uso de inteligencia artificial y análisis en un negocio de 4.5 mil millones de euros, con la autonomía para definir patrones de canalización, estándares API y prácticas de DataOps que otros desarrollarán. La colaboración es la base de nuestra forma de trabajar y usted estará integrado en un equipo de programa que abarca ciencia de datos, arquitectura de inteligencia artificial y habilitación empresarial. Dusseldorf es la base de operaciones, con flexibilidad para el trabajo remoto.
Cómo empleará su tiempo como nuestro próximo ingeniero de datos: AI Pipelines & DataOps
Diseñará y construirá la infraestructura de datos que impulsa el programa de IA de Intersnack, desde canales de ingesta escalables que manejan tanto datos empresariales estructurados como señales no estructuradas de entornos de fabricación, hasta las API que exponen datos, modelos y servicios de IA para el consumo en toda la organización. Su trabajo abarcará arquitectura, implementación y operaciones, con un fuerte enfoque en la calidad, la observabilidad y la mejora continua.
lo que harás

• Diseñar e implementar canales de ingesta de datos escalables para fuentes de datos estructurados y no estructurados, incluidos sistemas de fabricación, dispositivos de borde y plataformas de datos empresariales, garantizando una calidad de datos constante desde el origen hasta el consumo.

• Cree y mantenga canales de datos por lotes y de transmisión para casos de uso de análisis e inteligencia artificial, aprovechando las herramientas nativas de la nube en Microsoft Azure y/o AWS.

• Diseñar y exponer API REST o GraphQL para activos de datos, puntos finales de modelos de aprendizaje automático y servicios de IA, permitiendo un consumo confiable y gobernado por aplicaciones internas y sistemas analíticos.

• Implementar prácticas de CI/CD y principios de DataOps en todo el desarrollo e implementación de procesos, respaldando pruebas automatizadas, control de versiones y gestión de lanzamientos para la infraestructura de datos.

• Garantizar la calidad, el linaje y la observabilidad de los datos en todos los canales, implementando monitoreo y alertas que muestren los problemas de datos antes de que afecten la IA o los resultados de análisis.

• Respaldar la integración de datos de dispositivos de fabricación y de borde, incluidos los sistemas IoT y OT, en la plataforma de datos central, abordando los desafíos específicos de latencia, formato y volumen de los entornos de tecnología operativa.

• Colaborar con científicos de datos e ingenieros de inteligencia artificial para diseñar y optimizar flujos de datos que respalden el entrenamiento de modelos, la inferencia y los procesos de recuperación de conocimientos.

• Aplicar prácticas de seguridad por diseño a todo el diseño de API y canalizaciones, incluido el control de acceso, el cifrado y las protecciones contra la fuga de datos, de acuerdo con los estándares de cumplimiento y soberanía de Intersnack.

• Contribuir al programa de alfabetización y habilitación de la IA apoyando a los colegas en la comprensión del estado de la canalización de datos, los estándares de calidad de los datos y el papel de los datos confiables en los resultados de la IA.

Habilidades y experiencia esenciales

• Experiencia comprobada en el diseño e implementación de canalizaciones de datos de nivel de producción utilizando servicios nativos de la nube en Microsoft Azure (por ejemplo, Azure Data Factory, Azure Event Hubs, Databricks) y/o AWS (por ejemplo, AWS Glue, Kinesis, Lake Formation)

• Gran dominio de al menos un marco de canalización o transformación (por ejemplo, Apache Spark, dbt, Apache Kafka o equivalente) y un lenguaje de secuencias de comandos como Python o Scala.

• Sólida experiencia práctica con bases de datos SQL y NoSQL (por ejemplo, PostgreSQL, Cosmos DB, MongoDB o equivalente), incluido el modelado de datos y la optimización de consultas para cargas de trabajo transaccionales y analíticas.

• Experiencia en la creación y el mantenimiento de canalizaciones de streaming y por lotes para aplicaciones de análisis e inteligencia artificial, con conocimiento de las compensaciones entre los dos enfoques.

• Capacidad para diseñar e implementar API REST o GraphQL para servicio de datos y modelos, con conocimiento de control de versiones, documentación y gobernanza de API.

• Familiaridad con las prácticas de DataOps y CI/CD aplicadas a la ingeniería de datos, incluidas las pruebas automatizadas, la orquestación de canalizaciones y la infraestructura como código.

• Experiencia con herramientas de calidad de datos, seguimiento de linaje y marcos de observabilidad (por ejemplo, Great Expectations, OpenLineage o equivalente)

• Conocimiento práctico de la IA y los fundamentos de seguridad de los datos, incluidos los controles de acceso a los datos, el cifrado y los riesgos como la exfiltración de datos en contextos de tuberías.

• Conocimiento del RGPD, la Ley de IA de la UE y los requisitos de soberanía de datos de la UE y sus implicaciones para el diseño de la infraestructura de datos.

• Se requiere un sólido dominio del inglés hablado y escrito; el conocimiento del alemán se considera una ventaja

Experiencia valiosa

• Experiencia trabajando con entornos de datos de tecnología operativa (OT) o de fabricación, incluida la ingesta de datos de dispositivos de borde/IoT y el manejo de datos de series temporales.

• Familiaridad con Microsoft Fabric, OneLake o Azure Purview para la gestión unificada de plataformas de datos...

Fuente: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)