Ingeniero de Infraestructura de Datos y ML

Estamos ampliando nuestro equipo con un ingeniero de infraestructura de datos y aprendizaje automático que se hará cargo de la plataforma que permite la ingesta, el procesamiento, el almacenamiento y los flujos de trabajo de aprendizaje automático de datos en múltiples productos. Al operar en la intersección de la ciencia de datos, la ingeniería de software y la infraestructura de la nube, sentará las bases y se asegurará de que nuestros sistemas de aprendizaje automático sean escalables, reproducibles y estén listos para la producción.

En este puesto, diseñará, implementará y mejorará continuamente una plataforma de aprendizaje automático y datos independiente de la nube que admita múltiples productos y equipos. Será responsable de la confiabilidad, escalabilidad y rentabilidad de la plataforma, al tiempo que proporcionará a los científicos de datos y a los ingenieros de ML las herramientas y la infraestructura para desarrollar, entrenar, validar e implementar de manera eficiente modelos de aprendizaje automático. Servirá como puente técnico entre los equipos de ciencia de datos y TI/infraestructura, traduciendo los requisitos en sistemas robustos y mantenibles.

Esta función incluye la propiedad de una plataforma existente proporcionada por el proveedor y su evolución hacia una plataforma de aprendizaje automático totalmente automatizada, reproducible y multiproducto.

Responsabilidades clave:

• Diseñar, implementar y mantener la infraestructura de la plataforma de datos y ML, incluidos los sistemas para la ingesta, el almacenamiento, el procesamiento y la capacitación de datos.

• Garantizar una alta disponibilidad, confiabilidad y tiempo de actividad de la plataforma, ya que es fundamental para la propuesta de valor empresarial.

• Mantener y desarrollar los componentes de la plataforma proporcionados por los proveedores y garantizar la mantenibilidad e independencia a largo plazo.

• Cree y mantenga flujos de trabajo de datos, incluidas herramientas para control de versiones de conjuntos de datos, seguimiento de experimentos y gestión del ciclo de vida de modelos en múltiples productos.

• Aplicar prácticas de DevOps/MLOps, incluidas canalizaciones de CI/CD, infraestructura como código y flujos de trabajo automatizados.

• Desarrollar soluciones en contenedores e independientes de la nube que puedan ejecutarse en entornos de nube públicos y privados dentro de las limitaciones de la UE.

• Optimice el almacenamiento de datos, las políticas de ciclo de vida y la rentabilidad, incluidas las estrategias de retención y almacenamiento por niveles.

• Implementar y mantener sistemas de monitoreo y alerta (por ejemplo, Prometheus, Grafana) para tuberías, infraestructura y uso de recursos.

• Garantizar la gobernanza, la seguridad y el cumplimiento de los datos, incluido el control de acceso, el registro de auditoría y los requisitos de anonimización.

• Colaborar estrechamente con científicos de datos, ingenieros de aprendizaje automático y equipos de TI para ofrecer una infraestructura que satisfaga las necesidades operativas.

• Gestionar controles de recursos y costos, incluidos presupuestos, aprobaciones y seguimiento.

• Contribuir a la documentación, runbooks operativos y materiales de incorporación para la plataforma.

¿Por qué unirse a nosotros?

• Únase a una de las empresas de tecnología profunda más prometedoras de Europa.

• Dar forma al futuro de una organización de I+D multidisciplinaria en rápido crecimiento.

• Paquete de salarios y beneficios competitivos.

• Disfrute de actividades regulares del equipo y eventos de la empresa.

• Se proporcionan almuerzos frescos para el equipo 3 veces por semana.

Calificaciones requeridas:

• Maestría o equivalente con más de 5 años de experiencia en la industria en Ciencias de la Computación, Ingeniería de Datos, Aprendizaje Automático o un campo relacionado.

• Fuerte experiencia con plataformas de datos, infraestructura de nube y sistemas distribuidos (AWS, GCP, Azure).

• Experiencia comprobada con infraestructura como código (por ejemplo, Terraform) e implementaciones automatizadas.

• Experiencia con plataformas y herramientas de ML (MLflow, Feast, DVC, DataHub o equivalente).

• Experiencia con plataformas AWS Sagemaker o Google Vertex AI.

• Experiencia con bases de datos (MongoDB, PostgreSQL, InfluxDB o equivalente).

• Experiencia con brokers de mensajes y sistemas de streaming (Kafka, RabbitMQ o equivalente).

• Experiencia práctica con contenerización (Docker/OCI) y orquestación (Kubernetes o similar).

• Experiencia con sistemas CI/CD (por ejemplo, GitLab CI).

• Habilidades de programación en Python.

• Experiencia con herramientas de monitorización y observabilidad (Prometheus, Grafana).

• Comprensión de las prácticas de DevOps y MLOps.

• Capacidad para trabajar en equipos y traducir los requisitos en soluciones de infraestructura escalables.

Es bueno tener:

• Conocimiento de gobernanza de datos, IAM y marcos de seguridad.

• Experiencia en optimización de costos y gestión de recursos en entornos de nube.

• Familiaridad con arquitecturas de plataformas multiinquilino o multiproducto.

• Experiencia trabajando con restricciones de cumplimiento de datos de la UE en energía, transporte marítimo o defensa.

Seguridad y cumplimiento:
Trabajará con clientes en los sectores de defensa y seguridad; es obligatorio obtener un Certificado de no objeción emitido por el AIVD (Servicio General de Inteligencia y Seguridad de Holanda). Esto significa que deberá pasar un control de seguridad. Para obtener más información, consulte los detalles sobre el control de seguridad.
Encuentre más trabajos de habla inglesa en Países Bajos en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/optics11/data-ml-infrastructure-engineer-amsterdam-379597)