Ingeniero de datos sénior

Ingeniero de datos
Shiftbase está desarrollando el asistente de conducción autónoma para empresas que trabajan por turnos en toda Europa. Nuestros clientes van desde restaurantes independientes en Ámsterdam hasta minoristas con múltiples ubicaciones en Múnich, y dedican horas cada semana a la programación, el seguimiento del tiempo, la preparación de nóminas y la administración de recursos humanos. Queremos quitarles ese trabajo de encima y eventualmente hacerlo por ellos.
Detrás de esa visión del producto se esconde un desafío de datos. El conocimiento, la automatización y la inteligencia artificial dependen de datos en los que las personas pueden confiar, y la base para ello aún no existe.

Construirás la base que solucione esto.

que haras

• Arquitectar el almacén. Diseñe y sea propietario de nuestro almacén de BigQuery y Dataform desde cero. Construya una base en capas y bien modelada, un medallón que se exponga a través de los mercados, no sólo los modelos que se encuentran en la parte superior. Pregunte todos los días si toda la empresa puede confiar en él y reutilizarlo.

• Hacer que los datos fluyan de manera confiable. Cree ELT y ETL con cargas, orquestación y reintentos incrementales e idempotentes, para que las canalizaciones se ejecuten a tiempo sin que nadie las vigile. Enviar tuberías monitoreadas que se mantengan en producción.

• Tome la capa de transformación. Sea propietario de la capa de transformación y creación de modelos de Dataform, asumiendo total responsabilidad por la capa de transformación y liberando capacidad para el modelado semántico y las definiciones comerciales. Esto desbloquea a todo el equipo.

• Genere confianza en los datos. Haga que la validación, el monitoreo de actualización, las alertas y el linaje sean los valores predeterminados. Diagnosticar fallas desde la causa raíz. leadscorev2 es el resultado que este rol pretende prevenir.

• Servir a toda la empresa. Alimenta conjuntos de datos limpios y gobernados a Metabase, HubSpot y el trabajo de aprendizaje automático e inteligencia artificial que posee el equipo de aprendizaje automático del producto. Inserte los datos modelados nuevamente en las herramientas con las que actúan los equipos de negocios, incluidos HubSpot y Customer.io.

• Poseer el protocolo de enlace de la plataforma. Dirige la colaboración diaria con el equipo de la plataforma en nuestra base GCP, un puente que hoy solo recibe atención a tiempo parcial.

• Tratar el almacén como un producto. Mantenga actualizada la documentación, el linaje y la capacidad de descubrimiento para que los departamentos confíen en los activos de datos y manejen datos confidenciales de recursos humanos y fuerza laboral según los estándares GDPR.

Cómo se ve el éxito en los primeros 3 a 6 meses

• El almacén tiene cimientos reales. La primera porción vertical, nuestro modelo de cuentas, se entrega con pruebas y monitoreo.

• Usted es propietario total de la capa de transformación de Dataform, lo que crea capacidad para el modelado semántico y el trabajo de definición de negocios.

• Las canalizaciones se ejecutan según un SLA de actualización definido y usted toma descansos antes que las partes interesadas.

• La documentación y el linaje cubren lo que usted posee, y los conjuntos de datos que estaban estancados ahora fluyen hacia los equipos que los necesitan.

•

lo que estamos buscando

Usted mismo ha construido los cimientos del almacén. Usted los diseñó en lugar de mantener los de otra persona, con un historial en:

• Diseñar arquitecturas de almacén en capas (medallón, bronce, plata y oro) y modelos dimensionales (estrella y copo de nieve) que los equipos reutilicen.

• SQL avanzado como lenguaje de trabajo diario

• BigQuery práctico, ya que nuestra pila es GCP

• Creación de una capa de transformación SQL en Dataform o experiencia sólida en DBT.

• ELT y ETL con cargas incrementales e idempotentes y orquestación, programación y gestión de dependencias reales

• Calidad de datos, pruebas, monitoreo de actualización y linaje integrados desde el principio

• Python para código de canalización, secuencias de comandos, automatización e integración de API

• Cambio revisable y repetible mediante implementación basada en Git y PR

Es bueno tenerlo, no es necesario: otro almacén en la nube moderno como Snowflake o Redshift; ingestión gestionada como Airbyte; preparar datos para casos de uso de ML, LLM y agentes; y familiaridad con las métricas de B2B SaaS y los datos de recursos humanos o fuerza laboral. El inglés es nuestro idioma de trabajo y no se requiere holandés.

Esta función no es ingeniería de infraestructura, ML o MLOps, ni análisis de paneles. El equipo de Plataforma es dueño de la infraestructura, el equipo de ML de Producto es dueño de ML y los equipos de negocios poseen paneles de control. Tampoco es para alguien que sólo ha mantenido un almacén diseñado por otra persona. Usted construye las bases adecuadamente, es transparente sobre la calidad de los datos y las compensaciones, y trata el almacén como un producto para toda la empresa. Informará al Jefe de Operaciones y se asociará estrechamente con el equipo de la Plataforma en la arquitectura de datos de la empresa.
Encuentre más trabajos de habla inglesa en Países Bajos en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)