Ingénieur de données senior

Ingénieur de données
Shiftbase développe l'assistant de conduite autonome pour les entreprises travaillant en équipe à travers l'Europe. Nos clients vont des restaurants indépendants d'Amsterdam aux détaillants multisites à Munich, et ils consacrent des heures chaque semaine à la planification, au suivi du temps, à la préparation de la paie et à l'administration des ressources humaines. Nous voulons leur retirer ce travail et éventuellement le faire à leur place.
Derrière cette vision du produit se cache un défi en matière de données. La connaissance, l’automatisation et l’IA dépendent toutes de données auxquelles les gens peuvent avoir confiance, et les bases sur lesquelles elles reposent n’existent pas encore.

Vous construirez les fondations qui résoudront ce problème.

Ce que tu feras

• Architecte de l'entrepôt. Concevez et possédez notre entrepôt BigQuery et Dataform à partir de zéro. Construisez une fondation en couches et bien modélisée, avec des médaillons mis en scène dans les marchés, et pas seulement les modèles qui se trouvent au sommet. Demandez-vous chaque jour si toute l’entreprise peut lui faire confiance et le réutiliser.

• Rendre le flux de données fiable. Créez des ELT et des ETL avec des charges, une orchestration et des tentatives incrémentielles et idempotentes, afin que les pipelines s'exécutent à temps sans que personne ne les surveille. Expédiez des pipelines surveillés qui résistent à la production.

• Prenez la couche de transformation. Posséder la couche de création et de transformation du modèle Dataform, en assumant l'entière responsabilité de la couche de transformation et en libérant de la capacité pour la modélisation sémantique et les définitions commerciales. Cela débloque toute l’équipe.

• Instaurer la confiance dans les données. Définissez la validation, la surveillance de la fraîcheur, les alertes et le lignage par défaut. Diagnostiquer les pannes à la cause première. leadscorev2 est le résultat que ce rôle vise à empêcher.

• Servir toute l'entreprise. Alimentez des ensembles de données propres et gouvernés vers Metabase, HubSpot et les travaux de ML et d'IA appartenant à l'équipe de ML produit. Réinjectez les données modélisées dans les outils sur lesquels les équipes commerciales agissent, notamment HubSpot et Customer.io.

• Posséder la poignée de main de la plateforme. Gérez la collaboration quotidienne avec l'équipe Platform sur notre fondation GCP, un pont qui ne suscite aujourd'hui qu'une attention partielle.

• Traitez l'entrepôt comme un produit. Maintenez à jour la documentation, la traçabilité et la visibilité afin que les services fassent confiance aux actifs de données et traitent les données sensibles sur les ressources humaines et la main-d'œuvre conformément aux normes du RGPD.

À quoi ressemble le succès au cours de vos 3 à 6 premiers mois

• L'entrepôt dispose d'une véritable fondation. La première tranche verticale, notre modèle de comptes, est livrée avec des tests et une surveillance.

• Vous possédez entièrement la couche de transformation Dataform, créant ainsi des capacités de modélisation sémantique et de travail de définition métier.

• Les pipelines fonctionnent selon un SLA de fraîcheur défini, et vous prenez les pauses avant les parties prenantes.

• La documentation et le traçage couvrent ce que vous possédez, et les ensembles de données qui étaient bloqués sont désormais transmis aux équipes qui en ont besoin.

•

Ce que nous recherchons

Vous avez construit vous-même les fondations d’un entrepôt. Vous les avez conçus plutôt que de conserver ceux de quelqu'un d'autre, avec une expérience dans :

• Concevoir des architectures d'entrepôt en couches (médaillon, bronze-argent-or) et des modèles dimensionnels (étoile et flocon de neige) que les équipes réutilisent

• SQL avancé comme langage de travail quotidien

• BigQuery pratique, puisque notre pile est GCP

• Construire une couche de transformation SQL dans Dataform ou une solide expérience en DBT.

• ELT et ETL avec des charges incrémentielles et idempotentes et une véritable orchestration, planification et gestion des dépendances

• Qualité des données, tests, surveillance de la fraîcheur et traçabilité intégrés dès le départ

• Python pour le code de pipeline, les scripts, l'automatisation et l'intégration d'API

• Modification révisable et reproductible via un déploiement basé sur Git et PR

C'est agréable à avoir, mais pas obligatoire : un autre entrepôt cloud moderne tel que Snowflake ou Redshift ; ingestion gérée telle qu'Airbyte ; préparer des données pour les cas d'utilisation ML, LLM et agent ; et familiarité avec les métriques B2B SaaS et les données sur les ressources humaines ou la main-d'œuvre. L'anglais est notre langue de travail et le néerlandais n'est pas obligatoire.

Ce rôle ne concerne pas l'ingénierie d'infrastructure, le ML ou le MLOps, ni l'analyse de tableaux de bord. L'équipe Plateforme possède l'infrastructure, l'équipe Produit ML possède le ML et les équipes commerciales possèdent les tableaux de bord. Ce n'est pas non plus pour quelqu'un qui a seulement entretenu un entrepôt conçu par une autre personne. Vous construisez les bases correctement, restez transparent sur la qualité des données et les compromis, et traitez l'entrepôt comme un produit pour l'ensemble de l'entreprise. Vous relèverez du responsable des opérations et travaillerez en étroite collaboration avec l'équipe Plateforme sur l'architecture des données de l'entreprise.
Trouvez plus d'emplois anglophones aux Pays-Bas sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)