Ingénieur de données senior (à distance)

À PROPOS DU RÔLE

En tant que premier ingénieur de données dédié, vous créerez et posséderez la base de données qui alimente l'analyse, le reporting et la prise de décision dans l'ensemble de l'organisation. Il s'agit d'un rôle pratique dans lequel vous concevrez le modèle dimensionnel, posséderez les pipelines qui l'alimentent et établirez les normes sur lesquelles repose notre pratique en matière de données.

Vous ne partirez pas de zéro ni ne travaillerez seul. Vous rejoindrez une équipe de données possédant une expérience directe en analyse et travaillerez en étroite collaboration avec des équipes d'ingénierie et d'autres équipes techniques qui ont construit et exécuté ce que nous avons aujourd'hui. Il existe ici de véritables connaissances institutionnelles sur lesquelles s’appuyer. Ce qui manque, c’est quelqu’un dont l’objectif est d’en faire une fondation unique et bien modélisée sur laquelle toute l’entreprise peut s’appuyer.

Vous travaillerez de manière interfonctionnelle pour comprendre comment les données sont générées et utilisées, et traduirez ces besoins en modèles évolutifs et en couches de reporting structurées. Une partie centrale du travail est la résolution d’identité : construire la colonne vertébrale qui relie de manière fiable la même entité telle qu’elle apparaît à travers des systèmes qui ont chacun leurs propres identifiants et cycles de vie.

Ce rôle est idéal pour quelqu'un qui aime posséder des systèmes de données de bout en bout – de l'ingestion et de la transformation en passant par la modélisation, la gouvernance et les performances – et qui souhaite disposer de l'autonomie nécessaire pour concevoir correctement un entrepôt, avec des collègues qui peuvent vous aider à comprendre l'activité derrière les données.

Ce que vous ferez

– Concevoir et construire un modèle dimensionnel conforme de style Kimball à travers nos données opérationnelles, comportementales et transactionnelles

– Ingestion propre de bout en bout, y compris la capture des changements au fil du temps à partir de sources qui ne préservent pas l'historique de manière native

– Consolider la logique de transformation qui réside actuellement à plusieurs endroits en une seule couche gouvernée et testée

– Mettre en œuvre et gérer notre entrepôt de données et notre couche de transformation, en s’appropriant les pipelines qui y déplacent les données de nos systèmes opérationnels

– Établir les meilleures pratiques fondamentales pour la modélisation des données, la documentation, les tests et la gouvernance

– Améliorer la fiabilité, la qualité et l’accessibilité des données entre les systèmes

– Collaborer avec les analystes et les parties prenantes de l’entreprise pour prendre en charge l’évolution des besoins en données

– Encodez les définitions des métriques commerciales une seule fois, afin que les rapports ne dérivent plus entre les équipes

– Surveiller et optimiser les performances et la rentabilité des requêtes relatives aux pipelines, au stockage et à l’entrepôt.

VOUS ÊTES UN BON CONVENU SI VOUS

– Avoir plus de 5 ans d’expérience spécifiquement dans l’ingénierie des données, l’ingénierie analytique ou dans un rôle étroitement lié, notamment avoir construit et possédé un modèle dimensionnel en production

– Avoir une solide maîtrise de SQL, avec une expérience dans les bases de données opérationnelles basées sur des documents (par exemple, MongoDB) et les entrepôts de données analytiques (par exemple, BigQuery, Snowflake, Redshift ou similaire)

– Avoir de l'expérience dans la création de tableaux de faits et de dimensions en utilisant les principes du schéma en étoile pour prendre en charge les rapports et les magasins de données, avec un point de vue clair sur le grain, les dimensions conformes et les dimensions à évolution lente

– Avoir une expérience pratique des cadres de transformation et de modélisation modernes (par exemple, dbt, Dataform ou similaire), y compris la gestion des couches de transformation dans un environnement d'entrepôt avec contrôle de version, tests et CI

– Avoir construit et maintenu des pipelines ETL/ELT fiables qui transforment les données brutes des applications en ensembles de données structurés et prêts pour l'analyse

– Avoir travaillé avec des outils d'orchestration (par exemple, Airflow, Dagster, Prefect ou similaire) et penser en termes de dépendances, de tentatives et de remplissages

– Avoir de l'expérience avec les plateformes d'ingestion de données ou de streaming d'événements (par exemple, RudderStack, Segment, Pub/Sub ou similaire) et garantir des flux de données en amont cohérents et fiables, y compris l'assemblage d'identité sur le Web et les appareils mobiles.

– Avoir une solide compréhension des meilleures pratiques de modélisation de données, y compris la conception de schémas, la modélisation dimensionnelle et les considérations de performances

– Avoir un historique d’héritage et de systèmes d’exploitation que vous n’avez pas construits

– Avoir une forte concentration sur la qualité, la validation et la gouvernance des données, avec la capacité d’identifier et de résoudre les incohérences

– Avoir une compréhension de l’optimisation des performances dans les requêtes de pipelines, de stockage et d’entrepôt

– Peut expliquer clairement les compromis techniques aux non-ingénieurs

– Êtes à l’aise dans un environnement en pleine croissance où vous exécutez à la fois techniquement et contribuez à façonner nos normes d’architecture de données

C'est agréable d'avoir

– Modifier les modèles de capture de données à partir des bases de données opérationnelles

– Données de facturation des abonnements : calcul au prorata, remboursements, échecs de paiement, essais

– Expérience avec les frameworks de traitement distribué (par exemple, Spark, Beam, Dataflow)

– Expérience en tant que première ou première location de données

PRINCIPALES RESPONSABILITÉS

– Concevoir, construire et maintenir des pipelines de données fiables qui transforment les données opérationnelles en ensembles de données structurés et prêts pour l'analyse

– Concevoir et maintenir le modèle dimensionnel – dimensions, faits et tables de pont avec un grain clairement défini

– Développer et maintenir des modèles de données et des datamarts évolutifs pour prendre en charge le reporting et l’analyse commerciale

– Gérer et optimiser les workflows d’ingestion de données et d’événements pour garantir des flux de données en amont cohérents et de haute qualité

– Mettre en œuvre et gérer des processus de transformation qui structurent les données brutes à des fins d’analyse

– Mettre en œuvre l'orchestration, les tests, la surveillance de la fraîcheur et les alertes afin que les problèmes de données soient détectés avant que les parties prenantes ne les rencontrent

– Créer et maintenir une capture ou un instantané des modifications pour prendre en charge les rapports historiques et les dimensions à évolution lente

– Améliorer la fraîcheur des données – en déplaçant nos données opérationnelles de base des actualisations par lots vers une disponibilité en temps quasi réel, et en établissant des SLA de fraîcheur sur lesquels les parties prenantes peuvent s'appuyer

– Assurer des normes strictes en matière de qualité, de validation et de cohérence des données entre les systèmes

– Documenter les modèles et les définitions afin que les analystes et les parties prenantes puissent se servir en toute confiance

– Surveiller et optimiser les performances, la fiabilité et la rentabilité au sein de l’environnement d’analyse…

Source : Emplois à distance dans l'UE (https://euremotejobs.com/job/senior-data-engineer-remote/)