Ingénieur de données senior

Résumé du rôle
Nous recherchons un ingénieur de données senior pour créer et gérer la plateforme de données de STACK dans Databricks.
Le rôle développera des pipelines de données fiables à partir des systèmes Finance, Livraison, Opérations, RH et PMO, maintiendra une qualité élevée des données et garantira que les informations sont sécurisées, gouvernées et disponibles pour une utilisation commerciale.
Le candidat retenu travaillera en étroite collaboration avec les parties prenantes pour améliorer les rapports, résoudre les problèmes de données et soutenir une meilleure prise de décision au sein de l'organisation.

Responsabilités clés :
· Concevoir, créer et maintenir des pipelines de données à partir d'API, de bases de données, d'applications SaaS, de fichiers et de feuilles de calcul vers Databricks.
· Développer des modèles de données évolutifs et une architecture Delta Lake pour le reporting, l'analyse et les futurs cas d'utilisation de l'IA.
· Gérer les flux de travail Databricks, les tables Lakeflow ou Delta Live, les entrepôts SQL et les tâches de traitement associées.
· Administrer les espaces de travail Databricks, le catalogue Unity, les autorisations et les principaux de service.
· Soutenir les environnements de développement, de test et de production, y compris le déploiement, la surveillance, la résolution des incidents et la récupération.
· Surveiller les performances, l'utilisation et les coûts de la plateforme, et mettre en œuvre des contrôles de sécurité et opérationnels appropriés.
· Mettre en œuvre des contrôles de qualité des données couvrant l'exhaustivité, l'exactitude, l'actualité, la cohérence, les doublons et le rapprochement avec les systèmes sources.
· Assurez-vous que les tableaux de bord utilisent des données gouvernées, fiables et bien documentées.
· Établir la propriété des données, les définitions communes, le lignage, les politiques d'accès et les normes de gouvernance avec les fonctions commerciales.
· Créer une surveillance et des rapports pour identifier les défaillances du pipeline et les problèmes de qualité des données.
· Intégrez les données Databricks gouvernées avec Power BI et d'autres outils analytiques approuvés.
· Travailler avec les finances, la livraison, les opérations, les ressources humaines et le PMO pour traduire les exigences en solutions de données durables.
· Documenter les pipelines de données, les contrôles, les dépendances et les procédures opérationnelles.
· Coordonner les partenaires externes lorsqu'un soutien spécialisé est requis.

Qualités :
· Expérience significative en tant qu'ingénieur de données, y compris la possession de pipelines de données de production.
· Solide expérience pratique avec Databricks, Delta Lake, Python, SQL et PySpark.
· Expérience dans l'intégration de données provenant d'API, d'applications métier, de bases de données et de fichiers.
· Expérience avec Unity Catalog, la gestion des accès, la gouvernance des données et les contrôles de qualité des données.
· Expérience dans l'administration d'espaces de travail Databricks, de ressources de calcul et d'entrepôts SQL.
· Expérience avec les services de données Azure, Power BI, Git et les pratiques CI/CD.
· Compréhension de la gestion de l'environnement, de la surveillance, du dépannage et du contrôle des coûts.
· Capacité à travailler directement avec des parties prenantes non techniques et à expliquer clairement les problèmes liés aux données.
· Solides compétences en matière de documentation, de priorisation et de résolution de problèmes.

Certifications (Souhaité)
· Professionnel d'ingénieur de données certifié Databricks ou administrateur de plateforme certifié Databricks (si disponible).
Trouvez un emploi au Royaume-Uni sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)