Ingénieur de données senior Databricks

Résumé du rôle
Nous recherchons un ingénieur de données Databricks senior possédant une expérience pratique éprouvée de Databricks pour créer, développer et gérer la plate-forme de données d'entreprise de STACK. Il s'agit d'un rôle d'ingénierie axé sur la production nécessitant une expertise pratique dans Databricks, PySpark, Python, SQL et Delta Lake.
Le rôle consistera à concevoir des pipelines fiables intégrant les systèmes Finance, Livraison, Opérations, RH et PMO, à établir des ensembles de données gouvernés et de haute qualité et à prendre en charge des analyses et des rapports sécurisés et évolutifs. En travaillant avec les parties prenantes techniques et commerciales, le candidat retenu s'appropriera les solutions d'ingénierie des données et contribuera à améliorer la fiabilité et les performances de la plateforme.

Responsabilités clés :
· Concevoir, développer, déployer et maintenir des pipelines ETL/ELT de qualité production à l'aide de Databricks, PySpark, Python et SQL, intégrant des API, des bases de données, des applications SaaS, des fichiers et des feuilles de calcul.
· Développer et optimiser les modèles de données évolutifs de Delta Lake et l'architecture Lakehouse pour les rapports, les analyses et les futurs cas d'utilisation de l'IA.
· Créez, planifiez, surveillez et dépannez les tâches de traitement des données à l'aide de Databricks Workflows, Lakeflow ou Delta Live Tables, selon le cas.
· Appliquer la gouvernance d'Unity Catalog, y compris les autorisations d'accès, la propriété des données, le lignage et les définitions de données communes.
· Prendre en charge les espaces de travail Databricks, les ressources de calcul, les entrepôts SQL, les principes de service et la gestion des accès en partenariat avec les équipes technologiques concernées.
· Gérer les déploiements de développement, de test et de production, la surveillance, la résolution des incidents et la récupération, en utilisant les pratiques Git et CI/CD.
· Optimisez les performances du pipeline, le traitement Spark, l'utilisation du calcul et les coûts de la plate-forme tout en maintenant une sécurité et des contrôles opérationnels appropriés.
· Mettre en œuvre des contrôles de qualité des données pour vérifier l'exhaustivité, l'exactitude, l'actualité, la cohérence, les doublons et le rapprochement avec les systèmes sources.
· Créez une surveillance et des alertes pour identifier les pannes de pipeline, les problèmes de qualité des données et les risques opérationnels.
· Intégrez des ensembles de données Databricks fiables et gouvernés avec Power BI et d'autres outils analytiques approuvés.
· Travailler avec les équipes Finance, Livraison, Opérations, RH et PMO pour traduire les exigences en solutions de données durables.
· Documenter les pipelines, les dépendances, les contrôles et les procédures opérationnelles, et coordonner les partenaires externes spécialisés si nécessaire.

Qualités :
· Solide expérience pratique dans la création et le support de pipelines de données de production directement dans Databricks ; l’expérience avec d’autres plateformes de données cloud ne suffit pas.
· Expérience pratique avec PySpark, Python, SQL et Delta Lake, y compris la transformation des données et l'optimisation des performances.
· Expérience dans l'orchestration et le dépannage des pipelines de données Databricks à l'aide de Workflows, Delta Live Tables ou Lakeflow.
· Connaissance pratique de Unity Catalog, de la gouvernance des données, des contrôles d'accès et des pratiques en matière de qualité des données (essentiel).
· Expérience dans l'intégration de données provenant d'API, d'applications métier, de bases de données et de fichiers.
· Expérience dans la prise en charge des espaces de travail Databricks, des ressources de calcul ou des entrepôts SQL dans un environnement de production.
· Expérience avec les services de données Azure, Power BI, Git et les pratiques CI/CD.
· Compréhension de la gestion de l'environnement, de la surveillance, du dépannage, de la sécurité et du contrôle des coûts.
· Capacité à travailler avec des parties prenantes non techniques, à expliquer clairement les problèmes liés aux données et à documenter efficacement les solutions.
· Fortes compétences en matière d'appropriation, de priorisation et de résolution de problèmes.

Certifications (Souhaité)
· Professionnel d'ingénieur de données certifié Databricks ou administrateur de plateforme certifié Databricks (si disponible).
Trouvez plus d'emplois anglophones au Royaume-Uni sur Arbeitnow

Source : Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)