Leitender Databricks-Dateningenieur

Rollenzusammenfassung
Wir suchen einen Senior Databricks Data Engineer mit nachgewiesener praktischer Databricks-Erfahrung, um die Unternehmensdatenplattform von STACK aufzubauen, zu entwickeln und zu verwalten. Dies ist eine produktionsorientierte technische Rolle, die praktische Kenntnisse in Databricks, PySpark, Python, SQL und Delta Lake erfordert.
Die Rolle wird zuverlässige Pipelines entwerfen, die Finanz-, Liefer-, Betriebs-, HR- und PMO-Systeme integrieren, verwaltete und qualitativ hochwertige Datensätze erstellen und sichere, skalierbare Analysen und Berichte unterstützen. In Zusammenarbeit mit technischen und geschäftlichen Stakeholdern wird der erfolgreiche Kandidat die Verantwortung für Data-Engineering-Lösungen übernehmen und dabei helfen, die Zuverlässigkeit und Leistung der Plattform zu verbessern.

Hauptaufgaben:
· Entwerfen, entwickeln, bereitstellen und warten Sie ETL/ELT-Pipelines in Produktionsqualität mit Databricks, PySpark, Python und SQL und integrieren Sie APIs, Datenbanken, SaaS-Anwendungen, Dateien und Tabellenkalkulationen.
· Entwickeln und optimieren Sie skalierbare Delta-Lake-Datenmodelle und Lakehouse-Architekturen für Reporting, Analysen und zukünftige KI-Anwendungsfälle.
· Erstellen, planen, überwachen und beheben Sie Datenverarbeitungsaufträge mit Databricks Workflows, Lakeflow oder Delta Live Tables, je nach Bedarf.
· Wenden Sie die Unity-Katalog-Governance an, einschließlich Zugriffsberechtigungen, Dateneigentum, Herkunft und allgemeinen Datendefinitionen.
· Unterstützen Sie Databricks-Arbeitsbereiche, Rechenressourcen, SQL Warehouses, Dienstprinzipale und Zugriffsverwaltung in Zusammenarbeit mit relevanten Technologieteams.
· Verwalten Sie Entwicklungs-, Test- und Produktionsbereitstellungen, Überwachung, Lösung von Vorfällen und Wiederherstellung mithilfe von Git- und CI/CD-Praktiken.
· Optimieren Sie die Pipeline-Leistung, die Spark-Verarbeitung, die Rechennutzung und die Plattformkosten und sorgen Sie gleichzeitig für angemessene Sicherheit und Betriebskontrollen.
· Implementieren Sie Datenqualitätsprüfungen auf Vollständigkeit, Genauigkeit, Aktualität, Konsistenz, Duplikate und Abgleich mit Quellsystemen.
· Build-Überwachung und Alarmierung, um Pipeline-Ausfälle, Datenqualitätsprobleme und Betriebsrisiken zu erkennen.
· Integrieren Sie zuverlässige, verwaltete Databricks-Datensätze mit Power BI und anderen zugelassenen Analysetools.
· Arbeiten Sie mit Finanz-, Liefer-, Betriebs-, HR- und PMO-Teams zusammen, um Anforderungen in nachhaltige Datenlösungen umzusetzen.
· Dokumentieren Sie Pipelines, Abhängigkeiten, Kontrollen und Betriebsabläufe und koordinieren Sie bei Bedarf spezialisierte externe Partner.

Qualifikationen:
· Umfangreiche praktische Erfahrung beim Aufbau und der Unterstützung von Produktionsdatenpipelines direkt in Databricks; Erfahrungen mit anderen Cloud-Datenplattformen allein reichen nicht aus.
· Praktische Erfahrung mit PySpark, Python, SQL und Delta Lake, einschließlich Datentransformation und Leistungsoptimierung.
· Erleben Sie die Orchestrierung und Fehlerbehebung von Databricks-Datenpipelines mithilfe von Workflows, Delta Live Tables oder Lakeflow.
· Praktische Kenntnisse über Unity Catalog, Datenverwaltung, Zugriffskontrollen und Datenqualitätspraktiken (wesentlich).
· Erfahrung in der Integration von Daten aus APIs, Geschäftsanwendungen, Datenbanken und Dateien.
· Erfahrung in der Unterstützung von Databricks-Arbeitsbereichen, Rechenressourcen oder SQL Warehouses in einer Produktionsumgebung.
· Erfahrung mit Azure-Datendiensten, Power BI, Git und CI/CD-Praktiken.
· Verständnis für Umgebungsmanagement, Überwachung, Fehlerbehebung, Sicherheit und Kostenkontrolle.
· Fähigkeit, mit nicht-technischen Stakeholdern zusammenzuarbeiten, Datenprobleme klar zu erklären und Lösungen effektiv zu dokumentieren.
· Starke Fähigkeiten in den Bereichen Eigenverantwortung, Priorisierung und Problemlösung.

Zertifizierungen (bevorzugt)
· Databricks Certified Data Engineer Professional oder Databricks Certified Platform Administrator (falls verfügbar).
Weitere englischsprachige Jobs in Großbritannien finden Sie auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)