Leitender Dateningenieur

Rollenzusammenfassung
Wir suchen einen Senior Data Engineer für den Aufbau und die Verwaltung der Datenplattform von STACK in Databricks.
Die Rolle wird zuverlässige Datenpipelines aus Finanz-, Liefer-, Betriebs-, HR- und PMO-Systemen entwickeln, eine hohe Datenqualität aufrechterhalten und sicherstellen, dass Informationen sicher, verwaltet und für die geschäftliche Nutzung verfügbar sind.
Der erfolgreiche Kandidat wird eng mit den Stakeholdern zusammenarbeiten, um die Berichterstattung zu verbessern, Datenprobleme zu lösen und eine bessere Entscheidungsfindung im gesamten Unternehmen zu unterstützen.

Hauptaufgaben:
· Entwerfen, erstellen und pflegen Sie Datenpipelines von APIs, Datenbanken, SaaS-Anwendungen, Dateien und Tabellenkalkulationen in Databricks.
· Entwickeln Sie skalierbare Datenmodelle und die Delta-Lake-Architektur für Reporting, Analysen und zukünftige KI-Anwendungsfälle.
· Verwalten Sie Databricks-Workflows, Lakeflow- oder Delta-Live-Tabellen, SQL-Warehouses und zugehörige Verarbeitungsaufträge.
· Verwalten Sie Databricks-Arbeitsbereiche, Unity-Katalog, Berechtigungen und Dienstprinzipale.
· Unterstützen Sie Entwicklungs-, Test- und Produktionsumgebungen, einschließlich Bereitstellung, Überwachung, Lösung von Vorfällen und Wiederherstellung.
· Überwachen Sie die Leistung, Nutzung und Kosten der Plattform und implementieren Sie geeignete Sicherheits- und Betriebskontrollen.
· Führen Sie Datenqualitätsprüfungen durch, die Vollständigkeit, Genauigkeit, Aktualität, Konsistenz, Duplikate und Abgleich mit Quellsystemen umfassen.
· Stellen Sie sicher, dass Dashboards geregelte, zuverlässige und gut dokumentierte Daten verwenden.
· Legen Sie Dateneigentum, gemeinsame Definitionen, Abstammung, Zugriffsrichtlinien und Governance-Standards mit Geschäftsfunktionen fest.
· Erstellen Sie Überwachung und Berichterstellung, um Pipeline-Ausfälle und Datenqualitätsprobleme zu identifizieren.
· Integrieren Sie verwaltete Databricks-Daten mit Power BI und anderen zugelassenen Analysetools.
· Arbeiten Sie mit Finanzen, Lieferung, Betrieb, Personalwesen und PMO zusammen, um Anforderungen in nachhaltige Datenlösungen umzusetzen.
· Dokumentieren Sie Datenpipelines, Kontrollen, Abhängigkeiten und Betriebsabläufe.
· Koordinieren Sie externe Partner, wenn fachliche Unterstützung erforderlich ist.

Qualifikationen:
· Bedeutende Erfahrung als Dateningenieur, einschließlich des Besitzes von Produktionsdatenpipelines.
· Umfangreiche praktische Erfahrung mit Databricks, Delta Lake, Python, SQL und PySpark.
· Erfahrung in der Integration von Daten aus APIs, Geschäftsanwendungen, Datenbanken und Dateien.
· Erfahrung mit Unity Catalog, Zugriffsverwaltung, Datenverwaltung und Datenqualitätskontrollen.
· Erfahrung in der Verwaltung von Databricks-Arbeitsbereichen, Rechenressourcen und SQL Warehouses.
· Erfahrung mit Azure-Datendiensten, Power BI, Git und CI/CD-Praktiken.
· Verständnis für Umgebungsmanagement, Überwachung, Fehlerbehebung und Kostenkontrolle.
· Fähigkeit, direkt mit nicht-technischen Stakeholdern zusammenzuarbeiten und Datenprobleme klar zu erklären.
· Ausgeprägte Dokumentations-, Priorisierungs- und Problemlösungsfähigkeiten.

Zertifizierungen (bevorzugt)
· Databricks Certified Data Engineer Professional oder Databricks Certified Platform Administrator (falls verfügbar).
Finden Sie Jobs in Großbritannien auf Arbeitnow

Quelle: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)