Starszy inżynier danych Databricks

Podsumowanie roli
Poszukujemy starszego inżyniera danych Databricks ze sprawdzonym praktycznym doświadczeniem w Databricks do budowania, rozwijania i zarządzania korporacyjną platformą danych STACK. Jest to stanowisko inżyniera skoncentrowane na produkcji, wymagające praktycznej wiedzy w zakresie Databricks, PySpark, Python, SQL i Delta Lake.
Osoba na tym stanowisku będzie projektować niezawodne potoki integrujące systemy finansów, dostaw, operacji, HR i PMO, ustanawiać regulowane zbiory danych wysokiej jakości oraz wspierać bezpieczne, skalowalne analizy i raportowanie. Współpracując z interesariuszami technicznymi i biznesowymi, wybrany kandydat przejmie odpowiedzialność za rozwiązania z zakresu inżynierii danych i pomoże poprawić niezawodność i wydajność platformy.

Kluczowe obowiązki:
· Projektować, rozwijać, wdrażać i utrzymywać potoki ETL/ELT klasy produkcyjnej przy użyciu Databricks, PySpark, Python i SQL, integrując interfejsy API, bazy danych, aplikacje SaaS, pliki i arkusze kalkulacyjne.
· Opracowywanie i optymalizacja skalowalnych modeli danych Delta Lake i architektury Lakehouse na potrzeby raportowania, analiz i przyszłych przypadków użycia sztucznej inteligencji.
· Twórz, planuj, monitoruj i rozwiązuj problemy związane z przetwarzaniem danych, korzystając odpowiednio z Databricks Workflows, Lakeflow lub Delta Live Tables.
· Zastosuj zarządzanie katalogiem Unity, włączając uprawnienia dostępu, własność danych, pochodzenie i wspólne definicje danych.
· Obsługa obszarów roboczych Databricks, zasobów obliczeniowych, hurtowni SQL, jednostek usług i zarządzania dostępem we współpracy z odpowiednimi zespołami technologicznymi.
· Zarządzaj wdrożeniami programistycznymi, testowymi i produkcyjnymi, monitorowaniem, rozwiązywaniem incydentów i odzyskiwaniem, korzystając z praktyk Git i CI/CD.
· Optymalizuj wydajność potoku, przetwarzanie Spark, wykorzystanie mocy obliczeniowej i koszty platformy, zachowując odpowiednie bezpieczeństwo i kontrolę operacyjną.
· Wdrażaj kontrole jakości danych pod kątem kompletności, dokładności, aktualności, spójności, duplikatów i zgodności z systemami źródłowymi.
· Budowa monitorowania i ostrzegania w celu identyfikacji awarii rurociągów, problemów z jakością danych i ryzyka operacyjnego.
· Integruj niezawodne, zarządzane zbiory danych Databricks z Power BI i innymi zatwierdzonymi narzędziami analitycznymi.
· Współpraca z zespołami ds. finansów, dostaw, operacji, HR i PMO w celu przełożenia wymagań na zrównoważone rozwiązania w zakresie danych.
· Dokumentuj rurociągi, zależności, kontrole i procedury operacyjne oraz, jeśli to konieczne, koordynuj wyspecjalizowanych partnerów zewnętrznych.

Kwalifikacje:
· Duże, praktyczne doświadczenie w budowaniu i wspieraniu produkcyjnych potoków danych bezpośrednio w Databricks; Samo doświadczenie z innymi platformami danych w chmurze nie jest wystarczające.
· Praktyczne doświadczenie z PySpark, Python, SQL i Delta Lake, w tym transformacja danych i optymalizacja wydajności.
· Doświadczenie w organizowaniu i rozwiązywaniu problemów z potokami danych Databricks przy użyciu przepływów pracy, Delta Live Tables lub Lakeflow.
· Praktyczna znajomość Unity Catalog, zarządzania danymi, kontroli dostępu i praktyk związanych z jakością danych (niezbędne).
· Doświadczenie w integracji danych z API, aplikacji biznesowych, baz danych i plików.
· Doświadczenie we wspieraniu obszarów roboczych Databricks, zasobów obliczeniowych lub hurtowni SQL w środowisku produkcyjnym.
· Doświadczenie z usługami danych Azure, Power BI, Git i praktykami CI/CD.
· Zrozumienie zarządzania środowiskiem, monitorowania, rozwiązywania problemów, bezpieczeństwa i kontroli kosztów.
· Umiejętność pracy z interesariuszami nietechnicznymi, jasnego wyjaśniania problemów związanych z danymi i skutecznego dokumentowania rozwiązań.
· Silna odpowiedzialność, umiejętność ustalania priorytetów i rozwiązywania problemów.

Certyfikaty (preferowane)
· Certyfikowany inżynier danych Databricks lub certyfikowany administrator platformy Databricks (jeśli jest dostępny).
Znajdź więcej ofert pracy ze znajomością języka angielskiego w Wielkiej Brytanii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)