Kıdemli Veri Mühendisi

Rol Özeti
STACK'in Databricks'teki veri platformunu oluşturacak ve yönetecek Kıdemli Veri Mühendisi arıyoruz.
Görev, Finans, Teslimat, Operasyon, İK ve PMO sistemlerinden güvenilir veri hatları geliştirecek, yüksek veri kalitesini koruyacak ve bilgilerin güvenli, yönetilebilir ve iş kullanımına uygun olmasını sağlayacak.
Başarılı aday, raporlamayı geliştirmek, veri sorunlarını çözmek ve kuruluş genelinde daha iyi karar almayı desteklemek için paydaşlarla yakın işbirliği içinde çalışacak.

Temel Sorumluluklar:
· API'lerden, veritabanlarından, SaaS uygulamalarından, dosyalardan ve elektronik tablolardan Databricks'e veri hatları tasarlayın, oluşturun ve bakımını yapın.
· Raporlama, analiz ve gelecekteki yapay zeka kullanım senaryoları için ölçeklenebilir veri modelleri ve Delta Lake mimarisi geliştirin.
· Databricks İş Akışlarını, Lakeflow veya Delta Canlı Tablolarını, SQL Depolarını ve ilgili işleme işlerini yönetin.
· Databricks çalışma alanlarını, Unity Katalogunu, izinleri, hizmet sorumlularını yönetin.
· Dağıtım, izleme, olay çözümü ve kurtarma dahil geliştirme, test ve üretim ortamlarını destekleyin.
· Platform performansını, kullanımını ve maliyetlerini izleyin ve uygun güvenlik ve operasyonel kontrolleri uygulayın.
· Tamlık, doğruluk, zamanındalık, tutarlılık, kopyalar ve kaynak sistemlerle mutabakatı kapsayan veri kalitesi kontrollerini uygulayın.
· Gösterge tablolarının yönetilen, güvenilir ve iyi belgelenmiş veriler kullandığından emin olun.
· İş fonksiyonlarıyla veri sahipliği, ortak tanımlar, köken, erişim politikaları ve yönetim standartları oluşturun.
· Boru hattı arızalarını ve veri kalitesi sorunlarını belirlemek için izleme ve raporlama oluşturun.
· Yönetilen Databricks verilerini Power BI ve diğer onaylı analitik araçlarla tümleştirin.
· Gereksinimleri sürdürülebilir veri çözümlerine dönüştürmek için Finans, Teslimat, Operasyon, İK ve PMO ile birlikte çalışın.
· Veri hatlarını, kontrolleri, bağımlılıkları ve işletim prosedürlerini belgeleyin.
· Uzman desteğinin gerekli olduğu durumlarda dış ortakları koordine edin.

Nitelikler:
· Veri Mühendisi olarak, üretim veri işlem hatlarının sahipliği de dahil olmak üzere önemli deneyim.
· Databricks, Delta Lake, Python, SQL ve PySpark ile güçlü uygulamalı deneyim.
· API'lerden, iş uygulamalarından, veritabanlarından ve dosyalardan verileri entegre etme deneyimi.
· Unity Kataloğu, erişim yönetimi, veri yönetişimi ve veri kalitesi kontrolleri konusunda deneyim.
· Databricks çalışma alanlarını, bilgi işlem kaynaklarını ve SQL Depolarını yönetme deneyimi.
· Azure veri hizmetleri, Power BI, Git ve CI/CD uygulamaları konusunda deneyim.
· Çevre yönetimi, izleme, sorun giderme ve maliyet kontrolünün anlaşılması.
· Teknik olmayan paydaşlarla doğrudan çalışabilme ve veri sorunlarını net bir şekilde açıklayabilme.
· Güçlü dokümantasyon, önceliklendirme ve problem çözme becerileri.

Sertifikalar (Tercihen)
· Databricks Sertifikalı Veri Mühendisi Uzmanı veya Databricks Sertifikalı Platform Yöneticisi (varsa).
Arbeitnow'da Birleşik Krallık'ta İş Bul

Kaynak: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-data-engineer-london-185810)