Kıdemli Databricks Veri Mühendisi

Rol Özeti
STACK'in kurumsal veri platformunu oluşturmak, geliştirmek ve yönetmek için kanıtlanmış uygulamalı Databricks deneyimine sahip Kıdemli Databricks Veri Mühendisi arıyoruz. Bu, Databricks, PySpark, Python, SQL ve Delta Lake'te pratik uzmanlık gerektiren, üretim odaklı bir mühendislik rolüdür.
Bu rol, Finans, Teslimat, Operasyonlar, İK ve PMO sistemlerini entegre eden güvenilir işlem hatları tasarlayacak, yönetilen ve yüksek kaliteli veri kümeleri oluşturacak ve güvenli, ölçeklenebilir analitik ve raporlamayı destekleyecektir. Teknik ve ticari paydaşlarla birlikte çalışan başarılı aday, veri mühendisliği çözümlerinin sorumluluğunu üstlenecek ve platformun güvenilirliğini ve performansını artırmaya yardımcı olacak.

Temel Sorumluluklar:
· Databricks, PySpark, Python ve SQL'i kullanarak, API'leri, veritabanlarını, SaaS uygulamalarını, dosyaları ve elektronik tabloları entegre ederek üretim düzeyinde ETL/ELT işlem hatlarını tasarlayın, geliştirin, dağıtın ve sürdürün.
· Raporlama, analiz ve gelecekteki yapay zeka kullanım durumları için ölçeklenebilir Delta Lake veri modellerini ve göl evi mimarisini geliştirin ve optimize edin.
· Uygun olduğu şekilde Databricks Workflows, Lakeflow veya Delta Live Tables'ı kullanarak veri işleme işlerini oluşturun, planlayın, izleyin ve sorunlarını giderin.
· Erişim izinleri, veri sahipliği, köken ve ortak veri tanımları dahil olmak üzere Unity Katalog yönetimini uygulayın.
· İlgili teknoloji ekipleriyle ortaklaşa Databricks çalışma alanlarını, bilgi işlem kaynaklarını, SQL Ambarlarını, hizmet ilkelerini ve erişim yönetimini destekleyin.
· Git ve CI/CD uygulamalarını kullanarak geliştirme, test ve üretim dağıtımlarını, izlemeyi, olay çözümünü ve kurtarmayı yönetin.
· Uygun güvenlik ve operasyonel kontrolleri korurken işlem hattı performansını, Spark işlemeyi, bilgi işlem kullanımını ve platform maliyetlerini optimize edin.
· Tamlık, doğruluk, zamanlılık, tutarlılık, kopyalar ve kaynak sistemlerle mutabakat için veri kalitesi kontrollerini uygulayın.
· Boru hattı arızalarını, veri kalitesi sorunlarını ve operasyonel riskleri belirlemek için izleme ve uyarı oluşturma.
· Güvenilir, yönetilen Databricks veri kümelerini Power BI ve diğer onaylı analitik araçlarla tümleştirin.
· Gereksinimleri sürdürülebilir veri çözümlerine dönüştürmek için Finans, Teslimat, Operasyon, İK ve PMO ekipleriyle birlikte çalışın.
· İşlem hatlarını, bağımlılıkları, kontrolleri ve işletme prosedürlerini belgeleyin ve gerektiğinde uzman dış ortakları koordine edin.

Nitelikler:
· Üretim veri hatlarını doğrudan Databricks'te oluşturma ve destekleme konusunda güçlü uygulamalı deneyim; diğer bulut veri platformlarıyla ilgili deneyim tek başına yeterli değildir.
· Veri dönüşümü ve performans optimizasyonu da dahil olmak üzere PySpark, Python, SQL ve Delta Lake ile pratik deneyim.
· Workflows, Delta Live Tables veya Lakeflow'u kullanarak Databricks veri hatlarını düzenleme ve sorun giderme deneyimini yaşayın.
· Unity Kataloğu, veri yönetimi, erişim kontrolleri ve veri kalitesi uygulamaları (Essential) hakkında çalışma bilgisi.
· API'lerden, iş uygulamalarından, veritabanlarından ve dosyalardan verileri entegre etme deneyimi.
· Bir üretim ortamında Databricks çalışma alanlarını, bilgi işlem kaynaklarını veya SQL Ambarlarını destekleme deneyimi.
· Azure veri hizmetleri, Power BI, Git ve CI/CD uygulamaları konusunda deneyim.
· Ortam yönetimi, izleme, sorun giderme, güvenlik ve maliyet kontrolünün anlaşılması.
· Teknik olmayan paydaşlarla çalışma, veri sorunlarını net bir şekilde açıklama ve çözümleri etkili bir şekilde belgeleme becerisi.
· Güçlü sahiplenme, önceliklendirme ve problem çözme becerileri.

Sertifikalar (Tercihen)
· Databricks Sertifikalı Veri Mühendisi Uzmanı veya Databricks Sertifikalı Platform Yöneticisi (varsa).
Arbeitnow'da Birleşik Krallık'ta daha fazla İngilizce Konuşma İşi bul

Kaynak: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/stack-infrastructure-emea/senior-databricks-data-engineer-london-455331)