Kıdemli Veri Mühendisi

Veri Mühendisi
Shiftbase, Avrupa genelinde vardiya bazlı işletmeler için otonom sürüş asistanını geliştiriyor. Müşterilerimiz Amsterdam'daki bağımsız restoranlardan München'deki çok lokasyonlu perakendecilere kadar çeşitlilik gösteriyor ve her hafta planlama, zaman takibi, maaş bordrosu hazırlığı ve İK yönetimi için saatler harcıyorlar. Bu işi onların elinden almak ve sonunda onlar için yapmak istiyoruz.
Bu ürün vizyonunun altında bir veri sorunu yatıyor. İçgörü, otomasyon ve yapay zekanın tamamı insanların güvenebileceği verilere bağlıdır ve bunların temeli henüz mevcut değildir.

Bunu düzeltecek temeli inşa edeceksiniz.

Ne yapacaksın

• Deponun mimarisini yapın. BigQuery ve Dataform depomuzu baştan sona tasarlayın ve sahip olun. Yalnızca üstte oturan modelleri değil, katmanlı, iyi modellenmiş bir temel, pazarların arasında madalyonlar sergileyen bir yapı oluşturun. Her gün tüm şirketin ona güvenip güvenemeyeceğini ve onu yeniden kullanıp kullanamayacağını sorun.

• Veri akışını güvenilir bir şekilde yapın. ELT ve ETL'yi artımlı, bağımsız yüklemeler, orkestrasyon ve yeniden denemelerle oluşturun, böylece ardışık düzenlerin kimse onları izlemeden zamanında çalışmasını sağlayın. Üretime devam eden, gemi tarafından izlenen boru hatları.

• Dönüşüm katmanını alın. Dataform model oluşturma ve dönüştürme katmanına sahip olun, dönüşüm katmanının tüm sorumluluğunu üstlenin ve anlamsal modelleme ve iş tanımları için kapasiteyi serbest bırakın. Bu, tüm ekibin engelini kaldırır.

• Verilere güven kazandırın. Doğrulama, tazelik izleme, uyarı verme ve köken oluşturmayı varsayılan yapın. Arızaları temel nedenine göre teşhis edin. leadcorev2, bu rolün önlemek için var olduğu sonuçtur.

• Tüm şirkete hizmet verin. Temiz, yönetilen veri kümelerini Metabase, HubSpot ve ML ekibinin sahip olduğu ML ve AI çalışmalarına besleyin. Modellenmiş verileri, HubSpot ve Customer.io dahil olmak üzere iş ekiplerinin üzerinde çalıştığı araçlara geri aktarın.

• Platform el sıkışmasına sahip olun. Günümüzde yalnızca yarı zamanlı ilgi gören bir köprü olan GCP temelimizde Platform ekibiyle günlük iş birliğini yürütün.

• Depoya bir ürün gibi davranın. Departmanların veri varlıklarına güvenmesi ve hassas İK ve iş gücü verilerini GDPR standartlarına göre işlemesi için belgeleri, kökeni ve keşfedilebilirliği güncel tutun.

İlk 3-6 ayda başarı nasıl görünür?

• Deponun gerçek bir temeli var. Hesap modelimiz olan ilk dikey dilim, testler ve izlemeyle birlikte gelir.

• Anlamsal modelleme ve iş tanımı çalışmaları için kapasite yaratan Dataform dönüştürme katmanının tamamına sahip olursunuz

• İşlem hatları tanımlanmış bir tazelik SLA'sına göre çalışır ve siz molaları paydaşlardan önce yakalarsınız.

• Belgeler ve köken, sahip olduklarınızı kapsar ve takılıp kalan veri kümeleri artık onlara ihtiyaç duyan ekiplere akar.

•

Aradığımız şey

Depo temellerini kendiniz inşa ettiniz. Başka birininkini korumak yerine, bunları siz tasarladınız ve aşağıdaki konularda bir geçmişe sahip oldunuz:

• Ekiplerin yeniden kullanabileceği katmanlı depo mimarileri (madalyon, bronz-gümüş-altın) ve boyutlu modellerin (yıldız ve kar tanesi) tasarlanması

• Günlük çalışma diliniz olarak gelişmiş SQL

• Yığınımız GCP olduğundan uygulamalı BigQuery

• Dataform'da bir SQL dönüşüm katmanı oluşturmak veya güçlü bir dbt deneyimi.

• Artımlı, bağımsız yükler ve gerçek orkestrasyon, zamanlama ve bağımlılık yönetimi ile ELT ve ETL

• Veri kalitesi, test etme, güncellik izleme ve köken baştan itibaren yerleşiktir

• İşlem hattı kodu, komut dosyası oluşturma, otomasyon ve API entegrasyonu için Python

• Git ve PR tabanlı dağıtım aracılığıyla gözden geçirilebilir, tekrarlanabilir değişiklik

Sahip olmak güzel, zorunlu değil: Snowflake veya Redshift gibi başka bir modern bulut deposu; Airbyte gibi yönetilen alım; ML, LLM ve aracılı kullanım senaryoları için verilerin hazırlanması; ve B2B SaaS ölçümleri ve İK veya iş gücü verilerine aşinalık. İngilizce bizim çalışma dilimizdir ve Hollandaca gerekli değildir.

Bu rol altyapı mühendisliği, ML veya MLOps veya kontrol paneli analizi değildir. Platform ekibi altyapının sahibidir, Ürün ML ekibi ML'nin sahibidir ve iş ekiplerinin kendi kontrol panelleri vardır. Ayrıca bu, yalnızca başka bir kişinin tasarladığı bir deponun bakımını yapan biri için değildir. Temeli doğru bir şekilde oluşturursunuz, veri kalitesi ve değiş tokuşlar konusunda şeffaf kalırsınız ve depoyu tüm şirket için bir ürün olarak ele alırsınız. Operasyon Başkanına rapor verecek ve şirketin veri mimarisi konusunda Platform ekibiyle yakın işbirliği içinde olacaksınız.
Arbeitnow'da Hollanda'da daha fazla İngilizce Konuşma İşi bul

Kaynak: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)