Kıdemli Veri Mühendisi (Uzaktan)

ROL HAKKINDA

İlk özel Veri Mühendisimiz olarak, kuruluş genelinde analitik, raporlama ve karar alma süreçlerini güçlendiren veri temelini oluşturacak ve sahipleneceksiniz. Bu, boyutsal modeli tasarlayacağınız, onu besleyen boru hatlarına sahip olacağınız ve veri pratiğimizin üzerine inşa edildiği standartları oluşturacağınız uygulamalı bir roldür.

Sıfırdan başlamayacaksınız veya yalnız çalışmayacaksınız. Doğrudan analiz deneyimine sahip bir veri ekibine katılacak ve bugün sahip olduklarımızı geliştiren ve çalıştıran mühendislik ve diğer teknik ekiplerle yakın işbirliği içinde olacaksınız. Burada faydalanabileceğiniz gerçek bir kurumsal bilgi var. Eksik olan şey, kendisini tüm şirketin güvenebileceği tek ve iyi modellenmiş bir temele dönüştürmeye odaklanan biri.

Verilerin nasıl oluşturulduğunu ve kullanıldığını anlamak ve bu ihtiyaçları ölçeklenebilir modellere ve yapılandırılmış raporlama katmanlarına dönüştürmek için işlevler arası çalışacaksınız. İşin merkezi bir kısmı kimlik çözümlemesidir: her birinin kendi tanımlayıcıları ve yaşam döngüleri olan sistemlerde göründüğü şekliyle aynı varlığı güvenilir bir şekilde birbirine bağlayan omurgayı oluşturmak.

Bu rol, alım ve dönüşümden modelleme, yönetişim ve performansa kadar uçtan uca veri sistemlerine sahip olmaktan hoşlanan ve verilerin arkasındaki işi anlamanıza yardımcı olabilecek iş arkadaşlarıyla birlikte bir depoyu uygun şekilde tasarlama özerkliğine sahip olmak isteyen biri için idealdir.

Ne yapacaksın

– Operasyonel, davranışsal ve işlemsel verilerimizle uyumlu, Kimball tarzı boyutlu bir model tasarlayın ve oluşturun

– Geçmişi yerel olarak korumayan kaynaklardan zaman içindeki değişimi yakalamak da dahil olmak üzere uçtan uca kendi beslemesi

– Şu anda birden fazla yerde yaşayan dönüşüm mantığını tek bir yönetilen, test edilmiş katmanda birleştirin

– Veri ambarımızı ve dönüşüm katmanımızı uygulayın ve yönetin; verileri operasyonel sistemlerimizden bu sistemlere taşıyan boru hatlarının sahipliğini alın.

– Veri modelleme, belgeleme, test etme ve yönetişim için temel en iyi uygulamaları oluşturmak

– Sistemler genelinde veri güvenilirliğini, kalitesini ve erişilebilirliğini iyileştirin

– Gelişen veri ihtiyaçlarını desteklemek için analistler ve iş paydaşlarıyla işbirliği yapın

– İş metriği tanımlarını bir kez kodlayın, böylece raporlama ekipler arasında sürüklenmeyi durdurur

– İşlem hatları, depolama ve ambar sorguları genelinde performansı ve maliyet verimliliğini izleyin ve optimize edin

EĞER SİZE İYİ UYUM SAĞLIYORSUNUZ

– Özellikle veri mühendisliği, analitik mühendisliği veya üretimde boyutlu bir model oluşturup sahip olmak da dahil olmak üzere yakından ilişkili bir rolde 5 yıldan fazla deneyime sahip olmak

– Belge tabanlı operasyonel veritabanları (örn. MongoDB) ve analitik veri ambarları (örn. BigQuery, Snowflake, Redshift veya benzeri) deneyimiyle birlikte SQL konusunda güçlü uzmanlığa sahip olmak

– Raporlamayı ve veri pazarlarını desteklemek için yıldız şeması ilkelerini kullanarak, tahıl, uyumlu boyutlar ve yavaş değişen boyutlar hakkında net bir bakış açısıyla olgu ve boyut tabloları oluşturma deneyimine sahip olun

– Sürüm kontrolü, test ve CI ile bir depo ortamındaki dönüşüm katmanlarının yönetilmesi de dahil olmak üzere modern dönüşüm ve modelleme çerçeveleri (ör. dbt, Dataform veya benzeri) konusunda uygulamalı deneyime sahip olun

– Ham uygulama verilerini yapılandırılmış, analize hazır veri kümelerine dönüştüren güvenilir ETL/ELT işlem hatları oluşturmuş ve sürdürmüş

– Düzenleme araçlarıyla çalışmış (ör. Airflow, Dagster, Prefect veya benzeri) ve bağımlılıklar, yeniden denemeler ve dolgular açısından düşünmüş olmak

– Veri alımı veya olay akışı platformları (örneğin, RudderStack, Segment, Pub/Sub veya benzeri) konusunda deneyime sahip olmak ve web ve mobil cihazlarda kimlik birleştirme dahil olmak üzere tutarlı, güvenilir yukarı akış veri akışları sağlamak

– Şema tasarımı, boyutlu modelleme ve performans hususları dahil olmak üzere veri modellemenin en iyi uygulamaları hakkında sağlam bir anlayışa sahip olmak

– Oluşturmadığınız devralma ve işletim sistemlerine ilişkin bir geçmiş performansına sahip olun

– Tutarsızlıkları belirleme ve çözme becerisiyle veri kalitesi, doğrulama ve yönetişime güçlü bir şekilde odaklanın

– İşlem hatları, depolama ve ambar sorguları genelinde performans optimizasyonu konusunda bilgi sahibi olun

– Teknik dengeleri mühendis olmayanlara açık bir şekilde açıklayabilir

– Hem teknik olarak yürüttüğünüz hem de veri mimarisi standartlarımızı şekillendirmeye yardımcı olduğunuz, büyüyen bir ortamda rahat bir şekilde çalışıyorsunuz

Sahip olmak güzel

– Operasyonel veritabanlarından veri yakalama modellerini değiştirin

– Abonelik faturalandırma verileri — eşit dağıtma, geri ödemeler, başarısız ödemeler, denemeler

– Dağıtılmış işleme çerçeveleri (örn. Spark, Beam, Dataflow) konusunda deneyim

– İlk veya erken veri kiralama deneyimi

ANA SORUMLULUKLAR

– Operasyonel verileri yapılandırılmış, analize hazır veri kümelerine dönüştüren güvenilir veri hatları tasarlayın, oluşturun ve sürdürün

– Boyutsal modeli (boyutlar, gerçekler ve açıkça tanımlanmış grenli köprü tabloları) tasarlayın ve sürdürün

– Raporlama ve iş analizini desteklemek için ölçeklenebilir veri modelleri ve veri pazarları geliştirin ve sürdürün

– Tutarlı, yüksek kaliteli veri akışı sağlamak için veri alımını ve olay iş akışlarını yönetin ve optimize edin

– Analitik kullanımı için ham verileri yapılandıran dönüşüm süreçlerini uygulayın ve yönetin

– Veri sorunlarının paydaşlar bu sorunlarla karşılaşmadan önce yakalanması için düzenleme, test etme, güncellik izleme ve uyarıları uygulayın

– Geçmiş raporlamayı ve yavaş yavaş değişen boyutları desteklemek için değişiklik yakalama veya anlık görüntü oluşturma ve sürdürme

– Veri tazeliğini iyileştirin — temel operasyonel verilerimizi toplu yenilemelerden gerçek zamanlıya yakın kullanılabilirliğe taşıyın ve paydaşların güvenebileceği tazelik SLA'ları oluşturun

– Sistemler arasında veri kalitesi, doğrulama ve tutarlılık için güçlü standartlar sağlayın

– Analistlerin ve paydaşların güvenle kendi kendilerine hizmet edebilmeleri için modelleri ve tanımları belgeleyin

– Analitik ortamında performansı, güvenilirliği ve maliyet verimliliğini izleyin ve optimize edin…

Kaynak: AB Uzaktan İşler (https://euremotejobs.com/job/senior-data-engineer-remote/)