Kıdemli Veri Platformu Mühendisi

Smartly'de Veri Platformuna katılacak Kıdemli Veri Platformu Mühendisi arıyoruz!

Smartly, ürün hizmetleri, analizler ve AI/ML genelinde yönetilen veri paylaşımına yönelik standart yolu oluşturuyor. Veri Platformu ekibi, yeniden kullanılabilir verileri uygun ölçekte güvenli ve pratik hale getiren sözleşmelere, kontrol mekanizmalarına, yayın yollarına, katalog meta verilerine, yaşam döngüsü kurallarına, kökene, izinlere ve çalışma zamanı yapı taşlarına sahiptir.

Bu, başlangıçtan itibaren somut üretim sorunları üzerinde çalışırken bir platformu erkenden şekillendirmek isteyen birine yönelik bir roldür. Smartly halihazırda daha iyi bir veri temeline ihtiyaç duyan üretim sistemlerine, Kafka omurgasına, PostgreSQL veritabanlarına, analitik tüketicilere ve AI/ML kullanım senaryolarına sahiptir. Buradaki zorluk, bu gerçekliği mühendislerin gerçekten kullanmak isteyeceği standart bir yola dönüştürmektir.

İlk dönüm noktamız odaklanmıştır: hizmete ait PostgreSQL veritabanlarında merkezi olarak yönetilen yayınlama tabloları, Debezium CDC aracılığıyla Kafka'ya aktarılmış ve sahiplik, yaşam döngüsü, köken ve etki analizi meta verileriyle DataHub'a kaydedilmiştir. Uzun vadede platform, Smartly'nin operasyonel ve analitik sistemleri genelinde self-servis veri ürünlerine, yönetilen materyalizasyonlara, dayanıklı paylaşılan duruma ve yeniden kullanılabilir verilere doğru genişliyor.

Bu, yalnızca mevcut raporlama hattını sürdürdüğünüz bir rol değildir. Diğer mühendislik ekiplerinin paylaşılan verileri yayınlayıp tüketirken kullanacağı platform yolunun tasarlanmasına ve oluşturulmasına yardımcı olacaksınız.

Ne yapacaksın

• Sözleşmeye dayalı veri yayınlama ve tüketimi için platform hizmetleri, araçları ve iş akışları tasarlayın ve oluşturun.

• Platform tarafından yönetilen PostgreSQL yayınlama tabloları, Debezium CDC, Kafka konuları ve katalog kaydı için ilk üretim yolunu oluşturun.

• Sözleşmelerin, şemaların, sahipliğin, yaşam döngüsünün, uyumluluğun, politika meta verilerinin ve istenen çalışma zamanı durumunun incelendiği, doğrulandığı ve kod olarak uzlaştırıldığı GitOps tarzı iş akışları oluşturun.

• Ürün mühendislerine, veri ürünlerini yayınlamadan veya değiştirmeden önce hızlı geri bildirim sağlayan araçlar oluşturun.

• Veri ürünlerinin, sözleşmelerin yayınlanmasının, şema gelişiminin, alan kararlılığının, silme semantiğinin, erişim politikasının, kökenin ve maliyet ilişkilendirmenin nasıl akıllıca modelleneceğinin tanımlanmasına yardımcı olun.

• Kubernetes iş yükleri, kaynağa özel izolasyon, uzaklıklar, şema geçmişi, kalp atışları, sinyal kanalları, gecikme görünürlüğü, tekrar oynatma, yeniden anlık görüntü alma ve kurtarma dahil olmak üzere CDC çalışma zamanı modelini çalıştırın ve iyileştirin.

• Platform meta verilerini DataHub'a entegre edin; böylece mühendisler veri ürünlerini keşfedebilir, sahipliği anlayabilir, kökeni izleyebilir ve değişikliklerin etkisi hakkında mantık yürütebilir.

• Standart yolu, özel noktadan noktaya entegrasyonlara göre daha kolay ve daha güvenli hale getirmek için ürün, altyapı, veri mühendisliği, analiz ve AI/ML ekipleriyle birlikte çalışın.

Aradığımız şey

• Tercihen platform, altyapı, arka uç veya veri yoğun ortamlarda üretim yazılım sistemleri oluşturma ve çalıştırma konusunda güçlü deneyim.

• Dağıtılmış sistemlerdeki ödünleşimlerin derinlemesine anlaşılması: güvenilirlik, bağımsız olma, tekrar oynatma, nihai tutarlılık, sahiplik sınırları, uyumluluk ve operasyonel arıza modları.

• Şema tasarımı, geçişler, işlemler, çoğaltma veya operasyonel performans da dahil olmak üzere PostgreSQL veya diğer ilişkisel veritabanlarıyla ilgili pratik deneyim.

• Kafka, olay akışı, CDC, Debezium veya buna benzer veri taşıma teknolojileri konusunda deneyim. Doğrudan Debezium deneyimi değerlidir ancak güçlü temeller daha da önemlidir.

• Diğer mühendislerin kullandığı geliştirme yazılımlarını deneyimleyin: CLI'ler, dahili platformlar, kontrol düzlemleri, otomasyon, CI doğrulaması, geliştirici araçları veya self servis iş akışları.

• Çalışma zamanı yalıtımı, dağıtım, gözlemlenebilirlik ve operasyonel sahiplik dahil olmak üzere Kubernetes ve bulut veya altyapı platformlarına aşinalık.

• Belirsiz mimari yönelimi pratik artışlara dönüştürme, ödünleşimleri açık hale getirme ve mükemmel kesinliği beklemeden kullanışlı üretim sistemleri sunma becerisi.

• İngilizce olarak net yazılı ve sözlü iletişim. Bu rol, birden fazla mühendislik ekibinin standartlar, sözleşmeler ve mülkiyet sınırları etrafında hizalanmasını içerir.

Yararlı deneyim, ancak zorunlu değil

• DataHub veya diğer veri kataloğu, köken veya yönetim sistemleri.

• Apache Iceberg, nesne deposu destekli veri gölleri, S3, BigQuery, ClickHouse veya analitik depolama sistemleri gibi açık tablo formatları.

• GitHub Eylemleri, kod olarak politika, kod olarak altyapı, denetleyiciler, operatörler veya mutabakat tabanlı sistemler.

• Veri sözleşmeleri, şema kayıtları, Protobuf, Avro, JSON Şeması, uyumluluk kontrolü, alan düzeyinde meta veriler veya sözleşme testi.

• Destekleyici analitiği, AI/ML'yi, özellik mağazası tarzı erişim modellerini veya alanlar arası ürün-hizmet entegrasyonlarını deneyimleyin.

• JVM dilleri ve Python, TypeScript, Go veya Ruby deneyimi.

Size ne sunuyoruz?

Smartly'de küresel bir ekiple büyürken anlamlı teknik çalışmalar yapabileceğiniz bir yer sunuyoruz.

• Güven, şeffaflık, açık geri bildirim ve farklı bakış açılarına saygı üzerine kurulu kapsayıcı küresel kültür.

• Büyük markaların dijital reklamcılığı geniş ölçekte planlamak, oluşturmak, optimize etmek ve anlamak için kullandığı teknoloji aracılığıyla küresel etki.

• Refah desteği, ücretli tatiller, aile izni ve sürdürülebilir çalışma yöntemleri.

• Eşitlik seçenekleri, performansa dayalı ödüller, rekabetçi ücretler ve kariyer geliştirme fırsatları.

• Ofis işbirliğini odaklanmış uzaktan çalışmayla dengeleyen esnek bir hibrit çalışma alanı. Smartly'de haftanın 3 günü ofisten çalışıyoruz.

Akıllıca Hakkında

Smartly, markaların büyük medya platformlarında dijital reklamları oluşturmasına, yönetmesine, optimize etmesine ve anlamasına yardımcı olan bir reklam teknolojisi şirketidir. Mühendislik organizasyonumuz, medya, yaratıcılık ve zeka yeteneklerini küresel çapta müşteriler tarafından kullanılan bir ürüne bağlayan sistemleri oluşturur.…

Kaynak: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)