Veri Mühendisi - Yapay Zeka Boru Hatları ve DataOps

Bizimle Büyümenizi İstiyoruz
Yüksek kaliteli, güvenilir veriler, her yapay zeka kullanım senaryosunun üzerine inşa edildiği temeldir ve bu rol, bu temeli sarsılmaz kılmaktan sorumludur. AI Pipelines ve DataOps için Veri Mühendisimiz olarak, Intersnack'in yapay zeka ve analiz sistemlerini geniş ölçekte gerçekleştirmek için ihtiyaç duydukları verilerle besleyen alım hatlarını, akış mimarilerini ve API'leri tasarlayacak ve sunacaksınız. Yapay Zeka Programına rapor verecek ve yapay zeka mühendisleri, veri mimarları ve iş ekipleriyle yakın işbirliği içinde çalışacak, özellikle uç cihaz verilerinin benzersiz alım zorlukları sunduğu üretim ortamlarına odaklanacaksınız. Intersnack'te sağlam bir dijital temel üzerine inşa ediyoruz ve mühendislik çalışmalarınız bu temelin yapay zeka çağına genişletilmesinde merkezi bir rol oynayacak.
Neler Sunabiliriz?
Bu rol, uç cihazların ve IoT sensörlerinin üretiminden satın alma ve satış boyunca yapılandırılmış kurumsal veri sistemlerine kadar gerçekten çeşitli bir veri ortamında çalışma fırsatı sunarak size çok az veri mühendisliği rolünün karşılayabileceği kapsamlı teknik zorluklar sunar. 4,5 milyar avroluk bir işletmede yapay zeka ve analitik kullanım durumlarının nasıl etkinleştirileceği üzerinde doğrudan etki sahibi olacak ve başkalarının üzerine inşa edeceği veri hattı modellerini, API standartlarını ve DataOps uygulamalarını tanımlama özerkliğine sahip olacaksınız. İşbirliği, çalışma şeklimizin merkezinde yer alır ve veri bilimi, yapay zeka mimarisi ve iş etkinleştirmeyi kapsayan bir program ekibine dahil edileceksiniz. Düsseldorf, uzaktan çalışma esnekliğine sahip ana merkezdir.
Bir Sonraki Veri Mühendisimiz Olarak Zamanınızı Nasıl Harcayacaksınız - AI Pipelines & DataOps
Hem yapılandırılmış kurumsal verileri hem de üretim ortamlarından gelen yapısal olmayan sinyalleri işleyen ölçeklenebilir alım hatlarından, verileri, modelleri ve AI hizmetlerini kuruluş genelinde tüketime sunan API'lere kadar Intersnack'in AI programını güçlendiren veri altyapısını tasarlayacak ve oluşturacaksınız. Çalışmanız kalite, gözlemlenebilirlik ve sürekli iyileştirmeye güçlü bir şekilde odaklanarak mimariyi, uygulamayı ve operasyonları kapsayacaktır.
Ne yapacaksın

• Üretim sistemleri, uç cihazlar ve kurumsal veri platformları dahil olmak üzere yapılandırılmış ve yapılandırılmamış veri kaynakları için ölçeklenebilir veri alımı ardışık düzenleri tasarlayın ve uygulayın, böylece kaynaktan tüketime kadar tutarlı veri kalitesi sağlayın

• Microsoft Azure ve/veya AWS'de bulutta yerel araçlardan yararlanarak analiz ve yapay zeka kullanım örnekleri için hem toplu hem de akışlı veri işlem hatlarını oluşturun ve sürdürün

• Veri varlıkları, makine öğrenimi modeli uç noktaları ve yapay zeka hizmetleri için REST veya GraphQL API'leri tasarlayıp kullanıma sunarak dahili uygulamalar ve analitik sistemler tarafından güvenilir, yönetilen tüketimi mümkün kılar

• Veri altyapısı için otomatik test, sürüm oluşturma ve sürüm yönetimini destekleyerek satış hattı geliştirme ve dağıtımında CI/CD uygulamalarını ve DataOps ilkelerini uygulayın

• Veri sorunlarını AI veya analitik çıktılarını etkilemeden önce ortaya çıkaran izleme ve uyarıları uygulayarak tüm işlem hatlarında veri kalitesini, kökenini ve gözlemlenebilirliğini sağlayın

• Operasyonel teknoloji ortamlarındaki belirli gecikme, format ve hacim zorluklarını ele alarak IoT ve OT sistemleri de dahil olmak üzere üretim ve uç cihaz verilerinin merkezi veri platformuna entegrasyonunu destekleyin

• Model eğitimi, çıkarım ve bilgi alma süreçlerini destekleyen veri akışlarını tasarlamak ve optimize etmek için veri bilimcileri ve yapay zeka mühendisleriyle işbirliği yapın

• Intersnack'in egemenlik ve uyumluluk standartlarına uygun olarak erişim kontrolü, şifreleme ve veri sızıntısına karşı koruma dahil olmak üzere tüm işlem hattı ve API tasarımına tasarım gereği güvenlik uygulamaları uygulayın

• Veri hattı sağlığını, veri kalitesi standartlarını ve güvenilir verilerin yapay zeka sonuçlarındaki rolünü anlama konusunda meslektaşlarını destekleyerek yapay zeka okuryazarlığı ve etkinleştirme programına katkıda bulunun

Temel Beceriler ve Deneyim

• Microsoft Azure (ör. Azure Data Factory, Azure Event Hubs, Databricks) ve/veya AWS'de (ör. AWS Glue, Kinesis, Lake Formation) bulutta yerel hizmetleri kullanarak üretim düzeyinde veri işlem hatları tasarlama ve uygulama konusunda kanıtlanmış deneyim

• En az bir işlem hattı veya dönüşüm çerçevesinde (örneğin, Apache Spark, dbt, Apache Kafka veya eşdeğeri) ve Python veya Scala gibi bir kodlama dilinde güçlü yeterlilik

• Hem işlemsel hem de analitik iş yükleri için veri modelleme ve sorgu optimizasyonu da dahil olmak üzere SQL ve NoSQL veritabanlarında (ör. PostgreSQL, Cosmos DB, MongoDB veya eşdeğeri) sağlam uygulamalı deneyim

• İki yaklaşım arasındaki dengeleri anlayarak, analitik ve yapay zeka uygulamaları için akış ve toplu iş hatları oluşturma ve sürdürme deneyimi

• API sürümü oluşturma, dokümantasyon ve yönetişim anlayışıyla veri ve model sunumu için REST veya GraphQL API'leri tasarlama ve uygulama becerisi

• Otomatik test, ardışık düzen orkestrasyonu ve kod olarak altyapı dahil olmak üzere veri mühendisliğine uygulanan DataOps ve CI/CD uygulamalarına aşinalık

• Veri kalitesi araçları, köken izleme ve gözlemlenebilirlik çerçeveleri (ör. Büyük Beklentiler, OpenLineage veya eşdeğeri) konusunda deneyim

• Veri erişimi kontrolleri, şifreleme ve boru hattı bağlamlarında veri sızması gibi riskler dahil olmak üzere yapay zeka ve veri güvenliği temellerine ilişkin çalışma bilgisi

• GDPR, AB Yapay Zeka Yasası ve AB veri egemenliği gereklilikleri ve bunların veri altyapısı tasarımına etkileri konusunda farkındalık

• Güçlü bir yazılı ve sözlü İngilizce bilgisi gereklidir; Almanca bilgisi avantaj sayılıyor

Değerli Deneyim

• IoT/uç cihaz veri alımı ve zaman serisi veri işleme dahil olmak üzere üretim veya operasyonel teknoloji (OT) veri ortamlarıyla çalışma deneyimi

• Birleşik veri platformu yönetimi için Microsoft Fabric, OneLake veya Azure Purview'e aşinalık…

Kaynak: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)