Kıdemli Yazılım Mühendisi - LLM Ops & Evals

DataSnipper'daki her yapay zeka çağrısı bizden geçer. Ürün ekipleri doğrudan model sağlayıcılarla konuşmaz, ağ geçidimizle konuşurlar. Çıkarımın nasıl yönlendirildiğinden, nasıl devredildiğinden, maliyetinden ve çıktının iyi olup olmadığını herkesin nasıl anlayabileceğinden biz sorumluyuz.
İşin ikinci yarısı değerlendirmedir. Ekiplerin yapay zeka kalitesini ölçmek için kullanacağı platformu oluşturuyoruz: sürümlendirilmiş veri kümeleri, deneme izleme ve üzerinde işlem yapabilecekleri değerlendirme çalışmaları. Bu zor ve büyük ölçüde açık bir sorun, dolayısıyla onu nasıl çözeceğimiz üzerinde gerçek bir etkiye sahip olacaksınız.
Bu, büyük patlama yarıçapına sahip küçük bir ekip. Gerçek üretim sistemlerine sahip olacak, diğer ekiplerin oluşturduğu standartları belirleyecek ve çalışmalarınızı denetim ve finans alanındaki yüz binlerce kullanıcının önünde göreceksiniz.

DataSnipper Hakkında
Denetim ve finans hâlâ büyük oranda manuel yapılıyor ve biz bunu değiştiriyoruz. DataSnipper, 180'den fazla ülkede 600.000'den fazla kullanıcıya sahip, halihazırda en iyi denetim ve muhasebe firmalarının günlük iş akışlarına yerleştirilmiş, 1 milyar dolarlık, önyüklemeli bir tek boynuzlu attır.
Artık Excel Aracımızla işleri daha da ileri götürüyoruz ve yapay zekayı doğrudan işin gerçekleştiği yere getiriyoruz. Genel yapay zeka araçlarının aksine, kenarda durmuyoruz. Yapay zekamız, gerçek belgelere ve denetim kanıtlarına erişimle Excel'in içinde çalışır; bu, yalnızca yanıtlar üretmediği, işi tam izlenebilirlikle yaptığı anlamına gelir.
Sadece yapay zekayı uygulamıyoruz, denetimin nasıl yapıldığını yeniden tanımlıyoruz. Büyük ölçekte kategoriyi belirleyen bir şey oluşturmak istiyorsanız burası tam size göre.

Ne yapacaksın
Teknik Teslimat

• LLM ağ geçidine sahip olun: birden fazla model sağlayıcı arasında yönlendirme, sağlayıcı yük devretme, hız sınırları, yeniden denemeler ve maliyet ilişkilendirme

• Kota ve kapasite planlaması da dahil olmak üzere, kod gibi altyapı olarak yönetilen modelleri bulutlar, bölgeler ve ortamlar genelinde dağıtın, sürümlerini kullanın ve kullanımdan kaldırın

• Paylaşılan değerlendirme platformunu oluşturun: sürümlendirilmiş veri kümeleri, deneme izleme, çalıştırma ve sonuç şemaları, raporlama ve çalıştırmaya geri giden izleme bağlantısı

• Eşzamansız ve uzun süreli yapay zeka iş yüklerine yönelik altyapıya sahip olun

Güvenilirlik, Güvenlik ve Çağrı Üzerine

• Yapay zeka trafiği için kendi gözlemlenebilirliği: gecikme, yeniden denemeler ve geri dönüşler, belirteç kullanımı, ekip ve kullanım durumu başına maliyet ve hatalar

• Çağrı rotasyonunda yer alın, olayları gerçekleştirin ve takipleri sonlandırın

• Platformun tuttuğu güvenlik ve uyumluluk kontrollerini uygulayın: saklama, erişim kontrolü, RBAC ve SSO

İşbirliği ve Etki

• Platform ile onu kullanan ekipler arasındaki temiz entegrasyon sözleşmelerini tanımlayın ve sürdürün

• Gereksinimlerini istek kuyruğu yerine self servis platform özelliklerine dönüştürmek için ürün ve makine öğrenimi mühendisleriyle işbirliği yapın

Ne getireceksin
Olması Gerekenler

• Güçlü üretim Python'u ile arka uç veya platform mühendisliğinde 5 yıldan fazla deneyim

• LLM çıkarım altyapısı oluşturma veya çalıştırma deneyimi: birden fazla sağlayıcıya sahip bir ağ geçidi veya yönlendirme katmanı, yük devretme, hız sınırlama ve maliyet ilişkilendirme

• Altyapı düzeyinde bulut ve kod olarak altyapı deneyimi (Terraform ile Azure ve GCP'de çalışıyoruz)

• Üretimde paylaşılan bir hizmeti yürütme deneyimi: çağrı üzerine, olaylar, ölüm sonrası işlemler, SLO'lar

• Gözlemlenebilirlik araçlarıyla (OpenTelemetry, Grafana) uygulamalı deneyim; izleme hizmetleri ve gösterge panoları ve uyarıların tasarlanması dahil

• Gizlilik ve uyumluluk çalışmalarında rahatlık: Kişisel bilgilerin işlenmesi, anonimleştirme, saklama, erişim kontrolü

• Birden fazla dahili ekip tarafından kullanılan platform oluşturma veya paylaşılan hizmet yeteneklerini deneyimleyin

Olsa Güzel

• LLM veya acente değerlendirmesi deneyimi

• Geçici veya başka bir dayanıklı iş akışı motoru

• Kendi kendine barındırılan çıkarım, kapasite planlama, yük testi

• Sentetik veri veya belge anonimleştirme ardışık düzenleri

• Document AI: VLM'ler, OCR, yapılandırılmış çıkarma ve onunla birlikte gelen ölçümler

• Denetim, muhasebe veya fintech alanında alan deneyimi

Ne bekliyoruz

• Sahiplik : Çalışmanın uçtan uca sahibi olursunuz, sorunları öngörür ve yakın denetime gerek kalmadan yüksek kalitede teslimat sağlarsınız

• Gelişme Zihniyeti : Açık geri bildirim alışverişini teşvik eder ve başkalarının büyümesine yardımcı olacak net, dengeli geri bildirim sağlarsınız

• İşbirliği : Fonksiyonlar arası güçlü ilişkiler kurarsınız ve uzmanlık, veri ve empati aracılığıyla meslektaşlarınızı etkilersiniz

• Uyumluluk : Belirsizliği sakin bir şekilde giderirsiniz, olumlu davranışlara örnek olursunuz ve açık iletişim yoluyla akranlarınızın uyum sağlamasına yardımcı olursunuz

• Yargılama : Belirsiz durumlarda sağlam muhakeme uygularsınız, hız ile doğruluğu dengelersiniz ve öncelikleri proaktif bir şekilde ayarlarsınız

İşe alım adımları

• İşveren ekranı

• İşe Alma Müdürü röportajı

• Akran programlama oturumu

• Sistem tasarımı röportajı

• Mühendislik liderleriyle son görüşmeler

Arbeitnow'da Hollanda'da İş Bulun

Kaynak: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/datasnipper/senior-software-engineer-llm-ops-evals-amsterdam-323046)