Uygulamalı Araştırma Mühendisi, Değerlendirme

Kara Orman Laboratuvarları Hakkında
Dünyanın görüntü ve video oluşturma şeklini değiştiren temel teknolojiler olan Latent Diffusion, Stable Diffusion ve FLUX'un arkasındaki ekibiz. FLUX modellerimiz dünyadaki en gelişmiş modeller arasındadır ve biz daha yeni başlıyoruz.
Merkezimiz Freiburg, Almanya'da olup, San Francisco'da büyüyen varlığımızla hızla ölçekleniyor ve bizi farklı kılan şeylere sadık kalıyoruz: araştırma mükemmelliği, açık bilim ve insan yaratıcılığını genişleten bina teknolojisi.

Neden Bu Rol
Sınır görüntü ve video modelleri artık yeterince iyi; artık zor soru bunların çalışıp çalışmadığı değil, yenisinin gerçekten daha iyi olup olmadığı ve bunu nasıl bileceğinizdir. Estetik, hızlı takip, düzenleme doğruluğu, metin oluşturma, karakter tutarlılığı: bunların hiçbiri tek bir sayıya sığmıyor ve genel kıyaslamalar, ölçmek istedikleri modellerin çok gerisinde kalıyor.
BFL'in bu soruyu yanıtlamak için kullandığı sistem üzerinde çalışacaksınız. Her FLUX kontrol noktası, her ince ayar ve RL çalıştırması ve her rakip sürümü, değerlendirme yığınımızdan geçer ve siz de onu oluşturmaya ve keskinleştirmeye yardımcı olursunuz. Ürün Araştırması, bir sonraki adımda neyin düzeltileceğine karar vermek ve düzeltmenin işe yaradığını onaylamak için gösterdiği şeye dayanır.
Buradan sonrası daha da zorlaşıyor. FLUX 3, görüntü, video, ses ve eylemi kapsayan ilk multimodal modelimizdir ve her yeni modalitenin kendi ölçüm yöntemine ihtiyacı vardır.

Ne Üzerinde Çalışacaksınız
Neye odaklanacağınız, en güçlü olduğunuz yere ve katıldığınızda takımın en çok neye ihtiyaç duyduğuna bağlı olacaktır.
Kapsam dahilinde:

• Otomatik kıyaslama ve yargıç olarak Yüksek Lisans boru hatlarından paneller aracılığıyla insan değerlendirmesine (Üretken ve diğer) kadar her model kontrol noktasının geçmesi ve kendini kanıtlaması gereken değerlendirme yığınını oluşturmak ve sürdürmek.

• Hızlı bağlılık, düzenleme aslına uygunluğu, estetik, metin oluşturma, konu ve karakter tutarlılığından güvenliğe kadar sınıflandırma genelinde değerlendirmenin genişliğini tasarlamak.

• Değerlendirme kümesinin kendisinin değerlendirilmesi: insan ve otomatik değerlendirmelerin uyumlu olup olmadığının, sonuçların zaman içinde sabit kaldığını kontrol etmek ve uymadığında bunları iyileştirmek.

• Rakiplerimize göre nerede daha iyi veya daha kötü olduğumuza ve bu farklılıkların gerçekten ne anlama geldiğine dair anlamlı bir bakış açısı elde ederken FLUX'u öncü modellerle sürekli olarak kıyaslamak.

• Model çıktısının kalitesinin, toplam rakamlarla ifade edilemeyen yetersiz kaldığı yolların bulunması.

• İdeal olarak RL ile döngüyü kapatmak ve araştırmacıların hedefleyeceği hedef ölçümleri tanımlayarak ve yeni bir kontrol noktasının yeni kontrol noktaları eklemeden zayıflığı iyileştirdiğini doğrulayarak araştırmacılara ince ayar yapmak.

• Araştırma, veri mühendisliği ve hukuk desteğiyle API ve MCP aracılığıyla halihazırda yakaladığımız sinyallerden en iyi şekilde nasıl yararlanacağımızı ve hangi yeni sinyalleri yakalamamız gerektiğini tasarlamak.

• Doğal yaşam döngüleri nedeniyle mevcut metriklerin kullanışlılığının sürdürülmesi, oyun oynama ve aşırı uyum endişelerini beraberinde getirir ve yeni metrikler için bunu öngörmek.

Aradığımız şey
Zaten üretken modellerin değerlendirilmesine anlamlı katkılarda bulundunuz. Örneklem büyüklüğünü dikkatli bir şekilde dikkate almadan ve insanlarla anlaşmaya varmadan bir referans rakamının en iyi ihtimalle bilgisiz bir iyimserlik ve en kötü ihtimalle tehlikeli derecede yanıltıcı olduğunu anlıyorsunuz ve kimsenin hakkında konuşmak istemediği o uygunsuz gerilemeyi bulan kişi siz oldunuz.
Muhtemelen şunlara sahipsiniz:

• İlgili bir alanda ileri derece (MS/Doktora) veya kanıtlanmış eşdeğer pratik deneyim

• Üretken modellerin uygulamalı olarak değerlendirilmesine ilişkin pratik deneyim. Zaten yayılma veya akış eşleştirme tabanlı görüntü veya video modelleriyle çalışmış olabilirsiniz, ancak bunları diğer yöntemlere de ciddi transferlerle değerlendirme yeteneği

• Güvenilir bir şekilde çalışan ve gerektiğinde diğer kişilerin okuyabileceği işlem hatlarıyla çok güçlü Python ve yazılım mühendisliği becerileri

• PyTorch ve modern makine öğrenimi altyapısı ve uygulamalarına ilişkin çalışma bilgisi; saf bir Python geliştiricisi değilsiniz, modern ML kodunun neye benzediğini biliyorsunuz

• İstatistiklerin ve uygulamadaki eksikliklerin güçlü bir şekilde kavranması ve bunlarla nasıl çalışılacağı; örneklem büyüklükleri, açıklamalar yapanlar arası fikir birliği, güven düzeyleri vb. ve bu sayıların dünya hakkında söylediklerine ilişkin sağlıklı bir şüphecilik

• Hakim olarak Yüksek Lisans sistemleri oluşturma ve işletme konusunda pratik deneyim ve bunların sınırlamalarını anlama

• Modern kıyaslama uygulamalarına ve halihazırda alandaki standart veri kümelerine ve kıyaslamalara ilişkin çalışma bilgisi; hangisine güveneceğiniz ve hangisine göz ardı edeceğiniz konusunda bir fikriniz var

• Sisteminizin değerlendirdiği gerçek çıktılara bakma ve toplam puanın ötesinde ne olduğuna önem verme eğilimi

Aşağıdaki durumlarda özellikle heyecanlanırız:

• Paneller aracılığıyla çalışma tasarımı ve yürütülmesi, anlaşmazlıkların analizi ve açıklayıcı performansı da dahil olmak üzere insan değerlendirmesi konusunda pratik deneyime sahip olmak

• Değerlendirmenin eğitimle buluştuğu yerde çalıştınız (ödül modelleri, tercih verileri, RLHF, DPO veya benzeri) ve optimize ettiğiniz her şeyin modelin öğrendiği şey olduğunu bilin

• Faktörlü veya çok adımlı sistemleri değerlendirmiş ve başarıyı veya başarısızlığı tek bir adıma bağlamanın ne kadar zor olduğunu bilmiş

• İnsanların şirket içinde gerçekten kullanmak isteyeceği araçlar geliştirdik

• Alana kamuya açık katkılarda bulunmuş olmak: makaleler, açık kaynak veya başka türlü

Birlikte Nasıl Çalışıyoruz?
İnsanların gerçekten kullandığı gerçek ofislere sahip, dağınık bir ekibiz. Bu görev, haftada en az 2 gün (veya iki haftada bir tam hafta) bize katılacağınız Freiburg'da bulunmaktadır. Bunu mümkün kılmak için makul seyahat masraflarını karşılayacağız. Şahsen geçirilen zamanın önemli olduğunu düşünüyoruz ve bunu herkesin erişebileceği şekilde yapılandırdık. Mülakat sürecimizde bunun nasıl görüneceğini tartışacağız.

Yaptığımız her şey dört değere dayanmaktadır:

• Takıntılı. Biz bir sınır araştırma laboratuvarıyız. Bilim doğru, anlayış derin, ürün güzel olmalı…

Kaynak: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluation-freiburg-365270)