Personel Makine Öğrenimi Mühendisi, Yüksek Lisans Çıkarım Optimizasyonu

Nebius hakkında:

Nebius, küresel yapay zeka ekonomisi için bulut altyapısında yeni bir döneme öncülük ediyor. Büyük şirket içi AI/ML altyapısı oluşturmanın maliyeti ve karmaşıklığı olmadan, veri ve model eğitiminden üretim dağıtımına kadar geliştiricileri ve işletmeleri destekleyen tam kapsamlı bir AI bulut platformu oluşturuyoruz.

Mühendisler tarafından mühendisler için tasarlandı. Büyük ölçekli GPU orkestrasyonundan çıkarım optimizasyonuna kadar bilgi işlem, depolama, ağ oluşturma ve uygulamalı yapay zeka genelindeki zorlu sorunların sahibiyiz.

Nasdaq'da (NBIS) listelenen ve genel merkezi Amsterdam'da bulunan şirketimiz, Avrupa, Birleşik Krallık, Kuzey Amerika ve İsrail'deki Ar-Ge merkezleriyle küresel bir faaliyet alanına sahiptir. 1.500'den fazla kişiden oluşan ekibimizde donanım, yazılım ve yapay zeka Ar-Ge alanında derin uzmanlığa sahip yüzlerce mühendis bulunmaktadır.

Rol Özeti

Nebius Token Factory, açık kaynak, müşteri ve dahili olarak optimize edilmiş modeller için üretim düzeyinde çıkarımlar inşa ediyor. Bu rol, model yapıtından hızlı, güvenilir, uygun maliyetli uç noktaya giden yolun sahibidir. Çalışma, modelin iç bileşenleri, çıkarım motorları, hizmet mimarisi, kıyaslama ve üretim dağıtımının kesişim noktasında yer almaktadır.

Ne yapacaksın

•
Niceleme, spekülatif kod çözme, KV önbellek optimizasyonu, motor seçimi veya uzun bağlam sunumu gibi platform düzeyinde bir optimizasyon temeline sahip olun.

•
Birden fazla model ailesi genelinde yeniden kullanılabilir değerlendirme, kıyaslama ve kullanıma sunma çerçeveleri oluşturun.

•
MLE'lere, Uygulamalı Bilim Adamlarına, GPU çekirdek mühendislerine ve altyapı mühendislerine ortak performans hedefleri konusunda teknik yönlendirme sağlayın.

•
Gecikme, aktarım hızı, bellek verimliliği, GPU kullanımı, kalite ve belirteç başına maliyet açısından LLM ve VLM uç noktalarını optimize edin.

•
vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo veya benzer sistemler gibi çıkarım motorlarını dağıtın, yapılandırın, kıyaslayın ve genişletin.

•
Niceleme, nicelemeye duyarlı eğitim, damıtma, düşük bit sunumu ve doğruluk kurtarma dahil olmak üzere model sıkıştırma iş akışları oluşturun ve üretime alın.

•
Spekülatif kod çözme, taslak model yaklaşımları, KV önbellek optimizasyonu, ön ek önbelleğe alma, yığın halinde önceden doldurma, sürekli toplu işlem ve ayrıştırılmış ön doldurma/kod çözme hizmetini uygulayın veya entegre edin.

•
TTFT, TPOT, GPU başına saniye başına jeton sayısı, p95/p99 gecikme süresi, GPU belleği, güvenilirlik ve jeton başına maliyet için tekrarlanabilir kıyaslama sistemleri oluşturun.

•
Model kodu, çekirdekler, çalışma zamanı, zamanlayıcı, ağ geçidi ve küme katmanlarındaki darboğazları teşhis etmek için GPU çekirdek mühendisleri ve platform mühendisleriyle iş birliği yapın.

•
Anlaşılır tasarım belgeleri, performans raporları, kullanıma sunma planları ve müşteriye yönelik teknik açıklamalar yazın.

Gerekli Nitelikler

•
Güçlü Python ve PyTorch mühendislik becerileri.

•
LLM, VLM veya yüksek verimli transformatör çıkarım sistemlerini dağıtma veya optimize etme konusunda uygulamalı deneyim.

•
vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe veya eşdeğer dahili sistemler gibi en az bir modern çıkarım yığınına ilişkin pratik bilgi.

•
KV önbelleği, dikkat, bellek bant genişliği, toplu işlem, paralellik ve uzun bağlam sunumu dahil olmak üzere transformatör çıkarım darboğazlarına ilişkin güçlü anlayış.

•
Gecikme, verim, kalite, kullanım ve maliyet değişimleri hakkında niceliksel olarak akıl yürütme yeteneği.

•
Güçlü iletişim becerileri ve araştırma, çekirdek, altyapı, ürün ve müşteri ekipleriyle işbirliği yapma yeteneği.

Tercih Edilen Nitelikler

•
Kuantizasyona duyarlı eğitim, eğitim sonrası kuantizasyon, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant veya ilgili teknikler konusunda deneyim.

•
Damıtma, spekülatif kod çözme, EAGLE, Medusa, çoklu jeton tahmini veya diğer çıkarım hızlandırma yöntemleriyle ilgili deneyim.

•
Araç çağırma, yapılandırılmış çıktılar, akış API'leri, yüksek eşzamanlılık ve çok adımlı düzenleme dahil olmak üzere aracılı iş yükleriyle ilgili deneyim.

•
Rol öncelikle bir çekirdek mühendisliği rolü olmasa bile CUDA veya Triton aşinalığı.

•
vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe veya ilgili projelere açık kaynaklı katkılar.

Avantajlar ve Avantajlar:

• Rekabetçi tazminat

• Kariyer gelişimi ve öğrenme fırsatları

• Esneklik ve sahiplenme

• İşbirlikçi ve yenilikçi kültür

• Etkili yapay zeka projelerinde çalışma fırsatı

• Uluslararası ortam ve yetenekli ekipler

Nebius'ta çalışmak nasıl bir şey:

Hızlı ilerleme - Cesur düşünme - Sürekli büyüme - Anlamlı etki - Güven ve gerçek sahiplenme - Yapay zekanın geleceğini şekillendirme fırsatı

Fırsat Eşitliği Beyanı:

Nebius fırsat eşitliği sağlayan bir işverendir. Kapsayıcı ve çeşitlilik içeren bir işyerini teşvik etmeye ve istihdamın her alanında eşit istihdam fırsatları sağlamaya kararlıyız. Irk, renk, din, cinsiyet (hamilelik dahil), ulusal köken, soy, yaş, engellilik, genetik bilgi, medeni durum, gazilik durumu, cinsel yönelim, cinsel kimlik veya ifade ya da yürürlükteki yasalarca korunan diğer herhangi bir özellik temelinde ayrımcılık yapmayız.

Başvuru sahiplerinin, başvurdukları ülkede çalışma iznine sahip olmaları ve işe alınma koşulu olarak istihdama uygun olduklarını kanıtlamaları istenecektir.

Başvuru sürecinde konaklamaya ihtiyacınız varsa lütfen bize bildirin.

Arbeitnow'da Almanya'da İş Bulun

Kaynak: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-berlin-249546)