Kıdemli Makine Öğrenimi Mühendisi, Yüksek Lisans Çıkarım Optimizasyonu

Nebius hakkında:

Nebius, küresel yapay zeka ekonomisi için bulut altyapısında yeni bir döneme öncülük ediyor. Büyük şirket içi AI/ML altyapısı oluşturmanın maliyeti ve karmaşıklığı olmadan, veri ve model eğitiminden üretim dağıtımına kadar geliştiricileri ve işletmeleri destekleyen tam kapsamlı bir AI bulut platformu oluşturuyoruz.

Mühendisler tarafından mühendisler için tasarlandı. Büyük ölçekli GPU orkestrasyonundan çıkarım optimizasyonuna kadar bilgi işlem, depolama, ağ oluşturma ve uygulamalı yapay zeka genelindeki zorlu sorunların sahibiyiz.

Nasdaq'da (NBIS) listelenen ve genel merkezi Amsterdam'da bulunan şirketimiz, Avrupa, Birleşik Krallık, Kuzey Amerika ve İsrail'deki Ar-Ge merkezleriyle küresel bir faaliyet alanına sahiptir. 1.500'den fazla kişiden oluşan ekibimizde donanım, yazılım ve yapay zeka Ar-Ge alanında derin uzmanlığa sahip yüzlerce mühendis bulunmaktadır.

Rol

Nebius Token Factory'deki Uygulamalı Yapay Zeka ekibinde Kıdemli Makine Öğrenimi Mühendisi olarak, üretim dağıtımına kadar model yapılarından model ve uç nokta optimizasyonuna sahip olacaksınız. Çalışmanız, kalite ve güvenilirliği korurken gecikmeyi, verimi, bellek verimliliğini, GPU kullanımını ve belirteç başına maliyeti iyileştirmek için modelin iç kısımlarını, niceleme ve model sıkıştırmayı, spekülatif kod çözmeyi, KV önbellek optimizasyonunu, çıkarım motorlarını, hizmet mimarisini ve kıyaslamayı kapsayacaktır.

Hizmet sorunlarını araştırmak, yapılandırmaları karşılaştırmak ve performans ve kalite gerilemelerini çözmek için çekirdek ve platform mühendisleriyle birlikte çalışacaksınız. İstek yönlendirme, zamanlama, ön doldurma/kod çözme koordinasyonu ve çok düğümlü GPU yürütme dahil olmak üzere model ve motor düzeyindeki optimizasyonları dağıtılmış çıkarım tasarımlarıyla birlikte değerlendireceksiniz. İyileştirmeleriniz, tekrarlanabilir karşılaştırmalar ve gerçek dünyadaki iş yükleri altında güvenli üretime geçişler yoluyla doğrulanacaktır.

Sorumluluklarınız

• Belirli model aileleri, müşteri uç noktaları veya hizmet veren arka uçlar için kendi optimizasyon projeleriniz.

• Çıkarım motorlarını karşılaştırın ve bireysel iş yüklerine uygun hizmet yapılandırmaları önerin.

• Üretimin kullanıma sunulması sırasında model kalitesi ve performans gerilemelerini teşhis edin.

• LLM ve VLM uç nokta gecikmesini, verimi, bellek verimliliğini, GPU kullanımını, kaliteyi ve belirteç başına maliyeti artırın.

• vLLM, SGLang, TensorRT-LLM, Triton Inference Server ve NVIDIA Dynamo gibi motorları dağıtın, yapılandırın, kıyaslayın ve genişletin.

• Niceleme, nicelemeye duyarlı eğitim, damıtma, düşük bit sunumu ve doğruluk kurtarmayı kapsayan üretim modeli sıkıştırma iş akışları geliştirin.

• Spekülatif kod çözme, taslak model yaklaşımları, KV önbellek optimizasyonu, ön ek önbelleğe alma, yığın halinde önceden doldurma, sürekli toplu işlem ve ayrıştırılmış ön doldurma/kod çözme hizmetini uygulayın veya entegre edin. Önceden doldurma-kod çözme ayrıştırması (PDD) için, hangi iş yüklerinin mimariden yararlandığını belirlemek amacıyla KV önbellek aktarımını, çalışan yerleşimini ve kapasite dengelemeyi değerlendirin.

• Gecikme ve güvenilirlik hedeflerini karşılarken çalışan kullanımını, kuyruğu oluşturmayı, istek özelliklerini ve KV önbellek konumunu dengeleyen LLM istek yönlendiricilerini ve planlama politikalarını tasarlayın ve iyileştirin.

• Birden fazla GPU düğümünde yoğun ve uzmanların karışımı olan çıkarımları ölçeklendirin. Donanım topolojisine, uzman yük dengesine ve iletişim ek yüküne dikkat ederek tensör, boru hattı, veri ve uzman paralelliğini (geniş uzman paralelliği (WideEP) dahil) seçin ve ayarlayın.

• TTFT, TPOT, GPU başına saniye başına jeton sayısı, p95/p99 gecikme süresi, GPU belleği, güvenilirlik ve jeton başına maliyeti ölçen tekrarlanabilir kıyaslama sistemleri oluşturun. Temsili trafik ve tutarlı GPU bütçeleri altında mimari seçimlerini doğrulayın.

• Model kodu, çekirdekler, çalışma zamanı, zamanlayıcı, ağ geçidi ve küme katmanlarındaki darboğazları izlemek için GPU çekirdek ve platform mühendisleriyle işbirliği yapın.

• Tasarım belgeleri, performans raporları, kullanıma sunma planları ve müşteriye yönelik teknik açıklamalar üretin.

Olması gerekenler

• Python ve PyTorch'ta güçlü mühendislik becerileri.

• LLM, VLM veya yüksek verimli transformatör çıkarımını dağıtma veya optimize etme konusunda uygulamalı deneyim.

• vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe veya eşdeğer bir dahili sistem gibi en az bir modern çıkarım yığınına ilişkin pratik bilgi.

• KV önbelleği, dikkat, bellek bant genişliği, toplu işlem, paralellik ve uzun bağlam hizmetini içeren transformatör çıkarım darboğazlarına ilişkin güçlü bir anlayış.

• Gecikme, verim, kalite, kullanım ve maliyet arasındaki dengeleri ölçebilme yeteneği.

• İstek yönlendirme, dağıtılmış planlama, PDD, çok düğümlü çıkarım veya uzman paralelliği gibi bir veya daha fazla alanda uygulamalı çalışma ile dağıtılmış çıkarım sistemi mimarisini tasarlama veya optimize etme deneyimi.

• Araştırma, çekirdek, altyapı, ürün ve müşteri ekipleri arasında güçlü iletişim ve işbirliği becerileri.

Olması güzel şeyler

• Kuantizasyona duyarlı eğitim, eğitim sonrası kuantizasyon, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ veya SmoothQuant deneyimi.

• Damıtma, spekülatif kod çözme, EAGLE, Medusa, çoklu jeton tahmini veya ilgili çıkarım hızlandırma yöntemleri konusunda deneyim.

• Araç çağırma, yapılandırılmış çıktılar, akış API'leri, yüksek eşzamanlılık ve çok adımlı orkestrasyonu içeren aracılı iş yüklerini destekleme deneyimini yaşayın.

• CUDA veya Triton'a aşinalık; rol, çekirdek mühendisliğinin adayın birincil uzmanlığı olmasını gerektirmez.

• vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray veya KServe gibi açık kaynaklı projelere katkılar.

• İletişim darboğazlarının ve yük dengesizliğinin tanılanması dahil, önbellek farkındalığına sahip istek yönlendirme, PDD veya WideEP ile uygulama deneyimi.

• NCCL, NVLink, InfiniBand veya RoCE gibi GPU iletişim kitaplıkları ve ara bağlantılarına aşinalık.

Avantajlar ve Avantajlar:

• Rekabetçi tazminat

• Kariyer gelişimi ve öğrenme fırsatları

• Esneklik ve sahiplenme

• İşbirlikçi ve yenilikçi kültür…

Kaynak: Arbeitnow (https://www.arbeitnow.com/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-berlin-249817)