Yazılım Mühendisi, Çıkarım

Yeni mimarileri çıkarım motoruna entegre etme, binlerce makinedeki dağıtımları ölçeklendirme ve dahili SLO'ları karşılarken pahalı GPU filolarını meşgul etme gibi Luma modellerinin nasıl sunulacağına siz sahip olacaksınız.
Bu, büyük ölçekli çıkarım sistemlerinin çalışmasıdır: zamanlama, filo yönetimi, dağıtım hatları ve kümeler ve donanım sağlayıcılar arasında güvenilirlik. Büyük ölçekte model sunumu ve Kubernetes konusunda rahat, güçlü bir sistem mühendisine uygundur. Modelleri çalıştıran sistemlerden ziyade saf modelleme istiyorsanız, bu kesinlikle sistem tarafıdır.
Neye Sahip Olacaksınız

• Yeni model mimarileri çıkarım motoruna entegre ederek gönderin.

• Model verimliliğini ve dağıtımlarını optimize etmek için araştırma, mühendislik ve altyapı genelinde işbirliği yapın.

• Çıkarım işlerinin ve iş akışlarının ömrünü ölçmek, profilini çıkarmak ve takip etmek için dahili araçlar oluşturun.

• Maksimum çalışma süresi ve güvenilirlik için çıkarım hizmetlerini otomatikleştirin, test edin ve sürdürün.

• Kümeler ve donanım sağlayıcılar genelinde çıkarım iş yüklerini yönetin ve optimize edin ve binlerce makinedeki dağıtımları ölçeklendirin.

• SLO'ları karşılarken pahalı GPU kaynaklarını en iyi şekilde kullanan planlama sistemleri oluşturun ve model kontrol noktaları ve SDK'lar için CI/CD'yi koruyun.

İlk 90 Gün
İlk 90'ın ortaya çıkmasının bir yolu.

• 1-30. Günler — Yoğunlaştırma ve Teşhis Etme: Çıkarım yığınını, filoları ve güvenilirliğin veya kullanımın nerede bozulduğunu öğrenin.

• 30-60. Günler — Gönderim ve Doğrulama: Çalışma süresini veya GPU kullanımını iyileştiren bir model veya gönderim araçları/programı entegre edin.

• 60-90. Günler — Ölçeklendirin ve Sistemleştirin: Kümeler ve sağlayıcılar genelinde dağıtım hatlarını ve planlamayı güçlendirin.

Ne Getiriyorsun

• Güçlü Python ve sistem mimarisi becerileri.

• Modelleri PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM veya benzeri ile dağıtma deneyimini yaşayın.

• Kuyruklar, planlama, trafik kontrolü ve filo yönetimi konusunda geniş ölçekte deneyim.

• Linux, Docker ve Kubernetes ile orkestrasyon, dağıtım ve planlama konularında deneyim.

• Redis ve S3 uyumlu depolamaya aşinalık.

Sahip olmak güzel

• RDMA (RoCE, InfiniBand, NVLink) dahil olmak üzere modern ağ yığınları.

• Yüksek performanslı, büyük ölçekli makine öğrenimi sistemleri (100'den fazla GPU).

• CUDA ve FFmpeg veya multimedya işleme.

Luma Hakkında: Luma'nın misyonu, fiziksel dünyada üretebilen, anlayabilen ve işleyebilen birleşik genel zeka oluşturmaktır. Çok modluluğun zeka için kritik olduğuna inanıyoruz; dil modellerinin ötesindeki bir sonraki adım vizyondan geliyor. Luma fırsat eşitliği sağlayan bir işverendir.
Arbeitnow'da Birleşik Krallık'ta İş Bul

Kaynak: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/lumaai/software-engineer-inference-london-107112)