Kıdemli ML Mühendisi | Kimchi (Çıkarım Yığını Optimizasyonu)

Neden Kimçi?

Harika modeller ham malzemelerdir. Kimchi, onları iyi bir mühendislikle fermente ettiğinizde ortaya çıkan şeydir. CAST AI içinde şirketlerin kendi Kubernetes kümelerinde Yüksek Lisans (LLM) yürütmelerine yardımcı olmaya başladık; Bugün seçtiğiniz herhangi bir model üzerinde kendi kodlama sistemimizi çalıştırıyoruz ve altındaki modelleri de kendimiz çalıştırıyoruz.

Kimçi Çıkarımı

Tek bir API hattı ve müşterinin mevcut istemcisi tam olarak çalışır: DeepSeek, GLM, Kimi, MiniMax, Nemotron, kendi GPU filomuzdan sunucusuz olarak hizmet verdi (OpenAI ve Anthropic uyumlu, jeton başına ödeme, kullanıcı, ekip ve anahtar başına görünür harcama). Kontrol önemli olduğunda aynı modeller müşterinin kendi kümesinde de çalışır. Bu satırın arkasında sahip olacağınız makineler yer alır: SGLang ve vLLM motorları, B300 düğümleri, her kontrol noktasını tam olarak bir kez tutan paylaşılan bir küme dosya sistemi, yoğun önek yeniden kullanımı ile KV, kodlama trafiğini önbelleğe alır ve gönderdiğimiz her değişikliği denetleyen kıyaslama donanımı.

Miami merkezli, küresel olarak 34 ülkeye dağılmış bir ekip olan Cast AI tarafından yapılmıştır ve Ocak 2026'da tek boynuzlu at statüsüne ulaşan ve 50 milyar dolardan fazla destekli yatırımla değerlemesi 1 milyar doların üzerine çıkmıştır.

Rol hakkında

Verim. Gecikme. Soğuk başlangıçlar. Jeton başına maliyet.

Bu dört sayıyı doğru yönde hareket ettirdiğinizde iki şey olur: Müşteriler daha hızlı çıkar, daha ucuz çıkarım yapar ve marjlarımız artar. Bu rolün tüm tezi bu. Ayarladığınız her yükleyici, aldığınız her programlayıcı kararı, baktığınız her çekirdek, müşterinin p99'unda ve P&L'imizde görünür. Göreviniz, ne gerekiyorsa, çıkarım yığınının optimizasyonudur ve onu nasıl optimize ettiğimizin teknik yönü, verilerle tartışmak sizindir.

Sorun: Kontrol noktaları 0,3-1,5 TB çalıştırıyor ve "doğru" sunum yapılandırması, trafik şekline, dizi uzunluğu dağıtımına, toplu dinamiklere, GPU SKU'ya, bellek bant genişliğine ve niceleme toleransına, yani haftadan haftaya değişen tüm değişkenlere bağlı. Çoğu ekip bir yapılandırmayı bir kez seçer, GPU'ların aşırı provizyonunu yapar ve maliyeti karşılar. Yapmıyoruz: Paylaşımlı bir dosya sistemi, O_DIRECT ağırlık yükleyicileri ve yerel düğüm JIT önbellekleri ile Kimi-K3'ü (1,5 TB) bir saatten fazla soğuk servisten on iki dakikanın altına aldık ve işimiz henüz bitmedi. Sırada önceden doldurma/kod çözme ayrıştırması ve katmanlı KV önbellekleri var.

Yığın: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; hızlıgüvenlik tensörleri; CUDA'ya bitişik takımlar; Kubernet'ler; sanal paylaşımlı dosya sistemleri; ClickHouse; Açık Telemetri; Prometheus; Grafana; GitLab CI.

Gereksinimler

• 5 yılı aşkın süredir gerçek makine öğrenimi sistemleri oluşturdunuz ve portföyünüz yalnızca model eğitim not defterleri değil, çıkarım veya eğitim altyapısı açısından da derinlik gösteriyor.

• Python'unuz üretim düzeyindedir: hizmetler, komut dosyaları değil.

• vLLM, SGLang veya TensorRT-LLM'yi gerçek anlamda çalıştırdınız ve bir motorun belirli bir GPU'da neden bu şekilde performans gösterdiğine dair çalışan bir zihinsel modele sahipsiniz.

• Yalnızca sıkıştırma oranlarını değil, nicemleme regresyonlarını da ölçtünüz.

• Çoklu GPU ve çok düğümlü kurulumlarda korku yoktur: tensör ve uzman paralelliği, kolektif iletişim ve bunların pratik hata modları.

• Baytların nerede yaşadığını (sayfa önbellekleri, O_DIRECT, terabayt ölçekli okumalar altındaki ağ dosya sistemleri) ve ne kadar hızlı hareket ettiklerini bilirsiniz.

• Optimize etmeden önce enstrümantasyon yaparsınız ve bir kıyaslama eserinden gerçek bir kazanç elde ettiğinizi anlayabilirsiniz.

• Geniş bir yetki alanı sizi tedirgin etmekten çok heyecanlandırır.

Sahip olmak güzel

• Özellikle LLM yönlendirme üzerinde çalıştınız: RouterBench sınıfı değerlendirmeler, maliyet/kalite/gecikme Pareto cepheleri.

• Üretim karar sistemlerinde kalibrasyon, çekimser kalma veya uyumlu yöntemler.

• Gerçek paraya dokunan bir model üzerinde sürüklenme izleme ile çevrimiçi A/B döngüleri çalıştırdınız.

Sorumluluklar

• Verimi itin. Sürekli gruplama, parçalı ön doldurma, taslak modellerle spekülatif kod çözme, CUDA grafiği yakalama ve motor genelinde zamanlayıcı ayarlaması
filo. Her bir GPU SKU'sunun tavanını bulun ve yükseltin.

• Gecikmeyi kesin. TTFT'ye ve tokenlar arası gecikmeye ayrı ayrı saldırın; gerçek darboğazı bulmak için profil (bilgi işlem, bellek bant genişliği, planlama, depolama veya
ağ) ve varsaydığınız gibi değil, düzeltin.

• KV önbelleğinden daha fazlasını elde edin. Hiyerarşik ve sayfalanmış dikkat, yoğun yeniden kullanımlı kodlama trafiğinde önek önbelleğe alma, tahliye politikaları, nicelenmiş KV. Birçoğu
Gerçekleşmemiş üretim burada yaşıyor ve ona sahip olacaksınız.

• Soğuk başlatmaları sonlandırın. Ağırlık yükleyicileri (O_DIRECT, fastsafetensors sınıfı), JIT ve derleme önbellekleri, paylaşılan dosya sistemi okuma yolları. 1,5 TB'lık bir kontrol noktasının işi yok
Servise ulaşmak bir saat sürüyor.

• Kaliteyi gerilemeden niceleme yapın. Ağırlıklar, aktivasyonlar ve KV genelinde INT8/INT4, FP8/FP4, yalnızca şaşkınlık kıyaslamalarında değil, gerçek iş yüklerinde ölçülür.

• Düğümler arasında ölçeklendirin. Dağıtılmış çıkarım topolojileri, ağa duyarlı yerleştirme, önceden doldurma/kod çözme ayrıştırma, darboğaz oluşturmayan kontrol noktası belirleme stratejileri
depolama veya ara bağlantı konusunda.

• Teknik yönü ayarlayın. Neyi kıyasladığımıza, neyi benimsediğimize ve neyi kendimiz inşa ettiğimize karar verin. Ekibi güçlü ve tekrarlanabilir yazılarla bir araya getirin
deneyler.

Bunda senin için ne var?

• Rekabetçi maaş (tecrübe seviyesine bağlı olarak).

• Esnek, uzaktan öncelikli küresel ortamın keyfini çıkarın.

• Kubernetes teknolojisinin sınırlarını zorlama konusunda tutkulu olan küresel bulut uzmanları ve yenilikçilerden oluşan bir ekiple işbirliği yapın

• Hisse senedi seçenekleri.

• Hızlı iş akışıyla hızlı geri bildirim alın. Çoğu özellik projesi 1 ila 4 hafta içinde tamamlanır.

• Çalışma zamanınızın %10'unu kişisel projelere veya kişisel gelişime ayırın.

• Mesleki ve kişisel gelişim için öğrenim bütçesi - uluslararası konferanslara ve becerilerinizi geliştiren kurslara erişim dahil.

• Yeni fikirleri harekete geçirmek ve ekip bağlarını güçlendirmek için yıllık hackathon.

• Meslektaşlarınızla bağlantı kurmak için ekip oluşturma bütçesi ve şirket etkinlikleri.

• İhtiyacınız olan her şeye sahip olmanızı sağlayacak ekipman bütçesi.

• Sağlıklı bir iş-yaşam dengesini korumaya yardımcı olmak için ekstra izin günleri.

İşe alma süreci

• Recruiter ile çağrı filtreleniyor…

Kaynak: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-95364)