Ajan Derleyici Mühendisi

KOG HAKKINDA
Kog, standart veri merkezi GPU'ları, kapsamlı model mimarisi, çıkarım motoru, derleyiciler ve düşük seviyeli GPU çekirdekleri üzerinde gerçek zamanlı yapay zeka aracıları için ortak tasarlanmış bir çıkarım yığını oluşturur.
Model tarafında, iletişimi yararlı hesaplama ve ağırlık akışıyla örtüşen bir Transformer mimarisi olan Laneformer 2B ve Gecikmeli Tensör Paralelliğini (DTP) geliştirdik.
Sistem tarafında Kog Inference Engine, bu yığını standart AMD ve NVIDIA veri merkezi GPU'larında çalıştırır.
Kog, FP16'da toplu boyut 1'de, kuantizasyon ve spekülatif kod çözme devre dışı bırakılarak, 8 AMD MI300X GPU'da istek başına 3.500 jeton/s ve 8 NVIDIA H200 GPU'da istek başına 2.100 jeton/s üretir.
Bir sonraki büyük projemiz ajan derleyicimiz AGCO. AGCO, çok hızlı çıkarım da dahil olmak üzere farklı GPU'lar ve optimizasyon hedefleri genelinde Yüksek Lisans'ları optimize etmek için tasarlanmıştır.
Ekipte 9'u mühendis ve araştırmacı, 4'ü doktoralı olmak üzere 10 kişi bulunuyor.
Bunu oyun alanı.kog.ai adresinde test edin. Kog Labs blogundaki teknik ayrıntıları okuyun.

NE ÜZERİNDE ÇALIŞACAKSINIZ
Doğrudan AGCO üzerinde çalışacaksınız.
Amaç, LLM uygulamasını optimize etmenin yollarını keşfedebilecek, değişiklikler oluşturabilecek, bunları derleyebilecek, doğruluğunu kontrol edebilecek, bunları gerçek donanımda çalıştırabilecek, sonuçları ölçebilecek ve bu geri bildirimi bir sonraki optimizasyona rehberlik etmek için kullanabilecek bir sistem oluşturmaktır.
Aşağıdaki gibi alanlara katkıda bulunacaksınız:

• LLM hesaplamalarını temsil etmek ve dönüştürmek için derleyici ve IR tasarımı.

• Optimizasyon geçişleri, indirme ve kod oluşturma.

• Farklı uygulamaları ve yürütme stratejilerini keşfetmeye yönelik yöntemleri arayın.

• Oluşturulan değişikliklerin doğrulama ve doğruluk kontrolleri.

• GPU yürütme, profil oluşturma ve performans optimizasyonu.

• Operatörler, bellek, paralellik ve iletişim arasında LLM çıkarımı.

• Oluşturulan değişiklikleri gerçek GPU'lardaki ölçümlere bağlayan optimizasyon döngüleri.

Araştırdığımız yönlerden biri IR, doğrulayıcı, derleyici ve arama optimize ediciyi birleştiriyor. Odaklanmış problemlerle başlamayı, çalışan prototipler oluşturmayı ve sistemi öğrendiklerimizden yola çıkarak genişletmeyi planlıyoruz.
Ana alanınız deneyiminize, becerilerinize ve ilgi alanlarınıza bağlı olacaktır. Tüm yığındaki kişilerle yakın bir şekilde çalışırken derleyicilere, GPU sistemlerine veya LLM çıkarımına daha fazla odaklanabilirsiniz.

NE ARIYORUZ
AGCO ile ilgili en az bir alanda derin teknik uzmanlığa ve orijinal çalışmaya sahip mühendisler arıyoruz.
İlgili deneyim şunları içerir:

• Optimizasyon geçişleri, IR'ler, düşürme, kod oluşturma, LLVM veya MLIR dahil derleyici mühendisliği.

• CUDA, HIP, Metal, Vulkan veya benzer teknolojilerle GPU programlama.

• Çekirdekleri, belleği, senkronizasyonu, profil oluşturmayı veya donanım davranışını içeren GPU performans çalışması.

• LLM çıkarım motorları ve performans optimizasyonu.

• Dikkat, MoE, paralellik, iletişim veya LLM uygulamasının sistem düzeyindeki diğer kısımları.

• Resmi doğrulama, denklik kontrolü, SAT/SMT veya ilgili yöntemler.

• Kodu otomatik olarak üreten, arayan, test eden, kıyaslayan veya optimize eden sistemler.

Kişisel olarak neyi inşa ettiğinizi ve bunun arkasındaki teknik kararları önemsiyoruz. Güçlü adaylar sorunu, yaklaşımlarını, araştırdıkları alternatifleri ve sonucu nasıl ölçtüklerini açıklayabilir.
Süreç içerisinde teknik çalışmaları gözden geçiriyoruz. Bu, kamuya açık bir kod, yukarı yönlü bir katkı, bir makale, bir tez, teknik bir proje veya paylaşabileceğiniz çalışmaya dayalı ayrıntılı bir yazı olabilir.

NE SUNUYORUZ
Kog teknolojisinin temel bir parçası olarak AGCO'yu oluşturan küçük bir ekibe katılacaksınız.

• Derleyiciler, GPU sistemleri ve Yüksek Lisans çıkarımının kesişim noktasında çalışın.

• Çıkarım yığınının tamamında çalışan mühendislere doğrudan erişim.

• Gerçek GPU'larda optimizasyon fikrinden derleme, yürütme, doğrulama ve ölçüme kadar hızlı bir döngü.

• Yığının diğer bölümlerine doğru genişlerken en güçlü teknik alanınızın derinliklerine inme fırsatı.

• Kog'un LLM çıkarımını nasıl optimize edeceğini şekillendirecek teknik kararlar ve sistemler üzerinde yüksek sahiplik.

Bu rol Paris'te bulunuyor ve Paris'e taşınabilecek ve ekiple yakın çalışabilecek adaylar arıyoruz.
Arbeitnow'da Fransa'da İş Bulun

Kaynak: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/agentic-compiler-engineer-paris-247204)