GPU Mühendisi

Kog hakkında
Kog'da yapay zeka temsilcileri için gerçek zamanlı LLM çıkarımı oluşturuyoruz.
Kodlama aracıları, her adımın modelin önceki yanıtına bağlı olduğu görev dizilerini yürütür. Model jetonları ne kadar hızlı üretirse, bu aracılar o kadar hızlı akıl yürütebilir, kodlayabilir ve harekete geçebilir.
Yaklaşımımız, standart NVIDIA ve AMD veri merkezi GPU'larındaki üretim gecikmesini en aza indirmek için model mimarisini, çıkarım motorunu ve düşük seviyeli GPU çekirdeklerini birlikte tasarlamaktır.
Bunu mümkün kılmak için çeşitli teknolojiler geliştirdik:

• Monokernel: CPU aktarımını önleyerek tüm token oluşturma döngüsünü GPU'da tutan kalıcı bir GPU programı.

• KCCL: gecikmeyi en aza indirecek şekilde tasarlanmış özel GPU'lar arası iletişim katmanımız.

• Gecikmeli Tensör Paralelliği (DTP): hesaplama ve ağırlık yükleme ile iletişimi örtüşen bir model mimarisi.

• Laneformer 2B: bu ortak tasarım yaklaşımını gösteren kod oluşturma modelimiz.

Mühendislerimiz, yürütmeyi optimize etmek için CUDA, PTX, HIP ve CDNA ISA'yı kullanarak doğrudan GPU donanımıyla çalışır.
Belirli bir GPU mimarisi için yeni bir yapay zeka modelinin uygulanması ve optimize edilmesi aylarca manuel mühendislik gerektirebilir. Bu arada sürekli yeni modeller piyasaya sürülüyor.
Amacımız, bugün gerekenden çok daha kısa bir sürede, seçtiğimiz GPU'larda seçtiğimiz modelleri uygulamak ve optimize etmek için yapay zeka aracılarını kullanmaktır.
Bu aracılar, ekibimizin geliştirdiği GPU optimizasyonları ve donanım öngörülerini temel alacaktır. Optimizasyon stratejilerini keşfedecekler, çekirdekler oluşturup değiştirecekler, doğruluğu doğrulayacaklar, gerçek donanımdaki performansı kıyaslayacaklar ve sonuçlara göre yineleyecekler.
Model taşıma ve GPU optimizasyonunu çok daha hızlı ve tekrarlanabilir hale getirerek Kog'un her birini manuel olarak uyarlamak için aylar harcamak yerine en yeni yapay zeka modellerine ayak uydurmasını sağlamak istiyoruz.
Bu, şu anda geliştirmekte olduğumuz önemli bir mühendislik yönüdür ve siz de onun şekillenmesine yardımcı olacaksınız.
Daha fazla bilgiyi https://blog.kog.ai adresinde bulabilirsiniz.

Ne üzerinde çalışacaksınız
Zorlu performans sorunlarının üstesinden gelmek ve bu işi hızlandıracak dahili aracıların oluşturulmasına yardımcı olmak için GPU mühendislik ekibimize katılacaksınız.

• C++, CUDA, HIP ve düşük seviyeli talimatları kullanarak GPU çekirdeklerini geliştirin ve optimize edin.

• GPU mimarisini, bellek erişimini, senkronizasyonu ve yürütme darboğazlarını araştırın.

• Performans iyileştirmelerini belirlemek ve doğrulamak için iş yüklerinin profilini çıkarın ve kıyaslayın.

• Birden fazla GPU genelinde çıkarım işlemlerini ve iletişimi optimize edin.

• Yeni yapay zeka modellerini NVIDIA ve AMD GPU'lara uygulayın ve optimize edin.

• Otomatik kod optimizasyonunu, doğruluk testini, kıyaslamayı ve yinelemeli iyileştirmeleri etkinleştirerek GPU mühendisliği için yapay zeka aracıları oluşturmaya yardımcı olun.

• Teknik kararların ve bunların uygulanmasının sorumluluğunu üstlenin.

Aradığımız şey
Karmaşık performans sorunlarına hızlı ve bağımsız bir şekilde katkıda bulunabilecek deneyimli bir GPU Mühendisi arıyoruz.

• İdeal olarak CUDA C++ veya HIP/ROCm kullanarak GPU çekirdeklerini geliştirme ve optimize etme konusunda güçlü uygulamalı deneyim.

• GPU mimarisinin, bellek hiyerarşisinin, paralel yürütmenin ve performans darboğazlarının derinlemesine anlaşılması.

• Güçlü C++ becerileri ve GPU iş yüklerinin profilini oluşturma ve kıyaslama deneyimi.

• Uygulamadan ölçülen sonuçlara kadar zorlu teknik projelerin kanıtlanmış sahipliği.

• GPU mühendisliğini hızlandırmak için yapay zeka aracıları ve araçları geliştirmeye ilgi.

PTX, CDNA ISA, çoklu GPU sistemleri, düşük gecikmeli çıkarım veya GPU performans taşınabilirliği deneyimi özellikle değerlidir.
HPC, bilgisayar bilimi veya ilgili bir alanda doktora derecesi, önemli mühendislik çalışmaları ile desteklendiğinde bir artıdır. AI aracıları oluşturma konusunda önceki deneyim gerekli değildir.

Konum ve kullanılabilirlik
Adayların halihazırda Paris'te veya Île-de-France'ın başka bir yerinde bulunuyor olmaları gerekmektedir.
Bu pozisyon için başka bölge veya ülkelerden yer değiştirmeyi düşünmüyoruz.
Hızlı bir şekilde takıma katılabilecek birini arıyoruz.
Arbeitnow'da Fransa'da daha fazla İngilizce Konuşma İşi bul

Kaynak: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/gpu-engineer-paris-476374)