Inżynier GPU

O Kogu
W Kog budujemy wnioskowanie LLM w czasie rzeczywistym dla agentów AI.
Agenci kodujący wykonują sekwencje zadań, których każdy krok zależy od poprzedniej odpowiedzi modelu. Im szybciej model generuje tokeny, tym szybciej agenci mogą rozumować, kodować i działać.
Nasze podejście polega na wspólnym projektowaniu architektury modelu, silnika wnioskowania i jądra procesora graficznego niskiego poziomu, aby zminimalizować opóźnienia generacji na standardowych procesorach graficznych NVIDIA i AMD dla centrów danych.
Opracowaliśmy kilka technologii, które to umożliwiają:

• Monokernel: trwały program GPU, który utrzymuje całą pętlę generowania tokenów na GPU, unikając przełączania procesora.

• KCCL: nasza niestandardowa warstwa komunikacyjna między procesorami graficznymi, zaprojektowana w celu minimalizacji opóźnień.

• Opóźniona równoległość tensorów (DTP): architektura modelu, która nakłada się na komunikację z obliczeniami i ładowaniem wag.

• Laneformer 2B: nasz model generowania kodu demonstrujący podejście do wspólnego projektowania.

Nasi inżynierowie pracują bezpośrednio ze sprzętem GPU, używając CUDA, PTX, HIP i CDNA ISA w celu optymalizacji wykonania.
Wdrożenie i optymalizacja nowego modelu AI dla konkretnej architektury GPU może zająć miesiące ręcznej inżynierii. Tymczasem stale pojawiają się nowe modele.
Naszym celem jest wykorzystanie agentów AI do wdrożenia i optymalizacji wybranych przez nas modeli na wybranych przez nas procesorach graficznych w ułamku czasu wymaganego obecnie.
Agenci ci będą korzystać z optymalizacji GPU i wiedzy o sprzęcie opracowanej przez nasz zespół. Będą badać strategie optymalizacji, generować i modyfikować jądra, weryfikować poprawność, testować wydajność na prawdziwym sprzęcie i przeprowadzać iteracje w oparciu o wyniki.
Chcemy, aby przenoszenie modeli i optymalizacja procesora graficznego były znacznie szybsze i powtarzalne, co umożliwi Kogowi dotrzymanie kroku najnowszym modelom AI zamiast spędzać miesiące na ręcznym dostosowywaniu każdego z nich.
To główny kierunek inżynierii, który obecnie rozwijamy, a Ty pomożesz go ukształtować.
Więcej informacji znajdziesz na https://blog.kog.ai.

Nad czym będziesz pracować
Dołączysz do naszego zespołu inżynierów GPU, aby stawić czoła trudnym problemom z wydajnością i pomóc w tworzeniu wewnętrznych agentów, które przyspieszą tę pracę.

• Twórz i optymalizuj jądra GPU przy użyciu C++, CUDA, HIP i instrukcji niskiego poziomu.

• Zbadaj architekturę GPU, dostęp do pamięci, synchronizację i wąskie gardła w wykonywaniu.

• Profilowanie i testowanie obciążeń w celu identyfikowania i sprawdzania ulepszeń wydajności.

• Optymalizuj operacje wnioskowania i komunikację pomiędzy wieloma procesorami graficznymi.

• Wdrażaj i optymalizuj nowe modele AI na procesorach graficznych NVIDIA i AMD.

• Pomóż w tworzeniu agentów AI dla inżynierii GPU, umożliwiając automatyczną optymalizację kodu, testowanie poprawności, testy porównawcze i ulepszenia iteracyjne.

• Przejmuj odpowiedzialność za decyzje techniczne i ich wdrażanie.

Czego szukamy
Poszukujemy doświadczonego inżyniera GPU, który może szybko i niezależnie przyczynić się do rozwiązywania złożonych problemów z wydajnością.

• Duże, praktyczne doświadczenie w opracowywaniu i optymalizowaniu jąder GPU, najlepiej przy użyciu CUDA C++ lub HIP/ROCm.

• Dogłębne zrozumienie architektury GPU, hierarchii pamięci, wykonywania równoległego i wąskich gardeł wydajności.

• Dobra znajomość języka C++ oraz doświadczenie w profilowaniu i testowaniu obciążeń GPU.

• Udokumentowana odpowiedzialność za wymagające projekty techniczne, od wdrożenia po zmierzone wyniki.

• Zainteresowanie rozwojem agentów i narzędzi AI w celu przyspieszenia inżynierii GPU.

Szczególnie cenne jest doświadczenie z PTX, CDNA ISA, systemami z wieloma procesorami graficznymi, wnioskowaniem o małych opóźnieniach lub przenośnością wydajności GPU.
Doktorat z HPC, informatyki lub dziedziny pokrewnej będzie dodatkowym atutem, jeśli będzie poparty znaczną pracą inżynierską. Nie jest wymagane wcześniejsze doświadczenie w tworzeniu agentów AI.

Lokalizacja i dostępność
Kandydaci muszą już mieszkać w Paryżu lub innym miejscu w Île-de-France.
Na to stanowisko nie rozważamy przeniesienia z innych regionów lub krajów.
Poszukujemy osoby, która szybko dołączy do zespołu.
Znajdź więcej anglojęzycznych ofert pracy we Francji na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/gpu-engineer-paris-476374)