Інженер агентського компілятора

ПРО KOG
Kog створює спільно розроблений стек висновків для агентів штучного інтелекту в реальному часі на стандартних графічних процесорах центру обробки даних, охоплюючи архітектуру моделі, механізм логічного висновку, компілятори та низькорівневі ядра GPU.
Що стосується моделі, ми розробили Laneformer 2B і Delayed Tensor Parallelism (DTP), архітектуру Transformer, яка перекриває зв’язок із корисними обчисленнями та потоковою передачею ваги.
З боку системи Kog Inference Engine запускає цей стек на стандартних графічних процесорах центрів обробки даних AMD і NVIDIA.
Kog генерує 3500 токенів/с на запит на 8 графічних процесорах AMD MI300X і 2100 токенів/с на запит на 8 графічних процесорах NVIDIA H200 у FP16 із розміром пакету 1, з вимкненим квантуванням і спекулятивним декодуванням.
Наш наступний великий проект — AGCO, наш агентський компілятор. AGCO розроблено для оптимізації LLM на різних GPU та цілях оптимізації, включаючи дуже швидкий висновок.
Колектив нараховує 10 осіб, у тому числі 9 інженерів та дослідників та 4 кандидати наук.
Перевірте це на playground.kog.ai. Читайте технічні подробиці в блозі Kog Labs.

НАД ЧИМ БУДЕТЕ ПРАЦЮВАТИ
Ви працюватимете безпосередньо на AGCO.
Мета полягає в тому, щоб побудувати систему, яка може досліджувати способи оптимізації виконання LLM, генерувати зміни, компілювати їх, перевіряти правильність, запускати їх на реальному апаратному забезпеченні, вимірювати результати та використовувати цей зворотній зв’язок для керівництва наступною оптимізацією.
Ви сприятимете таким сферам, як:

• Компілятор та дизайн ІЧ для представлення та перетворення обчислень LLM.

• Проходить оптимізація, пониження та генерація коду.

• Методи пошуку для вивчення різних реалізацій і стратегій виконання.

• Перевірка та перевірка правильності згенерованих змін.

• Виконання GPU, профілювання та оптимізація продуктивності.

• Висновок LLM через оператори, пам'ять, паралелізм і зв'язок.

• Цикли оптимізації, які пов’язують згенеровані зміни з вимірюваннями на реальних графічних процесорах.

Один напрямок, який ми досліджуємо, поєднує в собі IR, верифікатор, компілятор і оптимізатор пошуку. Ми плануємо почати з цілеспрямованих проблем, створити робочі прототипи та розширити систему на основі того, що ми дізналися.
Ваша основна область залежатиме від вашого досвіду, навичок та інтересів. Ви можете більше зосередитись на компіляторах, системах GPU або LLM, тісно співпрацюючи з людьми з усього стеку.

ЩО МИ ШУКАЄМО
Ми шукаємо інженерів із глибоким технічним досвідом та оригінальною роботою принаймні в одній сфері, пов’язаній з AGCO.
Відповідний досвід включає:

• Розробка компілятора, включаючи проходи оптимізації, IR, зниження, генерацію коду, LLVM або MLIR.

• Програмування GPU за допомогою CUDA, HIP, Metal, Vulkan або подібних технологій.

• Робота над продуктивністю GPU, пов’язана з ядрами, пам’яттю, синхронізацією, профілюванням або поведінкою обладнання.

• Механізми логічного висновку та оптимізація продуктивності.

• Увага, MoE, паралелізм, комунікація або інші частини виконання LLM на системному рівні.

• Формальна перевірка, перевірка еквівалентності, SAT/SMT або подібні методи.

• Системи, які автоматично генерують, шукають, тестують, порівнюють або оптимізують код.

Ми дбаємо про те, що ви особисто створили, і про технічні рішення, які стоять за цим. Сильні кандидати можуть пояснити проблему, свій підхід, альтернативи, які вони досліджували, і те, як вони виміряли результат.
Ми перевіряємо технічну роботу в процесі. Це може бути загальнодоступний код, внесок у розробку, стаття, дипломна робота, технічний проект або детальний опис на основі роботи, якою ви можете поділитися.

ЩО МИ ПРОПОНУЄМО
Ви приєднаєтеся до невеликої команди AGCO як основної частини технології Kog.

• Робота на стику компіляторів, систем графічного процесора та висновків LLM.

• Прямий доступ до інженерів, які працюють над повним стеком висновків.

• Швидкий цикл від ідеї оптимізації до компіляції, виконання, перевірки та вимірювання на реальних графічних процесорах.

• Можливість поглибити свою найсильнішу технічну сферу, одночасно розширюючись на інші частини стека.

• Висока приналежність до технічних рішень і систем, які визначатимуть, як Kog оптимізує висновок LLM.

Ця посада знаходиться в Парижі, і ми шукаємо кандидатів, які можуть переїхати до Парижа та тісно співпрацювати з командою.
Знайдіть роботу у Франції на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/agentic-compiler-engineer-paris-247204)