Инженер-агент-компилятор

О КОГ
Kog создает совместно разработанный стек вывода для агентов искусственного интеллекта реального времени на стандартных графических процессорах центров обработки данных, охватывающий архитектуру модели, механизм вывода, компиляторы и низкоуровневые ядра графических процессоров.
Что касается модели, мы разработали Laneformer 2B и Delayed Tensor Parallelism (DTP), архитектуру Transformer, которая совмещает коммуникацию с полезными вычислениями и потоковой передачей весов.
Что касается системы, Kog Inference Engine запускает этот стек на стандартных графических процессорах AMD и NVIDIA для центров обработки данных.
Kog генерирует 3500 токенов/с на запрос на 8 графических процессорах AMD MI300X и 2100 токенов/с на запрос на 8 графических процессорах NVIDIA H200 в FP16 при размере пакета 1, с отключенными квантованием и спекулятивным декодированием.
Наш следующий крупный проект — AGCO, наш агентный компилятор. AGCO предназначена для оптимизации LLM для различных графических процессоров и целей оптимизации, включая очень быстрый вывод.
В команде 10 человек, из них 9 инженеров-исследователей и 4 кандидата наук.
Проверьте это на сайте player.kog.ai. Прочтите технические подробности в блоге Kog Labs.

НАД ЧЕМ ВЫ БУДЕТЕ РАБОТАТЬ
Вы будете работать непосредственно в AGCO.
Цель состоит в том, чтобы создать систему, которая сможет исследовать способы оптимизации выполнения LLM, генерировать изменения, компилировать их, проверять правильность, запускать их на реальном оборудовании, измерять результаты и использовать эту обратную связь для руководства следующей оптимизацией.
Вы внесете свой вклад в такие области, как:

• Компилятор и IR-проектирование для представления и преобразования вычислений LLM.

• Проходы оптимизации, понижения и генерации кода.

• Методы поиска для изучения различных реализаций и стратегий выполнения.

• Проверка и проверка правильности внесенных изменений.

• Выполнение графического процессора, профилирование и оптимизация производительности.

• Вывод LLM по операторам, памяти, параллелизму и коммуникации.

• Циклы оптимизации, которые связывают сгенерированные изменения с измерениями на реальных графических процессорах.

Одно из направлений, которое мы изучаем, объединяет IR, верификатор, компилятор и поисковый оптимизатор. Мы планируем начать с целенаправленных проблем, создать рабочие прототипы и расширить систему на основе того, что мы узнаем.
Ваша основная область будет зависеть от вашего опыта, навыков и интересов. Вы можете больше сосредоточиться на компиляторах, системах графических процессоров или выводе LLM, работая в тесном контакте с людьми из всего стека.

ЧТО МЫ ИЩЕМ
Мы ищем инженеров с глубокими техническими знаниями и оригинальной работой хотя бы в одной области, имеющей отношение к AGCO.
Соответствующий опыт включает в себя:

• Разработка компилятора, включая этапы оптимизации, IR, понижение, генерацию кода, LLVM или MLIR.

• Программирование графического процессора с использованием CUDA, HIP, Metal, Vulkan или аналогичных технологий.

• Работа над производительностью графического процессора, включающая ядра, память, синхронизацию, профилирование или поведение оборудования.

• Механизмы вывода LLM и оптимизация производительности.

• Внимание, MoE, параллелизм, коммуникация или другие части выполнения LLM на системном уровне.

• Формальная проверка, проверка эквивалентности, SAT/SMT или аналогичные методы.

• Системы, которые автоматически генерируют, ищут, тестируют, сравнивают или оптимизируют код.

Мы заботимся о том, что вы создали лично, и о технических решениях, стоящих за этим. Сильные кандидаты могут объяснить проблему, свой подход, альтернативы, которые они исследовали, и то, как они измерили результат.
Мы проверяем техническую работу в процессе. Это может быть общедоступный код, вклад в разработку, статья, диссертация, технический проект или подробный отчет, основанный на работе, которой вы можете поделиться.

ЧТО МЫ ПРЕДЛАГАЕМ
Вы присоединитесь к небольшой команде AGCO, которая станет основной частью технологии Kog.

• Работа на стыке компиляторов, систем графических процессоров и вывода LLM.

• Прямой доступ к инженерам, работающим над всем стеком вывода.

• Быстрый цикл от идеи оптимизации до компиляции, выполнения, проверки и измерения на реальных графических процессорах.

• Возможность углубиться в свою самую сильную техническую область, одновременно расширяясь в другие части стека.

• Высокая степень владения техническими решениями и системами, которые будут определять, как Kog оптимизирует выводы LLM.

Эта должность находится в Париже, и мы ищем кандидатов, которые могут переехать в Париж и тесно сотрудничать с командой.
Найдите работу во Франции на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/agentic-compiler-engineer-paris-247204).