Инженер графического процессора

О Коге
В Kog мы создаем LLM-выводы для агентов искусственного интеллекта в режиме реального времени.
Агенты кодирования выполняют последовательности задач, каждый шаг которых зависит от предыдущего ответа модели. Чем быстрее модель генерирует токены, тем быстрее эти агенты могут рассуждать, программировать и действовать.
Наш подход заключается в совместной разработке архитектуры модели, механизма вывода и низкоуровневых ядер графических процессоров, чтобы минимизировать задержку генерации на стандартных графических процессорах NVIDIA и AMD для центров обработки данных.
Чтобы сделать это возможным, мы разработали несколько технологий:

• Моноядро: постоянная программа графического процессора, которая поддерживает весь цикл генерации токенов на графическом процессоре, избегая передачи управления процессору.

• KCCL: наш специальный уровень связи между графическими процессорами, предназначенный для минимизации задержек.

• Отложенный тензорный параллелизм (DTP): архитектура модели, которая перекрывает связь с вычислениями и весовой нагрузкой.

• Laneformer 2B: наша модель генерации кода, демонстрирующая этот подход совместного проектирования.

Наши инженеры работают напрямую с оборудованием графического процессора, используя CUDA, PTX, HIP и CDNA ISA для оптимизации выполнения.
Внедрение и оптимизация новой модели искусственного интеллекта для конкретной архитектуры графического процессора может занять месяцы ручного проектирования. При этом постоянно выпускаются новые модели.
Наша цель — использовать агенты искусственного интеллекта для реализации и оптимизации выбранных нами моделей на выбранных нами графических процессорах за долю времени, необходимого сегодня.
Эти агенты будут опираться на оптимизацию графического процессора и информацию об аппаратном обеспечении, разработанную нашей командой. Они изучат стратегии оптимизации, сгенерируют и модифицируют ядра, проверят корректность, проверят производительность на реальном оборудовании и проведут итерацию на основе результатов.
Мы хотим сделать портирование моделей и оптимизацию графического процессора намного более быстрыми и повторяемыми, позволяя Kog идти в ногу с новейшими моделями ИИ, а не тратить месяцы на адаптацию каждой из них вручную.
Это важное инженерное направление, которое мы сейчас развиваем, и вы поможете его формировать.
Узнайте больше на https://blog.kog.ai.

Над чем вы будете работать
Вы присоединитесь к нашей команде инженеров графических процессоров, чтобы решать сложные проблемы с производительностью и помогать создавать внутренних агентов, которые ускорят эту работу.

• Разрабатывать и оптимизировать ядра графических процессоров с использованием C++, CUDA, HIP и инструкций низкого уровня.

• Изучите архитектуру графического процессора, доступ к памяти, синхронизацию и узкие места выполнения.

• Профилирование и тестирование рабочих нагрузок для выявления и подтверждения улучшений производительности.

• Оптимизация операций вывода и связи между несколькими графическими процессорами.

• Внедряйте и оптимизируйте новые модели искусственного интеллекта на графических процессорах NVIDIA и AMD.

• Помогите создать агенты искусственного интеллекта для разработки графических процессоров, обеспечивающие автоматическую оптимизацию кода, проверку правильности, сравнительный анализ и итеративные улучшения.

• Возьмите на себя ответственность за технические решения и их реализацию.

Что мы ищем
Мы ищем опытного инженера по графическим процессорам, который сможет быстро и независимо решать сложные проблемы с производительностью.

• Большой практический опыт разработки и оптимизации ядер графических процессоров, в идеале с использованием CUDA C++ или HIP/ROCm.

• Глубокое понимание архитектуры графического процессора, иерархии памяти, параллельного выполнения и узких мест производительности.

• Хорошие навыки C++ и опыт профилирования и сравнительного анализа рабочих нагрузок графических процессоров.

• Подтвержденное владение сложными техническими проектами, от реализации до измеренных результатов.

• Интерес к разработке агентов и инструментов искусственного интеллекта для ускорения проектирования графических процессоров.

Особенно ценен опыт работы с PTX, CDNA ISA, системами с несколькими графическими процессорами, выводами с малой задержкой или переносимостью производительности графического процессора.
Кандидатская степень в области высокопроизводительных вычислений, информатики или смежных областей является плюсом, если подкреплена серьезной инженерной работой. Предыдущий опыт создания агентов ИИ не требуется.

Расположение и доступность
Кандидаты уже должны проживать в Париже или другом месте Иль-де-Франс.
Мы не рассматриваем возможность переезда из других регионов или стран на эту должность.
Мы ищем человека, который сможет быстро присоединиться к команде.
Найдите больше англоговорящих вакансий во Франции на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.fr/jobs/companies/kog/gpu-engineer-paris-476374)