Старший инженер по машинному обучению | Кимчи (оптимизация стека вывода)

Почему Кимчи?

Отличные модели — это сырые ингредиенты. Кимчи — это то, что получается, когда вы ферментируете их с помощью хорошей технологии. Мы начали с CAST AI, помогая компаниям запускать программы LLM в своих собственных кластерах Kubernetes; сегодня мы запускаем нашу собственную программу кодирования для любой выбранной вами модели и сами запускаем модели, лежащие в ее основе.

Вывод о кимчи

Одна линия API и существующий клиент клиента просто работают: DeepSeek, GLM, Kimi, MiniMax, Nemotron обслуживаются без сервера из нашего собственного парка графических процессоров (совместимы с OpenAI и Anthropic, оплата за токен, видимые расходы на пользователя, команду и ключ). Когда контроль имеет значение, те же модели работают на собственном кластере клиента. За этой одной строкой находится оборудование, которым вы владеете: механизмы SGLang и vLLM, узлы B300, общая файловая система кластера, которая хранит каждую контрольную точку ровно один раз, кэши KV, обрабатывающие трафик кодирования с интенсивным повторным использованием префиксов, и набор тестов, который контролирует каждое отправляемое нами изменение.

Сделано Cast AI — глобально распределенной командой со штаб-квартирой в Майами в 34 странах, которая в январе 2026 года достигла статуса единорога с инвестициями, обеспеченными более чем 50 миллиардами долларов, в результате чего ее оценка превысила 1 миллиард долларов.

О роли

Пропускная способность. Задержка. Холодный старт. Стоимость за токен.

Переместите эти четыре числа в правильном направлении, и произойдет две вещи: клиенты получат более быстрые и дешевые выводы, а наша прибыль улучшится. Вот и весь тезис этой роли. Каждый загрузчик, который вы настраиваете, каждое решение планировщика, которое вы принимаете, каждое ядро, на которое вы смотрите, отображается в p99 клиента и в наших отчетах о прибылях и убытках. Ваша задача — оптимизировать стек вывода, чего бы это ни стоило, а техническое направление того, как мы его оптимизируем, — ваше право спорить с данными.

Проблема: контрольные точки занимают 0,3–1,5 ТБ, а «правильная» конфигурация обслуживания зависит от формы трафика, распределения длины последовательности, динамики пакетов, SKU графического процессора, пропускной способности памяти и устойчивости к квантованию — всех переменных, которые меняются от недели к неделе. Большинство команд выбирают конфигурацию один раз, выделяют избыточное количество графических процессоров и берут на себя расходы. Мы этого не делаем: мы увеличили Kimi-K3 (1,5 ТБ) с более чем часа работы в холодном состоянии до менее чем двенадцати минут с общей файловой системой, весовыми загрузчиками O_DIRECT и локальными JIT-кешами, и мы еще далеко не закончили. Следующими являются дезагрегирование предварительного заполнения/декодирования и многоуровневые кэши KV.

Стек: Питон; СГЛанг; вЛЛМ; ТензорРТ-ЛЛМ; ПиТорч; фастсафетензоры; Инструменты, связанные с CUDA; Кубернетес; общие файловые системы virtiofs; КликХаус; ОпенТелеметрия; Прометей; Графана; GitLab CI.

Требования

• Вы создавали настоящие системы машинного обучения более 5 лет, и ваше портфолио демонстрирует глубину логических выводов или инфраструктуры обучения, а не только модели учебных ноутбуков.

• Ваш Python — производственного уровня: сервисы, а не сценарии.

• Вы по-настоящему запускали vLLM, SGLang или TensorRT-LLM и у вас есть работающая мысленная модель того, почему движок работает так, как он работает на данном графическом процессоре.

• Вы измерили регрессию квантования, а не только степень сжатия.

• Многочиповые и многоузловые конфигурации не боятся: тензорный и экспертный параллелизм, коллективная коммуникация и их практические способы отказа.

• Вы знаете, где живут байты (кэши страниц, O_DIRECT, сетевые файловые системы с операциями чтения в терабайтном масштабе) и как быстро они перемещаются.

• Прежде чем оптимизировать, вы проводите инструментирование и можете отличить реальную победу от артефакта эталонного теста.

• Широкий мандат вас больше волнует, чем тревожит.

Приятно иметь

• Вы работали над маршрутизацией LLM, в частности: оценки класса RouterBench, фронты Парето цена/качество/задержка.

• Калибровка, воздержание или конформные методы в системах принятия производственных решений.

• Вы запускали онлайн-циклы A/B с мониторингом дрейфа на модели, которая касается реальных денег.

Обязанности

• Пропускная способность. Непрерывная пакетная обработка, предварительное заполнение по частям, спекулятивное декодирование с использованием черновых моделей, захват графиков CUDA и настройка планировщика во всем движке.
флот. Найдите потолок для каждого SKU графического процессора, а затем поднимите его.

• Сократите задержку. Атакуйте TTFT и задержку между токенами отдельно; профиль, чтобы найти фактическое узкое место (вычисления, пропускная способность памяти, планирование, хранилище или
сети) и исправьте его, а не тот, который вы предполагали.

• Получите больше от кэша KV. Иерархическое и постраничное внимание, кэширование префиксов при кодировании трафика с интенсивным повторным использованием, политики вытеснения, квантованное KV. Многие из
здесь живет нереализованная пропускная способность, и она будет принадлежать вам.

• Устранение холодного запуска. Весовые загрузчики (O_DIRECT, класс fastsafetensors), JIT и кеши компиляции, пути чтения общей файловой системы. КПП на 1,5 ТБ не при чем
на подачу уходит час.

• Квантование без снижения качества. INT8/INT4, FP8/FP4 по весам, активациям и KV, измеренные на реальных рабочих нагрузках, а не только на тестах недоумения.

• Масштабирование по узлам. Распределенные топологии вывода, размещение с учетом сети, дезагрегирование предварительного заполнения/декодирования, стратегии контрольных точек, которые не являются узкими местами
на хранении или межсоединении.

• Установить техническое направление. Решите, что мы будем сравнивать, что мы примем и что мы создадим сами. Соберите команду вместе с сильными рецензиями и воспроизводимыми
эксперименты.

Что это значит для вас?

• Конкурентная заработная плата (в зависимости от уровня опыта).

• Наслаждайтесь гибкой глобальной средой, ориентированной на удаленность.

• Сотрудничать с глобальной командой экспертов по облачным технологиям и новаторов, стремящихся расширить границы технологии Kubernetes.

• Опционы на акции.

• Получайте быструю обратную связь благодаря быстро меняющемуся рабочему процессу. Большинство функциональных проектов завершаются за 1–4 недели.

• Тратьте 10% своего рабочего времени на личные проекты или самосовершенствование.

• Бюджет обучения для профессионального и личного развития, включая доступ к международным конференциям и курсам, которые повышают ваши навыки.

• Ежегодный хакатон, призванный стимулировать новые идеи и укреплять командные связи.

• Бюджет для формирования команды и корпоративные мероприятия для общения с коллегами.

• Бюджет оборудования, обеспечивающий наличие всего необходимого.

• Дополнительные выходные для поддержания здорового баланса между работой и личной жизнью.

Процесс найма

• Проверка звонка рекрутеру…

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-248455).