Старший інженер МЛ | Кімчі (оптимізація стеку висновків)

Чому Кімчі?

Чудові моделі - це сирі інгредієнти. Кімчі – це те, що відбувається, коли ви бродите їх за допомогою хорошої техніки. Ми почали в CAST AI, допомагаючи компаніям запускати LLM на власних кластерах Kubernetes; сьогодні ми запускаємо наш власний джгут кодування на будь-якій моделі, яку ви виберете, і самі запускаємо моделі під ним.

Кімчі Висновок

Одна лінія API та наявний клієнт клієнта просто працюють: DeepSeek, GLM, Kimi, MiniMax, Nemotron обслуговуються без сервера з нашого власного парку графічних процесорів (сумісні з OpenAI та Anthropic, оплата за токен, витрати видимі для кожного користувача, команди та ключа). Коли контроль має значення, ті самі моделі замість цього працюють на власному кластері клієнта. За цією однією лінією ховається механізм, яким ви будете володіти: двигуни SGLang і vLLM, вузли B300, спільна кластерна файлова система, яка зберігає кожну контрольну точку точно один раз, KV кешує трафік кодування з інтенсивним повторним використанням префіксів, а також контрольний пакет, який контролює кожну зміну, яку ми надсилаємо.

Зроблено Cast AI — глобальною командою зі штаб-квартирою в Маямі, розповсюдженою в 34 країнах, яка в січні 2026 року отримала статус «Єдинорога» завдяки інвестиціям понад 50 мільярдів доларів США, що підвищило її оцінку понад 1 мільярд доларів.

Про роль

Пропускна здатність. Затримка. Холодні старти. Вартість токена.

Перемістіть ці чотири цифри в правильному напрямку, і станеться дві речі: клієнти отримають швидші та дешевші висновки, а наша маржа покращиться. Ось і вся теза цієї ролі. Кожен завантажувач, який ви налаштовуєте, кожне рішення планувальника, яке ви приймаєте, кожне ядро, на яке ви дивитеся, відображається в p99 клієнта та в наших прибутках і збитках. Ваш мандат полягає в оптимізації стеку висновків, що б це не знадобилося, і технічний напрямок того, як ми оптимізуємо його, ви можете сперечатися з даними.

Проблема: контрольні точки працюють на 0,3-1,5 ТБ, а «правильна» конфігурація обслуговування залежить від форми трафіку, розподілу довжини послідовності, динаміки пакетів, SKU графічного процесора, пропускної здатності пам’яті та допуску квантування — усіх змінних, які змінюються тиждень за тижнем. Більшість команд обирають конфігурацію один раз, надаючи графічні процесори та покриваючи витрати. Ми цього не робимо: ми перевели Kimi-K3 (1,5 ТБ) від години холодного до обслуговування до менше дванадцяти хвилин із спільною файловою системою, ваговими завантажувачами O_DIRECT і локальними кешами JIT на вузлах, і ми ще не закінчили. Попереднє заповнення/декодування дезагрегації та багаторівневі кеші KV наступні.

Стек: Python; SGLang; vLLM; TensorRT-LLM; PyTorch; фастсейфетензори; CUDA-суміжні інструменти; Kubernetes; virtiofs спільні файлові системи; ClickHouse; OpenTelemetry; Прометей; Графана; GitLab CI.

Вимоги

• Ви створювали справжні системи машинного навчання понад 5 років, і ваше портфоліо демонструє глибину висновків або інфраструктуру навчання, а не лише моделі навчальних блокнотів.

• Ваш Python є робочим: служби, а не сценарії.

• Ви справді запустили vLLM, SGLang або TensorRT-LLM, і у вас є робоча уявна модель того, чому механізм працює так, як він працює на даному GPU.

• Ви виміряли регресії квантування, а не лише коефіцієнти стиснення.

• Налаштування з декількома графічними процесорами та кількома вузлами не викликають страху: тензорний та експертний паралелізм, колективне спілкування та їхні практичні режими відмови.

• Ви знаєте, де знаходяться байти (кеші сторінок, O_DIRECT, мережеві файлові системи під час зчитування терабайтного масштабу) і як швидко вони рухаються.

• Перш ніж оптимізувати, ви проводите вимірювання, і ви можете відрізнити реальний виграш від еталонного артефакту.

• Широкий мандат більше збуджує, ніж бентежить.

Приємно мати

• Ви спеціально працювали над маршрутизацією LLM: оцінки класу RouterBench, фронти Парето вартості/якості/затримки.

• Калібрування, утримання або конформні методи в системах виробничих рішень.

• Ви запустили онлайн-цикли A/B із моніторингом дрейфу на моделі, яка стосується реальних грошей.

Обов'язки

• Push пропускна здатність. Безперервне пакетування, попередньо заповнене фрагментами, спекулятивне декодування з чернетками моделей, захоплення графів CUDA та налаштування планувальника в системі
флот. Знайдіть стелю на кожному GPU SKU, а потім підніміть її.

• Скорочення затримки. Атакуйте TTFT і затримку між маркерами окремо; профіль, щоб знайти фактичне вузьке місце (обчислення, пропускна здатність пам’яті, планування, зберігання або
мережі) і виправте її, а не ту, яку ви припустили.

• Отримайте більше від кешу KV. Ієрархічна та сторінкова увага, кешування префіксів для інтенсивного повторного використання трафіку кодування, політики вигнання, квантований KV. Багато з
нереалізована пропускна здатність живе тут, і ви будете володіти нею.

• Вимкніть холодний запуск. Завантажувачі ваги (O_DIRECT, fastsafetensors-class), кеші JIT і компіляції, шляхи читання спільної файлової системи. КПП 1,5 ТБ не має діла
потрібно година, щоб дістатися до подачі.

• Квантування без зниження якості. INT8/INT4, FP8/FP4 через ваги, активації та KV, виміряні на реальних робочих навантаженнях, а не лише на контрольних тестах.

• Масштабування між вузлами. Топології розподіленого висновку, розміщення з урахуванням мережі, дезагрегація попереднього заповнення/декодування, стратегії контрольних точок, які не є вузькими місцями
на сховищі або з'єднанні.

• Встановити технічний напрямок. Вирішіть, що ми тестуємо, що ми приймаємо, а що ми будуємо самі. Приведіть команду разом із сильними записами та відтворюваністю
експерименти.

Що це для вас?

• Конкурентна заробітна плата (в залежності від рівня досвіду).

• Насолоджуйтесь гнучким, віддаленим глобальним середовищем.

• Співпрацюйте з глобальною командою хмарних експертів і інноваторів, захоплених розширенням меж технологій Kubernetes

• Опціони на капітал.

• Отримуйте швидкий зворотний зв'язок завдяки швидкому робочому процесу. Більшість функціональних проектів завершуються від 1 до 4 тижнів.

• Витрачайте 10% свого робочого часу на особисті проекти або самовдосконалення.

• Бюджет навчання для професійного та особистого розвитку - включаючи доступ до міжнародних конференцій і курсів, які підвищують ваші навички.

• Щорічний хакатон для зародження нових ідей і зміцнення командних зв’язків.

• Бюджет для створення команди та корпоративні заходи для спілкування з колегами.

• Бюджет обладнання, щоб у вас було все необхідне.

• Додаткові дні відпочинку, щоб допомогти підтримувати здоровий баланс між роботою та особистим життям.

Процес найму

• Скринінг виклику з рекрутером…

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/kimchi/senior-ml-engineer-kimchi-inference-stack-optimization-248455)