Инженер-программист, вывод

Вы сами будете знать, как обслуживаются модели Luma — интеграция новых архитектур в механизм вывода, масштабирование развертываний на тысячах компьютеров и загрузка дорогостоящих парков графических процессоров при соблюдении внутренних SLO.
Это крупномасштабная работа систем вывода: планирование, управление автопарком, конвейеры развертывания и надежность между кластерами и поставщиками оборудования. Он подойдет сильному системному инженеру, умеющему работать с моделями и Kubernetes в любом масштабе. Если вам нужно чистое моделирование, а не системы, которые запускают модели, это, безусловно, системная сторона.
Что вам будет принадлежать

• Внедряйте новые архитектуры моделей, интегрируя их в механизм вывода.

• Совместная работа в области исследований, разработок и инфраструктуры для оптимизации эффективности моделей и их развертывания.

• Создайте внутренние инструменты для измерения, профилирования и отслеживания срока службы логических выводов и рабочих процессов.

• Автоматизируйте, тестируйте и обслуживайте службы вывода для максимального обеспечения бесперебойной работы и надежности.

• Управляйте и оптимизируйте рабочие нагрузки вывода между кластерами и поставщиками оборудования, а также масштабируйте развертывания на тысячах компьютеров.

• Создавайте системы планирования, которые оптимально используют дорогостоящие ресурсы графического процессора, соблюдая при этом требования SLO, и поддерживают CI/CD для контрольных точек модели и SDK.

Первые 90 дней
Один из способов развития первых 90-х.

• Дни 1–30. Погружение и диагностика: изучите стек выводов, парки машин и места, где надежность или эффективность использования снижаются.

• Дни 30–60 — Отгрузка и проверка: интеграция модели или инструментов/графика поставки, которые улучшают время безотказной работы или использование графического процессора.

• Дни 60–90 — Масштабируйте и систематизируйте: укрепите конвейеры развертывания и планирование между кластерами и поставщиками.

Что вы приносите

• Уверенное знание Python и системной архитектуры.

• Опыт развертывания моделей с помощью PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM или аналогичных.

• Опыт работы с очередями, планированием, контролем трафика и управлением автопарком в больших масштабах.

• Опыт работы с Linux, Docker и Kubernetes, а также с оркестровкой, развертыванием и планированием.

• Знакомство с Redis и S3-совместимым хранилищем.

Приятно иметь

• Современные сетевые стеки, включая RDMA (RoCE, InfiniBand, NVLink).

• Высокопроизводительные крупномасштабные системы машинного обучения (более 100 графических процессоров).

• CUDA и FFmpeg или обработка мультимедиа.

О Luma: Миссия Luma — создать единый общий интеллект, который сможет генерировать, понимать и действовать в физическом мире. Мы считаем, что мультимодальность имеет решающее значение для интеллекта: следующий шаг за пределами языковых моделей — это видение. Luma — работодатель, предоставляющий равные возможности.
Найдите работу в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/lumaai/software-engineer-inference-london-107112).