Инженер по инфраструктуре искусственного интеллекта, обслуживающая платформа

В качестве инженера-программиста в команде ML Infrastructure вы будете проектировать и создавать платформы для масштабируемого, надежного и эффективного обслуживания LLM. Наша платформа поддерживает передовые исследовательские и производственные системы, поддерживая как внутренние, так и внешние варианты использования в различных средах.

Идеальный кандидат сочетает в себе сильные основы машинного обучения с глубоким опытом проектирования серверных систем. Вы будете работать в среде тесного сотрудничества, объединяя исследования и разработки, чтобы обеспечить бесперебойную работу наших клиентов и ускорить внедрение инноваций во всей компании.

Вы будете:

• Создавайте и обслуживайте отказоустойчивые высокопроизводительные системы для обслуживания LLM и других моделей в больших масштабах.

• Создайте внутреннюю платформу для расширения возможностей обнаружения возможностей LLM.

• Сотрудничать с исследователями и инженерами для интеграции и оптимизации моделей для производственных и исследовательских целей.

• Проводить обзоры архитектуры и дизайна для внедрения лучших практик в проектировании и масштабировании систем.

• Разработать решения для мониторинга и наблюдения для обеспечения работоспособности и производительности системы.

• Комплексное руководство проектами, от сбора требований до реализации, в кросс-функциональной среде.

В идеале у вас должно быть:

• Более 4 лет опыта создания крупномасштабных высокопроизводительных серверных систем.

• Сильные навыки программирования на одном или нескольких языках (например, Python, Go, Rust, C++).

• Опыт работы с основами обслуживания и маршрутизации LLM (например, ограничение скорости, потоковая передача токенов, балансировка нагрузки, бюджеты и т. д.)

• Опыт работы с возможностями и концепциями LLM, такими как рассуждения, вызов инструментов, шаблоны подсказок и т. д.

• Опыт работы с контейнерами и инструментами оркестрации (например, Docker, Kubernetes).

• Знакомство с облачной инфраструктурой (AWS, GCP) и инфраструктурой как кодом (например, Terraform).

• Подтвержденная способность решать сложные проблемы и работать независимо в быстро меняющихся условиях.

Приятно иметь:

• Опыт работы с современными платформами обслуживания LLM, такими как vLLM, SGLang, TensorRT-LLM или вывод генерации текста.

ПОЖАЛУЙСТА, ОБРАТИТЕ ВНИМАНИЕ: наша политика требует 90-дневного периода ожидания перед повторным рассмотрением кандидатов на ту же должность. Это позволяет нам обеспечить справедливую и тщательную оценку всех кандидатов.

О нас:

Наша миссия в Scale — разрабатывать надежные системы искусственного интеллекта для принятия самых важных решений в мире. Наши продукты предоставляют высококачественные данные и комплексные технологии, которые лежат в основе ведущих мировых моделей, а также помогают предприятиям и правительствам создавать, развертывать и контролировать приложения искусственного интеллекта, которые приносят реальную пользу. Мы тесно сотрудничаем с такими лидерами отрасли, как Meta, Ernst & Young, Mayo Clinic, Time Inc., правительством Катара и правительственными учреждениями США, включая армию и военно-воздушные силы. Мы расширяем нашу команду, чтобы ускорить разработку приложений искусственного интеллекта.

Мы считаем, что каждый должен иметь возможность полностью посвятить себя работе, поэтому мы гордимся тем, что являемся инклюзивным и равным местом работы. Мы стремимся обеспечить равные возможности трудоустройства независимо от расы, цвета кожи, происхождения, религии, пола, национального происхождения, сексуальной ориентации, возраста, гражданства, семейного положения, статуса инвалидности, гендерной идентичности или статуса ветерана.

Мы стремимся работать и предоставлять разумные условия заявителям с физическими и умственными недостатками. Если вам нужна помощь и/или разумное приспособление при подаче заявления или процессе приема на работу из-за инвалидности, свяжитесь с нами по адресу ----- Дополнительную информацию можно найти на плакате Министерства труда США «Знай свои права».

Мы соблюдаем положение Министерства труда США о прозрачности оплаты труда.

ПОЖАЛУЙСТА, ОБРАТИТЕ ВНИМАНИЕ: мы собираем, сохраняем и используем персональные данные для наших профессиональных деловых целей, включая уведомление вас о вакансиях, которые могут вас заинтересовать, и обмен ими с нашими филиалами. Мы ограничиваем собираемые нами персональные данные теми, которые, по нашему мнению, подходят и необходимы для удовлетворения потребностей заявителей, предоставления наших услуг и соблюдения действующего законодательства. Любая информация, которую мы собираем в связи с вашим заявлением, будет обрабатываться в соответствии с нашими внутренними политиками и программами, предназначенными для защиты персональных данных. Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности для получения дополнительной информации.

Найдите работу в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/scaleai/ai-infrastructure-engineer-serving-platform-london-413534).