Старший инженер-программист, вычислительная платформа

Moonlite предоставляет высокопроизводительную инфраструктуру искусственного интеллекта для организаций, которые проводят интенсивные вычислительные исследования, крупномасштабное обучение моделей и требовательные рабочие нагрузки по обработке данных. Мы предоставляем инфраструктуру, развернутую на наших объектах или совместно расположенную с вами, обеспечивая гибкие вычисления по требованию или зарезервированные, которые кажутся расширением вашего существующего центра обработки данных. Наша команда специалистов по инфраструктуре искусственного интеллекта сочетает производительность «голого железа» с простотой эксплуатации в облаке, что позволяет исследовательским группам и предприятиям развертывать требовательные рабочие нагрузки искусственного интеллекта с надежностью и соответствием требованиям корпоративного уровня.
Ваша роль:
Вы сыграете важную роль в создании нашей вычислительной платформы с ускорением на графическом процессоре, которая обеспечивает распределенное обучение искусственного интеллекта и логические выводы, крупномасштабное моделирование и рабочие нагрузки вычислительных исследований. Работая в тесном сотрудничестве с продуктом, членами вашей команды по платформе и специалистами по инфраструктуре, вы спроектируете и внедрите уровень оркестрации вычислений, который управляет кластерами графических процессоров, выделением ресурсов на «голое железо» и планированием ресурсов, что позволит исследователям и инженерам программно получать доступ к высокопроизводительным вычислительным ресурсам с простотой, сравнимой с облачной.
Должностные обязанности

•
Системы оркестрации вычислений: проектируйте и создавайте масштабируемые платформы оркестрации вычислений, которые управляют кластерами графических процессоров, обеспечивают предоставление серверов без ОС и распределяют ресурсы в совместно расположенных инфраструктурных средах.

•
Управление ресурсами и планирование: реализуйте интеллектуальное планирование рабочих нагрузок, распределение ресурсов и алгоритмы оптимизации, которые максимизируют использование графического процессора, сохраняя при этом гарантии производительности для исследовательских и обучающих рабочих нагрузок.

•
Обеспечение исследовательского кластера: проектируйте и внедряйте системы для предоставления и управления исследовательскими вычислительными средами, включая кластеры Kubernetes и SLURM, обеспечивающие автоматическое развертывание, планирование ресурсов и оркестрацию рабочих нагрузок для распределенного обучения ИИ и рабочих нагрузок HPC.

•
Проектирование платформы графических процессоров. Разработайте возможности платформы для управления конфигурациями графических процессоров NVIDIA последнего поколения (H100, H200, B200, B300), включая управление ресурсами графических процессоров, многопользовательскую изоляцию и интеграцию с системами оркестрации вычислений.

•
Управление жизненным циклом «голого железа». Создайте средства автоматизации и инструменты для полного управления жизненным циклом сервера «голого железа» — от первоначальной подготовки и настройки до текущих операций, обновлений и перераспределения ресурсов.

•
Системы, критически важные для производительности. Оптимизируйте компоненты вычислительной платформы для обеспечения высокой производительности и низкой задержки, гарантируя, что исследовательские рабочие нагрузки достигают эффективности, близкой к «голому железу», в виртуализированных или контейнерных средах.

•
API-интерфейсы платформы и интеграция. Разрабатывайте надежные API-интерфейсы и SDK, которые позволят исследователям программно предоставлять вычислительные ресурсы и управлять ими, легко интегрируясь с существующими рабочими процессами и исследовательской инфраструктурой.

•
Наблюдение и мониторинг. Внедряйте комплексные системы мониторинга и телеметрии для вычислительных ресурсов, обеспечивая видимость виртуализации графических процессоров, производительности рабочих нагрузок и состояния инфраструктуры.

•
Мультитенантность и изоляция: создавайте мультитенантную изоляцию вычислений корпоративного уровня, границы безопасности и квоты ресурсов, которые обеспечивают безопасное совместное использование инфраструктуры графических процессоров между командами и организациями.

Требования

•
Опыт: более 5 лет в разработке программного обеспечения с подтвержденным опытом создания вычислительных платформ, систем оркестрации контейнеров или распределенной вычислительной инфраструктуры для производственных сред.

•
Проектирование вычислительных платформ: большой опыт создания систем оркестрации вычислений, планирования ресурсов или управления рабочей нагрузкой в больших масштабах.

•
Kubernetes и оркестровка контейнеров: хорошее знание архитектуры Kubernetes, концепций оркестрации контейнеров и опыт развертывания рабочих нагрузок в средах Kubernetes. Понимание модулей, развертываний, сервисов и основных операций Kubernetes.

•
Навыки программирования: опыт работы с Go, C/C++, Python или Rust для компонентов, критичных к производительности, высоко ценится.

•
Linux и системное программирование: большой опыт работы с Linux в производственных средах, включая системы программирования, оптимизации производительности и низкоуровневого управления ресурсами.

•
Виртуализация и контейнеры: глубокие знания технологий виртуализации (KVM, Xen), сред выполнения контейнеров и платформ оркестрации.

•
Основы вычислений на графических процессорах: понимание архитектур графических процессоров, программирования CUDA (где и когда это необходимо) и управления ресурсами графических процессоров — или сильная способность к быстрому обучению.

•
Инфраструктура «голого железа»: опыт работы с «голым железом», системами внешнего управления и уровнями аппаратной абстракции.

•
Решение проблем и архитектура: продемонстрированная способность решать сложные проблемы производительности и масштабируемости, сочетая при этом прагматичную доставку с хорошей долгосрочной архитектурой.

•
Автономия и коммуникация: удобная навигация в неоднозначных ситуациях, совместное определение требований и ведение технических обсуждений посредством четкой документации.

•
Стремление к росту: мышление роста с постоянным упором на обучение и профессиональное развитие.

Предпочтительные квалификации

• Фоновое предоставление или управление исследовательскими вычислительными средами (Kubernetes, SLURM или кластеры HPC).

• Опыт работы с технологиями виртуализации графических процессоров (SR-IOV, NVIDIA vGPU) и совместного использования нескольких арендаторов графических процессоров.

• Опыт работы с платформами оркестрации контейнеров с настраиваемым планированием или управлением ресурсами.

• Знание высокопроизводительных сетей для связи с графическим процессором (InfiniBand, RDMA, NVLink, NVSwitch).

• Знакомство с платформами обучения AI/ML (PyTorch, TensorFlow) и требованиями к их инфраструктуре.

• Понимание шаблонов распределенного обучения и координации нескольких узлов графического процессора.

• Опыт создания инфраструктуры для исследовательских институтов, лабораторий или технических вычислительных сред…

Источник: Гималаи (https://himalayas.app/companies/moonlite/jobs/senior-software-engineer-compute-platform-9024339573)