Инженер инфраструктуры (графический процессор и вычисления)

Кто мы

Lightning AI — компания, стоящая за PyTorch Lightning. Основанная в 2019 году, мы создаем комплексную платформу для разработки, обучения и внедрения систем искусственного интеллекта, предназначенную для того, чтобы с меньшими трудностями воплощать идеи от исследований до производства.

Благодаря нашему слиянию с компанией Voltance Park, неооблаком и фабрикой искусственного интеллекта, Lightning AI сочетает в себе программное обеспечение, ориентированное на разработчиков, с экономичными крупномасштабными вычислениями. Команды получают инструменты, необходимые для экспериментов, обучения и вывода результатов производства, со встроенными функциями безопасности, наблюдения и контроля.

Мы обслуживаем индивидуальных исследователей, стартапы и крупные предприятия. Lightning AI работает по всему миру, имеет офисы в Нью-Йорке, Сан-Франциско, Сиэтле и Лондоне и поддерживается компаниями Coatue, Index Ventures, Bain Capital Ventures и Firstmine.

Как мы работаем

Люди, которые здесь преуспевают, — это строители, которые быстро двигаются, открыто общаются, берут на себя ответственность и постоянно совершенствуют себя, свои команды и нашу компанию. Вот как это выглядит на практике:

• Двигайтесь безотлагательно: мы действуем быстро, принимаем обдуманные решения и сохраняем темп. Мы ценим действие выше совершенства и учимся во время доставки.

• Возьмите на себя ответственность: мы владеем результатами, а не только нашей индивидуальной работой. Мы принимаем решения, которые продвигают компанию вперед и доводим их до конца.

• Общайтесь открыто: мы общаемся напрямую, стремимся понять и внести ясность для других. Честные разговоры помогают нам двигаться быстрее вместе.

• Создавайте отличные команды. Мы подаем пример, расширяем возможности других и создаем здоровые команды, в которых люди могут выполнять свою работу наилучшим образом.

• Поднимите планку: мы постоянно совершенствуемся. Мы учимся на обратной связи, постоянно стремимся к росту и сосредотачиваемся на самой важной работе.

• Думайте о долгосрочной перспективе: мы проектируем будущее. Мы создаем масштабируемые системы, упрощаем сложность и используем искусственный интеллект и автоматизацию для усиления нашего воздействия.

Что мы ищем

Lightning AI ищет опытного старшего инженера по графическим процессорам и вычислительной инфраструктуре, который присоединится к нашей команде по проектированию инфраструктуры.

В этой роли вы будете помогать создавать, проверять и эксплуатировать крупномасштабную вычислительную инфраструктуру без ОС, уделяя особое внимание системам с поддержкой графических процессоров. Вы будете работать на стыке аппаратного, системного и программного обеспечения, владея диагностикой и проверкой систем, разрабатывая автоматизацию, повышая надежность и обеспечивая готовность кластеров к поддержке требовательных рабочих нагрузок AI/ML и HPC.

Вы будете играть ключевую роль в квалификации графического процессора и системы, запуске проверочных сред и тестовых кластеров, а также улучшении инструментов и рабочих процессов, которые поддерживают развертывание инфраструктуры в масштабе. Это включает в себя владение и развитие нашего конвейера образов, а также систем обеспечения и проверки, чтобы гарантировать согласованность, производительность и надежность нашей инфраструктуры с первого дня.

Эта роль может быть полностью удаленной в США или гибридной за пределами одного из наших офисов (Нью-Йорк, Сан-Франциско, Сиэтл или Лондон) с периодическими выездами команды и компании. В настоящее время мы не можем предоставить спонсорскую визу для этой должности.

Что вы будете делать

Настройка и проверка систем

• Владение и развитие систем управления образами, их развертывания и проверки в рамках базовой инфраструктуры.

• Запускайте и обслуживайте тестовые кластеры, используемые для проверки, диагностики и запуска системы.

• Проверка встроенного ПО, драйверов и образов ОС в вычислительных системах и системах с поддержкой графического процессора.

• Поддержка усилий по сертификации оборудования для платформ следующего поколения.

Диагностика и производительность графического процессора

• Собственные рабочие процессы диагностики и проверки графического процессора в крупномасштабной инфраструктуре.

• Диагностика и решение сложных проблем на уровне графических процессоров, драйверов, ОС и оборудования.

• Анализируйте производительность системы и графического процессора с помощью таких инструментов, как NVIDIA DCGM.

• Выявлять закономерности сбоев и повышать стабильность системы и охват проверки.

Автоматизация и оснастка

• Создавать и поддерживать автоматизацию подготовки, проверки и запуска системы.

• Разрабатывать инструменты и рабочие процессы на основе Python для повышения эффективности и сокращения ручных операций.

• Повышение надежности, повторяемости и масштабируемости конвейеров изображений и систем проверки.

Системы и операции

• Управление и эксплуатация систем на базе Linux в производственных и проверочных средах.

• Управление технологией виртуализации

• Поддержка рабочих процессов подготовки к использованию «голого железа», включая PXE и системы на основе образов.

• Интерфейс с системами управления оборудованием (например, IPMI, Redfish) для мониторинга и отладки.

Межфункциональное сотрудничество

• Сотрудничайте с командами по инфраструктуре, оборудованию и центрам обработки данных при запуске и проверке системы.

• Сотрудничать с командами платформы и машинного обучения, чтобы обеспечить соответствие систем требованиям рабочих нагрузок.

• Вносить вклад в передовой опыт предоставления услуг, диагностики и управления жизненным циклом инфраструктуры.

Что вам понадобится

Требуемая квалификация

• Опыт работы более 5 лет в области проектирования инфраструктуры, системного проектирования или на смежных должностях.

• Большой опыт работы с Linux-системами в производственных средах.

• Практический опыт работы с системами и инструментами с поддержкой графических процессоров, такими как NVIDIA DCGM.

• Знакомство с рабочими процессами подготовки «голого железа» и запуска системы.

• Знание Python или аналогичных языков сценариев/программирования для автоматизации.

• Способность отлаживать сложные проблемы с оборудованием, ОС, графическими процессорами и системным программным обеспечением.

Идеальный опыт

• Опыт работы с высокопроизводительными межсоединениями (например, InfiniBand, NVLink)

• Опыт работы со средами загрузки PXE, системами LiveCD или рабочими процессами подготовки на основе образов.

• Опыт работы с интерфейсами управления оборудованием, такими как iDRAC, IPMI или Redfish.

• Опыт эксплуатации центров обработки данных, включая работу с физическим оборудованием.

• Опыт поддержки рабочих нагрузок AI/ML или HPC в больших масштабах.

• Опыт работы со средами проверки графических процессоров или крупномасштабными процессами квалификации оборудования.

Компенсации и льготы…

Источник: Jobspresso (https://jobspresso.co/job/infrastructure-engineer-gpu-compute/).