Инженер инфраструктуры (хранилище)

Кто мы

Lightning AI — компания, стоящая за PyTorch Lightning. Основанная в 2019 году, мы создаем комплексную платформу для разработки, обучения и внедрения систем искусственного интеллекта, предназначенную для того, чтобы с меньшими трудностями передавать идеи от исследований к производству.

Благодаря нашему слиянию с компанией Voltance Park, неооблаком и фабрикой искусственного интеллекта, Lightning AI сочетает в себе программное обеспечение, ориентированное на разработчиков, с экономичными крупномасштабными вычислениями. Команды получают инструменты, необходимые для экспериментов, обучения и вывода результатов производства, со встроенными функциями безопасности, наблюдения и контроля.

Мы обслуживаем индивидуальных исследователей, стартапы и крупные предприятия. Lightning AI работает по всему миру, имеет офисы в Нью-Йорке, Сан-Франциско, Сиэтле и Лондоне и поддерживается компаниями Coatue, Index Ventures, Bain Capital Ventures и Firstmine.

Как мы работаем

Люди, которые здесь преуспевают, — это строители, которые быстро двигаются, открыто общаются, берут на себя ответственность и постоянно совершенствуют себя, свои команды и нашу компанию. Вот как это выглядит на практике:

•
Двигайтесь безотлагательно: мы движемся быстро, принимаем обдуманные решения и сохраняем темп. Мы ценим действие выше совершенства и учимся во время доставки.

•
Возьмите на себя ответственность: мы владеем результатами, а не только нашей индивидуальной работой. Мы принимаем решения, которые продвигают компанию вперед и доводим их до конца.

•
Общайтесь открыто: мы общаемся напрямую, стремимся понять и внести ясность для других. Честные разговоры помогают нам двигаться быстрее вместе.

•
Создавайте отличные команды. Мы подаем пример, расширяем возможности других и создаем здоровые команды, в которых люди могут выполнять свою работу наилучшим образом.

•
Поднимите планку: мы постоянно совершенствуемся. Мы учимся на обратной связи, постоянно стремимся к росту и сосредотачиваемся на самой важной работе.

•
Думайте в долгосрочной перспективе: мы проектируем будущее. Мы создаем масштабируемые системы, упрощаем сложность и используем искусственный интеллект и автоматизацию для усиления нашего воздействия.

Что мы ищем
Lightning AI ищет опытного старшего инженера по инфраструктуре хранения данных, который присоединится к нашей команде по проектированию инфраструктуры.
На этой должности вы сосредоточитесь на создании и эксплуатации систем хранения, которые обеспечивают крупномасштабное обучение искусственному интеллекту и машинному обучению, логические выводы и рабочие нагрузки HPC. Вы будете работать на стыке программного обеспечения, оборудования и операций — разрабатывать автоматизацию, повышать надежность и масштабировать распределенные системы хранения данных в нашей базовой инфраструктуре.
Вы поможете владеть плоскостью данных нашей инфраструктуры хранения данных, поддерживая доступ к данным с высокой пропускной способностью и малой задержкой для некоторых из наиболее требовательных рабочих нагрузок искусственного интеллекта. Вы будете играть ключевую роль в управлении и развитии нашего стека хранилища (включая VAST и S3-совместимые системы, такие как Ceph), обеспечивая производительность, надежность и эффективность в масштабе.
Эта роль может быть полностью удаленной в США или гибридной за пределами одного из наших офисов (Нью-Йорк, Сан-Франциско, Сиэтл или Лондон) с периодическими выездами команды и компании. В настоящее время мы не можем предоставить спонсорскую визу для этой должности.
Что ты будешь делать
Системы хранения и инфраструктура

• Эксплуатация и масштабирование распределенных систем хранения, включая VAST и S3-совместимое объектное хранилище (например, Ceph).

• Повышение производительности, надежности и эффективности систем хранения данных, поддерживающих крупномасштабные рабочие нагрузки искусственного интеллекта и машинного обучения.

• Устранение сложных проблем с хранилищем и путями данных на аппаратном и программном уровнях.

• Оптимизация производительности хранилища для поддержки рабочих нагрузок искусственного интеллекта с высокой пропускной способностью и низкой задержкой.

Автоматизация и оснастка

• Создание и поддержание автоматизации для предоставления, управления и мониторинга инфраструктуры хранения данных.

• Разрабатывать инструменты и рабочие процессы на основе Python для сокращения ручных операций.

• Улучшение управления жизненным циклом кластеров хранения данных: от развертывания до обслуживания и масштабирования.

Системы и операции

• Управление и эксплуатация систем на базе Linux в производственных условиях, в том числе в средах с «голым железом».

• Сотрудничайте с командами по инфраструктуре и центрам обработки данных по вопросам установки и обновления оборудования, а также решения проблем.

• Поддержка планирования емкости, отслеживания использования и прогнозирования систем хранения данных.

• Используйте мониторинг и телеметрию для диагностики проблем и повышения производительности и надежности системы.

Межфункциональное сотрудничество

• Тесно сотрудничать с командами по инфраструктурному проектированию, сетевому проектированию и платформе для интеграции системы хранения данных в более широкую платформу.

• Участвовать в обсуждении вопросов развертывания новой инфраструктуры и стратегий масштабирования.

• Помогите определить лучшие практики эксплуатации систем хранения данных в высокопроизводительных вычислительных средах.

Что вам понадобится
Требуемая квалификация

• Опыт работы более 5 лет в области проектирования инфраструктуры, системного проектирования или на смежных должностях.

• Практический опыт эксплуатации распределенных систем хранения (например, VAST, Ceph или аналогичных).

• Большой опыт работы с Linux-системами в производственных средах.

• Знание Python или аналогичных языков сценариев/программирования для автоматизации.

• Опыт работы с «голой» инфраструктурой и аппаратно-ориентированными системами.

• Способность отлаживать сложные проблемы за пределами системы (хранилище, ОС, оборудование, сеть).

• Опыт работы с сетевыми протоколами хранения данных (например, NFS или аналогичными).

• Опыт планирования мощности, мониторинга и настройки производительности.

Идеальный опыт

• Опыт работы с системами хранения VAST в производственных средах.

• Опыт работы с объектным хранилищем, совместимым с S3, в любом масштабе.

• Опыт эксплуатации центров обработки данных, включая работу с физическим оборудованием.

• Знакомство с рабочими нагрузками AI/ML или HPC и требованиями к их хранению.

• Опыт работы в высокопроизводительных распределенных системах с малой задержкой.

• Знакомство с высокопроизводительными технологиями передачи данных (например, RDMA, GPU Direct Storage)

• Опыт поддержки рабочих нагрузок на базе графических процессоров или крупномасштабных вычислительных кластеров.

Компенсация…

Источник: Гималаи (https://himalayas.app/companies/lightning-ai/jobs/infrastructure-engineer-storage?utm_source=api).