Інженер інфраструктури (GPU & Compute)

Хто ми

Lightning AI — компанія, що стоїть за PyTorch Lightning. Заснована в 2019 році, ми створюємо наскрізну платформу для розробки, навчання та розгортання систем штучного інтелекту, призначену для перенесення ідей від досліджень до виробництва з меншими труднощами.

Завдяки нашому злиттю з компанією Voltage Park, фабрикою неохмарних технологій і штучного інтелекту, Lightning AI поєднує першочергове програмне забезпечення для розробників із економічно ефективними масштабними обчисленнями. Команди отримують інструменти, необхідні для експериментів, навчання та виробничих висновків із вбудованою безпекою, можливістю спостереження та контролем.

Ми обслуговуємо індивідуальних дослідників, стартапи та великі підприємства. Lightning AI працює по всьому світу з офісами в Нью-Йорку, Сан-Франциско, Сіетлі та Лондоні за підтримки Coatue, Index Ventures, Bain Capital Ventures і Firstminute.

Те, як ми працюємо

Люди, які тут процвітають, — це будівельники, які швидко рухаються, відкрито спілкуються, беруть на себе відповідальність і постійно вдосконалюють себе, свої команди та нашу компанію. Ось як це виглядає на практиці:

• Терміново рухайтеся: ми діємо швидко, приймаємо продумані рішення та зберігаємо імпульс. Ми цінуємо дію, а не досконалість, і навчаємось шляхом доставки.

• Візьміть на себе відповідальність: ми володіємо результатами, а не лише нашою індивідуальною роботою. Ми приймаємо рішення, які рухають компанію вперед і виконуємо їх.

• Спілкуйтеся відкрито: ми спілкуємося безпосередньо, прагнемо зрозуміти та прояснити іншим. Щирі розмови допомагають нам рухатися швидше разом.

• Створюйте чудові команди: ми показуємо приклад, надаємо іншим можливість і створюємо здорові команди, де люди можуть працювати якнайкраще.

• Підніміть планку: ми постійно вдосконалюємося. Ми вчимося на основі зворотного зв’язку, постійно намагаємося розвиватися та зосереджуємось на найважливішій роботі.

• Думайте довгостроково: ми розробляємо для того, що буде далі. Ми створюємо масштабовані системи, спрощуємо складність і використовуємо штучний інтелект і автоматизацію для посилення нашого впливу.

Що ми шукаємо

Lightning AI шукає досвідченого старшого інженера з GPU та обчислювальної інфраструктури, який приєднається до нашої команди з розробки інфраструктури.

На цій посаді ви допомагатимете розробляти, перевіряти та керувати великомасштабною обчислювальною інфраструктурою на голому металі, приділяючи особливу увагу системам із підтримкою GPU. Ви працюватимете на стику апаратного, системного та програмного забезпечення, володіючи системною діагностикою та перевіркою, розробляючи автоматизацію, покращуючи надійність і забезпечуючи готовність кластерів підтримувати вимогливі робочі навантаження AI/ML і HPC.

Ви відіграватимете ключову роль у кваліфікації графічного процесора та системного рівня, керуючи середовищами перевірки та тестовими кластерами, а також удосконалюючи інструменти та робочі процеси, які підтримують масштабне розгортання інфраструктури. Це включає володіння та розвиток нашого конвеєра зображень разом із системами підготовки та перевірки, щоб забезпечити послідовність, продуктивність і надійність нашої інфраструктури з першого дня.

Ця посада може бути повністю віддаленою в межах США або гібридною з одного з наших офісних центрів (Нью-Йорк, Сан-Франциско, Сіетл або Лондон), іноді з командою та компанією за межами офісу. На даний момент ми не можемо надати візове спонсорство для цієї посади.

Що ви будете робити

Виведення та перевірка систем

• Володіти та розвивати системи для керування зображеннями, розгортання та перевірки в інфраструктурі «голого металу».

• Запуск і підтримка тестових кластерів, які використовуються для перевірки системи, діагностики та відновлення

• Перевірте мікропрограмне забезпечення, драйвери та образи ОС для обчислювальних систем і систем із підтримкою GPU

• Підтримка робіт з кваліфікації апаратного забезпечення для платформ нового покоління

Діагностика та продуктивність GPU

• Власна діагностика GPU та робочі процеси перевірки в масштабній інфраструктурі

• Діагностика та вирішення складних проблем на рівнях GPU, драйверів, ОС і апаратного забезпечення

• Аналізуйте продуктивність системи та GPU за допомогою таких інструментів, як NVIDIA DCGM

• Визначати шаблони збоїв і сприяти покращенню стабільності системи та охоплення перевірки

Автоматизація та оснащення

• Створення та підтримка автоматизації для забезпечення, перевірки та відновлення системи

• Розробляйте інструменти та робочі процеси на основі Python, щоб підвищити ефективність і зменшити накладні витрати на виконання ручних операцій

• Підвищення надійності, повторюваності та масштабованості конвеєрів зображень і систем перевірки

Системи та операції

• Управління та експлуатація систем на базі Linux у середовищі виробництва та перевірки

• Керувати технологією віртуалізації

• Підтримуйте робочі процеси забезпечення на «голому металі», включаючи PXE та системи на основі зображень

• Інтерфейс із системами управління обладнанням (наприклад, IPMI, Redfish) для моніторингу та налагодження

Міжфункціональна співпраця

• Співробітництво з командами інфраструктури, апаратного забезпечення та центрів обробки даних у підготовці та перевірці системи

• Співпрацюйте з командами платформи та ML, щоб переконатися, що системи відповідають вимогам робочого навантаження

• Сприяти найкращим практикам забезпечення, діагностики та управління життєвим циклом інфраструктури

Що вам знадобиться

Необхідна кваліфікація

• 5+ років досвіду в інженерії інфраструктури, системної інженерії або на відповідних посадах

• Великий досвід роботи з системами Linux у виробничих середовищах

• Практичний досвід роботи з системами та інструментами з підтримкою GPU, наприклад NVIDIA DCGM

• Знайомство з ініціалізаціями на «голому металі» та робочими процесами відновлення системи

• Знання Python або подібних мов сценаріїв/програмування для автоматизації

• Можливість налагоджувати складні проблеми апаратного забезпечення, ОС, графічних процесорів і системного програмного забезпечення

Ідеальний досвід

• Досвід роботи з високопродуктивними інтерконнектами (наприклад, InfiniBand, NVLink)

• Досвід роботи з середовищами завантаження PXE, системами LiveCD або робочими процесами надання на основі зображень

• Досвід роботи з інтерфейсами керування обладнанням, такими як iDRAC, IPMI або Redfish

• Досвід роботи в ЦОД, включаючи роботу з фізичним обладнанням

• Досвід підтримки масштабних робочих навантажень AI/ML або HPC

• Досвід роботи зі структурами перевірки GPU або широкомасштабними процесами кваліфікації обладнання

Компенсації та пільги…

Джерело: Jobspresso (https://jobspresso.co/job/infrastructure-engineer-gpu-compute/)