Inżynier infrastruktury (magazynowanie)

Kim jesteśmy

Lightning AI to firma stojąca za PyTorch Lightning. Założona w 2019 roku, budujemy kompleksową platformę do opracowywania, szkolenia i wdrażania systemów sztucznej inteligencji — zaprojektowaną tak, aby przenosić pomysły z badań do produkcji przy mniejszym tarciu.

Dzięki naszej fuzji zvoltage Park, neocloud i AI Factory, Lightning AI łączy oprogramowanie przeznaczone dla programistów z ekonomicznymi obliczeniami na dużą skalę. Zespoły otrzymują narzędzia potrzebne do eksperymentowania, szkolenia i wnioskowania produkcyjnego, z wbudowanymi zabezpieczeniami, obserwowalnością i kontrolą.

Obsługujemy indywidualnych badaczy, startupy i duże przedsiębiorstwa. Lightning AI działa na całym świecie z biurami w Nowym Jorku, San Francisco, Seattle i Londynie i jest wspierana przez Coatue, Index Ventures, Bain Capital Ventures i Firstminut.

Sposób, w jaki pracujemy

Ludzie, którzy tutaj prosperują, to budowniczowie, którzy działają szybko, komunikują się otwarcie, przejmują odpowiedzialność i stale doskonalą siebie, swoje zespoły i naszą firmę. Oto jak to wygląda w praktyce:

•
Działaj pilnie: działamy szybko, podejmujemy przemyślane decyzje i utrzymujemy dynamikę. Przedkładamy działanie nad perfekcję i uczymy się poprzez wysyłkę.

•
Przejmij odpowiedzialność: Jesteśmy właścicielami wyników, a nie tylko naszej indywidualnej pracy. Podejmujemy decyzje, które popychają firmę do przodu i które realizujemy.

•
Komunikuj się otwarcie: Komunikujemy się bezpośrednio, staramy się zrozumieć i zapewnić jasność innym. Szczere rozmowy pomagają nam działać szybciej.

•
Buduj świetne zespoły: Dajemy przykład, wzmacniamy innych i tworzymy zdrowe zespoły, w których ludzie mogą wykonywać swoją pracę najlepiej, jak potrafią.

•
Podnieś poprzeczkę: Zawsze się doskonalimy. Uczymy się na podstawie informacji zwrotnych, konsekwentnie stawiamy sobie wyzwania, aby się rozwijać i koncentrujemy się na pracy, która jest najważniejsza.

•
Myśl długoterminowo: projektujemy z myślą o przyszłości. Tworzymy skalowalne systemy, upraszczamy złożoność i wykorzystujemy sztuczną inteligencję i automatyzację, aby zwiększyć nasz wpływ.

Czego szukamy
Lightning AI poszukuje doświadczonego starszego inżyniera infrastruktury magazynowej, który dołączy do naszego zespołu inżynierii infrastruktury.
Na tym stanowisku będziesz skupiać się na budowaniu i obsłudze systemów pamięci masowej, które obsługują szkolenia, wnioskowanie i obliczenia AI/ML na dużą skalę oraz obciążenia HPC. Będziesz pracować na skrzyżowaniu oprogramowania, sprzętu i operacji — opracowując automatyzację, poprawiając niezawodność i skalując rozproszone systemy pamięci masowej w całej naszej infrastrukturze typu bare-metal.
Pomożesz w posiadaniu płaszczyzny danych naszej infrastruktury pamięci masowej, obsługującej dostęp do danych o wysokiej przepustowości i małych opóźnieniach w przypadku niektórych z najbardziej wymagających obciążeń AI. Będziesz odgrywać kluczową rolę w zarządzaniu i rozwijaniu naszego stosu pamięci masowej (w tym systemów zgodnych z VAST i S3, takich jak Ceph), zapewniając wydajność, niezawodność i efektywność na dużą skalę.
Stanowisko to może być całkowicie zdalne w USA lub hybrydowe z jednym z naszych centrów biurowych (Nowy Jork, SF, Seattle lub Londyn), z okazjonalnymi wyjazdami zespołu i firmy. W tej chwili nie jesteśmy w stanie zapewnić sponsoringu wizowego dla tego stanowiska.
Co zrobisz
Systemy i infrastruktura pamięci masowej

• Obsługa i skalowanie rozproszonych systemów pamięci masowej, w tym obiektowej pamięci masowej zgodnej z VAST i S3 (np. Ceph)

• Popraw wydajność, niezawodność i efektywność systemów pamięci masowej obsługujących obciążenia AI/ML na dużą skalę

• Rozwiązywanie złożonych problemów z pamięcią masową i ścieżką danych w warstwach sprzętu i oprogramowania

• Optymalizuj wydajność pamięci masowej, aby obsługiwać obciążenia szkoleniowe i wnioskowania AI o dużej przepustowości i małych opóźnieniach

Automatyka i oprzyrządowanie

• Twórz i utrzymuj automatyzację w zakresie udostępniania, zarządzania i monitorowania infrastruktury pamięci masowej

• Opracuj narzędzia i przepływy pracy oparte na języku Python, aby zmniejszyć obciążenie związane z ręczną obsługą operacyjną

• Usprawnij zarządzanie cyklem życia klastrów pamięci masowej, od wdrożenia, poprzez konserwację i skalowanie

Systemy i operacje

• Zarządzanie i obsługa systemów opartych na systemie Linux w środowisku produkcyjnym, w tym w środowiskach bare-metal

• Współpracuj z zespołami zajmującymi się infrastrukturą i centrami danych w zakresie wdrażania sprzętu, aktualizacji i rozwiązywania problemów

• Wsparcie planowania pojemności, śledzenia wykorzystania i prognozowania systemów pamięci masowej

• Wykorzystanie monitorowania i telemetrii do diagnozowania problemów oraz poprawy wydajności i niezawodności systemu

Współpraca międzyfunkcyjna

• Ściśle współpracuj z zespołami inżynierii infrastruktury, inżynierii sieci i platform, aby zintegrować pamięć masową z szerszą platformą

• Udział w projektowaniu dyskusji na temat wdrożeń nowej infrastruktury i strategii skalowania

• Pomoc w określeniu najlepszych praktyk w zakresie obsługi systemów pamięci masowej w środowiskach obliczeniowych o wysokiej wydajności

Czego będziesz potrzebować
Wymagane kwalifikacje

• Ponad 5 lat doświadczenia w inżynierii infrastruktury, inżynierii systemów lub na stanowiskach pokrewnych

• Praktyczne doświadczenie w obsłudze rozproszonych systemów pamięci masowej (np. VAST, Ceph lub podobnych)

• Duże doświadczenie w systemach Linux w środowiskach produkcyjnych

• Biegła znajomość Pythona lub podobnych języków skryptowych/programowania na potrzeby automatyzacji

• Doświadczenie w pracy z infrastrukturą bare-metal i systemami zorientowanymi na sprzęt

• Możliwość debugowania złożonych problemów poza granicami systemu (pamięć masowa, system operacyjny, sprzęt, sieć)

• Doświadczenie z protokołami sieci pamięci masowej (np. NFS lub podobnymi)

• Doświadczenie w planowaniu wydajności, monitorowaniu i dostrajaniu wydajności

Idealne doświadczenie

• Doświadczenie z systemami przechowywania VAST w środowiskach produkcyjnych

• Doświadczenie w obsłudze obiektowej pamięci masowej zgodnej z S3 na dużą skalę

• Doświadczenie w obsłudze centrum danych, w tym w pracy ze sprzętem fizycznym

• Znajomość obciążeń AI/ML lub HPC i ich wymagań dotyczących przechowywania

• Znajomość systemów rozproszonych o wysokiej wydajności lub małych opóźnieniach

• Znajomość technologii transferu danych o wysokiej wydajności (np. RDMA, GPU Direct Storage)

• Doświadczenie w obsłudze obciążeń opartych na procesorach graficznych lub klastrach obliczeniowych na dużą skalę

Kompensacja…

Źródło: Himalaje (https://himalayas.app/companies/lightning-ai/jobs/infrastructure-engineer-storage?utm_source=api)