Infrastrukturingenieur (Speicher)

Wer wir sind

Lightning AI ist das Unternehmen hinter PyTorch Lightning. Wir wurden 2019 gegründet und bauen eine End-to-End-Plattform für die Entwicklung, Schulung und Bereitstellung von KI-Systemen auf – darauf ausgelegt, Ideen reibungsloser von der Forschung in die Produktion zu bringen.

Durch unsere Fusion mit Voltage Park, einer Neocloud- und KI-Fabrik, kombiniert Lightning AI entwicklerorientierte Software mit kosteneffizienter, groß angelegter Rechenleistung. Teams erhalten die Tools, die sie für Experimente, Schulungen und Produktionsrückschlüsse benötigen, mit integrierter Sicherheit, Beobachtbarkeit und Kontrolle.

Wir betreuen Einzelforscher, Startups und große Unternehmen. Lightning AI ist weltweit mit Niederlassungen in New York City, San Francisco, Seattle und London tätig und wird von Coatue, Index Ventures, Bain Capital Ventures und Firstminute unterstützt.

Die Art und Weise, wie wir arbeiten

Die Menschen, die hier erfolgreich sind, sind Bauunternehmer, die schnell handeln, offen kommunizieren, Verantwortung übernehmen und sich selbst, ihre Teams und unser Unternehmen kontinuierlich verbessern. So sieht das in der Praxis aus:

•
Bewegen Sie sich mit Dringlichkeit: Wir bewegen uns schnell, treffen durchdachte Entscheidungen und behalten den Schwung bei. Wir legen Wert auf Taten statt Perfektion und lernen durch Versand.

•
Übernehmen Sie Verantwortung: Wir besitzen die Ergebnisse, nicht nur unsere individuelle Arbeit. Wir treffen Entscheidungen, die das Unternehmen voranbringen und umsetzen.

•
Offen kommunizieren: Wir kommunizieren direkt, versuchen zu verstehen und schaffen Klarheit für andere. Ehrliche Gespräche helfen uns, gemeinsam schneller voranzukommen.

•
Bauen Sie großartige Teams auf: Wir gehen mit gutem Beispiel voran, stärken andere und bilden gesunde Teams, in denen Menschen ihr Bestes geben können.

•
Legen Sie die Messlatte höher: Wir verbessern uns ständig. Wir lernen aus Feedback, fordern uns ständig heraus, zu wachsen und konzentrieren uns auf die Arbeit, die am wichtigsten ist.

•
Denken Sie langfristig: Wir entwerfen für das, was als nächstes kommt. Wir schaffen skalierbare Systeme, vereinfachen Komplexität und nutzen KI und Automatisierung, um unsere Wirkung zu verstärken.

Was wir suchen
Lightning AI sucht einen erfahrenen Senior Storage Infrastructure Engineer zur Verstärkung unseres Infrastructure Engineering-Teams.
In dieser Rolle konzentrieren Sie sich auf den Aufbau und Betrieb der Speichersysteme, die umfangreiche KI/ML-Trainings-, Inferenz- und HPC-Workloads ermöglichen. Sie arbeiten an der Schnittstelle von Software, Hardware und Betrieb – Sie entwickeln Automatisierung, verbessern die Zuverlässigkeit und skalieren verteilte Speichersysteme in unserer Bare-Metal-Infrastruktur.
Sie helfen dabei, die Datenebene unserer Speicherinfrastruktur zu verwalten und unterstützen den Datenzugriff mit hohem Durchsatz und geringer Latenz für einige der anspruchsvollsten KI-Workloads. Sie spielen eine Schlüsselrolle bei der Verwaltung und Weiterentwicklung unseres Speicherstapels (einschließlich VAST- und S3-kompatibler Systeme wie Ceph) und stellen Leistung, Zuverlässigkeit und Effizienz im großen Maßstab sicher.
Diese Rolle kann innerhalb der USA vollständig remote oder hybrid von einem unserer Bürostandorte (NYC, SF, Seattle oder London) aus ausgeübt werden, mit gelegentlichen Team- und Unternehmens-Offsites. Derzeit können wir für diese Position kein Visumssponsoring anbieten.
Was Sie tun werden
Speichersysteme und Infrastruktur

• Betreiben und Skalieren verteilter Speichersysteme, einschließlich VAST- und S3-kompatibler Objektspeicher (z. B. Ceph)

• Verbessern Sie die Leistung, Zuverlässigkeit und Effizienz von Speichersystemen, die umfangreiche KI/ML-Workloads unterstützen

• Beheben Sie komplexe Speicher- und Datenpfadprobleme auf Hardware- und Softwareebene

• Optimieren Sie die Speicherleistung, um KI-Trainings- und Inferenz-Workloads mit hohem Durchsatz und geringer Latenz zu unterstützen

Automatisierung und Werkzeuge

• Erstellen und pflegen Sie eine Automatisierung für die Bereitstellung, Verwaltung und Überwachung der Speicherinfrastruktur

• Entwickeln Sie Python-basierte Tools und Arbeitsabläufe, um den manuellen Betriebsaufwand zu reduzieren

• Verbessern Sie das Lebenszyklusmanagement von Speicherclustern, von der Bereitstellung bis zur Wartung und Skalierung

Systeme und Betrieb

• Verwalten und betreiben Sie Linux-basierte Systeme in der Produktion, einschließlich Bare-Metal-Umgebungen

• Arbeiten Sie mit Infrastruktur- und Rechenzentrumsteams bei der Hardware-Einführung, Upgrades und Problemlösung zusammen

• Unterstützen Sie die Kapazitätsplanung, Auslastungsverfolgung und Prognose für Speichersysteme

• Nutzen Sie Überwachung und Telemetrie, um Probleme zu diagnostizieren und die Systemleistung und -zuverlässigkeit zu verbessern

Funktionsübergreifende Zusammenarbeit

• Arbeiten Sie eng mit den Teams für Infrastrukturtechnik, Netzwerktechnik und Plattform zusammen, um Speicher in die breitere Plattform zu integrieren

• Beteiligen Sie sich an Designdiskussionen rund um neue Infrastrukturbereitstellungen und Skalierungsstrategien

• Helfen Sie dabei, Best Practices für den Betrieb von Speichersystemen in Hochleistungsrechnerumgebungen zu definieren

Was Sie brauchen
Erforderliche Qualifikationen

• Mehr als 5 Jahre Erfahrung in der Infrastrukturtechnik, Systemtechnik oder verwandten Positionen

• Praktische Erfahrung im Betrieb verteilter Speichersysteme (z. B. VAST, Ceph oder ähnliches)

• Umfangreiche Erfahrung mit Linux-Systemen in Produktionsumgebungen

• Kenntnisse in Python oder ähnlichen Skript-/Programmiersprachen für die Automatisierung

• Erfahrung im Umgang mit Bare-Metal-Infrastrukturen und hardwareorientierten Systemen

• Fähigkeit, komplexe Probleme über Systemgrenzen hinweg zu debuggen (Speicher, Betriebssystem, Hardware, Netzwerk)

• Erfahrung mit Speichernetzwerkprotokollen (z. B. NFS oder ähnliches)

• Erfahrung mit Kapazitätsplanung, Überwachung und Leistungsoptimierung

Ideale Erfahrung

• Erfahrung mit VAST-Speichersystemen in Produktionsumgebungen

• Erleben Sie den Betrieb von S3-kompatiblem Objektspeicher im großen Maßstab

• Erfahrung im Betrieb von Rechenzentren, einschließlich der Arbeit mit physischer Hardware

• Vertrautheit mit AI/ML- oder HPC-Workloads und deren Speicheranforderungen

• Hintergrundinformationen zu verteilten Systemen mit hoher Leistung oder geringer Latenz

• Vertrautheit mit leistungsstarken Datenübertragungstechnologien (z. B. RDMA, GPU Direct Storage)

• Erfahrung in der Unterstützung GPU-basierter Workloads oder großer Rechencluster

Entschädigung…

Quelle: Himalaya (https://himalayas.app/companies/lightning-ai/jobs/infrastructure-engineer-storage?utm_source=api)