Infrastrukturingenieur (GPU & Computing)

Wer wir sind

Lightning AI ist das Unternehmen hinter PyTorch Lightning. Wir wurden 2019 gegründet und bauen eine End-to-End-Plattform für die Entwicklung, Schulung und Bereitstellung von KI-Systemen auf, die darauf ausgelegt ist, Ideen mit weniger Reibungsverlusten von der Forschung in die Produktion zu bringen.

Durch unsere Fusion mit Voltage Park, einer Neocloud- und KI-Fabrik, kombiniert Lightning AI entwicklerorientierte Software mit kosteneffizienter, groß angelegter Rechenleistung. Teams erhalten die Tools, die sie für Experimente, Schulungen und Produktionsrückschlüsse benötigen, mit integrierter Sicherheit, Beobachtbarkeit und Kontrolle.

Wir betreuen Einzelforscher, Startups und große Unternehmen. Lightning AI ist weltweit mit Niederlassungen in New York City, San Francisco, Seattle und London tätig und wird von Coatue, Index Ventures, Bain Capital Ventures und Firstminute unterstützt.

Die Art und Weise, wie wir arbeiten

Die Menschen, die hier erfolgreich sind, sind Bauunternehmer, die schnell handeln, offen kommunizieren, Verantwortung übernehmen und sich selbst, ihre Teams und unser Unternehmen kontinuierlich verbessern. So sieht das in der Praxis aus:

• Bewegen Sie sich mit Dringlichkeit: Wir bewegen uns schnell, treffen durchdachte Entscheidungen und behalten den Schwung bei. Wir legen Wert auf Taten statt Perfektion und lernen durch Versand.

• Übernehmen Sie Verantwortung: Wir besitzen die Ergebnisse, nicht nur unsere individuelle Arbeit. Wir treffen Entscheidungen, die das Unternehmen voranbringen und umsetzen.

• Offen kommunizieren: Wir kommunizieren direkt, versuchen zu verstehen und schaffen Klarheit für andere. Ehrliche Gespräche helfen uns, gemeinsam schneller voranzukommen.

• Bauen Sie großartige Teams auf: Wir gehen mit gutem Beispiel voran, stärken andere und bilden gesunde Teams, in denen Menschen ihr Bestes geben können.

• Legen Sie die Messlatte höher: Wir verbessern uns ständig. Wir lernen aus Feedback, fordern uns ständig heraus, zu wachsen und konzentrieren uns auf die Arbeit, die am wichtigsten ist.

• Denken Sie langfristig: Wir entwerfen für das, was als nächstes kommt. Wir schaffen skalierbare Systeme, vereinfachen Komplexität und nutzen KI und Automatisierung, um unsere Wirkung zu verstärken.

Was wir suchen

Lightning AI sucht einen erfahrenen Senior GPU & Compute Infrastructure Engineer zur Verstärkung unseres Infrastructure Engineering-Teams.

In dieser Rolle helfen Sie beim Aufbau, der Validierung und dem Betrieb einer groß angelegten Bare-Metal-Recheninfrastruktur mit besonderem Schwerpunkt auf GPU-fähigen Systemen. Sie arbeiten an der Schnittstelle von Hardware, Systemen und Software, sind für die Systemdiagnose und -validierung zuständig, entwickeln Automatisierung, verbessern die Zuverlässigkeit und stellen sicher, dass Cluster für die Unterstützung anspruchsvoller KI/ML- und HPC-Workloads bereit sind.

Sie spielen eine Schlüsselrolle bei der Qualifizierung auf GPU- und Systemebene, beim Betrieb von Validierungsumgebungen und Testclustern sowie bei der Verbesserung der Tools und Arbeitsabläufe, die den Ausbau der Infrastruktur in großem Maßstab unterstützen. Dazu gehört der Besitz und die Weiterentwicklung unserer Image-Pipeline sowie der Bereitstellungs- und Validierungssysteme, um sicherzustellen, dass unsere Infrastruktur vom ersten Tag an konsistent, leistungsstark und zuverlässig ist.

Diese Rolle kann innerhalb der USA vollständig remote oder hybrid von einem unserer Bürostandorte (NYC, SF, Seattle oder London) aus ausgeübt werden, mit gelegentlichen Team- und Unternehmens-Offsites. Derzeit können wir für diese Position kein Visumssponsoring anbieten.

Was Sie tun werden

Systemaufbau und -validierung

• Besitzen und entwickeln Sie Systeme für die Bildverwaltung, -bereitstellung und -validierung in der gesamten Bare-Metal-Infrastruktur

• Führen Sie Testcluster aus und warten Sie sie, die zur Systemvalidierung, -diagnose und -aktivierung verwendet werden

• Validieren Sie Firmware, Treiber und Betriebssystem-Images auf allen Computer- und GPU-fähigen Systemen

• Unterstützen Sie Hardware-Qualifizierungsbemühungen für Plattformen der nächsten Generation

GPU-Diagnose und Leistung

• Eigene GPU-Diagnose- und Validierungs-Workflows für große Infrastrukturen

• Diagnostizieren und lösen Sie komplexe Probleme über GPUs, Treiber, Betriebssysteme und Hardwareebenen hinweg

• Analysieren Sie die System- und GPU-Leistung mit Tools wie NVIDIA DCGM

• Identifizieren Sie Fehlermuster und treiben Sie Verbesserungen der Systemstabilität und Validierungsabdeckung voran

Automatisierung und Werkzeuge

• Erstellen und pflegen Sie eine Automatisierung für Bereitstellung, Validierung und Systemstart

• Entwickeln Sie Python-basierte Tools und Arbeitsabläufe, um die Effizienz zu verbessern und den manuellen Betriebsaufwand zu reduzieren

• Verbessern Sie die Zuverlässigkeit, Wiederholbarkeit und Skalierbarkeit von Bildpipelines und Validierungssystemen

Systeme und Operationen

• Verwalten und betreiben Sie Linux-basierte Systeme in Produktions- und Validierungsumgebungen

• Virtualisierungstechnologie verwalten

• Unterstützung von Bare-Metal-Bereitstellungsworkflows, einschließlich PXE und Image-basierten Systemen

• Schnittstelle zu Hardware-Managementsystemen (z. B. IPMI, Redfish) zur Überwachung und Fehlerbehebung

Funktionsübergreifende Zusammenarbeit

• Arbeiten Sie mit Infrastruktur-, Hardware- und Rechenzentrumsteams bei der Systemeinführung und -validierung zusammen

• Arbeiten Sie mit Plattform- und ML-Teams zusammen, um sicherzustellen, dass die Systeme die Workload-Anforderungen erfüllen

• Tragen Sie zu Best Practices für die Bereitstellung, Diagnose und Lebenszyklusverwaltung der Infrastruktur bei

Was Sie brauchen

Erforderliche Qualifikationen

• Mehr als 5 Jahre Erfahrung in der Infrastrukturtechnik, Systemtechnik oder verwandten Positionen

• Umfangreiche Erfahrung mit Linux-Systemen in Produktionsumgebungen

• Praktische Erfahrung mit GPU-fähigen Systemen und Tools wie NVIDIA DCGM

• Vertrautheit mit Bare-Metal-Bereitstellungs- und Systemstart-Workflows

• Kenntnisse in Python oder ähnlichen Skript-/Programmiersprachen für die Automatisierung

• Fähigkeit, komplexe Probleme bei Hardware, Betriebssystem, GPUs und Systemsoftware zu debuggen

Ideale Erfahrung

• Erfahrung mit Hochleistungsverbindungen (z. B. InfiniBand, NVLink)

• Erfahrung mit PXE-Boot-Umgebungen, LiveCD-Systemen oder imagebasierten Bereitstellungsworkflows

• Erfahrung mit Hardware-Verwaltungsschnittstellen wie iDRAC, IPMI oder Redfish

• Erfahrung im Betrieb von Rechenzentren, einschließlich der Arbeit mit physischer Hardware

• Erfahrung in der Unterstützung von KI/ML- oder HPC-Workloads im großen Maßstab

• Erfahrung mit GPU-Validierungs-Frameworks oder groß angelegten Hardware-Qualifizierungsprozessen

Vergütung und Zusatzleistungen…

Quelle: Jobspresso (https://jobspresso.co/job/infrastructure-engineer-gpu-compute/)