Ingénieur infrastructure (GPU et calcul)

Qui nous sommes

Lightning AI est la société derrière PyTorch Lightning. Fondée en 2019, nous construisons une plateforme de bout en bout pour le développement, la formation et le déploiement de systèmes d'IA, conçue pour faire passer les idées de la recherche à la production avec moins de frictions.

Grâce à notre fusion avec Voltage Park, un néocloud et AI Factory, Lightning AI combine des logiciels destinés aux développeurs avec un calcul rentable à grande échelle. Les équipes disposent des outils dont elles ont besoin pour l'expérimentation, la formation et l'inférence de production, avec sécurité, observabilité et contrôle intégrés.

Nous servons les chercheurs individuels, les startups et les grandes entreprises. Lightning AI opère à l'échelle mondiale avec des bureaux à New York, San Francisco, Seattle et Londres, et est soutenu par Coatue, Index Ventures, Bain Capital Ventures et Firstminute.

Notre façon de travailler

Les personnes qui prospèrent ici sont des bâtisseurs qui évoluent rapidement, communiquent ouvertement, s'approprient et s'améliorent continuellement, ainsi que leurs équipes et notre entreprise. Voici à quoi cela ressemble en pratique :

• Agir de toute urgence : nous agissons rapidement, prenons des décisions réfléchies et maintenons notre élan. Nous valorisons l’action plutôt que la perfection et apprenons en expédiant.

• S'approprier : nous sommes propriétaires des résultats, pas seulement de notre travail individuel. Nous prenons des décisions qui font avancer l’entreprise et les suivons.

• Communiquer ouvertement : nous communiquons directement, cherchons à comprendre et créons de la clarté pour les autres. Des conversations honnêtes nous aident à avancer plus rapidement ensemble.

• Construisons de grandes équipes : nous donnons l'exemple, responsabilisons les autres et créons des équipes saines où les gens peuvent faire de leur mieux.

• Relevez la barre : nous nous améliorons toujours. Nous apprenons des commentaires, nous nous mettons constamment au défi de grandir et nous nous concentrons sur le travail qui compte le plus.

• Pensez à long terme : nous concevons pour l'avenir. Nous créons des systèmes évolutifs, simplifions la complexité et utilisons l'IA et l'automatisation pour amplifier notre impact.

Ce que nous recherchons

Lightning AI est à la recherche d'un ingénieur GPU et infrastructure informatique senior expérimenté pour rejoindre notre équipe d'ingénierie d'infrastructure.

Dans ce rôle, vous contribuerez à la mise en place, à la validation et à l'exploitation d'une infrastructure de calcul sans système d'exploitation à grande échelle, avec un accent particulier sur les systèmes compatibles GPU. Vous travaillerez à l'intersection du matériel, des systèmes et des logiciels, en possédant les diagnostics et la validation du système, en développant l'automatisation, en améliorant la fiabilité et en vous assurant que les clusters sont prêts à prendre en charge des charges de travail exigeantes d'IA/ML et de HPC.

Vous jouerez un rôle clé dans la qualification du GPU et du système, en exécutant des environnements de validation et des clusters de test, et en améliorant les outils et les flux de travail qui prennent en charge la mise en place de l'infrastructure à grande échelle. Cela inclut la possession et l'évolution de notre pipeline d'images ainsi que les systèmes d'approvisionnement et de validation pour garantir que notre infrastructure est cohérente, performante et fiable dès le premier jour.

Ce rôle peut être entièrement à distance aux États-Unis, ou hybride depuis l'un de nos bureaux (NYC, SF, Seattle ou Londres), avec des équipes et des entreprises hors site occasionnelles. Nous ne sommes pas en mesure de fournir un parrainage de visa pour ce poste pour le moment.

Ce que vous ferez

Mise en place et validation des systèmes

• Posséder et faire évoluer des systèmes pour la gestion, le déploiement et la validation des images sur l'infrastructure nue.

• Exécuter et maintenir les clusters de tests utilisés pour la validation du système, les diagnostics et la mise en place.

• Valider les micrologiciels, les pilotes et les images du système d'exploitation sur les systèmes de calcul et GPU

• Soutenir les efforts de qualification matérielle pour les plates-formes de nouvelle génération

Diagnostics et performances du GPU

• Propre workflows de diagnostic et de validation GPU sur une infrastructure à grande échelle

• Diagnostiquer et résoudre les problèmes complexes concernant les GPU, les pilotes, le système d'exploitation et les couches matérielles.

• Analyser les performances du système et du GPU à l'aide d'outils tels que NVIDIA DCGM.

• Identifier les modèles de défaillance et améliorer la stabilité du système et la couverture de validation

Automatisation et outillage

• Créer et maintenir l'automatisation pour le provisionnement, la validation et la mise en place du système.

• Développer des outils et des flux de travail basés sur Python pour améliorer l'efficacité et réduire les frais opérationnels manuels.

• Améliorer la fiabilité, la répétabilité et l'évolutivité des pipelines d'images et des systèmes de validation

Systèmes et opérations

• Gérer et exploiter des systèmes basés sur Linux dans des environnements de production et de validation.

• Gérer la technologie de virtualisation

• Prise en charge des flux de travail de provisionnement sans système d'exploitation, y compris les systèmes PXE et basés sur l'image.

• Interface avec les systèmes de gestion du matériel (par exemple, IPMI, Redfish) pour la surveillance et le débogage

Collaboration interfonctionnelle

• Collaborer avec les équipes d'infrastructure, de matériel et de centre de données pour la mise en place et la validation du système.

• Collaborer avec les équipes de plateforme et de ML pour garantir que les systèmes répondent aux exigences de charge de travail.

• Contribuer aux meilleures pratiques en matière de provisionnement, de diagnostic et de gestion du cycle de vie de l'infrastructure.

Ce dont vous aurez besoin

Qualifications requises

• Plus de 5 années d'expérience en ingénierie des infrastructures, en ingénierie des systèmes ou dans des rôles connexes

• Solide expérience des systèmes Linux dans les environnements de production

• Expérience pratique avec des systèmes et des outils compatibles GPU tels que NVIDIA DCGM

• Familiarité avec les workflows d'approvisionnement sans système d'exploitation et de mise en place du système.

• Maîtrise de Python ou de langages de script/programmation similaires pour l'automatisation.

• Capacité à déboguer des problèmes complexes concernant le matériel, le système d'exploitation, les GPU et les logiciels système

Expérience idéale

• Expérience avec les interconnexions hautes performances (par exemple, InfiniBand, NVLink)

• Expérience avec les environnements de démarrage PXE, les systèmes LiveCD ou les workflows de provisionnement basés sur des images

• Expérience avec les interfaces de gestion matérielle telles que iDRAC, IPMI ou Redfish

• Expérience en opérations de centre de données, y compris le travail avec du matériel physique

• Expérience dans la prise en charge de charges de travail IA/ML ou HPC à grande échelle

• Expérience avec les cadres de validation GPU ou les processus de qualification matérielle à grande échelle

Rémunération et avantages…

Source : Jobspresso (https://jobspresso.co/job/infrastructure-engineer-gpu-compute/)