Ingeniero de Infraestructura (Almacenamiento)

Quienes somos

Lightning AI es la empresa detrás de PyTorch Lightning. Fundada en 2019, construimos una plataforma de extremo a extremo para desarrollar, capacitar e implementar sistemas de IA, diseñada para llevar ideas de la investigación a la producción con menos fricción.

A través de nuestra fusión con Voltage Park, una neonube y AI Factory, Lightning AI combina software prioritario para el desarrollador con computación rentable y a gran escala. Los equipos obtienen las herramientas que necesitan para la experimentación, la capacitación y la inferencia de producción, con seguridad, observabilidad y control integrados.

Atendemos a investigadores individuales, nuevas empresas y grandes empresas. Lightning AI opera a nivel mundial con oficinas en la ciudad de Nueva York, San Francisco, Seattle y Londres, y cuenta con el respaldo de Coatue, Index Ventures, Bain Capital Ventures y First Minute.

La forma en que trabajamos

Las personas que prosperan aquí son constructores que se mueven rápido, se comunican abiertamente, se responsabilizan y mejoran continuamente a sí mismos, a sus equipos y a nuestra empresa. Así es como se ve eso en la práctica:

•
Actuar con urgencia: actuamos rápidamente, tomamos decisiones bien pensadas y mantenemos el impulso. Valoramos la acción sobre la perfección y aprendemos mediante el envío.

•
Tomar posesión: Somos dueños de los resultados, no solo de nuestro trabajo individual. Tomamos decisiones que hacen avanzar a la empresa y la llevan a cabo.

•
Comunicarnos abiertamente: nos comunicamos directamente, buscamos comprender y crear claridad para los demás. Las conversaciones honestas nos ayudan a avanzar juntos más rápido.

•
Construimos grandes equipos: lideramos con el ejemplo, empoderamos a otros y creamos equipos saludables donde las personas pueden hacer su mejor trabajo.

•
Elevar el listón: siempre estamos mejorando. Aprendemos de los comentarios, nos desafiamos constantemente a crecer y nos concentramos en el trabajo que más importa.

•
Piense a largo plazo: diseñamos para el futuro. Creamos sistemas escalables, simplificamos la complejidad y utilizamos inteligencia artificial y automatización para amplificar nuestro impacto.

Lo que estamos buscando
Lightning AI busca un ingeniero senior de infraestructura de almacenamiento con experiencia para unirse a nuestro equipo de ingeniería de infraestructura.
En este rol, se concentrará en construir y operar los sistemas de almacenamiento que impulsan las cargas de trabajo de HPC, inferencia y capacitación de IA/ML a gran escala. Trabajará en la intersección de software, hardware y operaciones: desarrollará la automatización, mejorará la confiabilidad y ampliará los sistemas de almacenamiento distribuido en toda nuestra infraestructura básica.
Ayudará a ser dueño del plano de datos de nuestra infraestructura de almacenamiento, admitiendo el acceso a datos de alto rendimiento y baja latencia para algunas de las cargas de trabajo de IA más exigentes. Desempeñará un papel clave en la gestión y evolución de nuestra pila de almacenamiento (incluidos los sistemas compatibles con VAST y S3 como Ceph), garantizando el rendimiento, la confiabilidad y la eficiencia a escala.
Esta función puede ser completamente remota dentro de los EE. UU. o híbrida desde uno de nuestros centros de oficinas (Nueva York, San Francisco, Seattle o Londres), con equipos y empresas ocasionales fuera de las instalaciones. No podemos proporcionar patrocinio de visas para este puesto en este momento.
lo que harás
Sistemas e infraestructura de almacenamiento

• Operar y escalar sistemas de almacenamiento distribuido, incluido el almacenamiento de objetos compatible con VAST y S3 (por ejemplo, Ceph)

• Mejorar el rendimiento, la confiabilidad y la eficiencia de los sistemas de almacenamiento que admiten cargas de trabajo de IA/ML a gran escala.

• Solucionar problemas complejos de almacenamiento y ruta de datos en todas las capas de hardware y software.

• Optimice el rendimiento del almacenamiento para soportar cargas de trabajo de inferencia y entrenamiento de IA de alto rendimiento y baja latencia.

Automatización y herramientas

• Construir y mantener la automatización para el aprovisionamiento, la gestión y el seguimiento de la infraestructura de almacenamiento.

• Desarrollar herramientas y flujos de trabajo basados en Python para reducir la sobrecarga operativa manual.

• Mejorar la gestión del ciclo de vida de los clústeres de almacenamiento, desde la implementación hasta el mantenimiento y el escalado.

Sistemas y operaciones

• Administrar y operar sistemas basados en Linux en producción, incluidos entornos bare-metal.

• Asociarse con equipos de infraestructura y centros de datos para la instalación, actualización y resolución de problemas de hardware.

• Respaldar la planificación de la capacidad, el seguimiento de la utilización y la previsión de los sistemas de almacenamiento.

• Aprovechar el monitoreo y la telemetría para diagnosticar problemas y mejorar el rendimiento y la confiabilidad del sistema.

Colaboración multifuncional

• Trabajar en estrecha colaboración con los equipos de ingeniería de infraestructura, ingeniería de redes y plataforma para integrar el almacenamiento en la plataforma más amplia.

• Contribuir a los debates sobre el diseño sobre nuevas implementaciones de infraestructura y estrategias de escalamiento.

• Ayudar a definir las mejores prácticas para operar sistemas de almacenamiento en entornos informáticos de alto rendimiento.

Lo que necesitarás
Calificaciones requeridas

• Más de 5 años de experiencia en ingeniería de infraestructura, ingeniería de sistemas o funciones relacionadas

• Experiencia práctica en la operación de sistemas de almacenamiento distribuido (por ejemplo, VAST, Ceph o similar)

• Fuerte experiencia en sistemas Linux en entornos de producción.

• Dominio de Python o lenguajes de programación/scripting similares para la automatización.

• Experiencia trabajando con infraestructura básica y sistemas orientados a hardware.

• Capacidad para depurar problemas complejos a través de los límites del sistema (almacenamiento, sistema operativo, hardware, redes)

• Experiencia con protocolos de redes de almacenamiento (por ejemplo, NFS o similar)

• Experiencia en planificación de capacidad, seguimiento y ajuste del rendimiento.

Experiencia ideal

• Experiencia con sistemas de almacenamiento VAST en entornos de producción.

• Experiencia en la operación de almacenamiento de objetos compatible con S3 a escala.

• Experiencia en operaciones de centros de datos, incluido el trabajo con hardware físico.

• Familiaridad con las cargas de trabajo de IA/ML o HPC y sus requisitos de almacenamiento.

• Experiencia en sistemas distribuidos de alto rendimiento o baja latencia.

• Familiaridad con tecnologías de transferencia de datos de alto rendimiento (por ejemplo, RDMA, GPU Direct Storage)

• Experiencia en soporte de cargas de trabajo basadas en GPU o clústeres de computación a gran escala

Compensación…

Fuente: Himalaya (https://himalayas.app/companies/lightning-ai/jobs/infrastructure-engineer-storage?utm_source=api)