Ingeniero de software, inferencia

Usted será dueño de cómo se sirven los modelos de Luma: integrando nuevas arquitecturas en el motor de inferencia, escalando implementaciones en miles de máquinas y manteniendo ocupadas costosas flotas de GPU mientras cumple con los SLO internos.
Se trata de un trabajo de sistemas de inferencia a gran escala: programación, gestión de flotas, canales de implementación y confiabilidad entre clústeres y proveedores de hardware. Se adapta a un ingeniero de sistemas sólido que se sienta cómodo con el servicio de modelos y Kubernetes a escala. Si desea modelado puro en lugar de sistemas que ejecutan modelos, este es firmemente el lado de los sistemas.
Lo que poseerás

• Ofrecer nuevas arquitecturas de modelos integrándolas en el motor de inferencia.

• Colaborar en investigación, ingeniería e infraestructura para optimizar la eficiencia y las implementaciones del modelo.

• Cree herramientas internas para medir, perfilar y realizar un seguimiento de la vida útil de los trabajos y flujos de trabajo de inferencia.

• Automatizar, probar y mantener servicios de inferencia para obtener el máximo tiempo de actividad y confiabilidad.

• Administre y optimice cargas de trabajo de inferencia entre clústeres y proveedores de hardware, y escale las implementaciones en miles de máquinas.

• Cree sistemas de programación que utilicen recursos costosos de GPU de manera óptima mientras cumplen con los SLO y mantengan CI/CD para puntos de control de modelos y SDK.

Primeros 90 días
Una forma en la que podrían desarrollarse los primeros 90 años.

• Días 1 a 30: inmersión y diagnóstico: conozca la pila de inferencias, las flotas y dónde falla la confiabilidad o la utilización.

• Días 30 a 60: envío y validación: integre un modelo o herramientas/programación de envío que mejoren el tiempo de actividad o la utilización de la GPU.

• Días 60 a 90: escalar y sistematizar: fortalecer los canales de implementación y la programación entre clústeres y proveedores.

lo que traes

• Fuertes habilidades en Python y arquitectura de sistemas.

• Experiencia implementando modelos con PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM o similar.

• Experiencia con colas, programación, control de tráfico y gestión de flotas a escala.

• Experiencia con Linux, Docker y Kubernetes, y con orquestación, implementación y programación.

• Familiaridad con Redis y almacenamiento compatible con S3.

Es bueno tenerlo

• Pilas de redes modernas que incluyen RDMA (RoCE, InfiniBand, NVLink).

• Sistemas de aprendizaje automático a gran escala y alto rendimiento (más de 100 GPU).

• CUDA, y FFmpeg o procesamiento multimedia.

Acerca de Luma: La misión de Luma es construir inteligencia general unificada que pueda generar, comprender y operar en el mundo físico. Creemos que la multimodalidad es fundamental para la inteligencia: el siguiente paso más allá de los modelos lingüísticos proviene de la visión. Luma es un empleador que ofrece igualdad de oportunidades.
Encuentre trabajo en Reino Unido en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/lumaai/software-engineer-inference-london-107112)