Ingeniero de aprendizaje automático, LLM Optimización de inferencias

Acerca de Nebio:

Nebius lidera una nueva era en infraestructura de nube para la economía global de IA. Estamos construyendo una plataforma de nube de IA de pila completa que apoya a desarrolladores y empresas desde la capacitación de datos y modelos hasta la implementación de producción, sin el costo y la complejidad de construir una gran infraestructura interna de IA/ML.

Construido por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de la inferencia, somos dueños de los problemas difíciles en la computación, el almacenamiento, las redes y la IA aplicada.

Cotizamos en Nasdaq (NBIS) y con sede en Ámsterdam, tenemos una presencia global con centros de I+D en Europa, el Reino Unido, América del Norte e Israel. Nuestro equipo de más de 1500 personas incluye cientos de ingenieros con amplia experiencia en hardware, software e I+D de IA.

Resumen de funciones

Nebius Token Factory está creando inferencias de nivel de producción para modelos de código abierto, optimizados internamente y para el cliente. Esta función es dueña del camino desde el artefacto modelo hasta el punto final rápido, confiable y rentable. El trabajo se ubica en la intersección de los componentes internos del modelo, los motores de inferencia, la arquitectura de servicio, la evaluación comparativa y la implementación de producción.

lo que harás

•
Poseer un pilar de optimización a nivel de plataforma, como cuantificación, decodificación especulativa, optimización de caché KV, selección de motor o servicio de contexto prolongado.

•
Cree marcos de evaluación, evaluación comparativa e implementación reutilizables en múltiples familias de modelos.

•
Proporcionar dirección técnica a MLE, científicos aplicados, ingenieros de kernel de GPU e ingenieros de infraestructura sobre objetivos de rendimiento compartidos.

•
Optimice los puntos finales de LLM y VLM en cuanto a latencia, rendimiento, eficiencia de la memoria, utilización de GPU, calidad y costo por token.

•
Implemente, configure, compare y amplíe motores de inferencia como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo o sistemas similares.

•
Cree y produzca flujos de trabajo de compresión de modelos, incluida la cuantificación, la capacitación consciente de la cuantificación, la destilación, el servicio de bits bajos y la recuperación de precisión.

•
Implemente o integre decodificación especulativa, enfoques de modelo borrador, optimización de caché KV, almacenamiento en caché de prefijos, precarga fragmentada, procesamiento por lotes continuo y servicio de precarga/decodificación desagregado.

•
Cree arneses de referencia reproducibles para TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, confiabilidad y costo por token.

•
Asóciese con ingenieros de kernel de GPU e ingenieros de plataforma para diagnosticar cuellos de botella en el código del modelo, los kernels, el tiempo de ejecución, el programador, la puerta de enlace y las capas de clúster.

•
Escriba documentos de diseño claros, informes de rendimiento, planes de implementación y explicaciones técnicas orientadas al cliente.

Calificaciones requeridas

•
Fuertes habilidades de ingeniería en Python y PyTorch.

•
Experiencia práctica en la implementación u optimización de LLM, VLM o sistemas de inferencia de transformadores de alto rendimiento.

•
Conocimiento práctico de al menos una pila de inferencia moderna como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o sistemas internos equivalentes.

•
Gran conocimiento de los cuellos de botella en la inferencia de transformadores, incluida la caché KV, la atención, el ancho de banda de la memoria, el procesamiento por lotes, el paralelismo y el servicio de contexto prolongado.

•
Capacidad para razonar cuantitativamente sobre latencia, rendimiento, calidad, utilización y compensaciones de costos.

•
Fuertes habilidades de comunicación y capacidad para colaborar con equipos de investigación, kernel, infraestructura, productos y clientes.

Calificaciones preferidas

•
Experiencia con entrenamiento consciente de la cuantificación, cuantificación posterior al entrenamiento, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant o técnicas relacionadas.

•
Experiencia con destilación, decodificación especulativa, EAGLE, Medusa, predicción de múltiples tokens u otros métodos de aceleración de inferencia.

•
Experiencia con cargas de trabajo agentes, incluidas llamadas de herramientas, resultados estructurados, API de transmisión, alta concurrencia y orquestación de varios pasos.

•
Familiaridad con CUDA o Triton, incluso si la función no es principalmente una función de ingeniería del kernel.

•
Contribuciones de código abierto a vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe o proyectos relacionados.

Beneficios y ventajas:

• Compensación competitiva

• Crecimiento profesional y oportunidades de aprendizaje.

• Flexibilidad y propiedad

• Cultura colaborativa e innovadora

• Oportunidad de trabajar en proyectos de IA impactantes

• Entorno internacional y equipos talentosos.

¿Cómo es trabajar en Nebius?

Rápido movimiento - Pensamiento audaz - Crecimiento constante - Impacto significativo - Confianza y propiedad real - Oportunidad para dar forma al futuro de la IA

Declaración de igualdad de oportunidades:

Nebius es un empleador que ofrece igualdad de oportunidades. Estamos comprometidos a fomentar un lugar de trabajo inclusivo y diverso y a brindar igualdad de oportunidades laborales en todos los aspectos del empleo. No discriminamos por motivos de raza, color, religión, sexo (incluido el embarazo), origen nacional, ascendencia, edad, discapacidad, información genética, estado civil, condición de veterano, orientación sexual, identidad o expresión de género, o cualquier otra característica protegida por la ley aplicable.

Los solicitantes deben estar autorizados para trabajar en el país en el que presentan la solicitud y deberán presentar prueba de elegibilidad laboral como condición de contratación.

Si necesita adaptaciones durante el proceso de solicitud, háganoslo saber.

Encuentre trabajo en Reino Unido en Arbeitnow

Fuente: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/nebius/staff-machine-learning-engineer-llm-inference-optimization-london-213464)