Empleo
Del feed del socio
Ingeniero sénior de aprendizaje automático, LLM Optimización de inferencias
Precio a consultar
Detalles
- Tipo de empleo
- Jornada completa
- Remoto
- No
- Empresa
- Nebius
Descripción
Traducido automáticamente de English. El texto original es el oficial. Traducción automática — se está preparando una más precisa.
Acerca de Nebio:
Nebius lidera una nueva era en infraestructura de nube para la economía global de IA. Estamos construyendo una plataforma de nube de IA de pila completa que apoya a desarrolladores y empresas desde la capacitación de datos y modelos hasta la implementación de producción, sin el costo y la complejidad de construir una gran infraestructura interna de IA/ML.
Construido por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de la inferencia, somos dueños de los problemas difíciles en la computación, el almacenamiento, las redes y la IA aplicada.
Cotizamos en Nasdaq (NBIS) y con sede en Ámsterdam, tenemos una presencia global con centros de I+D en Europa, el Reino Unido, América del Norte e Israel. Nuestro equipo de más de 1500 personas incluye cientos de ingenieros con amplia experiencia en hardware, software e I+D de IA.
el papel
Como ingeniero senior de aprendizaje automático en el equipo de IA aplicada en Nebius Token Factory, será propietario de la optimización de modelos y puntos finales desde los artefactos del modelo hasta la implementación de producción. Su trabajo abarcará los aspectos internos del modelo, la cuantificación y la compresión del modelo, la decodificación especulativa, la optimización de la caché KV, los motores de inferencia, la arquitectura de servicio y la evaluación comparativa para mejorar la latencia, el rendimiento, la eficiencia de la memoria, la utilización de la GPU y el costo por token, preservando al mismo tiempo la calidad y la confiabilidad.
Trabajará con ingenieros de kernel y plataforma para investigar problemas de servicio, comparar configuraciones y resolver regresiones de rendimiento y calidad. Evaluará optimizaciones a nivel de modelo y motor junto con diseños de inferencia distribuida, incluido el enrutamiento de solicitudes, la programación, la coordinación de precarga/decodificación y la ejecución de GPU de múltiples nodos. Sus mejoras se validarán mediante puntos de referencia reproducibles e implementaciones de producción seguras bajo cargas de trabajo del mundo real.
Tus responsabilidades
• Proyectos propios de optimización para familias de modelos específicos, endpoints de clientes o backends de servicio.
• Comparar motores de inferencia y recomendar configuraciones de servicio adecuadas para cargas de trabajo individuales.
• Diagnosticar la calidad del modelo y las regresiones de rendimiento durante los lanzamientos de producción.
• Mejorar la latencia, el rendimiento, la eficiencia de la memoria, la utilización de GPU, la calidad y el costo por token de los terminales LLM y VLM.
• Implementar, configurar, comparar y ampliar motores como vLLM, SGLang, TensorRT-LLM, Triton Inference Server y NVIDIA Dynamo.
• Desarrollar flujos de trabajo de compresión de modelos de producción que abarquen cuantificación, entrenamiento consciente de la cuantificación, destilación, servicio de bits bajos y recuperación de precisión.
• Implementar o integrar decodificación especulativa, enfoques de modelos preliminares, optimización de caché KV, almacenamiento en caché de prefijos, precarga fragmentada, procesamiento por lotes continuo y servicio de precarga/decodificación desagregado. Para la desagregación previa al llenado y decodificación (PDD), evalúe la transferencia de caché KV, la ubicación de los trabajadores y el equilibrio de capacidad para determinar qué cargas de trabajo se benefician de la arquitectura.
• Diseñe y mejore los enrutadores de solicitudes LLM y las políticas de programación que equilibren la utilización de los trabajadores, las colas, las características de las solicitudes y la localidad de caché KV al tiempo que cumplen con los objetivos de latencia y confiabilidad.
• Escalar inferencias densas y mixtas de expertos en múltiples nodos de GPU. Seleccione y ajuste el tensor, la canalización, los datos y el paralelismo experto, incluido el paralelismo experto amplio (WideEP), prestando atención a la topología del hardware, el equilibrio de carga experto y la sobrecarga de comunicación.
• Cree arneses de referencia reproducibles que midan TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, confiabilidad y costo por token. Valide las opciones de arquitectura con tráfico representativo y presupuestos de GPU consistentes.
• Colaborar con ingenieros de plataforma y kernel de GPU para rastrear cuellos de botella en el código del modelo, kernels, tiempo de ejecución, programador, puerta de enlace y capas de clúster.
• Producir documentos de diseño, informes de rendimiento, planes de implementación y explicaciones técnicas orientadas al cliente.
Imprescindibles
• Fuertes habilidades de ingeniería en Python y PyTorch.
• Experiencia práctica en la implementación u optimización de LLM, VLM o inferencia de transformadores de alto rendimiento.
• Conocimiento práctico de al menos una pila de inferencia moderna, como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o un sistema interno equivalente.
• Una sólida comprensión de los cuellos de botella de inferencia de transformadores que involucran caché KV, atención, ancho de banda de memoria, procesamiento por lotes, paralelismo y servicio de contexto prolongado.
• Capacidad para cuantificar las compensaciones entre latencia, rendimiento, calidad, utilización y costo.
• Experiencia en el diseño u optimización de la arquitectura del sistema de inferencia distribuida, con trabajo práctico en una o más áreas como enrutamiento de solicitudes, programación distribuida, PDD, inferencia de múltiples nodos o paralelismo experto.
• Fuertes habilidades de comunicación y colaboración entre los equipos de investigación, kernel, infraestructura, productos y clientes.
Agradable tener
• Experiencia con capacitación con reconocimiento de cuantificación, cuantificación posterior a la capacitación, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ o SmoothQuant.
• Experiencia con destilación, decodificación especulativa, EAGLE, Medusa, predicción de múltiples tokens o métodos de aceleración de inferencia relacionados.
• Experiencia en soporte de cargas de trabajo agentes que involucran llamadas a herramientas, resultados estructurados, API de transmisión, alta concurrencia y orquestación de múltiples pasos.
• Familiaridad con CUDA o Triton; el puesto no requiere que la ingeniería del kernel sea la especialización principal del candidato.
• Contribuciones a proyectos de código abierto como vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray o KServe.
• Experiencia en implementación con enrutamiento de solicitudes con reconocimiento de caché, PDD o WideEP, incluido el diagnóstico de cuellos de botella en la comunicación y desequilibrio de carga.
• Familiaridad con las interconexiones y bibliotecas de comunicación de GPU, como NCCL, NVLink, InfiniBand o RoCE.
Beneficios y ventajas:
• Compensación competitiva
• Crecimiento profesional y oportunidades de aprendizaje.
• Flexibilidad y propiedad
• Cultura colaborativa e innovadora…
Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701)
Nebius lidera una nueva era en infraestructura de nube para la economía global de IA. Estamos construyendo una plataforma de nube de IA de pila completa que apoya a desarrolladores y empresas desde la capacitación de datos y modelos hasta la implementación de producción, sin el costo y la complejidad de construir una gran infraestructura interna de IA/ML.
Construido por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de la inferencia, somos dueños de los problemas difíciles en la computación, el almacenamiento, las redes y la IA aplicada.
Cotizamos en Nasdaq (NBIS) y con sede en Ámsterdam, tenemos una presencia global con centros de I+D en Europa, el Reino Unido, América del Norte e Israel. Nuestro equipo de más de 1500 personas incluye cientos de ingenieros con amplia experiencia en hardware, software e I+D de IA.
el papel
Como ingeniero senior de aprendizaje automático en el equipo de IA aplicada en Nebius Token Factory, será propietario de la optimización de modelos y puntos finales desde los artefactos del modelo hasta la implementación de producción. Su trabajo abarcará los aspectos internos del modelo, la cuantificación y la compresión del modelo, la decodificación especulativa, la optimización de la caché KV, los motores de inferencia, la arquitectura de servicio y la evaluación comparativa para mejorar la latencia, el rendimiento, la eficiencia de la memoria, la utilización de la GPU y el costo por token, preservando al mismo tiempo la calidad y la confiabilidad.
Trabajará con ingenieros de kernel y plataforma para investigar problemas de servicio, comparar configuraciones y resolver regresiones de rendimiento y calidad. Evaluará optimizaciones a nivel de modelo y motor junto con diseños de inferencia distribuida, incluido el enrutamiento de solicitudes, la programación, la coordinación de precarga/decodificación y la ejecución de GPU de múltiples nodos. Sus mejoras se validarán mediante puntos de referencia reproducibles e implementaciones de producción seguras bajo cargas de trabajo del mundo real.
Tus responsabilidades
• Proyectos propios de optimización para familias de modelos específicos, endpoints de clientes o backends de servicio.
• Comparar motores de inferencia y recomendar configuraciones de servicio adecuadas para cargas de trabajo individuales.
• Diagnosticar la calidad del modelo y las regresiones de rendimiento durante los lanzamientos de producción.
• Mejorar la latencia, el rendimiento, la eficiencia de la memoria, la utilización de GPU, la calidad y el costo por token de los terminales LLM y VLM.
• Implementar, configurar, comparar y ampliar motores como vLLM, SGLang, TensorRT-LLM, Triton Inference Server y NVIDIA Dynamo.
• Desarrollar flujos de trabajo de compresión de modelos de producción que abarquen cuantificación, entrenamiento consciente de la cuantificación, destilación, servicio de bits bajos y recuperación de precisión.
• Implementar o integrar decodificación especulativa, enfoques de modelos preliminares, optimización de caché KV, almacenamiento en caché de prefijos, precarga fragmentada, procesamiento por lotes continuo y servicio de precarga/decodificación desagregado. Para la desagregación previa al llenado y decodificación (PDD), evalúe la transferencia de caché KV, la ubicación de los trabajadores y el equilibrio de capacidad para determinar qué cargas de trabajo se benefician de la arquitectura.
• Diseñe y mejore los enrutadores de solicitudes LLM y las políticas de programación que equilibren la utilización de los trabajadores, las colas, las características de las solicitudes y la localidad de caché KV al tiempo que cumplen con los objetivos de latencia y confiabilidad.
• Escalar inferencias densas y mixtas de expertos en múltiples nodos de GPU. Seleccione y ajuste el tensor, la canalización, los datos y el paralelismo experto, incluido el paralelismo experto amplio (WideEP), prestando atención a la topología del hardware, el equilibrio de carga experto y la sobrecarga de comunicación.
• Cree arneses de referencia reproducibles que midan TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, confiabilidad y costo por token. Valide las opciones de arquitectura con tráfico representativo y presupuestos de GPU consistentes.
• Colaborar con ingenieros de plataforma y kernel de GPU para rastrear cuellos de botella en el código del modelo, kernels, tiempo de ejecución, programador, puerta de enlace y capas de clúster.
• Producir documentos de diseño, informes de rendimiento, planes de implementación y explicaciones técnicas orientadas al cliente.
Imprescindibles
• Fuertes habilidades de ingeniería en Python y PyTorch.
• Experiencia práctica en la implementación u optimización de LLM, VLM o inferencia de transformadores de alto rendimiento.
• Conocimiento práctico de al menos una pila de inferencia moderna, como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o un sistema interno equivalente.
• Una sólida comprensión de los cuellos de botella de inferencia de transformadores que involucran caché KV, atención, ancho de banda de memoria, procesamiento por lotes, paralelismo y servicio de contexto prolongado.
• Capacidad para cuantificar las compensaciones entre latencia, rendimiento, calidad, utilización y costo.
• Experiencia en el diseño u optimización de la arquitectura del sistema de inferencia distribuida, con trabajo práctico en una o más áreas como enrutamiento de solicitudes, programación distribuida, PDD, inferencia de múltiples nodos o paralelismo experto.
• Fuertes habilidades de comunicación y colaboración entre los equipos de investigación, kernel, infraestructura, productos y clientes.
Agradable tener
• Experiencia con capacitación con reconocimiento de cuantificación, cuantificación posterior a la capacitación, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ o SmoothQuant.
• Experiencia con destilación, decodificación especulativa, EAGLE, Medusa, predicción de múltiples tokens o métodos de aceleración de inferencia relacionados.
• Experiencia en soporte de cargas de trabajo agentes que involucran llamadas a herramientas, resultados estructurados, API de transmisión, alta concurrencia y orquestación de múltiples pasos.
• Familiaridad con CUDA o Triton; el puesto no requiere que la ingeniería del kernel sea la especialización principal del candidato.
• Contribuciones a proyectos de código abierto como vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray o KServe.
• Experiencia en implementación con enrutamiento de solicitudes con reconocimiento de caché, PDD o WideEP, incluido el diagnóstico de cuellos de botella en la comunicación y desequilibrio de carga.
• Familiaridad con las interconexiones y bibliotecas de comunicación de GPU, como NCCL, NVLink, InfiniBand o RoCE.
Beneficios y ventajas:
• Compensación competitiva
• Crecimiento profesional y oportunidades de aprendizaje.
• Flexibilidad y propiedad
• Cultura colaborativa e innovadora…
Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/nebius/senior-machine-learning-engineer-llm-inference-optimization-amsterdam-253701)
Este anuncio proviene de un feed de socios. Solicítalo en el sitio web de origen.
Fuente: Nebius
Ubicación
Ámsterdam, Países Bajos
Publicación proporcionada por Nebius.
