Ingeniero senior de aprendizaje automático - LLM

Quienes somos
Has pedido la cena a través de Just Eat Takeaway. Has comprado y vendido en OLX. Has pagado con PayU. Lo más probable es que ya haya utilizado una empresa Prosus hoy.
Somos Prosus, una empresa de tecnología global que impulsa algunas de las empresas de comercio electrónico de estilos de vida líderes en el mundo. Todos los días, miles de millones de personas en India, América Latina, Europa y más allá utilizan nuestros productos y servicios para comprar, vender, pagar, conectarse y descubrir.
Nuestro ecosistema impulsado por IA abarca más de 100 empresas de comercio electrónico, entrega de alimentos, tecnología financiera y experiencias, y presta servicios a miles de millones de consumidores en todo el mundo. La IA impulsa nuestra forma de operar e innovar, con más de 60 000 agentes de IA activos que ayudan a nuestros equipos a construir, escalar y moverse más rápido. A través de nuestro equipo de inversión, también respaldamos a los fundadores y las tecnologías que dan forma al futuro: desde la robótica y los sistemas autónomos hasta la biología sintética y la inteligencia artificial de vanguardia.
Guiados por nuestros cinco valores Innovación, Resultados, Personas, Impacto y Emprendimiento, la cultura es nuestra ventaja competitiva. Prosperamos con la experimentación; construimos, probamos, aprendemos, iteramos.
Únase a nosotros para dar forma al futuro de la tecnología a escala global.
A quién estamos buscando
Buscamos un ingeniero senior de aprendizaje automático para capacitar modelos de lenguaje específicos de dominio y brindar liderazgo técnico al equipo. Será propietario de partes críticas de nuestra infraestructura de capacitación, asesorará a ingenieros e impulsará decisiones técnicas desde la preparación de datos hasta la implementación de producción. Tiene una profunda experiencia práctica en la capacitación de modelos de lenguaje a escala, predica con el ejemplo a través de experimentación rigurosa y código de alta calidad, y está motivado al ver su trabajo implementado para millones de usuarios. Prosperará en entornos de ritmo rápido donde equilibrará la profundidad técnica con el impacto empresarial práctico.
que haras

• Analizar el rendimiento del modelo y los datos de entrenamiento, formular hipótesis, diseñar y ejecutar experimentos rigurosos para mejorar sistemáticamente la calidad del modelo, la eficiencia del entrenamiento y la inferencia, y el rendimiento de las tareas posteriores.

• Impulsar la toma de decisiones técnicas para la arquitectura del modelo, estrategias de capacitación y opciones de infraestructura.

• Proporcionar liderazgo técnico y tutoría a ingenieros y pasantes de ML, realizando revisiones de código, compartiendo mejores prácticas y acelerando el crecimiento del equipo.

• Entrene modelos de lenguaje de gran tamaño mediante un entrenamiento previo continuo y un ajuste completo de parámetros en conjuntos de datos propietarios.

• Cree y optimice una infraestructura de capacitación distribuida en clústeres de GPU de múltiples nodos utilizando marcos como DeepSpeed, FSDP, Megatron-LM o Axolotl.

• Preparación propia de datos a gran escala: estrategias de filtrado, evaluación de calidad, deduplicación y combinación de datos para corpus de entrenamiento a una escala de más de 100 mil millones de tokens.

• Genere y seleccione datos sintéticos de alta calidad para ajustar la instrucción y mejorar las capacidades.

• Depurar problemas de estabilidad del entrenamiento, optimizar el rendimiento del entrenamiento y la inferencia (cuantización, destilación, optimización del servicio) y monitorear el rendimiento del modelo a lo largo de trabajos distribuidos de larga duración.

• Construir marcos de evaluación sólidos y establecer métricas para medir la calidad del modelo y guiar las decisiones.

• Escribir código probado y de calidad de producción y establecer estándares de ingeniería para el equipo.

Cualificaciones mínimas

• Más de 7 años de experiencia en ingeniería de aprendizaje automático

• Experiencia en liderazgo técnico: asesorar a ingenieros, realizar revisiones de código, tomar decisiones de arquitectura y entregar proyectos con un impacto empresarial mensurable.

• Experiencia comprobada en capacitación e implementación de modelos de lenguaje en producción (modelos integrados, modelos de codificador o modelos de lenguaje grandes), incluida la capacitación previa, la capacitación previa continua o el ajuste fino con evaluación rigurosa y optimización de inferencia.

• Experiencia en la preparación de conjuntos de datos de capacitación a gran escala: filtrado de datos, evaluación de calidad, estrategias de deduplicación y diseño de combinación de datos.

• Experiencia práctica con marcos de capacitación distribuidos (DeepSpeed, FSDP, Megatron-LM o Axolotl), incluida la orquestación de trabajos de múltiples nodos, la depuración de fallas y la optimización del rendimiento.

• Gran comprensión de la dinámica de la capacitación a escala: depuración de inestabilidades de pérdidas, ajuste de los cronogramas de tasas de aprendizaje, gestión de la estabilidad de la capacitación en trabajos de múltiples nodos de larga duración.

• Experto en Python y PyTorch con experiencia en producción utilizando bibliotecas de capacitación (Transformers, DeepSpeed, Accelerate)

Cualificaciones preferidas

• Publicó investigaciones en conferencias de aprendizaje automático (NeurIPS, ICML, ICLR, ACL, EMNLP), lanzó modelos en Hugging Face, creó puntos de referencia públicos o contribuyó a proyectos de código abierto.

• Experiencia con métodos posteriores a la capacitación: RLHF, DPO, GRPO u otros enfoques de aprendizaje por refuerzo para la alineación y el seguimiento de instrucciones.

• Experiencia en optimización de modelos para inferencia de producción, incluida cuantificación, compresión de modelos, destilación y marcos de servicio (vLLM, TensorRT-LLM).

• Comprensión de la optimización de la memoria: puntos de control de gradiente, entrenamiento de precisión mixto (FP16, BF16, FP8), optimización ZeRO

• Conocimiento profundo de las arquitecturas GPU (A100, H100, H200) y sus implicaciones para el entrenamiento y la optimización de la inferencia.

• Historial de creación de canales de generación de datos sintéticos para ajuste de instrucciones o adaptación de dominios.

que ofrecemos

• Proyectos de IA de alto impacto que son estratégicamente vitales para la empresa, con la participación directa de los altos directivos, incluido el director ejecutivo.

• Infraestructura de última generación: flota de GPU H200, conjuntos de datos propietarios masivos, acceso a modelos de frontera (OpenAI, Anthropic, Google, Together.ai) para evaluación y líneas de base.

• Colegas expertos que han lanzado los mejores modelos de Hugging Face, han escrito artículos en NeurIPS, han creado puntos de referencia reconocidos y han construido múltiples sistemas de producción de IA.

• Gran autonomía y libertad para probar ideas, experimentar con nuevos enfoques e impulsar decisiones técnicas.

• Herramientas modernas: marcos de aprendizaje automático más recientes, asistentes de codificación, el mejor entorno de desarrollo de su clase...

Fuente: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/prosus/senior-machine-learning-engineer-llms-amsterdam-22288)