Ingeniero de Investigación Aplicada, Evaluación

Acerca de los laboratorios de la Selva Negra
Somos el equipo detrás de Latent Diffusion, Stable Diffusion y FLUX, tecnologías fundamentales que cambiaron la forma en que el mundo crea imágenes y videos. Nuestros modelos FLUX se encuentran entre los más avanzados del mundo y apenas estamos comenzando.
Con sede en Friburgo, Alemania y una presencia cada vez mayor en San Francisco, estamos escalando rápidamente sin dejar de ser fieles a lo que nos hace diferentes: excelencia en investigación, ciencia abierta y tecnología de construcción que expande la creatividad humana.

Por qué este papel
Los modelos de imagen y video de Frontier ahora son lo suficientemente buenos como para que la pregunta difícil ya no sea si funcionan, sino si uno nuevo es realmente mejor y cómo lo sabrías. Estética, seguimiento rápido, fidelidad de edición, representación de texto, consistencia de caracteres: nada de esto se reduce a un solo número, y los puntos de referencia públicos se han quedado muy por detrás de los modelos que deben medir.
Trabajará en el sistema que utiliza BFL para responder esa pregunta. Cada punto de control de FLUX, cada ajuste y ejecución de RL, y cada lanzamiento de la competencia pasa por nuestra pila de evaluación, y usted ayudará a construirlo y perfeccionarlo. La investigación de productos se basa en lo que muestra para decidir qué solucionar a continuación y confirmar que la solución funcionó.
A partir de aquí se vuelve más difícil. FLUX 3 es nuestro primer modelo multimodal, que abarca imagen, vídeo, audio y acción, y cada nueva modalidad necesita su propia forma de medirse.

En qué trabajarás
En qué te concentrarás dependerá de dónde eres más fuerte y de lo que más necesita el equipo cuando te unes.
En alcance:

• Construir y mantener la pila de evaluación por la que cada punto de control del modelo tiene que pasar y demostrar su valía, desde evaluaciones comparativas automatizadas y procesos de LLM como juez, hasta evaluación humana a través de paneles (prolíficos y de otro tipo).

• Diseñar la amplitud de la evaluación en toda la taxonomía, desde la rápida adherencia, la fidelidad de la edición, la estética, la representación del texto, la coherencia entre temas y caracteres, hasta la seguridad.

• Evaluar la pila de evaluación en sí: verificar que las evaluaciones humanas y automatizadas concuerden, que los resultados se mantengan estables en el tiempo y mejorarlos cuando no lo hagan.

• Comparar continuamente a FLUX con los modelos de frontera, obteniendo al mismo tiempo una perspectiva significativa sobre dónde somos mejores o peores que los competidores y qué significan realmente esas diferencias.

• Encontrar las formas en que la calidad del resultado del modelo es insuficiente y que no se reflejan en las cifras agregadas.

• Cerrar el círculo, idealmente, con el RL y perfeccionar a los investigadores, definiendo métricas objetivo a las que apuntar y verificando que un nuevo punto de control mejore la debilidad sin introducir otros nuevos.

• Diseñar la mejor manera de explotar las señales que ya capturamos a través de API y MCP, y qué nuevas señales deberíamos capturar, con ayuda de la investigación, la ingeniería de datos y el ámbito legal.

• Mantener la utilidad de las métricas existentes a medida que su ciclo de vida natural genera preocupaciones sobre el juego y el sobreajuste, y anticipar esto para nuevas métricas.

Lo que estamos buscando
Ya ha realizado contribuciones significativas a la evaluación de modelos generativos. Usted comprende que una cifra de referencia sin una cuidadosa consideración del tamaño de la muestra y sin un acuerdo de juicio con los humanos es, en el mejor de los casos, un optimismo desinformado y, en el peor, peligrosamente engañoso, y usted ha sido la persona que encontró esa regresión inconveniente de la que nadie quería hablar.
Probablemente tengas:

• Título avanzado (Maestría/PhD) en un campo relevante o experiencia práctica equivalente demostrada.

• Experiencia práctica en la evaluación de modelos generativos, de forma práctica. Es posible que ya haya trabajado con modelos de imagen o vídeo basados en difusión o coincidencia de flujo, pero la capacidad de evaluarlos seriamente también se transfiere a otras modalidades.

• Habilidades muy sólidas en ingeniería de software y Python, con canalizaciones que se ejecutan de manera confiable y que otras personas pueden leer si es necesario.

• Conocimiento práctico de PyTorch y de la infraestructura y prácticas modernas de ML; no eres un desarrollador puro de Python, sabes cómo se ve el código ML moderno

• Fuerte conocimiento de las estadísticas y sus deficiencias en la práctica, y cómo trabajar con ellas; tamaños de muestra, acuerdo entre anotadores, niveles de confianza, etc., y un saludable escepticismo sobre lo que esos números dicen sobre el mundo.

• Experiencia práctica en la construcción y operación de sistemas LLM como juez y comprensión de sus limitaciones.

• Conocimiento práctico de las prácticas modernas de evaluación comparativa y de conjuntos de datos estándar y evaluaciones comparativas ya existentes en el campo; Tienes una idea de en quién confiar y en cuál ignorar.

• La inclinación a observar los resultados reales que su sistema está juzgando y a preocuparse por lo que hay más allá de una puntuación agregada.

Estaríamos especialmente entusiasmados si usted:

• Tener experiencia práctica con evaluación humana, incluido el diseño y ejecución de estudios a través de paneles, y el análisis de desacuerdos y el desempeño del anotador.

• Haber trabajado donde la evaluación se encuentra con la capacitación (modelos de recompensa, datos de preferencia, RLHF, DPO o similares) y saber que cualquier cosa que usted optimice es lo que el modelo aprende.

• Haber evaluado sistemas agentes o de múltiples pasos y saber lo difícil que es atribuir el éxito o el fracaso a un solo paso.

• Han creado herramientas que la gente realmente quiere usar internamente.

• Haber realizado contribuciones públicas al campo: artículos, código abierto o de otro tipo.

Cómo trabajamos juntos
Somos un equipo distribuido con oficinas reales que la gente realmente usa. Este puesto tiene su sede en Friburgo, donde se unirá a nosotros al menos 2 días a la semana (o una semana completa cada dos semanas). Cubriremos los costos de viaje razonables para que esto sea posible. Creemos que el tiempo en persona es importante y hemos estructurado las cosas para que sea accesible para todos. Discutiremos cómo será esto durante nuestro proceso de entrevista.

Todo lo que hacemos se basa en cuatro valores:

• Obsesionado. Somos un laboratorio de investigación de frontera. La ciencia tiene que ser correcta, la comprensión profunda, el producto hermoso...

Fuente: Arbeitnow (https://www.arbeitnow.com/jobs/companies/black-forest-labs/applied-research-engineer-evaluación-freiburg-365270)