Ingeniero de aprendizaje automático: evaluación de aprendizaje automático y diseño de experimentos

Cualquiera AI está contratando ingenieros experimentados en aprendizaje automático para un proyecto especializado centrado en revisar y evaluar los desafíos del aprendizaje automático utilizados en la capacitación y evaluación de modelos de IA.

El trabajo implica analizar experimentos, conjuntos de datos, métricas y canalizaciones de aprendizaje automático para determinar si los desafíos son técnicamente sólidos, reproducibles, adecuadamente difíciles y realmente requieren un sólido razonamiento de aprendizaje automático.

EN QUÉ TRABAJARÁS

Revisará los desafíos de ML que involucran:

– Diseño de experimentos y selección de modelos.

– Conjuntos de datos pequeños y sintéticos.

– Calidad de datos y preprocesamiento

– Cambio de distribución y contaminación de datos.

– Ruido de etiquetas y fugas de características

– Evaluación de modelos y selección de métricas.

– Ajuste de hiperparámetros

– Metodología de entrenamiento/validación/prueba

– Reproducibilidad y canalizaciones deterministas.

– Importancia estadística de las mejoras del modelo.

Una parte clave de la función es determinar si un desafío realmente recompensa el buen razonamiento de ML, en lugar de simplemente poder resolverse mediante la selección de modelos de fuerza bruta o grandes búsquedas de hiperparámetros.

LO QUE ESTAMOS BUSCANDO

– Más de 3 años de experiencia práctica en aprendizaje automático aplicado

– Fuerte experiencia con:

– Diseño de experimentos de ML

– Selección de modelo

– Ajuste de hiperparámetros

– Evaluación del modelo

– Preprocesamiento y validación de datos.

– Gran conocimiento de las divisiones de entrenamiento, validación y prueba.

– Capacidad para identificar:

– Fuga de datos

– Ruido de etiqueta

– Turno de distribución

– Correlaciones espurias

– Fuga de características

– Contaminación de datos

– Experiencia en evaluar si las mejoras en el rendimiento son estadísticamente significativas en lugar de fluctuaciones aleatorias.

– Gran comprensión de las métricas de evaluación de ML y cuándo son apropiadas diferentes métricas

– Experiencia en la depuración de cargas de trabajo de ML en entornos de CPU y GPU.

– Capacidad para analizar problemas técnicos y proporcionar comentarios claros por escrito.

AGRADABLE TENER

– Experiencia creando o participando en Kaggle, DrivenData o competencias de ML similares.

– Experiencia en el diseño de conjuntos de datos de referencia o desafíos de ML.

– Experiencia en IA centrada en datos o calidad de conjuntos de datos.

– Experiencia en generación y validación de datos sintéticos.

– Familiaridad con pruebas estadísticas, intervalos de confianza y tamaños de efecto.

– Experiencia con canales de evaluación de ML, RLHF o evaluación de modelos de IA

– Experiencia en el desarrollo de planes de estudio de ML o evaluaciones técnicas.

– Comprensión de los modos de falla comunes de ML, como:

– Aprendizaje abreviado

– Correlaciones espurias

– Ley de Goodhart

– La paradoja de Simpson

– Juego métrico

DE QUÉ SERÁS RESPONSABLE

– Revisar los desafíos de ML y determinar si están bien diseñados y son técnicamente solucionables.

– Evaluar si los conjuntos de datos contienen señales significativas y que se puedan aprender

– Identificar atajos o artefactos no deseados en conjuntos de datos sintéticos

– Determinar si las tareas requieren un diagnóstico genuino del problema subyacente de ML

– Revisión de métricas de evaluación y umbrales de mejora.

– Detección de errores de evaluación, fuga de datos y juego de métricas

– Verificar la reproducibilidad en todos los datos → modelo → canal de evaluación

– Evaluar si la dificultad del desafío está calibrada adecuadamente

– Proporcionar recomendaciones claras para mejorar, recalibrar o excluir tareas problemáticas.

COMPROMISO

Tipo de trabajo: Remoto

Compromiso: consultoría a tiempo parcial basada en proyectos

Enfoque: aprendizaje automático aplicado, diseño de experimentos, calidad de datos y evaluación de modelos.

Este rol es ideal para los ingenieros de aprendizaje automático que disfrutan depurando experimentos, comprendiendo por qué los modelos tienen éxito o fallan, identificando problemas en conjuntos de datos y procesos de evaluación, y diseñando experimentos rigurosos de aprendizaje automático.

Fuente: Empleos remotos en la UE (https://euremotejobs.com/job/machine-learning-engineer-ml-evaluación-experiment-design/)