Ingenieur für maschinelles Lernen – ML-Evaluierung und Experimentdesign

Any AI rekrutiert erfahrene Ingenieure für maschinelles Lernen für ein spezielles Projekt, das sich auf die Überprüfung und Bewertung von Herausforderungen des maschinellen Lernens beim Training und der Bewertung von KI-Modellen konzentriert.

Die Arbeit umfasst die Analyse von ML-Experimenten, Datensätzen, Metriken und Pipelines, um festzustellen, ob Herausforderungen technisch fundiert, reproduzierbar und angemessen schwierig sind und tatsächlich eine fundierte Argumentation für maschinelles Lernen erfordern.

Woran Sie arbeiten werden

Sie werden ML-Herausforderungen besprechen, die Folgendes umfassen:

– Versuchsdesign und Modellauswahl

– Kleine und synthetische Datensätze

– Datenqualität und Vorverarbeitung

– Verteilungsverschiebung und Datenkontamination

– Label-Rauschen und Funktionslecks

– Modellbewertung und Metrikauswahl

– Hyperparameter-Tuning

– Trainings-/Validierungs-/Testmethodik

– Reproduzierbarkeit und deterministische Pipelines

– Statistische Signifikanz von Modellverbesserungen

Ein wichtiger Teil der Rolle besteht darin, festzustellen, ob eine Herausforderung tatsächlich gute ML-Argumentation belohnt und nicht einfach durch Brute-Force-Modellauswahl oder umfangreiche Hyperparametersuchen lösbar ist.

WAS WIR SUCHEN

– Mehr als 3 Jahre praktische Erfahrung im angewandten maschinellen Lernen

– Umfangreiche Erfahrung mit:

– ML-Experimentdesign

– Modellauswahl

– Hyperparameter-Tuning

– Modellbewertung

– Datenvorverarbeitung und -validierung

– Ausgeprägtes Verständnis von Zug-, Validierungs- und Testaufteilungen

– Fähigkeit zu identifizieren:

– Datenleck

– Label-Rauschen

– Verteilungsverschiebung

– Falsche Zusammenhänge

– Funktionsverlust

– Datenkontamination

– Erfahrung in der Beurteilung, ob Leistungsverbesserungen statistisch aussagekräftig sind und nicht zufällige Schwankungen

– Ausgeprägtes Verständnis der ML-Bewertungsmetriken und der Frage, wann unterschiedliche Metriken angemessen sind

– Erleben Sie das Debuggen von ML-Workloads in CPU- und GPU-Umgebungen

– Fähigkeit, technische Probleme zu analysieren und klares schriftliches Feedback zu geben

Schön zu haben

– Erfahrung in der Erstellung oder Teilnahme an Kaggle-, DrivenData- oder ähnlichen ML-Wettbewerben

– Erfahrung im Entwerfen von Benchmark-Datensätzen oder ML-Herausforderungen

– Hintergrund in datenzentrierter KI oder Datensatzqualität

– Erfahrung mit der Generierung und Validierung synthetischer Daten

– Vertrautheit mit statistischen Tests, Konfidenzintervallen und Effektgrößen

– Erfahrung mit ML-Bewertungspipelines, RLHF oder KI-Modellbewertung

– Erfahrung in der Entwicklung von ML-Lehrplänen oder technischen Bewertungen

– Verständnis gängiger ML-Fehlermodi wie:

– Shortcut-Lernen

– Falsche Zusammenhänge

– Goodharts Gesetz

– Simpsons Paradoxon

– Metrisches Spielen

WOFÜR SIE VERANTWORTLICH SIND

– Überprüfung der ML-Herausforderungen und Feststellung, ob sie gut konzipiert und technisch lösbar sind

– Bewertung, ob Datensätze aussagekräftige und lernbare Signale enthalten

– Identifizieren unbeabsichtigter Verknüpfungen oder Artefakte in synthetischen Datensätzen

– Bestimmen, ob Aufgaben eine echte Diagnose des zugrunde liegenden ML-Problems erfordern

– Überprüfung von Bewertungsmetriken und Verbesserungsschwellenwerten

– Erkennung von Metrikspielen, Datenlecks und Bewertungsfehlern

– Überprüfung der Reproduzierbarkeit über die gesamte Daten → Modell → Bewertungspipeline

– Beurteilung, ob der Schwierigkeitsgrad der Herausforderung angemessen kalibriert ist

– Bereitstellung klarer Empfehlungen zur Verbesserung, Neukalibrierung oder zum Ausschluss problematischer Aufgaben

ENGAGEMENT

Arbeitstyp: Remote

Engagement: Teilzeitliche, projektbasierte Beratung

Schwerpunkte: Angewandtes maschinelles Lernen, Experimentdesign, Datenqualität und Modellevaluierung

Diese Rolle passt besonders gut zu ML-Ingenieuren, die Spaß daran haben, Experimente zu debuggen, zu verstehen, warum Modelle erfolgreich sind oder scheitern, Probleme in Datensätzen und Evaluierungspipelines zu identifizieren und anspruchsvolle Experimente zum maschinellen Lernen zu entwerfen.

Quelle: EU Remote Jobs (https://euremotejobs.com/job/machine-learning-engineer-ml-evaluation-experiment-design/)