Inżynier uczenia maszynowego – ocena ML i projektowanie eksperymentów

Firma Any AI rekrutuje doświadczonych inżynierów uczenia maszynowego do specjalistycznego projektu skupiającego się na przeglądaniu i ocenie wyzwań związanych z uczeniem maszynowym wykorzystywanych w szkoleniu i ocenie modeli sztucznej inteligencji.

Praca obejmuje analizę eksperymentów uczenia maszynowego, zbiorów danych, metryk i potoków w celu ustalenia, czy wyzwania są solidne technicznie, powtarzalne, odpowiednio trudne i rzeczywiście wymagają silnego rozumowania opartego na uczeniu maszynowym.

NAD CZYM BĘDZIESZ PRACOWAĆ

Przeanalizujesz wyzwania ML obejmujące:

– Projekt eksperymentu i wybór modelu

– Małe i syntetyczne zbiory danych

– Jakość danych i ich wstępne przetwarzanie

– Przesunięcie dystrybucji i zanieczyszczenie danych

– Szum etykiet i wyciek funkcji

– Ocena modelu i wybór metryk

– Strojenie hiperparametrów

– Metodologia szkolenia/walidacji/testowania

– Odtwarzalność i deterministyczne potoki

– Statystyczne znaczenie ulepszeń modelu

Kluczową częścią tej roli jest określenie, czy wyzwanie faktycznie nagradza dobre rozumowanie ML, a nie po prostu można je rozwiązać poprzez wybór modelu metodą brute-force lub duże przeszukiwanie hiperparametrów.

CZEGO SZUKAMY

– Ponad 3 lata praktycznego doświadczenia w zakresie stosowanego uczenia maszynowego

– Duże doświadczenie z:

– Projekt eksperymentu ML

– Wybór modelu

– Strojenie hiperparametrów

– Ocena modelu

– Wstępne przetwarzanie i walidacja danych

– Dobra znajomość podziału pociągów, walidacji i testów

– Możliwość identyfikacji:

– Wyciek danych

– Szum etykiet

– Zmiana dystrybucji

– Błędne korelacje

– Wyciek funkcji

– Zanieczyszczenie danych

– Doświadczenie w ocenie, czy poprawa wyników ma znaczenie statystyczne, a nie przypadkowe wahania

– Silne zrozumienie wskaźników oceny ML oraz tego, kiedy odpowiednie są różne mierniki

– Doświadczenie w debugowaniu obciążeń ML w środowiskach CPU i GPU

– Umiejętność analizowania problemów technicznych i przekazywania jasnych, pisemnych informacji zwrotnych

MIŁO MIEĆ

– Doświadczenie w tworzeniu lub uczestniczeniu w konkursach Kaggle, DrivenData lub podobnych konkursach ML

– Doświadczenie w projektowaniu porównawczych zestawów danych lub wyzwań ML

– Znajomość sztucznej inteligencji skoncentrowanej na danych lub jakości zbiorów danych

– Doświadczenie w generowaniu i walidacji danych syntetycznych

– Znajomość testów statystycznych, przedziałów ufności i wielkości efektu

– Doświadczenie z procesami oceny ML, RLHF lub oceną modelu AI

– Doświadczenie w opracowywaniu programów nauczania uczenia maszynowego lub ocen technicznych

– Zrozumienie typowych trybów awarii ML, takich jak:

– Nauka na skróty

– Błędne korelacje

– Prawo Goodharta

– Paradoks Simpsona

– Gry metryczne

ZA CO BĘDZIESZ ODPOWIEDZIALNY

– Przegląd wyzwań związanych z ML i ustalenie, czy są dobrze zaprojektowane i technicznie możliwe do rozwiązania

– Ocena, czy zbiory danych zawierają znaczące i możliwe do nauczenia się sygnały

– Identyfikacja niezamierzonych skrótów lub artefaktów w syntetycznych zbiorach danych

– Ustalenie, czy zadania wymagają prawdziwej diagnozy leżącego u podstaw problemu ML

– Przegląd wskaźników oceny i progów poprawy

– Wykrywanie gier metrycznych, wycieków danych i błędów w ocenie

– Weryfikacja odtwarzalności w całym potoku danych → modelu → ewaluacji

– Ocena, czy trudność wyzwania jest odpowiednio skalibrowana

– Zapewnienie jasnych zaleceń dotyczących ulepszenia, ponownej kalibracji lub wykluczenia problematycznych zadań

ZAANGAŻOWANIE

Rodzaj pracy: Zdalny

Zaangażowanie: Doradztwo oparte na projektach w niepełnym wymiarze godzin

Fokus: stosowane uczenie maszynowe, projektowanie eksperymentów, jakość danych i ocena modelu

Ta rola doskonale pasuje do inżynierów ML, którzy lubią debugować eksperymenty, rozumieć, dlaczego modele kończą się sukcesem lub niepowodzeniem, identyfikować problemy w zbiorach danych i procesach ewaluacyjnych oraz projektować rygorystyczne eksperymenty z uczeniem maszynowym.

Źródło: Praca zdalna w UE (https://euremotejobs.com/job/machine-learning-engineer-ml-evaluation-experiment-design/)