Інженер з машинного навчання – оцінка ML та дизайн експерименту

Anyone AI набирає досвідчених інженерів з машинного навчання для спеціалізованого проекту, зосередженого на перегляді та оцінці проблем машинного навчання, які використовуються в навчанні та оцінці моделі ШІ.

Робота включає в себе аналіз експериментів МЛ, наборів даних, показників і конвеєрів, щоб визначити, чи виклики є технічно обґрунтованими, відтворюваними, відповідним чином складними та справді потребують сильного обґрунтування машинного навчання.

НАД ЧИМ ВИ БУДЕТЕ ПРАЦЮВАТИ

Ви розглянете завдання ML, які включають:

– Планування експерименту та вибір моделі

– Малі та синтетичні набори даних

– Якість даних і попередня обробка

– Зсув розподілу та забруднення даних

– Шум мітки та витік функцій

– Оцінка моделі та вибір метрики

– Гіперпараметрична настройка

– Методологія навчання / перевірки / тестування

– Відтворюваність і детерміновані конвеєри

– Статистична значущість удосконалень моделі

Ключовою частиною ролі є визначення того, чи справді завдання винагороджує хороші міркування ML, а не те, що його можна просто розв’язати шляхом грубого вибору моделі або пошуку за великими гіперпараметрами.

ЩО МИ ШУКАЄМО

– 3+ роки практичного досвіду прикладного машинного навчання

– Великий досвід роботи з:

– Дизайн експерименту ML

– Вибір моделі

– Гіперпараметрична настройка

– Оцінка моделі

– Попередня обробка та перевірка даних

– Чітке розуміння розподілів навчання, перевірки та тестування

– Здатність ідентифікувати:

– Витік даних

– Шум етикетки

– Розподільча зміна

– Хибні кореляції

– Витік функцій

– Забруднення даних

– Досвід оцінки того, чи є підвищення ефективності статистично значущими, а не випадковими коливаннями

– Чітке розуміння метрик оцінки ML і того, коли різні метрики доречні

– Досвід налагодження робочих навантажень ML у середовищах CPU та GPU

– Здатність аналізувати технічні проблеми та надавати чіткий письмовий відгук

ПРИЯТНО МАТИ

– Досвід створення або участі в змаганнях Kaggle, DrivenData чи подібних змаганнях МЛ

– Досвід проектування еталонних наборів даних або завдань ML

– Підготовка до ШІ, орієнтованого на дані, або якості набору даних

– Досвід створення та перевірки синтетичних даних

– Знайомство зі статистичним тестуванням, довірчими інтервалами та розмірами ефекту

– Досвід роботи з конвеєрами оцінювання ML, RLHF або оцінювання моделі AI

– Досвід розробки навчальних програм ML або технічної оцінки

– Розуміння поширених режимів несправності ML, таких як:

– Швидке навчання

– Хибні кореляції

– Закон Гудхарта

– Парадокс Сімпсона

– Метричні ігри

ЗА ЩО ВИ НЕСЕТЕ ВІДПОВІДАЛЬНІСТЬ

– Огляд проблем ML і визначення того, чи вони добре розроблені та технічно вирішувані

– Оцінка того, чи містять набори даних значущі та доступні для вивчення сигнали

– Виявлення ненавмисних ярликів або артефактів у синтетичних наборах даних

– Визначення того, чи потребують завдання справжньої діагностики основної проблеми ML

– Перегляд метрик оцінювання та порогів покращення

– Виявлення метричних ігор, витоку даних і недоліків оцінки

– Перевірка відтворюваності всіх даних → модель → конвеєр оцінювання

– Оцінка відповідності калібрування складності завдання

– Надання чітких рекомендацій щодо покращення, повторного калібрування або виключення проблемних завдань

ЗАручини

Тип роботи: Дистанційна

Залучення: неповний робочий день, проектний консалтинг

Фокус: прикладне машинне навчання, дизайн експерименту, якість даних і оцінка моделі

Ця роль добре підходить для інженерів ML, яким подобається проводити експерименти з налагодження, розуміти, чому моделі успішні чи невдалі, виявляти проблеми в наборах даних і конвеєрах оцінки, а також розробляти суворі експерименти з машинним навчанням.

Джерело: EU Remote Jobs (https://euremotejobs.com/job/machine-learning-engineer-ml-evaluation-experiment-design/)