Старший інженер МЛ

Працює в CreateFuture

CreateFuture — це рідний консалтинговий партнер, де люди виконують важливу роботу та отримують підтримку для її якісного виконання. Ми співпрацюємо з такими організаціями, як PayPal, adidas, NatWest, FanDuel і Money Saving Expert, створюючи цифрові продукти та послуги, які змінюють ситуацію, завжди ставлячи людей на перше місце.

Ми команда творців. Ми пишемо код, формуємо доставку, будуємо стратегії виходу на ринок, розробляємо рішення штучного інтелекту та створюємо практики, які підтримують наших людей. Ми працюємо пліч-о-пліч із нашими клієнтами, кидаємо виклик тому, що не працює, і допомагаємо їм будувати майбутнє. Наша відданість майстерності, якості та культурі допомогла нам збільшити кількість людей до понад 600 лише за кілька років.

CreateFuture — це сертифікована компанія Great Place to Work-Certified™, яка кілька років поспіль вигравала нагороду Best Workplaces UK.

Приєднуйтесь до нас у нашій подорожі. Давайте творити завтра, разом, сьогодні.

Про роль і команду:

Ми шукаємо старшого інженера з обробки даних, який спеціалізується на машинному навчанні, щоб приєднатися до нашої команди обробки даних, взяти на себе відповідальність за конвеєри даних і функцій, від яких залежать виробничі системи ML, навчати підготовку даних, розробляти функції та пройти шлях від моделі, яка працює в ноутбуці, до моделі, яка працює і продовжує працювати у виробництві. Ви працюватимете з високим ступенем автономності над більш складними та неоднозначними проблемами в рамках взаємодії з клієнтами, тісно співпрацюючи з науковцями з обробки даних та інженерами з машинного навчання, водночас наставляючи молодших інженерів і допомагаючи підняти планку інженерної практики. Основи все ще мають значення: це роль інженерії даних, побудована на Python, PySpark і таких платформах, як Databricks, Snowflake або AWS.

Що ви будете робити:

• Візьміть на себе відповідальність за проектування, створення та підтримку виробничих даних і конвеєрів функцій, від яких залежать системи машинного навчання, підготовку навчальних даних, розробку функцій і відтворювані набори даних, правильні на певний момент часу, з мінімальним наглядом

• Перенесіть моделі від прототипу до виробництва та зберігайте їх там: упаковка та розгортання разом із колегами з обробки даних, створення версій моделі, автоматизоване перенавчання та моніторинг, який виявляє дрейф і погіршення перед клієнтом

• Створюйте та обслуговуйте пакетні конвеєри та конвеєри ELT, на яких базується робота МЛ, використовуючи Python, PySpark і хмарні служби даних (наприклад, AWS Glue, EMR, S3, Redshift, Athena або еквіваленти Databricks/Snowflake), приймаючи обґрунтовані рішення щодо архітектури, моделювання даних та інструментів, а також зважуючи компроміси щодо продуктивності, вартості та ремонтопридатність

• Володіти та постійно вдосконалювати CI/CD для даних і робочих процесів ML, забезпечуючи надійне повторюване розгортання конвеєрів і моделей.

• Наставляйте та підтримуйте молодших і середніх інженерів обробки даних, переглядайте код і діліться знаннями, щоб підвищити рівень надання всієї команди

• Усунення несправностей і вирішення складних проблем у поточних конвеєрах даних і розгорнутих моделях, діючи як точка ескалації для ширшої команди

• Співпрацюйте з спеціалістами з обробки даних, міжфункціональними командами та зацікавленими сторонами клієнтів, щоб зрозуміти вимоги до даних і ML і втілити їх у технічні рішення

Ми будемо раді поспілкуватися з вами, якщо ви:

• Майте практичний досвід створення конвеєрів даних і функцій, що стоять за виробничим машинним навчанням, підготовкою навчальних даних, розробкою функцій і сховищами функцій, і зрозумійте, чому відтворюваність і точність на певний момент часу важливіші, ніж здається на перший погляд

• Працювали з MLO на практиці, а не в принципі: версії та реєстри моделі, відстеження експериментів, автоматизоване перенавчання та моніторинг дрейфу та деградації моделі (MLflow, SageMaker, Databricks ML, Vertex AI або аналогічні)

• Комфортні з фреймворками ML, такими як scikit-learn, PySpark MLlib або PyTorch / TensorFlow, достатньо, щоб створити роботу спеціаліста з обробки даних, зрозуміти, що потрібно моделі з даних, і виявити, де навчальний конвеєр і конвеєр обслуговування тихо розійшлися. Вам не потрібно бути особою, яка розробляє модель

• Розробив і керував конвеєрами виробничих даних на сучасній хмарній платформі даних, AWS (Glue, EMR, Redshift, S3/Lake Formation), Databricks, Snowflake або подібних, і міг говорити про те, які з цих рішень будуть передані на іншу, а які ні.

• Володіти глибокими навичками SQL і практичним досвідом моделювання даних (наприклад, Kimball, шаблони медальйон/озеро або моделювання, кероване доменом), це навички, що несуть навантаження, не залежать від постачальників майже всієї нашої конвеєрної роботи

• Майте потужні Python і PySpark для пакетної обробки з виробничим, добре перевіреним кодом. Основна частина цієї роботи — це пакетна робота та ELT, але вам знадобиться мати досвід конвеєрів, керованих подіями або мікро-пакетів, і знати, де припущення дизайну перестають бути актуальними.

• Володійте оркестровкою у виробництві, розробкою залежностей, повторними спробами, угодами про рівень обслуговування та спостережливістю, яка повідомляє вам про збій конвеєра до того, як це зробить клієнт

• Мати досвід роботи з розробки даних з обмеженим наглядом, включаючи керування та підтримку CI/CD

• Мати досвід наставництва або підтримки розвитку менш досвідчених інженерів

• Комфортно працювати безпосередньо із зацікавленими сторонами для формування технічних рішень на основі неоднозначних вимог, презентації вашої роботи, оцінки та обговорення компромісів і ризиків.

Що ми вам запропонуємо:

Ми віримо, що люди виконають свою роботу якнайкраще. Це означає гнучкість у порівнянні з жорсткими правилами, вплив на діяльність і реальні інвестиції у ваш професійний і особистий розвиток. Ви станете частиною сприятливої ​​та доброзичливої ​​культури в оточенні розумних, допитливих людей, яким не байдуже те, що вони роблять.

Ми пропонуємо гнучку роботу, включаючи гібридні та дистанційні варіанти. Наші офісні центри розташовані в Единбурзі, Лідсі, Манчестері, Лондоні та Болгарії, з періодичними поїздками на сайти клієнтів або в офіси CreateFuture, коли це необхідно.…

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/senior-ml-engineer-388909)