Старший инженер по машинному обучению

Работа в CreateFuture

CreateFuture — это консалтинговый партнер, специализирующийся на искусственном интеллекте, где люди выполняют важную работу и получают поддержку, чтобы делать ее хорошо. Мы работаем вместе с такими организациями, как PayPal, adidas, NatWest, FanDuel и Money Saving Expert, создавая цифровые продукты и услуги, которые приносят пользу, всегда ставя людей на первое место.

Мы команда творцов. Мы пишем код, формируем доставку, разрабатываем стратегии выхода на рынок, разрабатываем решения искусственного интеллекта и создаем практики, которые поддерживают наших сотрудников. Мы работаем бок о бок с нашими клиентами, бросая вызов тому, что не работает, и помогая им строить будущее. Наша приверженность ремеслу, качеству и культуре помогла нам всего за несколько лет расширить штат до более чем 600 человек.

Компания CreateFuture сертифицирована как Great Place to Work и несколько лет подряд выигрывала премию Best Workplaces UK.

Присоединяйтесь к нам в нашем путешествии. Давайте создадим завтра вместе, сегодня.

О роли и команде:

Мы ищем старшего инженера по обработке данных, специализирующегося на машинном обучении, который присоединится к нашей команде по работе с данными, возьмет на себя ответственность за конвейеры данных и функций, от которых зависят производственные системы ML, обучит подготовке данных, разработке функций и проведет путь от модели, которая работает в блокноте, к модели, которая работает и продолжает работать в рабочей среде. Вы будете работать с высокой степенью автономии над более сложными и неоднозначными проблемами взаимодействия с клиентами, тесно сотрудничая с учеными по данным и инженерами ML, одновременно обучая младших инженеров и помогая поднять планку инженерной практики. Основы по-прежнему имеют значение: по сути это инженерия данных, построенная на Python, PySpark и таких платформах, как Databricks, Snowflake или AWS.

Чем вы будете заниматься:

• Возьмите на себя ответственность за проектирование, создание и поддержку производственных данных и конвейеров функций, от которых зависят системы машинного обучения, подготовку обучающих данных, разработку функций и воспроизводимые, корректные на определенный момент времени наборы данных с минимальным контролем.

• Переносите модели из прототипа в производство и храните их там: упаковка и развертывание вместе с коллегами по обработке данных, управление версиями моделей, автоматическое переобучение и мониторинг, который выявляет отклонения и деградацию до того, как это сделает клиент.

• Создавайте и обслуживайте пакетные и ELT-конвейеры, на которых осуществляется работа ML, используя Python, PySpark и облачные сервисы данных (например, AWS Glue, EMR, S3, Redshift, Athena или эквиваленты Databricks/Snowflake), принимая обоснованные решения по архитектуре, моделированию данных и инструментам, а также взвешивая компромиссы в производительности, стоимости и ремонтопригодности.

• Владеть и постоянно совершенствовать CI/CD для обработки данных и рабочих процессов машинного обучения, обеспечивая надежное и воспроизводимое развертывание как конвейеров, так и моделей.

• Наставничество и поддержка инженеров данных младшего и среднего звена, проверка кода и обмен знаниями для повышения стандартов доставки в команде.

• Устраняйте и решайте сложные проблемы в конвейерах живых данных и развернутых моделях, выступая в качестве точки эскалации для более широкой команды.

• Сотрудничайте с учеными по обработке данных, межфункциональными командами и заинтересованными сторонами клиентов, чтобы понять требования к данным и машинному обучению и преобразовать их в технические решения.

Мы будем рады поговорить с вами, если вы:

• Иметь практический опыт создания конвейеров данных и функций для производственного машинного обучения, подготовки обучающих данных, разработки функций и хранилищ функций, а также понимать, почему воспроизводимость и корректность на определенный момент времени имеют большее значение, чем кажется на первый взгляд.

• Работали с MLOps на практике, а не в принципе: управление версиями моделей и реестрами, отслеживание экспериментов, автоматическое переобучение и мониторинг отклонений и деградации моделей (MLflow, SageMaker, Databricks ML, Vertex AI или аналогичные).

• Удобны в работе со средами машинного обучения, такими как scikit-learn, PySpark MLlib или PyTorch/TensorFlow, которых достаточно, чтобы организовать работу специалиста по обработке данных, понять, что модели нужно от данных, и определить, где конвейер обучения и обслуживающий конвейер незаметно разошлись. Вам не обязательно быть человеком, разрабатывающим модель.

• Спроектировали и эксплуатируете конвейеры производственных данных на современной облачной платформе данных, AWS (Glue, EMR, Redshift, S3/Lake Formation), Databricks, Snowflake или аналогичной, и можете говорить о том, какие из этих решений будут перенесены в другую платформу, а какие нет.

• Иметь глубокие навыки SQL и практический опыт моделирования данных (например, Кимбалла, шаблоны медальонов/озёрных домиков или моделирование на основе предметной области). Это важнейшие, не зависящие от поставщика навыки, лежащие в основе почти всей нашей работы по конвейеру.

• Используйте мощный Python и PySpark для пакетной обработки, а также хорошо протестированный код промышленного уровня. Основная часть этой работы выполняется в пакетном режиме и ELT, но вам необходимо иметь опыт работы с конвейерами, управляемыми событиями или микропакетами, и знать, где проектные предположения перестают выполняться.

• Владеть оркестровкой в производстве, дизайном зависимостей, повторными попытками, соглашениями об уровне обслуживания и наблюдаемостью, которая сообщит вам, что конвейер вышел из строя до того, как это сделает клиент.

• Иметь опыт выполнения работ по инженерии данных с ограниченным контролем, включая управление и поддержку CI/CD.

• Иметь опыт наставничества или поддержки развития менее опытных инженеров.

• Комфортно работать напрямую с заинтересованными сторонами для формирования технических решений на основе неоднозначных требований, представляя свою работу, оценивая и обсуждая компромиссы и риски.

Что мы вам предложим:

Мы доверяем людям делать свою работу наилучшим образом. Это означает гибкость в отношении жестких правил, влияние на деятельность и реальные инвестиции в ваш рост как в профессиональном, так и в личном плане. Вы станете частью поддерживающей и дружественной культуры, окруженной умными, любознательными людьми, которым глубоко небезразлично то, что они делают.

Мы предлагаем гибкий график работы, включая гибридные и удаленные варианты. Наши офисные центры расположены в Эдинбурге, Лидсе, Манчестере, Лондоне и Болгарии, а при необходимости мы периодически выезжаем на объекты клиентов или в офисы CreateFuture…

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/senior-ml-engineer-388909).