Главный инженер данных

Работа в CreateFuture

CreateFuture — это консалтинговый партнер, специализирующийся на искусственном интеллекте, где люди выполняют важную работу и получают поддержку, чтобы делать ее хорошо. Мы работаем вместе с такими организациями, как PayPal, adidas, NatWest, FanDuel и Money Saving Expert, создавая цифровые продукты и услуги, которые приносят пользу, всегда ставя людей на первое место.

Мы команда творцов. Мы пишем код, формируем доставку, разрабатываем стратегии выхода на рынок, разрабатываем решения искусственного интеллекта и создаем практики, которые поддерживают наших сотрудников. Мы работаем бок о бок с нашими клиентами, бросая вызов тому, что не работает, и помогая им строить будущее. Наша приверженность ремеслу, качеству и культуре помогла нам всего за несколько лет расширить штат до более чем 600 человек.

Компания CreateFuture сертифицирована как Great Place to Work и несколько лет подряд выигрывала премию Best Workplaces UK.

Присоединяйтесь к нам в нашем путешествии. Давайте создадим завтра вместе, сегодня.

О роли и команде:

Мы ищем главного инженера по данным, который присоединится к нашей практике обработки данных и возглавит техническое направление наших инженерных возможностей. Вы будете работать с портфелем клиентов, охватывающих различные отрасли, помогая самым амбициозным организациям Великобритании решать самые сложные проблемы с данными. Руководитель CreateFuture работает как над линией доставки, так и внутри нее. Вы определите, как мы решаем самые сложные проблемы инженерии данных в нашей клиентской базе, повлияем на форму взаимодействия от предварительных продаж до доставки, вырастим вокруг вас таланты в области обработки данных и станьте узнаваемым голосом CreateFuture в сообществе инженеров данных.

Чем вы будете заниматься:

Техническое лидерство

• Определение и владение шаблонами архитектуры инженерии данных, которые CreateFuture использует при взаимодействии с клиентами — платформы миграции, потоковые архитектуры, стандарты целостности данных и дизайн Lakehouse.

• Выполнение функций высшего технического специалиста по взаимодействию с клиентами: принятие важных архитектурных решений, разрешение споров по проектированию и установление планки качества.

• Рассмотрение и утверждение технических проектов, подготовленных ведущими и старшими инженерами в рамках активных проектов.

• Выявление и стимулирование внедрения новых инструментов, шаблонов и облачных сервисов, которые улучшают результаты доставки в сфере обработки данных.

Доставка

• Руководство техническим проектированием и выполнением крупномасштабной миграции данных — перемещение больших объемов данных о транзакциях и событиях из локальных или устаревших облачных хранилищ на современные облачные платформы без потери точности или непрерывности работы.

• Создание архитектуры конвейеров данных в режиме реального времени и почти в реальном времени для клиентов с высокими требованиями к задержке и правильности.

• Разработка и внедрение систем обеспечения целостности данных в критических доменах данных, включая согласование исходных и целевых систем, обнаружение аномалий и требования к контрольному журналу.

• Надзор за внедрением системы отчетности по нормативам и соблюдению требований, если это применимо к сектору клиента.

• Работа с облачными службами данных (например, S3, Glue, Lambda, Athena, Redshift, RDS, Kinesis, MSK, Lake Formation, Step Functions, MWAA или их эквивалентами на других платформах) — выбор подходящего инструмента для каждой проблемы, а не использование стека по умолчанию.

Практика и люди

• Наставничество и развитие ведущих и старших инженеров по обработке данных — посредством проверки кода, объединения в пары, сессий по архитектуре и бесед о карьере.

• Создание руководства по проектированию данных CreateFuture: многократно используемые шаблоны, ускорители и эталонные архитектуры, которые сокращают время окупаемости новых проектов.

• Содействие найму сотрудников — определение того, как хорошо выглядеть на должностях инженеров данных, и активное участие в оценке.

• Представление CreateFuture на внешних площадках — на отраслевых мероприятиях, в технических публикациях в блогах и при работе с клиентами — как заслуживающий доверия голос в области разработки данных.

• Тесное сотрудничество с руководителем отдела данных для обеспечения роста необходимых навыков и способностей для удовлетворения потребностей клиентов.

Коммерческий

• Формирование и руководство техническими реакциями на возможности — определение объема сложных заданий, написание предложений по архитектуре и представление старшим заинтересованным сторонам клиента.

• Выявление возможностей расширения существующих отношений с клиентами — выявление проблем в области обработки данных, которые мы можем помочь решить, и оформление их в виде предложений.

• Партнерство с поставщиками облачных услуг в рамках совместной деятельности по выходу на рынок, где это необходимо, используя статус партнера CreateFuture.

Что мы ищем:

Консалтинговый опыт

• Вы провели значительную часть своей карьеры в сфере консалтинга, профессиональных услуг или работы с клиентами — вы знаете, как быстро завоевать доверие, работать с неоднозначными или быстро меняющимися требованиями и выполнять работу в условиях коммерческого давления.

• Вам комфортно перемещаться между клиентами и отраслями, быстро осваивая новые области, а не полагаясь на годы встроенного контекста.

• Вы формировали и продавали техническую работу — писали предложения, определяли объем работ и представляли архитектурные решения заинтересованным сторонам клиента.

• Вы понимаете разницу между «хорошим проектированием» и «хорошим проектированием для этого клиента, этого бюджета, этого графика» — и можете прозрачно найти этот компромисс.

Мастерство облачной обработки данных

• Вы можете проектировать весь стек обработки данных — от приема и потоковой передачи до хранения, обслуживания и оптимизации затрат — на крупной облачной платформе (настоятельно предпочтительнее AWS).

• У вас есть большой опыт работы с архитектурами потоковой передачи — Kinesis, Kafka/MSK, Flink или Spark Streaming — и вы знаете, когда каждая из них является правильным выбором.

• Вы можете моделировать финансовые последствия архитектурных решений и консультировать клиентов по вопросам компромисса между пропускной способностью, задержкой, надежностью и расходами.

• Сертификация облачных технологий на профессиональном или специальном уровне настоятельно предпочтительна.

Инженерное превосходство

• Владение Python, SQL и Spark — и твердое мнение о том, как их следует использовать в конвейерах производственных данных…

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/principal-data-engineer-351196).