Старший инженер данных

Работа в CreateFuture

CreateFuture — это консалтинговый партнер, специализирующийся на искусственном интеллекте, где люди выполняют важную работу и получают поддержку, чтобы делать ее хорошо. Мы работаем вместе с такими организациями, как PayPal, adidas, NatWest, FanDuel и Money Saving Expert, создавая цифровые продукты и услуги, которые приносят пользу, всегда ставя людей на первое место.

Мы команда творцов. Мы пишем код, формируем доставку, разрабатываем стратегии выхода на рынок, разрабатываем решения искусственного интеллекта и создаем практики, которые поддерживают наших сотрудников. Мы работаем бок о бок с нашими клиентами, бросая вызов тому, что не работает, и помогая им строить будущее. Наша приверженность ремеслу, качеству и культуре помогла нам всего за несколько лет расширить штат до более чем 600 человек.

Компания CreateFuture сертифицирована как Great Place to Work и несколько лет подряд выигрывала премию Best Workplaces UK.

Присоединяйтесь к нам в нашем путешествии. Давайте создадим завтра вместе, сегодня.

О роли и команде:

Мы ищем старшего инженера по обработке данных, который присоединится к нашей команде по работе с данными и возьмет на себя ответственность за проектирование, доставку и надежность конвейеров производственных данных, построенных на таких платформах, как Snowflake/Databricks, Python и PySpark. Вы будете работать с высокой степенью автономии, беря на себя более сложные и неоднозначные задачи по обработке данных при взаимодействии с клиентами, одновременно обучая младших инженеров и помогая поднять планку инженерной практики. Вы будете тесно сотрудничать с архитекторами, продуктовыми командами и заинтересованными сторонами клиентов, чтобы преобразовать требования к данным в надежные и удобные в обслуживании решения.

Чем вы будете заниматься:

• Возьмите на себя ответственность за проектирование, создание и поддержку масштабируемых, готовых к использованию конвейеров данных с использованием сервисов данных AWS (например, AWS Glue, EMR, S3, Redshift, Athena), Python и PySpark с минимальным контролем.

• Принимать обоснованные технические решения по архитектуре конвейера, моделированию данных и инструментам, взвешивая компромиссы в производительности, стоимости и удобстве обслуживания.

• Наставничество и поддержка инженеров данных младшего и среднего звена, проверка кода и обмен знаниями для повышения стандартов доставки в команде.

• Владеть и постоянно совершенствовать конвейеры CI/CD для рабочих процессов обработки данных, обеспечивая надежные и повторяемые развертывания.

• Устраняйте и решайте сложные проблемы в конвейерах живых данных, выступая в качестве точки эскалации для более широкой команды.

• Сотрудничайте с межфункциональными командами и заинтересованными сторонами клиентов, чтобы понять требования к данным и преобразовать их в технические решения.

Мы будем рады поговорить с вами, если вы:

• Спроектировали и эксплуатируете конвейеры производственных данных на современной облачной платформе данных AWS (Glue, EMR, Redshift, S3/Lake Formation), Databricks, Snowflake или аналогичной, и можете говорить о том, какие из этих решений будут перенесены в другую платформу, а какие нет.

• Владеть оркестровкой в ​​производстве, дизайном зависимостей, повторными попытками, соглашениями об уровне обслуживания и возможностью наблюдения, которая сообщит вам, что конвейер вышел из строя раньше, чем это сделает клиент.

• Получали данные из неудобных источников: API, CDC, оперативные базы данных, файлы, которые меняют форму без вашего ведома.

• Иметь глубокие навыки SQL и практический опыт моделирования данных (например, Кимбалла, шаблоны медальонов/озёрных домиков или моделирование на основе предметной области) — это основной навык, не зависящий от поставщика, лежащий в основе почти всей нашей работы по конвейеру.

• Используйте мощный Python и PySpark для пакетной обработки, а также хорошо протестированный код промышленного уровня. Основная часть этой работы — пакетная обработка и ELT, но вам понадобится опыт работы с управляемыми событиями или микропакетными конвейерами и знать, где проектные предположения перестают выполняться. )

• Иметь опыт выполнения работ по инженерии данных с ограниченным контролем, включая управление и поддержку CI/CD.

• Иметь опыт наставничества или поддержки развития менее опытных инженеров.

• Комфортно работать напрямую с заинтересованными сторонами для формирования технических решений на основе неоднозначных требований, представляя свою работу, оценивая и обсуждая компромиссы и риски.

Что мы вам предложим:

Мы доверяем людям делать свою работу наилучшим образом. Это означает гибкость в отношении жестких правил, влияние на деятельность и реальные инвестиции в ваш рост как в профессиональном, так и в личном плане. Вы станете частью поддерживающей и дружественной культуры, окруженной умными, любознательными людьми, которым глубоко небезразлично то, что они делают.

Мы предлагаем гибкий график работы, включая гибридные и удаленные варианты. Наши офисные центры расположены в Эдинбурге, Лидсе, Манчестере, Лондоне и Болгарии. При необходимости мы периодически выезжаем на объекты клиентов или в офисы CreateFuture.

Мы доверяем вам управлять своим временем, совмещая сотрудничество с временем клиента и целенаправленной работой. Важно то, какое влияние вы оказываете, а не то, насколько занятым вы выглядите.

Наш процесс найма

Мы стараемся, чтобы наш процесс найма был понятным, справедливым и с уважением относился к вашему времени. Мы стремимся связаться со всеми, кто подает заявку, и будем откровенны о том, на каком этапе процесса вы находитесь.

Обычно это выглядит так:

• Позвоните в нашу команду по привлечению талантов

• Интервью по возможностям для конкретной роли

В зависимости от роли мы также можем попросить вас провести короткую презентацию, практическое или техническое задание или провести беседу, ориентированную на ценности. Мы объясним, что происходит, прежде чем что-нибудь произойдет.

Включение в CreateFuture

Мы считаем, что разнообразные команды создают лучшие рабочие места и лучшие продукты. Мы хотим, чтобы CreateFuture стал местом, где люди чувствуют себя способными быть самими собой и делать свою работу наилучшим образом.

Если вам нужны какие-либо корректировки или поддержка в процессе подачи заявления, просто. Мы сделаем все возможное, чтобы помочь.

Мы с нетерпением ждем вашей заявки!

Найдите работу в Великобритании на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/senior-data-engineer-230278).