Головний інженер даних

Працює в CreateFuture

CreateFuture — це рідний консалтинговий партнер, де люди виконують важливу роботу та отримують підтримку для її якісного виконання. Ми співпрацюємо з такими організаціями, як PayPal, adidas, NatWest, FanDuel і Money Saving Expert, створюючи цифрові продукти та послуги, які змінюють ситуацію, завжди ставлячи людей на перше місце.

Ми команда творців. Ми пишемо код, формуємо доставку, будуємо стратегії виходу на ринок, розробляємо рішення штучного інтелекту та створюємо практики, які підтримують наших людей. Ми працюємо пліч-о-пліч із нашими клієнтами, кидаємо виклик тому, що не працює, і допомагаємо їм будувати майбутнє. Наша відданість майстерності, якості та культурі допомогла нам збільшити кількість людей до понад 600 лише за кілька років.

CreateFuture — це сертифікована компанія Great Place to Work-Certified™, яка кілька років поспіль вигравала нагороду Best Workplaces UK.

Приєднуйтесь до нас у нашій подорожі. Давайте творити завтра, разом, сьогодні.

Про роль і команду:

Ми шукаємо головного інженера з даних, який приєднається до нашої практики обробки даних і керуватиме технічним керівництвом наших інженерних можливостей. Ви працюватимете з портфоліо клієнтів, що охоплюють різні галузі, допомагаючи деяким із найамбітніших організацій у Великій Британії вирішити їхні найскладніші проблеми з даними. Керівник CreateFuture працює над лінією доставки, а також у ній. Ви визначите, як ми вирішуємо найскладніші проблеми інженерії даних у нашій клієнтській базі, впливатимемо на форму взаємодії від попереднього продажу до доставки, розвиватимемо талант навколо вас і станете впізнаваним голосом CreateFuture у спільноті інженерів даних.

Що ви будете робити:

Технічне керівництво

• Визначення та володіння шаблонами архітектури інженерної обробки даних, які CreateFuture використовує для взаємодії з клієнтами — інфраструктури міграції, потокові архітектури, стандарти цілісності даних і дизайн Lakehouse

• Виконання обов’язків найвищого технічного авторитету з питань взаємодії з клієнтами — прийняття критичних архітектурних рішень, розв’язання суперечок щодо дизайну та встановлення планки якості

• Перегляд та підписання технічних проектів, розроблених провідними та старшими інженерами в рамках активних завдань

• Виявлення та стимулювання впровадження нових інструментів, шаблонів і хмарних служб, які покращують результати надання даних у практиці обробки даних

Доставка

• Керівництво технічним проектуванням і виконанням великомасштабних міграцій даних — переміщення великого обсягу даних про транзакції та події з локальних або застарілих хмарних об’єктів на сучасні хмарні платформи без втрати точності чи безперервності роботи

• Розробка конвеєрів даних у реальному та майже реальному часі для клієнтів із вимогами до затримки та коректності

• Розробка та впровадження структур цілісності даних у критичних доменах даних, включаючи узгодження між вихідною та цільовою системами, виявлення аномалій та вимоги до журналу аудиту

• Нагляд за впровадженням регулятивних систем звітності та звітності про дотримання вимог, якщо це стосується сектору клієнта

• Робота з хмарними службами даних (наприклад, S3, Glue, Lambda, Athena, Redshift, RDS, Kinesis, MSK, Lake Formation, Step Functions, MWAA або їхні еквіваленти на інших платформах) — вибір правильного інструменту для кожної проблеми, а не використання стека за замовчуванням

Практика і люди

• Наставництво та розвиток провідних і старших інженерів з обробки даних — через перегляд коду, створення пар, сеанси з архітектури та бесіди про кар’єру

• Створення посібника з інженерії даних CreateFuture: багаторазові шаблони, прискорювачі та еталонні архітектури, які скорочують час до окупності нових завдань

• Внесок у наймання — визначення того, як чудово виглядають посади розробників даних, і активна участь в оцінюванні

• Представлення CreateFuture поза межами — на галузевих заходах, у технічних публікаціях у блогах і в налаштуваннях для клієнта — як надійного голосу з розробки даних

• Тісна співпраця з керівником відділу даних, щоб забезпечити розвиток потрібних навичок і здібностей для задоволення потреб клієнтів.

Комерційний

• Формування та керівництво технічними реакціями на можливості — визначення складних завдань, написання пропозицій щодо архітектури та представлення старшим зацікавленим сторонам клієнтів

• Виявлення можливостей розширення в рамках існуючих відносин із клієнтами — виявлення проблем інженерії даних, які ми можемо допомогти вирішити, і формування їх у вигляді пропозицій

• Партнерство з хмарними провайдерами щодо спільного виходу на ринок, де це необхідно, використовуючи статус партнера CreateFuture

Що ми шукаємо:

Консалтинговий фон

• Ви присвятили значну частину своєї кар’єри консалтингу, професійним послугам або клієнтському середовищу надання послуг — ви знаєте, як швидко завоювати довіру, працювати всупереч неоднозначним вимогам або вимогам, що швидко змінюються, і здійснювати послуги під комерційним тиском

• Вам зручно переходити між клієнтами та галузями, швидко нарощуючи нові домени, а не покладатися на роки вбудованого контексту

• Ви сформували та продали технічну роботу — написали пропозиції, визначили масштаби та представили архітектурні рішення зацікавленим сторонам клієнта

• Ви розумієте різницю між «добрим проектуванням» і «хорошим проектуванням для цього клієнта, цього бюджету, цього графіку» — і можете прозоро орієнтуватися в цьому компромісі

Майстерність інженерії хмарних даних

• Ви можете проектувати весь стек інженерних даних — від прийому й потокової передачі до зберігання, обслуговування та оптимізації витрат — на основній хмарній платформі (бажано AWS)

• Ви маєте великий досвід роботи з потоковими архітектурами — Kinesis, Kafka/MSK, Flink або Spark Streaming — і знаєте, коли кожна з них є правильним вибором

• Ви можете моделювати вартість рішень щодо архітектури та консультувати клієнтів щодо компромісів між пропускною здатністю, затримкою, довговічністю та витратами

• Перевага надається хмарній сертифікації на професійному або спеціальному рівні

Інженерна досконалість

• Майстерне володіння Python, SQL і Spark — і тверда думка про те, як їх слід використовувати в конвеєрах виробничих даних…

Джерело: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/principal-data-engineer-351196)