Старший інженер з даних

Інженер даних
Shiftbase створює помічника для самостійного водіння для позмінного бізнесу по всій Європі. Наші клієнти варіюються від незалежних ресторанів в Амстердамі до роздрібних торговців у кількох місцях у Мюнхені, і вони щотижня витрачають години на планування, відстеження робочого часу, підготовку заробітної плати та адміністратора кадрів. Ми хочемо зняти цю роботу з їхньої тарілки та зрештою зробити це за них.
Під цим баченням продукту ховається виклик даних. Інсайт, автоматизація та штучний інтелект залежать від даних, яким люди довіряють, а основи для цього ще не існує.

Ви побудуєте фундамент, який це виправить.

Що ти зробиш

• Архітектор складу. Розробіть і володійте нашим складом BigQuery та Dataform з нуля. Побудуйте багатошарову, добре змодельовану основу, медальйони, розміщені через вітрини, а не лише моделі, які сидять зверху. Щодня запитуйте, чи може вся компанія довіряти йому та використовувати його повторно.

• Зробіть потік даних надійним. Створюйте ELT і ETL з поступовими ідемпотентними завантаженнями, оркестровкою та повторними спробами, щоб конвеєри запускалися вчасно, і ніхто не спостерігав за ними. Відправляйте контрольовані трубопроводи, які затримуються у виробництві.

• Візьміть шар трансформації. Володійте рівнем побудови моделі та трансформації Dataform, взявши на себе повну відповідальність за рівень трансформації та звільняючи можливості для семантичного моделювання та визначення бізнесу. Це розблокує всю команду.

• Збудуйте довіру до даних. Зробіть перевірку, моніторинг свіжості, сповіщення та родовід за замовчуванням. Діагностуйте збої в першопричині. leadscorev2 — результат, для запобігання якому існує ця роль.

• Обслуговувати всю компанію. Надсилайте чисті, керовані набори даних у Metabase, HubSpot, а також напрацювання ML та AI, якими володіє команда ML. Передайте змодельовані дані назад в інструменти, за допомогою яких працюють бізнес-команди, зокрема HubSpot і Customer.io.

• Прийняти рукостискання платформи. Повсякденно співпрацюйте з командою Platform на нашій основі GCP, мосту, якому сьогодні приділяють лише часткову увагу.

• Ставтеся до складу як до товару. Слідкуйте за актуальністю документації, походження та можливості виявлення, щоб департаменти довіряли активам даних і обробляли конфіденційні кадрові та робочі дані відповідно до стандартів GDPR.

Як виглядає успіх у ваші перші 3–6 місяців

• Склад має справжній фундамент. Перший вертикальний зріз, наша модель облікових записів, поставляється з тестами та моніторингом.

• Ви повністю володієте рівнем перетворення Dataform, створюючи можливості для семантичного моделювання та роботи з визначення бізнесу

• Конвеєри працюють відповідно до визначеної свіжості SLA, і ви вловлюєте перерви раніше, ніж зацікавлені сторони.

• Документація та походження охоплюють те, чим ви володієте, а набори даних, які застрягли, тепер переходять до команд, які їх потребують.

•

Те, що ми шукаємо

Ви самі побудували складські фундаменти. Ви розробили їх, а не обслуговуєте чиїсь інші, маючи послужний список у:

• Розробка багаторівневої архітектури складу (медальйон, бронза-срібло-золото) та розмірних моделей (зірка та сніжинка), які команди використовують повторно

• Розширений SQL як щоденна робоча мова

• Практичний досвід роботи з BigQuery, оскільки нашим стеком є GCP

• Створення рівня трансформації SQL у Dataform або потужний досвід dbt.

• ELT і ETL з поступовими ідемпотентними навантаженнями та реальною оркестровкою, плануванням і керуванням залежностями

• Якість даних, тестування, моніторинг свіжості та походження вбудовані з самого початку

• Python для конвеєрного коду, сценаріїв, автоматизації та інтеграції API

• Рецензовані та повторювані зміни за допомогою Git і розгортання на основі PR

Приємно мати, не потрібно: ще одне сучасне хмарне сховище, наприклад Snowflake або Redshift; кероване введення, наприклад Airbyte; підготовка даних для ML, LLM і сценаріїв використання агентів; а також знайомство з показниками B2B SaaS і даними про персонал чи робочу силу. Англійська мова є нашою робочою мовою, а голландська мова не потрібна.

Це не розробка інфраструктури, ML або MLOps або аналіз інформаційної панелі. Команда Platform володіє інфраструктурою, команда Product ML володіє ML, а бізнес-команди володіють інформаційними панелями. Це також не для тих, хто лише обслуговував склад, розроблений іншою особою. Ви належним чином будуєте фундамент, залишаєтеся прозорими щодо якості даних і компромісів і ставитесь до складу як до продукту для всієї компанії. Ви звітуватимете керівнику операцій і тісно співпрацюватимете з командою платформи щодо архітектури даних компанії.
Знайдіть більше англомовних вакансій у Нідерландах на Arbeitnow

Джерело: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)