Старший инженер данных

Инженер данных
Shiftbase создает беспилотного помощника для посменного бизнеса по всей Европе. Наши клиенты варьируются от независимых ресторанов в Амстердаме до розничных продавцов с несколькими точками в Мюнхене, и каждую неделю они тратят часы на планирование, учет рабочего времени, подготовку заработной платы и управление персоналом. Мы хотим взять эту работу с их плеч и в конечном итоге сделать ее за них.
За этим видением продукта стоит проблема данных. Инсайты, автоматизация и ИИ зависят от данных, которым люди могут доверять, а основы для этого пока не существует.

Вы построите фундамент, который это исправит.

Что ты будешь делать

• Спроектируйте склад. Создавайте и владейте нашим хранилищем BigQuery и Dataform с нуля. Создайте многослойную, хорошо смоделированную основу, медальон, проходящий через витрины, а не только модели, расположенные наверху. Каждый день спрашивайте, может ли вся компания доверять ему и повторно использовать его.

• Обеспечьте надежность потока данных. Создавайте ELT и ETL с помощью инкрементных идемпотентных загрузок, оркестрации и повторных попыток, чтобы конвейеры работали вовремя и никто за ними не следил. Судовые контролируемые трубопроводы, которые выдерживают эксплуатацию.

• Возьмите трансформирующий слой. Владейте уровнем построения и преобразования моделей Dataform, принимая на себя полную ответственность за уровень преобразования и освобождая ресурсы для семантического моделирования и бизнес-определений. Это разблокирует всю команду.

• Обеспечьте доверие к данным. Установите проверку, мониторинг актуальности, оповещения и происхождение по умолчанию. Диагностика сбоев и их первопричина. Leadscorev2 — это результат, для предотвращения которого существует эта роль.

• Обслуживать всю компанию. Передавайте чистые, управляемые наборы данных в Metabase, HubSpot, а также в отделы машинного обучения и искусственного интеллекта, которыми владеет команда машинного обучения. Передавайте смоделированные данные обратно в инструменты, с которыми работают бизнес-команды, включая HubSpot и Customer.io.

• Владеть рукопожатием платформы. Обеспечьте ежедневное сотрудничество с командой платформы на нашем фундаменте GCP, мосте, которому сегодня уделяется лишь частичное внимание.

• Относитесь к складу как к товару. Поддерживайте актуальность документации, происхождения и возможности обнаружения, чтобы отделы доверяли активам данных и обрабатывали конфиденциальные данные о кадрах и рабочей силе в соответствии со стандартами GDPR.

Как выглядит успех в первые 3–6 месяцев

• Склад имеет реальный фундамент. Первый вертикальный срез, наша модель учетных записей, поставляется с тестами и мониторингом.

• Вы полностью владеете уровнем преобразования Dataform, создавая возможности для семантического моделирования и работы по определению бизнеса.

• Конвейеры работают в соответствии с определенным соглашением об уровне обслуживания, и вы можете ловить перерывы раньше, чем это сделают заинтересованные стороны.

• Документация и происхождение охватывают то, чем вы владеете, а застрявшие наборы данных теперь передаются командам, которым они нужны.

•

Что мы ищем

Вы сами построили складские фундаменты. Вы разработали их, а не поддерживали чужие, и имеете послужной список в:

• Проектирование многоуровневых складских архитектур (медальон, бронза-серебро-золото) и объемных моделей (звезда и снежинка), которые команды могут повторно использовать.

• Расширенный SQL как ваш ежедневный рабочий язык.

• Практическое использование BigQuery, поскольку наш стек – GCP.

• Создание слоя преобразования SQL в Dataform или опыт работы с dbt.

• ELT и ETL с инкрементными идемпотентными нагрузками и реальной оркестровкой, планированием и управлением зависимостями.

• Качество данных, тестирование, мониторинг свежести и происхождение встроены с самого начала.

• Python для кода конвейера, сценариев, автоматизации и интеграции API.

• Проверяемые и повторяемые изменения посредством развертывания на основе Git и PR.

Приятно иметь, но не обязательно: еще одно современное облачное хранилище, такое как Snowflake или Redshift; управляемый прием, такой как Airbyte; подготовка данных для сценариев ML, LLM и агентного использования; и знание показателей B2B SaaS, а также данных о кадрах или рабочей силе. Наш рабочий язык — английский, голландский не требуется.

Эта роль не связана с проектированием инфраструктуры, машинным обучением или MLOps или анализом информационной панели. Команда платформы владеет инфраструктурой, команда Product ML владеет ML, а бизнес-команды владеют информационными панелями. Это также не для тех, кто всего лишь обслуживает склад, спроектированный другим человеком. Вы должным образом строите фундамент, сохраняете прозрачность в отношении качества данных и компромиссов и рассматриваете хранилище как продукт для всей компании. Вы будете подчиняться руководителю отдела эксплуатации и тесно сотрудничать с командой платформы в вопросах архитектуры данных компании.
Найдите больше англоговорящих вакансий в Нидерландах на Arbeitnow

Источник: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651).