Старший инженер по обработке данных (удаленно)

О РОЛИ

В качестве нашего первого специализированного инженера по данным вы будете создавать и владеть основой данных, которая будет обеспечивать аналитику, отчетность и принятие решений во всей организации. Это практическая роль, в которой вы будете разрабатывать многомерную модель, владеть конвейерами, которые ее питают, и устанавливать стандарты, на которых строится наша практика работы с данными.

Вы не будете начинать с нуля или работать в одиночку. Вы присоединитесь к команде данных с опытом непосредственного анализа и будете тесно сотрудничать с инженерными и другими техническими командами, которые создали и эксплуатируют то, что мы имеем сегодня. Здесь есть реальные институциональные знания, на которые можно опираться. Чего не хватает, так это кого-то, чья цель — превратить его в единый, хорошо смоделированный фундамент, на который может положиться вся компания.

Вы будете работать межфункционально, чтобы понять, как данные генерируются и используются, и преобразовать эти потребности в масштабируемые модели и уровни структурированной отчетности. Центральной частью работы является разрешение идентичности: построение основы, которая надежно соединяет одну и ту же сущность в том виде, в котором она появляется в системах, каждая из которых имеет свои собственные идентификаторы и жизненные циклы.

Эта роль идеальна для тех, кому нравится владеть комплексными системами данных — от приема и преобразования до моделирования, управления и производительности — и кто хочет иметь возможность самостоятельно спроектировать хранилище должным образом вместе с коллегами, которые могут помочь вам понять бизнес, лежащий в основе данных.

Что вы будете делать

– Спроектируйте и создайте согласованную многомерную модель в стиле Кимбалла на основе наших операционных, поведенческих и транзакционных данных.

– Собственный прием данных от начала до конца, включая фиксацию изменений с течением времени из источников, которые не сохраняют историю изначально.

– Консолидировать логику преобразования, которая в настоящее время находится более чем в одном месте, в единый управляемый и протестированный уровень.

– Внедрять и управлять нашим хранилищем данных и уровнем преобразования, взяв на себя ответственность за конвейеры, которые перемещают в него данные из наших операционных систем.

– Установить основополагающие передовые методы моделирования данных, документирования, тестирования и управления.

– Повышение надежности, качества и доступности данных во всех системах.

– Сотрудничать с аналитиками и заинтересованными сторонами бизнеса для поддержки растущих потребностей в данных.

– Закодируйте определения бизнес-показателей один раз, чтобы отчеты не перемещались между командами.

– Мониторинг и оптимизация производительности и экономической эффективности по конвейерам, хранилищам и запросам склада.

ВЫ ХОРОШО ПОДХОДИТЕ, ЕСЛИ ВЫ

– Иметь опыт работы более 5 лет в области разработки данных, аналитической инженерии или смежных должностей, включая создание и владение многомерной моделью в производстве.

– Иметь хорошее знание SQL и опыт работы с операционными базами данных на основе документов (например, MongoDB) и аналитическими хранилищами данных (например, BigQuery, Snowflake, Redshift или аналогичными).

– Иметь опыт построения таблиц фактов и измерений с использованием принципов звездообразной схемы для поддержки отчетов и витрин данных, с четким представлением о зернистости, согласованных измерениях и медленно меняющихся измерениях.

– Иметь практический опыт работы с современными платформами трансформации и моделирования (например, dbt, Dataform или аналогичными), включая управление уровнями трансформации в среде хранилища с контролем версий, тестированием и CI.

– Создали и поддерживали надежные конвейеры ETL/ELT, которые преобразуют необработанные данные приложений в структурированные, готовые к аналитике наборы данных.

– Работали с инструментами оркестрации (например, Airflow, Dagster, Prefect или аналогичными) и мыслили с точки зрения зависимостей, повторных попыток и обратных заполнений.

– Иметь опыт работы с платформами приема данных или потоковой передачи событий (например, RudderStack, Segment, Pub/Sub или аналогичными) и обеспечения согласованных и надежных восходящих потоков данных, включая сшивку идентификационных данных в сети и на мобильных устройствах.

– Иметь четкое представление о лучших методах моделирования данных, включая проектирование схем, многомерное моделирование и аспекты производительности.

– Иметь опыт наследования и операционных систем, которые вы не создавали.

– Уделить особое внимание качеству, проверке и управлению данными, имея возможность выявлять и устранять несоответствия.

– Иметь представление об оптимизации производительности конвейеров, хранилищ и запросов к хранилищу.

– Может ясно объяснить технические компромиссы неинженерам

– Комфортно работать в растущей среде, где вы одновременно выполняете технические задачи и помогаете формировать наши стандарты архитектуры данных.

Приятно иметь

– Изменение шаблонов сбора данных из операционных баз данных.

– Данные о выставлении счетов за подписку — пропорциональное распределение, возвраты, неудачные платежи, пробные версии.

– Опыт работы с платформами распределенной обработки (например, Spark, Beam, Dataflow)

– Опыт работы в качестве первого или раннего нанимателя данных

ОСНОВНЫЕ ОБЯЗАННОСТИ

– Проектировать, создавать и поддерживать надежные конвейеры данных, которые преобразуют оперативные данные в структурированные, готовые к аналитике наборы данных.

– Разработка и поддержка многомерной модели — измерений, фактов и связующих таблиц с четко определенной зернистостью.

– Разрабатывать и поддерживать масштабируемые модели данных и витрины данных для поддержки отчетности и бизнес-анализа.

– Управляйте и оптимизируйте прием данных и рабочие процессы событий для обеспечения согласованных и высококачественных восходящих потоков данных.

– Внедрять и управлять процессами преобразования, которые структурируют необработанные данные для использования в аналитике.

– Внедряйте оркестрацию, тестирование, мониторинг актуальности и оповещения, чтобы выявлять проблемы с данными до того, как с ними столкнутся заинтересованные стороны.

– Создавайте и поддерживайте систему отслеживания изменений или моментальные снимки для поддержки исторической отчетности и медленно меняющихся измерений.

– Повышение актуальности данных — перевод наших основных операционных данных из пакетного обновления в режим доступности, близкий к реальному времени, а также установление соглашений об уровне обслуживания, на которые могут положиться заинтересованные стороны.

– Обеспечить строгие стандарты качества, проверки и согласованности данных во всех системах.

– Документируйте модели и определения, чтобы аналитики и заинтересованные стороны могли с уверенностью работать самостоятельно.

– Мониторинг и оптимизация производительности, надежности и экономической эффективности в аналитической среде…

Источник: Удаленная работа в ЕС (https://euremotejobs.com/job/senior-data-engineer-remote/).