Разработчик моделей данных

Это удаленная позиция.
Разрабатывайте концептуальные, логические и физические модели данных (диаграммы ER, размерные/звездные схемы, Data Vault, где это применимо) для промежуточных областей данных — планирование и номинирование трубопроводов, объемное измерение и распределение, сбор и обработка, инвентаризация терминалов/хранилищ, тарифы и нормативная отчетность, а также коммерческие контракты. Владейте стратегией многоуровневого уровня Bronze → Silver → Gold в партнерстве с инженерией данных: определите, что относится к необработанным/промежуточным объектам, согласованным бизнес-объектам и фактам и измерениям уровня представления. Создавайте и обслуживайте многомерные модели (проектирование фактов/измерений, стратегия SCD типа 1/2, суррогатные и натуральные ключи, согласованные измерения между бизнес-подразделениями) для использования в отчетности и аналитике. Сотрудничайте с инженерами по обработке данных, чтобы преобразовать модели в источники БДТ, промежуточные модели и витрины, а также проверять запросы на соответствие стандартам моделирования и именования. Определите и поддерживайте корпоративный словарь данных, документацию по взаимосвязям сущностей и метаданные уровня столбца (бизнес-определения, допустимые значения, происхождение данных) для промежуточных предметных областей. Оцените исходные системы, полученные через Informatica IDMC/CDIR и dbt, и смоделируйте, как они согласовываются в единое согласованное представление. Проведите анализ моделей данных с заинтересованными сторонами (коммерческими, плановыми, бухгалтерскими, регулирующими) для проверки того, что модели правильно представляют контракты, распределения и объемные отношения. Поддержка управления основными данными для основных эталонных объектов мидстрима (активы, счетчики/точки измерения, контракты, контрагенты, тарифные сетки). Вносите вклад в управление данными: соглашения об именах, стандарты моделирования, правила качества данных и процессы управления. Оцените влияние новых источников данных или изменений в бизнесе (новые трубопроводные системы, приобретения, изменения в законодательстве) на существующие модели и предлагать стратегии развития схемы, которые позволяют избежать разрушения последующих потребителей. Требуемая квалификация: 5+ лет опыта моделирования данных (концептуальное, логическое, физическое), включая многомерное моделирование и нормализованное/3NF-проектирование. Непосредственный опыт работы в сфере переработки нефти и газа — практическое знание хотя бы одного из следующих вопросов: планирование/номинирование трубопроводов, объемное измерение и распределение, балансировка газа/жидкости, операции на терминалах или хранилищах или нормативная отчетность. Хорошие навыки SQL и опыт моделирования для облачного хранилища данных (Snowflake, Redshift, BigQuery или аналогичные). Практический опыт работы с dbt (или аналогичной структурой преобразования) — понимание того, как модели преобразуются в зависимости source()/ref(), тесты и документацию. Четкое понимание многомерного моделирования в стиле Кимбалла (звездообразная схема, медленно меняющиеся измерения, согласованные измерения, не имеющие фактов факты) и понимание того, когда вместо этого использовать Data Vault или 3NF. Опыт работы с инструментами моделирования данных (erwin, ER/Studio, SqlDBM, dbdiagram или аналогичные) и создание четких ER-диаграмм как для технической, так и для бизнес-аудитории. Комфортная работа напрямую с предприятиями малого и среднего бизнеса для извлечения и формализации бизнес-правил в модель данных — эта роль требует перевода неоднозначных операционных знаний в структурированные схемы, а не просто реализации переданной вам спецификации. Понимание основ управления данными: управление метаданными, происхождение данных, правила качества данных и управление. Предпочтительная квалификация: Опыт работы с Informatica IDMC (или аналогичными инструментами репликации ETL/ELT и CDC) и понимание того, как шаблоны приема (пакетный или CDC) влияют на разработку последующих моделей. Опыт работы с Airflow или другой платформой оркестрации, а также то, как дизайн DAG влияет на актуальность данных и управление зависимостями для моделей. вы владеете. Знакомство с архитектурой медальонов/озерных домиков (бронза/серебро/золото) и компромиссами между многоуровневыми соответствующими бизнес-моделями и необработанным потреблением. Предыдущий опыт работы в сфере управления данными или управления данными.

Первоначально опубликовано о Гималаях

Источник: Гималаи (https://himalayas.app/companies/elfonze-technologies/jobs/data-modeler?utm_source=api)