Старший инженер платформы данных

Мы ищем старшего инженера по платформе данных, который присоединится к платформе данных в Smartly!

Smartly создает стандартный путь управляемого обмена данными между продуктовыми сервисами, аналитикой и искусственным интеллектом и машинным обучением. Команда Data Platform владеет контрактами, механизмами управления, путями публикации, метаданными каталога, правилами жизненного цикла, происхождением, разрешениями и строительными блоками среды выполнения, которые делают повторно используемые данные безопасными и практичными в масштабе.

Это роль для тех, кто хочет сформировать платформу на раннем этапе, с самого начала работая над конкретными производственными проблемами. У Smartly уже есть производственные системы, магистральная сеть Kafka, базы данных PostgreSQL, аналитические потребители и сценарии использования искусственного интеллекта и машинного обучения, которым требуется более качественная база данных. Задача состоит в том, чтобы превратить эту реальность в стандартный путь, который инженеры действительно хотят использовать.

Наша первая веха сосредоточена на: централизованно управляемой публикации таблиц в базах данных PostgreSQL, принадлежащих службе, которые фиксируются через Debezium CDC в Kafka и регистрируются в DataHub с метаданными владения, жизненного цикла, происхождения и анализа воздействия. В долгосрочной перспективе платформа расширяется за счет продуктов самообслуживания данных, управляемой материализации, надежного общего состояния и данных многократного использования в операционных и аналитических системах Smartly.

Это не та роль, при которой вы поддерживаете только существующий конвейер отчетов. Вы поможете спроектировать и построить платформу, которую другие команды разработчиков используют при публикации и использовании общих данных.

Что ты будешь делать

• Проектировать и создавать платформенные сервисы, инструменты и рабочие процессы для публикации и использования данных на основе контрактов.

• Создайте первый производственный путь для управляемых платформой публикаций таблиц PostgreSQL, Debezium CDC, тем Kafka и регистрации каталогов.

• Создавайте рабочие процессы в стиле GitOps, в которых контракты, схемы, права собственности, жизненный цикл, совместимость, метаданные политики и желаемое состояние во время выполнения проверяются, проверяются и согласовываются в виде кода.

• Создавайте инструменты, позволяющие инженерам по продуктам быстро получать обратную связь перед публикацией или изменением продуктов данных.

• Помогите определить, как Smartly моделирует продукты данных, контракты на публикацию, эволюцию схемы, стабильность полей, семантику удаления, политику доступа, происхождение и распределение затрат.

• Эксплуатация и улучшение модели времени выполнения CDC, включая рабочие нагрузки Kubernetes, изоляцию для конкретного источника, смещения, историю схемы, контрольные сигналы, каналы сигналов, видимость задержек, воспроизведение, повторные снимки и восстановление.

• Интегрируйте метаданные платформы в DataHub, чтобы инженеры могли находить продукты данных, понимать принадлежность, отслеживать происхождение и рассуждать о влиянии изменений.

• Работайте с командами по продуктам, инфраструктуре, разработке данных, аналитике и AI/ML, чтобы сделать стандартный путь проще и безопаснее, чем индивидуальные двухточечные интеграции.

Что мы ищем

• Большой опыт создания и эксплуатации производственных программных систем, предпочтительно в платформах, инфраструктуре, серверной части или средах с интенсивным использованием данных.

• Глубокое понимание компромиссов распределенных систем: надежность, идемпотентность, воспроизведение, конечная согласованность, границы владения, совместимость и режимы операционных сбоев.

• Практический опыт работы с PostgreSQL или другими реляционными базами данных, включая проектирование схемы, миграцию, транзакции, репликацию или операционную производительность.

• Опыт работы с Kafka, потоковой передачей событий, CDC, Debezium или смежными технологиями перемещения данных. Непосредственный опыт работы с Debezium ценен, но более важны сильные фундаментальные показатели.

• Опыт создания программного обеспечения, которое используют другие инженеры: интерфейсы командной строки, внутренние платформы, плоскости управления, автоматизация, проверка CI, инструменты разработчика или рабочие процессы самообслуживания.

• Знакомство с Kubernetes и облачными или инфраструктурными платформами, включая изоляцию во время выполнения, развертывание, возможность наблюдения и эксплуатационное владение.

• Способность превратить неоднозначное архитектурное направление в практические шаги, сделать явные компромиссы и создать полезные производственные системы, не дожидаясь полной уверенности.

• Четкое письменное и устное общение на английском языке. Эта роль предполагает согласование действий нескольких инженерных команд в отношении стандартов, контрактов и границ собственности.

Полезный опыт, но не обязателен

• DataHub или другой каталог данных, системы происхождения или управления.

• Форматы открытых таблиц, такие как Apache Iceberg, озера данных на базе объектных хранилищ, S3, BigQuery, ClickHouse или аналитические системы хранения.

• Действия GitHub, политика как код, инфраструктура как код, контроллеры, операторы или системы на основе сверки.

• Контракты данных, реестры схем, Protobuf, Avro, JSON Schema, проверка совместимости, метаданные на уровне полей или тестирование контрактов.

• Опыт поддержки аналитики, искусственного интеллекта и машинного обучения, шаблонов доступа к хранилищу функций или междоменной интеграции продуктов и услуг.

• Опыт работы с языками JVM и Python, TypeScript, Go или Ruby.

Что мы предлагаем вам

В Smartly мы предлагаем место, где вы можете заниматься значимой технической работой, развиваясь вместе с глобальной командой.

• Инклюзивная глобальная культура, построенная на доверии, прозрачности, открытой обратной связи и уважении различных точек зрения.

• Глобальное влияние благодаря технологиям, используемым крупными брендами для масштабного планирования, создания, оптимизации и понимания цифровой рекламы.

• Социальная поддержка, оплачиваемый отпуск, отпуск по семейным обстоятельствам и устойчивые способы работы.

• Варианты акционерного капитала, вознаграждения по результатам работы, конкурентоспособное вознаграждение и возможности карьерного роста.

• Гибкое гибридное рабочее место, сочетающее совместную работу в офисе с целенаправленной удаленной работой. В Smartly мы работаем 3 дня в неделю из офиса.

О Смартли

Smartly — компания, занимающаяся рекламными технологиями, помогающая брендам создавать, управлять, оптимизировать и понимать цифровую рекламу на основных медиаплатформах. Наша инженерная организация создает системы, которые объединяют медиа-, творческие и интеллектуальные возможности в продукт, используемый клиентами по всему миру.…

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232).