Старший інженер платформи даних

Ми шукаємо старшого інженера платформи даних, щоб приєднатися до платформи даних Smartly!

Smartly створює стандартний шлях для керованого обміну даними між службами продуктів, аналітикою та AI/ML. Команда Data Platform володіє контрактами, механізмами контролю, шляхами публікації, метаданими каталогу, правилами життєвого циклу, походженням, дозволами та будівельними блоками часу виконання, які роблять багаторазові дані безпечними та практичними в масштабі.

Це роль для тих, хто хоче сформувати платформу на ранній стадії, працюючи над конкретними проблемами виробництва з самого початку. У Smartly вже є виробничі системи, магістраль Kafka, бази даних PostgreSQL, аналітичні споживачі та варіанти використання AI/ML, які потребують кращої основи даних. Завдання полягає в тому, щоб перетворити цю реальність на стандартний шлях, який інженери дійсно хочуть використовувати.

Наша перша віха зосереджена: централізовано керована публікація таблиць у сервісних базах даних PostgreSQL, отриманих через Debezium CDC у Kafka та зареєстрованих у DataHub із метаданими власності, життєвого циклу, походження та аналізу впливу. У довгостроковій перспективі платформа розширюється до продуктів із самообслуговуванням даних, керованих матеріалізацій, довговічного спільного стану та багаторазових даних у операційних і аналітичних системах Smartly.

Це не роль, у якій ви лише підтримуєте наявний конвеєр звітності. Ви допоможете розробити та створити шлях до платформи, який використовують інші команди інженерів, коли вони публікують і споживають спільні дані.

Що ви будете робити

• Проектуйте та створюйте сервіси, інструменти та робочі процеси платформи для публікації та споживання даних на основі контракту.

• Створіть перший робочий шлях для керованих платформою таблиць публікації PostgreSQL, Debezium CDC, тем Kafka та реєстрації каталогу.

• Створюйте робочі процеси в стилі GitOps, де контракти, схеми, права власності, життєвий цикл, сумісність, метадані політики та бажаний стан під час виконання переглядаються, підтверджуються та узгоджуються як код.

• Створюйте інструменти, які надають розробникам продуктів швидкий відгук, перш ніж вони опублікують або змінять продукти даних.

• Допоможіть визначити, як Smartly моделює продукти даних, публікаційні контракти, еволюцію схеми, стабільність полів, семантику видалення, політику доступу, походження та віднесення вартості.

• Експлуатуйте та вдосконалюйте модель середовища виконання CDC, включаючи робочі навантаження Kubernetes, ізоляцію від джерела, зміщення, історію схеми, серцеві сигнали, канали сигналів, видимість затримок, повторне відтворення, повторний знімок і відновлення.

• Інтегруйте метадані платформи в DataHub, щоб інженери могли виявляти продукти даних, розуміти право власності, відстежувати походження та міркувати про вплив змін.

• Працюйте з продуктами, інфраструктурою, розробкою даних, аналітикою та командами AI/ML, щоб зробити стандартний шлях простішим і безпечнішим, ніж індивідуальні інтеграції «точка-точка».

Те, що ми шукаємо

• Великий досвід створення та експлуатації виробничих програмних систем, бажано на платформах, інфраструктурних, серверних або інтенсивних даних середовищах.

• Глибоке розуміння компромісів між розподіленими системами: надійність, ідемпотентність, відтворення, можлива узгодженість, межі власності, сумісність і режими операційних збоїв.

• Практичний досвід роботи з PostgreSQL або іншими реляційними базами даних, включаючи розробку схем, міграції, транзакції, реплікацію або продуктивність роботи.

• Досвід роботи з Kafka, трансляцією подій, CDC, Debezium або суміжними технологіями переміщення даних. Прямий досвід Debezium є цінним, але сильні основи важливіші.

• Досвід створення програмного забезпечення, яке використовують інші інженери: CLI, внутрішні платформи, рівні керування, автоматизація, перевірка CI, інструменти розробника або робочі процеси самообслуговування.

• Знайомство з Kubernetes і хмарними або інфраструктурними платформами, включаючи ізоляцію під час виконання, розгортання, можливість спостереження та операційну власність.

• Здатність перетворювати неоднозначний архітектурний напрямок на практичні кроки, робити компроміси явними та створювати корисні виробничі системи, не чекаючи повної визначеності.

• Чітке письмове та усне спілкування англійською мовою. Ця роль передбачає об’єднання кількох команд інженерів за стандартами, контрактами та межами власності.

Корисний досвід, але не обов'язковий

• DataHub або інші системи каталогу даних, походження чи управління.

• Формати відкритих таблиць, такі як Apache Iceberg, озера даних із підтримкою об’єктного сховища, S3, BigQuery, ClickHouse або аналітичні системи зберігання.

• Дії GitHub, політики як код, інфраструктура як код, контролери, оператори або системи на основі узгодження.

• Контракти даних, реєстри схем, Protobuf, Avro, JSON Schema, перевірка сумісності, метадані на рівні поля або тестування контрактів.

• Досвід підтримки аналітики, AI/ML, шаблонів доступу у стилі сховища функцій або міждоменні інтеграції продуктів і послуг.

• Досвід роботи з мовами JVM і Python, TypeScript, Go або Ruby.

Що ми вам пропонуємо

У Smartly ми пропонуємо місце, де ви можете виконувати значущу технічну роботу, розвиваючись разом із глобальною командою.

• Інклюзивна глобальна культура, побудована на довірі, прозорості, відкритому зворотному зв’язку та повазі до різних точок зору.

• Глобальний вплив завдяки технологіям, які використовуються великими брендами для планування, створення, оптимізації та розуміння масштабної цифрової реклами.

• Підтримка добробуту, оплачувана відпустка, сімейна відпустка та стабільні способи роботи.

• Варіанти участі в акціонерному капіталі, винагороди за результатами роботи, конкурентоспроможна винагорода та можливості розвитку кар'єри.

• Гнучке гібридне робоче місце, яке поєднує офісну співпрацю з цілеспрямованою віддаленою роботою. У Smartly ми працюємо 3 дні на тиждень з офісу.

Про Smartly

Smartly – це компанія з рекламних технологій, яка допомагає брендам створювати, керувати, оптимізувати та розуміти цифрову рекламу на основних медіа-платформах. Наша інженерна організація створює системи, які об’єднують медіа, творчі та інтелектуальні можливості в продукт, який використовують клієнти по всьому світу.…

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)