Starszy inżynier ds. platform danych

Poszukujemy Senior Data Platform Engineer, który dołączy do Data Platform w Smartly!

Smartly tworzy standardową ścieżkę regulowanego udostępniania danych w ramach usług produktowych, analiz i sztucznej inteligencji/ML. Zespół Data Platform jest właścicielem umów, mechanizmów kontrolnych, ścieżek publikacji, metadanych katalogu, reguł cyklu życia, pochodzenia, uprawnień i elementów składowych środowiska wykonawczego, dzięki którym dane wielokrotnego użytku są bezpieczne i praktyczne na dużą skalę.

To rola dla kogoś, kto chce wcześnie ukształtować platformę, jednocześnie pracując od początku nad konkretnymi problemami produkcyjnymi. Smartly ma już systemy produkcyjne, szkielet Kafki, bazy danych PostgreSQL, konsumentów analitycznych i przypadki użycia AI/ML, które wymagają lepszych podstaw danych. Wyzwanie polega na przekształceniu tej rzeczywistości w standardową ścieżkę, z której inżynierowie rzeczywiście chcą korzystać.

Nasz pierwszy kamień milowy skupia się na: centralnie zarządzanych tabelach publikowania w bazach danych PostgreSQL należących do usług, przechwytywanych przez Debezium CDC w Kafce i zarejestrowanych w DataHub z metadanymi dotyczącymi własności, cyklu życia, pochodzenia i analizy wpływu. W dłuższej perspektywie platforma rozwija się w kierunku samoobsługowych produktów danych, regulowanych materializacji, trwałego stanu współdzielonego i danych nadających się do ponownego wykorzystania w systemach operacyjnych i analitycznych Smartly.

To nie jest rola, w której utrzymujesz jedynie istniejący potok raportowania. Pomożesz zaprojektować i zbudować ścieżkę platformy, z której korzystają inne zespoły inżynieryjne podczas publikowania i korzystania z udostępnionych danych.

Co zrobisz

• Projektuj i buduj usługi platformy, narzędzia i przepływy pracy do publikowania i wykorzystania danych na podstawie umów.

• Zbuduj pierwszą ścieżkę produkcyjną dla zarządzanych przez platformę tabel publikowania PostgreSQL, Debezium CDC, tematów Kafki i rejestracji katalogu.

• Twórz przepływy pracy w stylu GitOps, w których umowy, schematy, własność, cykl życia, zgodność, metadane zasad i pożądany stan środowiska wykonawczego są przeglądane, sprawdzane i uzgadniane jako kod.

• Twórz narzędzia, które zapewniają inżynierom produktu szybką informację zwrotną przed opublikowaniem lub zmianą produktów danych.

• Pomóż zdefiniować, w jaki sposób Smartly modeluje produkty danych, umowy wydawnicze, ewolucję schematu, stabilność pola, semantykę usuwania, politykę dostępu, pochodzenie i atrybucję kosztów.

• Obsługuj i ulepszaj model środowiska wykonawczego CDC, w tym obciążenia Kubernetes, izolację specyficzną dla źródła, przesunięcia, historię schematu, pulsy, kanały sygnałowe, widoczność opóźnień, odtwarzanie, ponowne robienie zdjęć i odzyskiwanie.

• Zintegruj metadane platformy z DataHub, aby inżynierowie mogli odkrywać produkty oparte na danych, rozumieć własność, śledzić pochodzenie i analizować wpływ zmian.

• Współpracuj z zespołami zajmującymi się produktami, infrastrukturą, inżynierią danych, analityką i sztuczną inteligencją, aby standardowa ścieżka była łatwiejsza i bezpieczniejsza niż niestandardowe integracje punkt-punkt.

Czego szukamy

• Duże doświadczenie w budowaniu i obsłudze systemów oprogramowania produkcyjnego, najlepiej na platformie, infrastrukturze, zapleczu lub w środowiskach intensywnie przetwarzających dane.

• Głębokie zrozumienie kompromisów w systemach rozproszonych: niezawodność, idempotencja, powtarzalność, ostateczna spójność, granice własności, kompatybilność i tryby awarii operacyjnych.

• Praktyczne doświadczenie z PostgreSQL lub innymi relacyjnymi bazami danych, w tym projektowanie schematów, migracje, transakcje, replikacja lub wydajność operacyjna.

• Doświadczenie z Kafką, strumieniowaniem zdarzeń, CDC, Debezium lub pokrewnymi technologiami przenoszenia danych. Bezpośrednie doświadczenie Debezium jest cenne, ale ważniejsze są mocne podstawy.

• Doświadczenie w tworzeniu oprogramowania, z którego korzystają inni inżynierowie: interfejsy CLI, platformy wewnętrzne, płaszczyzny sterowania, automatyzacja, walidacja CI, narzędzia dla programistów lub samoobsługowe przepływy pracy.

• Znajomość Kubernetes oraz platform chmurowych lub infrastrukturalnych, w tym izolacja środowiska wykonawczego, wdrażanie, obserwowalność i własność operacyjna.

• Możliwość przekształcenia niejednoznacznego kierunku architektonicznego w praktyczne rozwiązania, wyraźnego określenia kompromisów i dostarczenia użytecznych systemów produkcyjnych bez czekania na całkowitą pewność.

• Jasna komunikacja w mowie i piśmie w języku angielskim. Ta rola polega na dostosowaniu wielu zespołów inżynieryjnych do standardów, umów i granic własności.

Przydatne doświadczenie, ale nie wymagane

• DataHub lub inny katalog danych, pochodzenie lub systemy zarządzania.

• Otwarte formaty tabel, takie jak Apache Iceberg, jeziora danych oparte na obiektach, S3, BigQuery, ClickHouse lub analityczne systemy przechowywania.

• Akcje GitHub, zasady jako kod, infrastruktura jako kod, kontrolery, operatorzy lub systemy oparte na uzgadnianiu.

• Kontrakty danych, rejestry schematów, Protobuf, Avro, schemat JSON, sprawdzanie zgodności, metadane na poziomie pola lub testowanie kontraktów.

• Doświadczenie we wspieraniu analityki, sztucznej inteligencji/ML, wzorców dostępu w stylu sklepu z funkcjami lub integracji produktów i usług w wielu domenach.

• Doświadczenie z językami JVM i Pythonem, TypeScript, Go lub Ruby.

Co Ci oferujemy

W Smartly oferujemy miejsce, w którym możesz wykonywać znaczącą pracę techniczną, jednocześnie rozwijając się w globalnym zespole.

• Włączająca kultura globalna zbudowana na zaufaniu, przejrzystości, otwartej informacji zwrotnej i szacunku dla różnych perspektyw.

• Globalny wpływ dzięki technologii wykorzystywanej przez główne marki do planowania, tworzenia, optymalizacji i zrozumienia reklam cyfrowych na dużą skalę.

• Wsparcie dobrego samopoczucia, płatne urlopy, urlopy rodzinne i zrównoważone sposoby pracy.

• Opcje kapitałowe, nagrody zależne od wyników, konkurencyjne wynagrodzenie i możliwości rozwoju kariery.

• Elastyczne hybrydowe miejsce pracy, które równoważy współpracę biurową z ukierunkowaną pracą zdalną. W Smartly pracujemy 3 dni w tygodniu w biurze.

O Smartly

Smartly to firma zajmująca się technologią reklamową, która pomaga markom tworzyć, zarządzać, optymalizować i rozumieć reklamy cyfrowe na głównych platformach medialnych. Nasza organizacja inżynieryjna buduje systemy, które łączą możliwości multimedialne, kreatywne i inteligentne w produkt używany przez klientów na całym świecie.…

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/smartly/senior-data-platform-engineer-berlin-98232)