Starszy inżynier danych

Inżynier danych
Shiftbase tworzy asystenta jazdy autonomicznej dla firm pracujących w systemie zmianowym w całej Europie. Naszymi klientami są zarówno niezależne restauracje w Amsterdamie, jak i wielolokalizowane sklepy detaliczne w Monachium, które co tydzień spędzają wiele godzin na planowaniu, śledzeniu czasu pracy, przygotowywaniu list płac i administrowaniu zasobami ludzkimi. Chcemy zdjąć tę pracę z ich talerza i ostatecznie zrobić to za nich.
Pod tą wizją produktu kryje się wyzwanie związane z danymi. Wgląd, automatyzacja i sztuczna inteligencja zależą od danych, którym ludzie mogą zaufać, a podstawy tego jeszcze nie istnieją.

Zbudujesz fundament, który to naprawi.

Co zrobisz

• Zaprojektuj magazyn. Zaprojektuj i twórz od podstaw nasz magazyn BigQuery i Dataform. Zbuduj warstwowy, dobrze wymodelowany fundament, medalion ustawiając się na targowiskach, a nie tylko modele, które siedzą na górze. Codziennie pytaj, czy cała firma może mu zaufać i ponownie go wykorzystać.

• Zapewnij niezawodny przepływ danych. Twórz ELT i ETL z przyrostowymi, idempotentnymi obciążeniami, orkiestracją i ponownymi próbami, aby potoki działały terminowo i nikt ich nie obserwował. Rurociągi monitorowane przez statki, które wstrzymują produkcję.

• Weź warstwę transformacji. Bądź właścicielem warstwy budowania i transformacji modelu Dataform, biorąc pełną odpowiedzialność za warstwę transformacji i uwalniając możliwości modelowania semantycznego i definicji biznesowych. To odblokowuje całą drużynę.

• Buduj zaufanie do danych. Ustaw weryfikację, monitorowanie świeżości, alarmowanie i pochodzenie jako domyślne. Diagnozuj awarie w oparciu o przyczynę źródłową. leadcorev2 to wynik, któremu ta rola ma zapobiec.

• Obsługuj całą firmę. Dostarczaj czyste, zarządzane zestawy danych do Metabase, HubSpot oraz systemów ML i AI, których właścicielem jest zespół ML produktu. Wpychaj modelowane dane z powrotem do narzędzi, na których pracują zespoły biznesowe, w tym HubSpot i Customer.io.

• Posiadaj uścisk dłoni Platformy. Prowadź codzienną współpracę z zespołem ds. platformy w ramach naszego fundamentu GCP – pomostu, któremu obecnie poświęca się uwagę jedynie w niepełnym wymiarze godzin.

• Traktuj magazyn jak produkt. Dbaj o aktualność dokumentacji, pochodzenia i możliwości wyszukiwania, aby działy ufały zasobom danych i obsługiwały wrażliwe dane dotyczące kadr i pracowników zgodnie ze standardami RODO.

Jak wygląda sukces w ciągu pierwszych 3–6 miesięcy

• Magazyn ma prawdziwy fundament. Pierwszy wycinek pionowy, nasz model kont, jest dostarczany z testami i monitorowaniem.

• Masz pełną własność warstwy transformacji Dataform, tworzącej możliwości modelowania semantycznego i pracy nad definicją biznesową

• Rurociągi działają zgodnie z określoną umową SLA dotyczącą świeżości, a przerwy robisz zanim zrobią to interesariusze.

• Dokumentacja i rodowód obejmują to, co posiadasz, a zbiory danych, które utknęły, są teraz przesyłane do zespołów, które ich potrzebują.

•

Czego szukamy

Sam zbudowałeś fundamenty magazynu. Zaprojektowałeś je, zamiast utrzymywać cudze, z doświadczeniem w:

• Projektowanie warstwowych architektur magazynów (medalion, brąz-srebro-złoto) i modeli wymiarowych (gwiazda i płatek śniegu), które zespoły będą ponownie wykorzystywać

• Zaawansowany SQL jako Twój codzienny język pracy

• Praktyczny BigQuery, ponieważ nasz stos to GCP

• Budowanie warstwy transformacji SQL w Dataform lub mocne doświadczenie dbt.

• ELT i ETL z przyrostowymi, idempotentnymi obciążeniami oraz rzeczywistą orkiestracją, planowaniem i zarządzaniem zależnościami

• Jakość danych, testowanie, monitorowanie świeżości i pochodzenie wbudowane od początku

• Python do kodowania potoku, skryptów, automatyzacji i integracji API

• Możliwość przeglądu i powtarzalności zmian dzięki wdrożeniu opartemu na Git i PR

Miło mieć, nie jest to wymagane: kolejny nowoczesny magazyn w chmurze, taki jak Snowflake lub Redshift; zarządzane pozyskiwanie, takie jak Airbyte; przygotowywanie danych dla przypadków użycia ML, LLM i agentycznych; oraz znajomość wskaźników B2B SaaS oraz danych HR i siły roboczej. Naszym językiem roboczym jest angielski, a niderlandzki nie jest wymagany.

Ta rola nie obejmuje inżynierii infrastruktury, uczenia maszynowego lub MLOps ani analizy pulpitu nawigacyjnego. Zespół Platformy jest właścicielem infrastruktury, zespół Product ML jest właścicielem ML, a zespoły biznesowe są właścicielami pulpitów nawigacyjnych. Nie jest to również rozwiązanie dla kogoś, kto utrzymywał magazyn zaprojektowany przez inną osobę. Budujesz właściwie fundamenty, zachowujesz przejrzystość w kwestii jakości danych i kompromisów, a hurtownię traktujesz jak produkt całej firmy. Będziesz raportować do dyrektora operacyjnego i ściśle współpracować z zespołem ds. platformy w zakresie architektury danych firmy.
Znajdź więcej ofert pracy ze znajomością języka angielskiego w Holandii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/shiftbase-bv/senior-data-engineer-zoetermeer-196651)