Główny inżynier danych

Pracuje w: CreateFuture

CreateFuture to partner konsultingowy oparty na sztucznej inteligencji, w którym ludzie wykonują pracę, która ma znaczenie, i otrzymują wsparcie, aby wykonywać ją dobrze. Współpracujemy z organizacjami takimi jak PayPal, adidas, NatWest, FanDuel i Money Saving Expert, tworząc cyfrowe produkty i usługi, które robią różnicę, zawsze stawiając ludzi na pierwszym miejscu.

Jesteśmy zespołem twórców. Piszemy kod, kształtujemy dostawę, budujemy strategie wejścia na rynek, opracowujemy rozwiązania AI i tworzymy praktyki, które wspierają naszych ludzi. Pracujemy ramię w ramię z naszymi klientami, kwestionując to, co nie działa, i pomagając im budować przyszłość. Nasze zaangażowanie w rzemiosło, jakość i kulturę pomogło nam w ciągu zaledwie kilku lat rozrosnąć się do ponad 600 osób.

CreateFuture to firma posiadająca certyfikat Great Place to Work-Certified™, która wiele lat z rzędu zdobywała tytuł Best Workplaces UK.

Dołącz do nas w naszej podróży. Stwórzmy jutro razem, już dziś.

O roli i zespole:

Poszukujemy głównego inżyniera danych, który dołączy do naszej praktyki danych i poprowadzi techniczny kierunek naszych możliwości inżynieryjnych. Będziesz pracować dla portfela klientów z różnych branż, pomagając najbardziej ambitnym organizacjom w Wielkiej Brytanii w rozwiązywaniu ich najtrudniejszych problemów z danymi. Dyrektor w CreateFuture działa zarówno poza linią dostawy, jak i w jej ramach. Zdefiniujesz, w jaki sposób rozwiązujemy najtrudniejsze problemy związane z inżynierią danych wśród naszych klientów, będziesz wpływać na kształt zaangażowania od przedsprzedaży po dostawę, rozwijać wokół siebie talenty związane z danymi i być rozpoznawalnym głosem CreateFuture w społeczności inżynierii danych.

Co będziesz robić:

Przywództwo techniczne

• Definiowanie i posiadanie wzorców architektury inżynierii danych, które CreateFuture wykorzystuje w kontaktach z klientami — platformy migracji, architektury przesyłania strumieniowego, standardy integralności danych i projekty Lakehouse

• Pełnienie roli najwyższego organu technicznego w kontaktach z klientami — podejmowanie kluczowych decyzji dotyczących architektury, rozwiązywanie sporów projektowych i ustawianie poprzeczki w zakresie jakości

• Przeglądanie i podpisywanie projektów technicznych opracowanych przez głównych i starszych inżynierów w ramach aktywnych zadań

• Identyfikowanie i kierowanie przyjęciem nowych narzędzi, wzorców i usług w chmurze, które poprawiają wyniki dostarczania w całej praktyce związanej z danymi

Dostawa

• Kierowanie projektowaniem technicznym i realizacją migracji danych na dużą skalę — przenoszenie dużych ilości danych transakcyjnych i zdarzeń z lokalnych lub starszych rozwiązań chmurowych do nowoczesnych platform chmurowych bez utraty wierności i ciągłości operacyjnej

• Projektowanie potoków danych w czasie rzeczywistym i niemal w czasie rzeczywistym dla klientów o wysokich wymaganiach dotyczących opóźnień i poprawności

• Projektowanie i egzekwowanie ram integralności danych w krytycznych domenach danych – w tym uzgadnianie systemów źródłowych i docelowych, wykrywanie anomalii i wymagania dotyczące ścieżki audytu

• Nadzór nad wdrażaniem procesów raportowania w zakresie przepisów prawnych i zgodności, tam gdzie jest to istotne dla sektora klienta

• Praca z usługami danych w chmurze (np. S3, Glue, Lambda, Athena, Redshift, RDS, Kinesis, MSK, Lake Formation, Step Functions, MWAA lub ich odpowiedniki na innych platformach) – wybór odpowiedniego narzędzia dla każdego problemu zamiast domyślnego stosu

Praktyka i ludzie

• Opieka mentorska i rozwój głównych i starszych inżynierów danych — poprzez przegląd kodu, parowanie, sesje dotyczące architektury i rozmowy zawodowe

• Tworzenie podręcznika inżynierii danych CreateFuture: wzorce, akceleratory i architektury referencyjne wielokrotnego użytku, które skracają czas uzyskiwania korzyści w przypadku nowych zleceń

• Przyczynianie się do zatrudniania — definiowanie, jak świetnie wygląda stanowisko inżyniera danych i odgrywanie aktywnej roli w ocenie

• Reprezentowanie CreateFuture na zewnątrz – podczas wydarzeń branżowych, w technicznych postach na blogach i podczas kontaktów z klientami – jako wiarygodny głos w sprawie inżynierii danych

• Ścisła współpraca z kierownikiem ds. danych, aby umożliwić rozwój odpowiednich umiejętności i możliwości w celu zaspokojenia potrzeb klientów.

Komercyjny

• Kształtowanie i kierowanie technicznymi reakcjami na możliwości — określanie zakresu złożonych zleceń, pisanie propozycji architektury i prezentowanie starszym interesariuszom klienta

• Identyfikowanie możliwości rozwoju w ramach istniejących relacji z klientami — wykrywanie problemów związanych z inżynierią danych, które możemy pomóc rozwiązać i formułowanie ich w formie propozycji

• Współpraca z dostawcami usług w chmurze w zakresie wspólnych działań związanych z wejściem na rynek, tam gdzie to konieczne, z wykorzystaniem statusu partnera CreateFuture

Czego szukamy:

Doradztwo

• Spędziłeś znaczną część swojej kariery w firmie konsultingowej, usługach profesjonalnych lub w środowisku dostaw skierowanym do klienta — wiesz, jak szybko budować zaufanie, pracować pomimo niejednoznacznych lub szybko zmieniających się wymagań i dostarczać produkty pod presją komercyjną

• Bez problemu poruszasz się między klientami i branżami, szybko rozwijając nowe domeny, zamiast polegać na latach osadzonego kontekstu

• Kształtowałeś i sprzedawałeś prace techniczne — pisałeś propozycje, określałeś zakres i przedstawiałeś decyzje dotyczące architektury interesariuszom klienta

• Rozumiesz różnicę między „dobrą inżynierią” a „dobrą inżynierią dla tego klienta, tego budżetu, tego harmonogramu” – i potrafisz w przejrzysty sposób poruszać się po tym kompromisie

Mistrzostwo inżynierii danych w chmurze

• Można projektować w ramach pełnego stosu inżynierii danych — od pozyskiwania i przesyłania strumieniowego po magazynowanie, udostępnianie i optymalizację kosztów — na głównej platformie chmurowej (zdecydowanie preferowany AWS)

• Masz duże doświadczenie z architekturami przesyłania strumieniowego — Kinesis, Kafka/MSK, Flink lub Spark Streaming — i wiesz, kiedy każda z nich jest właściwym wyborem

• Można modelować konsekwencje kosztowe decyzji dotyczących architektury i doradzać klientom w zakresie kompromisów między przepustowością, opóźnieniami, trwałością i wydatkami

• Zdecydowanie preferowana jest certyfikacja w chmurze na poziomie zawodowym lub specjalistycznym

Doskonałość inżynieryjna

• Znajomość języków Python, SQL i Spark — oraz zdecydowane opinie na temat tego, jak należy je wykorzystywać w produkcyjnych potokach danych…

Źródło: Arbeitnow (https://www.arbeitnow.co.uk/jobs/companies/xdesign/principal-data-engineer-351196)