Inżynier danych — potoki AI i DataOps

Chcemy, abyś rozwijał się razem z nami
Wysokiej jakości, niezawodne dane to podstawa, na której opiera się każdy przypadek użycia sztucznej inteligencji, a ta rola sprawia, że ten fundament jest niewzruszony. Jako nasz inżynier danych ds. AI Pipelines i DataOps będziesz projektować i dostarczać potoki pozyskiwania, architektury przesyłania strumieniowego i interfejsy API, które zasilają systemy sztucznej inteligencji i systemy analityczne Intersnack danymi niezbędnymi do działania na dużą skalę. Będziesz raportować do programu AI i ściśle współpracować z inżynierami AI, architektami danych i zespołami biznesowymi, ze szczególnym naciskiem na środowiska produkcyjne, w których przetwarzanie danych z urządzeń brzegowych stwarza wyjątkowe wyzwania. W Intersnack opieramy się na solidnych podstawach cyfrowych, a Twoje prace inżynieryjne będą miały kluczowe znaczenie dla rozszerzenia tych podstaw na erę sztucznej inteligencji.
Co możemy zaoferować
Ta rola oferuje możliwość pracy w naprawdę zróżnicowanym środowisku danych, od urządzeń brzegowych zajmujących się produkcją i czujników IoT po ustrukturyzowane systemy danych przedsiębiorstwa w obszarze zaopatrzenia i sprzedaży, co daje szeroki zakres wyzwań technicznych, którym może sprostać niewiele stanowisk zajmujących się inżynierią danych. Będziesz mieć bezpośredni wpływ na sposób wykorzystania sztucznej inteligencji i analiz w firmie wartej 4,5 miliarda euro, mając swobodę definiowania wzorców potoków, standardów API i praktyk DataOps, na których inni będą się opierać. Współpraca jest podstawą naszej pracy, dlatego zostaniesz częścią zespołu programowego zajmującego się analizą danych, architekturą sztucznej inteligencji i możliwościami biznesowymi. Dusseldorf to baza główna z możliwością elastycznej pracy zdalnej.
Jak spędzisz czas jako nasz następny inżynier danych - AI Pipelines i DataOps
Zaprojektujesz i zbudujesz infrastrukturę danych, która napędza program sztucznej inteligencji Intersnack, począwszy od skalowalnych potoków przetwarzania, które obsługują zarówno ustrukturyzowane dane przedsiębiorstwa, jak i nieustrukturyzowane sygnały ze środowisk produkcyjnych, po interfejsy API udostępniające dane, modele i usługi AI do wykorzystania w całej organizacji. Twoja praca będzie obejmować architekturę, wdrażanie i operacje, ze szczególnym naciskiem na jakość, obserwowalność i ciągłe doskonalenie.
Co zrobisz

• Projektować i wdrażać skalowalne potoki pozyskiwania danych dla ustrukturyzowanych i nieustrukturyzowanych źródeł danych, w tym systemów produkcyjnych, urządzeń brzegowych i korporacyjnych platform danych, zapewniając stałą jakość danych od źródła do wykorzystania

• Twórz i utrzymuj potoki danych wsadowych i strumieniowych na potrzeby analiz i zastosowań sztucznej inteligencji, wykorzystując natywne narzędzia chmurowe na Microsoft Azure i/lub AWS

• Projektuj i eksponuj interfejsy API REST lub GraphQL dla zasobów danych, punktów końcowych modelu uczenia maszynowego i usług AI, umożliwiając niezawodne, kontrolowane wykorzystanie przez wewnętrzne aplikacje i systemy analityczne

• Wdrażaj praktyki CI/CD i zasady DataOps w całym procesie opracowywania i wdrażania, wspierając automatyczne testowanie, wersjonowanie i zarządzanie wersjami infrastruktury danych

• Zapewnij jakość, pochodzenie i obserwowalność danych we wszystkich potokach, wdrażając monitorowanie i ostrzeganie, które ujawniają problemy z danymi, zanim wpłyną one na wyniki sztucznej inteligencji lub analiz

• Wspieranie integracji danych z urządzeń produkcyjnych i brzegowych, w tym systemów IoT i OT, z centralną platformą danych, rozwiązując specyficzne wyzwania dotyczące opóźnień, formatu i objętości w środowiskach technologii operacyjnych

• Współpraca z analitykami danych i inżynierami AI w celu projektowania i optymalizacji przepływów danych wspierających uczenie modeli, wnioskowanie i potoki wyszukiwania wiedzy

• Stosowanie praktyk bezpieczeństwa już na etapie projektowania we wszystkich projektach rurociągów i interfejsów API, w tym kontroli dostępu, szyfrowania i zabezpieczeń przed wyciekiem danych, zgodnie ze standardami suwerenności i zgodności firmy Intersnack

• Wnoszenie wkładu w program umiejętności i wspierania sztucznej inteligencji poprzez wspieranie współpracowników w zrozumieniu stanu potoku danych, standardów jakości danych oraz roli wiarygodnych danych w wynikach sztucznej inteligencji

Niezbędne umiejętności i doświadczenie

• Udokumentowane doświadczenie w projektowaniu i wdrażaniu potoków danych klasy produkcyjnej przy użyciu usług chmurowych na platformie Microsoft Azure (np. Azure Data Factory, Azure Event Hubs, Databricks) i/lub AWS (np. AWS Glue, Kinesis, Lake Formation)

• Silna biegłość w co najmniej jednym frameworku potoku lub transformacji (np. Apache Spark, dbt, Apache Kafka lub równoważnym) oraz języku skryptowym, takim jak Python lub Scala

• Solidne, praktyczne doświadczenie z bazami danych SQL i NoSQL (np. PostgreSQL, Cosmos DB, MongoDB lub równoważne), w tym modelowanie danych i optymalizacja zapytań zarówno dla obciążeń transakcyjnych, jak i analitycznych

• Doświadczenie w budowaniu i utrzymywaniu potoków przesyłania strumieniowego i wsadowego dla aplikacji analitycznych i sztucznej inteligencji, ze zrozumieniem kompromisów pomiędzy tymi dwoma podejściami

• Umiejętność projektowania i wdrażania interfejsów API REST lub GraphQL do obsługi danych i modeli, ze zrozumieniem wersjonowania API, dokumentacji i zarządzania

• Znajomość praktyk DataOps i CI/CD stosowanych w inżynierii danych, w tym zautomatyzowane testowanie, orkiestracja potoków i infrastruktura jako kod

• Doświadczenie w zakresie narzędzi do zapewniania jakości danych, śledzenia pochodzenia i struktur obserwowalności (np. Great Hopeations, OpenLineage lub równoważne)

• Praktyczna wiedza na temat sztucznej inteligencji i podstaw bezpieczeństwa danych, w tym kontroli dostępu do danych, szyfrowania i zagrożeń, takich jak eksfiltracja danych w kontekstach rurociągów

• Świadomość RODO, unijnej ustawy o sztucznej inteligencji i wymogów UE w zakresie suwerenności danych oraz ich konsekwencji dla projektowania infrastruktury danych

• Wymagana jest dobra znajomość języka angielskiego w mowie i piśmie; znajomość języka niemieckiego jest zaletą

Cenne doświadczenie

• Doświadczenie w pracy ze środowiskami danych technologii produkcyjnej lub operacyjnej (OT), w tym pozyskiwanie danych z urządzeń IoT/edge i obsługa danych szeregów czasowych

• Znajomość Microsoft Fabric, OneLake lub Azure Purview w celu ujednoliconego zarządzania platformą danych…

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/intersnack-it-kg/data-engineer-ai-pipelines-dataops-dusseldorf-8107)