Inżynier infrastruktury danych i uczenia maszynowego

Poszerzamy nasz zespół o inżyniera infrastruktury danych i uczenia maszynowego, który przejmie na własność platformę umożliwiającą pozyskiwanie, przetwarzanie, przechowywanie i przepływy pracy w zakresie uczenia maszynowego w wielu produktach. Działając na styku nauki o danych, inżynierii oprogramowania i infrastruktury chmurowej, zbudujesz fundamenty i zadbasz o to, aby nasze systemy ML były skalowalne, odtwarzalne i gotowe do produkcji.

Na tym stanowisku będziesz projektować, wdrażać i stale ulepszać platformę danych i uczenia maszynowego niezależną od chmury, która obsługuje wiele produktów i zespołów. Będziesz odpowiedzialny za niezawodność platformy, skalowalność i efektywność kosztową, zapewniając jednocześnie badaczom danych i inżynierom uczenia maszynowego narzędzia i infrastrukturę umożliwiające efektywne opracowywanie, trenowanie, sprawdzanie poprawności i wdrażanie modeli uczenia maszynowego. Będziesz pełnić rolę technicznego pomostu pomiędzy zespołami zajmującymi się analizą danych a zespołami IT/infrastrukturą, tłumacząc wymagania na solidne i łatwe w utrzymaniu systemy.

Rola ta obejmuje własność istniejącej platformy dostarczanej przez dostawcę i jej ewolucję w kierunku w pełni zautomatyzowanej, powtarzalnej i obejmującej wiele produktów platformy uczenia maszynowego.

Kluczowe obowiązki:

• Projektuj, wdrażaj i utrzymuj infrastrukturę platformy danych i uczenia maszynowego, w tym systemy pozyskiwania, przechowywania, przetwarzania i szkolenia danych.

• Zapewnij wysoką dostępność, niezawodność i czas pracy platformy, ponieważ ma to kluczowe znaczenie dla propozycji wartości biznesowej.

• Utrzymuj i rozwijaj komponenty platformy dostarczane przez dostawców oraz zapewniaj długoterminową łatwość konserwacji i niezależność.

• Twórz i utrzymuj przepływy pracy z danymi, w tym narzędzia do wersjonowania zbiorów danych, śledzenia eksperymentów i zarządzania cyklem życia modeli w wielu produktach.

• Egzekwuj praktyki DevOps/MLOps, w tym potoki CI/CD, infrastrukturę jako kod i zautomatyzowane przepływy pracy.

• Opracuj rozwiązania niezależne od chmury i kontenerowe, które mogą działać w środowiskach chmur publicznych i prywatnych w ramach ograniczeń UE.

• Optymalizuj przechowywanie danych, zasady cyklu życia i efektywność kosztową, w tym strategie warstwowego przechowywania i przechowywania.

• Wdrażanie i utrzymywanie systemów monitorowania i ostrzegania (np. Prometheus, Grafana) dla rurociągów, infrastruktury i wykorzystania zasobów.

• Zapewnij zarządzanie danymi, bezpieczeństwo i zgodność, w tym kontrolę dostępu, rejestrowanie audytów i wymagania dotyczące anonimizacji.

• Ściśle współpracuj z analitykami danych, inżynierami ML i zespołami IT, aby zapewnić infrastrukturę spełniającą potrzeby operacyjne.

• Zarządzaj kontrolą zasobów i kosztów, w tym budżetami, zatwierdzeniami i śledzeniem.

• Współtworzenie dokumentacji, operacyjnych podręczników Runbook i materiałów wprowadzających na platformę.

Dlaczego warto do nas dołączyć?

• Dołącz do jednego z najbardziej obiecujących przedsiębiorstw typu „scale-up” w dziedzinie głębokich technologii w Europie.

• Kształtuj przyszłość szybko rozwijającej się multidyscyplinarnej organizacji badawczo-rozwojowej.

• Konkurencyjne wynagrodzenie i pakiet świadczeń.

• Ciesz się regularnymi zajęciami zespołowymi i wydarzeniami firmowymi.

• Zapewniane świeże lunche dla zespołu 3 razy w tygodniu.

Wymagane kwalifikacje:

• Magister lub równoważny z ponad 5-letnim doświadczeniem w branży w informatyce, inżynierii danych, uczeniu maszynowym lub pokrewnej dziedzinie.

• Duże doświadczenie z platformami danych, infrastrukturą chmurową i systemami rozproszonymi (AWS, GCP, Azure).

• Udokumentowane doświadczenie w zakresie infrastruktury jako kodu (np. Terraform) i zautomatyzowanych wdrożeń.

• Doświadczenie z platformami i narzędziami ML (MLflow, Feast, DVC, DataHub lub równoważne).

• Doświadczenie z platformami AWS Sagemaker lub Google Vertex AI.

• Doświadczenie z bazami danych (MongoDB, PostgreSQL, InfluxDB lub równoważne).

• Doświadczenie z brokerami wiadomości i systemami przesyłania strumieniowego (Kafka, RabbitMQ lub równoważny).

• Praktyczne doświadczenie w konteneryzacji (Docker/OCI) i orkiestracji (Kubernetes lub podobne).

• Doświadczenie z systemami CI/CD (np. GitLab CI).

• Umiejętność programowania w Pythonie.

• Doświadczenie z narzędziami do monitorowania i obserwowalności (Prometheus, Grafana).

• Zrozumienie praktyk DevOps i MLOps.

• Możliwość pracy między zespołami i przekładania wymagań na skalowalne rozwiązania infrastrukturalne.

Miło mieć:

• Znajomość zarządzania danymi, uprawnień i ram bezpieczeństwa.

• Doświadczenie w optymalizacji kosztów i zarządzaniu zasobami w środowiskach chmurowych.

• Znajomość architektur platform obejmujących wielu dzierżawców lub wiele produktów.

• Doświadczenie w pracy z ograniczeniami dotyczącymi zgodności danych UE w sektorach energii, gospodarki morskiej lub obronności.

Bezpieczeństwo i zgodność:
Będziesz pracować z klientami z sektorów obronności i bezpieczeństwa, wymagane jest uzyskanie Zaświadczenia o braku zastrzeżeń wydanego przez AIVD (Holenderska Służba Wywiadu Ogólnego i Bezpieczeństwa). Oznacza to, że będziesz musiał przejść kontrolę bezpieczeństwa. Aby uzyskać więcej informacji, zapoznaj się ze szczegółami dotyczącymi kontroli bezpieczeństwa.
Znajdź więcej ofert pracy ze znajomością języka angielskiego w Holandii na Arbeitnow

Źródło: Arbeitnow (https://www.arbeitnow.nl/jobs/companies/optics11/data-ml-infrastructure-engineer-amsterdam-379597)