Inżynier MLOps / LLMOps (średni poziom)

O rozwiązaniach Irth
Irth Solutions jest wiodącym dostawcą opartego na chmurze oprogramowania SaaS do zapobiegania szkodom, integralności aktywów, angażowania interesariuszy i zarządzania gruntami, pomagając firmom z branży energetycznej, użyteczności publicznej, telekomunikacyjnej i infrastrukturalnej chronić ich krytyczną infrastrukturę sieciową. Dzięki prawie trzydziestoletniemu doświadczeniu w branży firma Irth obsługuje klientów w Ameryce Północnej i stale rozwija swoją platformę o nowe możliwości oparte na danych i sztucznej inteligencji.
Inżynier MLOps / LLMOps – spostrzeżenia (AI/ML)
Lokalizacja: odległa – Indie
Dział: Insights (AI/ML)
Raportuje do: Data Platform & Analytics Manager
O roli
Irth buduje zarządzaną, wielochmurową platformę Lakehouse w oparciu o Databricks, aby uzyskać szczegółowe informacje dotyczące różnych produktów, wymusić przechowywanie danych i przyspieszyć innowacje AI/ML dla naszych klientów.
Poszukujemy inżyniera MLOps/LLMOps, który przełoży te podstawy na skalowalne, zautomatyzowane, bezpieczne i obserwowalne usługi uczenia maszynowego i LLM.
Będziesz ściśle współpracować z zespołami zajmującymi się analityką danych, inżynierią danych, platformami, produktami i domenami, aby produkować możliwości ML i GenAI wspierające kluczowe branże Irth:

• Zapobieganie uszkodzeniom

• Integralność aktywów

• Zarządzanie gruntami

• Zaangażowanie interesariuszy

Odgrywa to kluczową rolę w ustanawianiu wzorców inżynieryjnych wielokrotnego użytku dla kontraktów danych, pochodzenia, jakości danych, bezpieczeństwa, CI/CD, wdrażania modeli, monitorowania i niezawodności operacyjnej.
Pomożesz zapewnić, że modele i aplikacje LLM sprawnie przejdą od eksperymentów do produkcji i pozostaną niezawodne, obserwowalne, bezpieczne i opłacalne przez cały cykl życia.
Kluczowe obowiązki
1. Zbuduj platformę ML/LLM w Lakehouse

• Zrealizuj cały cykl życia uczenia maszynowego — w tym szkolenia, ocenę, pakowanie, wdrażanie i monitorowanie — w Databricks.

• Wdrożenie przepływów pracy ML przy użyciu architektury Brązowego → Srebrnego → Złotego Medalionu z Delta Lake jako podstawową warstwą pamięci masowej.

• Ustal wzorce implementacji zarządzania modelem Unity Catalog, przygotowując zasoby modelu do zarządzania opartego na katalogu, pochodzenia, wykrywania i kontroli dostępu.

• Opracuj szablony wielokrotnego użytku dla zadań, przepływów pracy i procesów wdrażania ML/LLM.

• Tworzenie i utrzymywanie zasad klastrów dla obciążeń ML/LLM dostosowanych do barier ochronnych platformy korporacyjnej.

• Stosuj standardy platformy, takie jak:

• Sieci prywatne

• Obowiązkowe oznaczanie zasobów

• Wersje wykonawcze modułów Databricks z długoterminowym wsparciem (LTS).

• Bezpieczne zarządzanie tajemnicami

• Odpowiednie zasady obliczeniowe

• Ustanawiaj wzorce wielokrotnego użytku, które umożliwią badaczom danych i inżynierom uczenia maszynowego spójne i bezpieczne wdrażanie modeli.

2. Stwórz funkcje ML i LLM

• Współpracuj z zespołami zajmującymi się analizą danych i produktami, aby tworzyć modele wspierające przypadki użycia, takie jak:

• Ocena ryzyka związanego z wykopami i infrastrukturą

• Wykrywanie anomalii

• Konserwacja predykcyjna

• Wzbogacanie geoprzestrzenne

• Rozpoznawanie podmiotów nazwanych (NER) na działkach i służebnościach

• Podsumowanie komunikacji z interesariuszami

• Generacja wspomagana odzyskiwaniem (RAG)

• Asystenci i aplikacje wspomagające podejmowanie decyzji oparte na sztucznej inteligencji

• Projektuj, buduj i konserwuj rurociągi LLM i RAG klasy produkcyjnej.

• Wdrażaj architektury wyszukiwania i wyszukiwania wektorowego przy użyciu technologii takich jak Databricks Vector Search.

• Wdrażaj i zarządzaj punktami końcowymi obsługującymi modele i wnioskowującymi.

• Optymalizuj obciążenia wnioskowania pod kątem wydajności, skalowalności, niezawodności i kosztów.

• Stosuj techniki optymalizacji, takie jak:

• Kwantyzacja

• Destylacja

• Buforowanie podpowiedzi i odpowiedzi

• Optymalizacja wyszukiwania

• Dozowanie

• Wdrażaj wzorce wnioskowania w trybie wsadowym, strumieniowym i online w oparciu o wymagania biznesowe i opóźnienia.

• Ustal jasne oczekiwania dotyczące poziomu usług i operacyjne umowy SLA dla obciążeń o priorytecie A/B/C.

3. Inżynieria niezawodności, bezpieczeństwa i zgodności z cyklem życia ML

• Zintegruj kontrakty dotyczące danych i bramki jakości z potokami ML i LLM.

• Wdrożyć automatyczną walidację dla:

• Dryf schematu

• Progi zerowe

• Zduplikowane rekordy

• Integralność referencyjna

• Kompletność danych

• Problemy z jakością funkcji

• Wdrażaj wykrywanie, klasyfikację, maskowanie i zaciemnianie informacji umożliwiających identyfikację, zanim wrażliwe dane zostaną wykorzystane przez funkcje lub modele.

• Egzekwuj wymagania dotyczące przechowywania danych poprzez politykę jako kod.

• Zapewnienie, że regulowane lub wrażliwe dane warstwy brązowej pozostają w wymaganym regionie geograficznym.

• Upewnij się, że do globalnych przestrzeni roboczych lub usług przesyłane są wyłącznie odpowiednio zanonimizowane lub zagregowane dane.

• Utrzymuj kompleksową linię w całym cyklu życia uczenia maszynowego, w tym: tabele/kolumny źródłowe → Funkcje → Modele → Obsługa punktów końcowych → Aplikacje/BI

• Informacje o pochodzeniu i zarządzaniu Surface za pośrednictwem odpowiednich pulpitów monitorowania i zarządzania.

• Obsługuje wymagania dotyczące bezpieczeństwa, zgodności, audytu i przeglądu dostępu na całej platformie ML.

4. Zautomatyzuj wszystko – CI/CD i testowanie

• Używaj pakietów zasobów Databricks (DAB) i akcji GitHub do tworzenia wersji, testowania i promowania zasobów ML/LLM w różnych środowiskach.

• Automatyzuj promocję w: DEV → QA → PROD

• Upewnij się, że zmiany produkcyjne są wdrażane poprzez kontrolowane procesy CI/CD bez bezpośredniego rozwoju w PROD.

• Wersja i zarządzanie:

• Praca

• Notatniki

• Artefakty modelu

• Polityki klastrowe

• Konfiguracja

• Uprawnienia

• Definicje wdrożeń

• Twórz zautomatyzowane zestawy testów jednostkowych, integracyjnych, regresyjnych i jakości danych.

• Wdrożenie sprawdzania jakości modelu w ramach potoków wdrażania.

• Weryfikacja biznesowych wskaźników KPI i wyników analitycznych w stosunku do warstwy semantycznej Unity Catalog przed publikacją produkcyjną.

• Ustanawiaj bramki wdrożeniowe, które uniemożliwiają rozwój modeli lub aplikacji, gdy nie są spełnione wymagania dotyczące jakości, bezpieczeństwa lub wydajności.

5. Obserwowalność i operacje produkcyjne

• Instrumentalne potoki i usługi ML/LLM do obsługi zdefiniowanych SLO, w tym:

•
Sukces rurociągu P1: ≥99,5%

•
P1 MTTD: ≤5 minut

•
MTTR: ≤60 minut…

Źródło: Himalaje (https://himalayas.app/companies/irth/jobs/mlops-llmops-engineer-mid-level)