Inżynier ML (wizja komputerowa i operacje ML)

StellDirVor to niezależna firma doradcza, handlowa i technologiczna specjalizująca się w technologiach immersyjnych dla opieki zdrowotnej. Wspieramy organizacje we wdrażaniu innowacji cyfrowych — rzeczywistości wirtualnej, rozszerzonej i mieszanej oraz sztucznej inteligencji — szczególnie w zakresie uczenia się, szkoleń i pomocy w czasie rzeczywistym w środowiskach klinicznych i opiekuńczych. Łącząc technologię i opiekę zdrowotną, pomagamy optymalizować procesy, usprawniać transfer wiedzy i podnosić jakość opieki.
Przy wsparciu dotacji partnerskiej z Niemiec (ZIM) i Tajwanu (GIPIP) obecnie opracowujemy ARAIAS — oparty na AR i AI system szkolenia i pomocy bez użycia rąk w zakresie leczenia ran przewlekłych. Dzięki inteligentnym okularom AR system umożliwia przechwytywanie 3D, analizę wspomaganą sztuczną inteligencją oraz standaryzowaną zdalną wiedzę i dokumentację bezpośrednio w punkcie opieki.
Jako nasz inżynier ML (Computer Vision & ML Ops) będziesz budować możliwości sztucznej inteligencji w rdzeniu ARAIAS: oceniać i dostrajać modele widzenia komputerowego na danych inteligentnych okularów, uruchamiać za nimi operacje ML i stosować generatywną sztuczną inteligencję do tworzenia syntetycznych obrazów medycznych na potrzeby edukacji. Jesteśmy na wczesnym etapie — przechodzimy od koncepcji do działającego prototypu — więc w najbliższej przyszłości skupimy się na walidacji modeli i budowaniu dowodu słuszności koncepcji, który będziemy mogli przetestować w rzeczywistych warunkach edukacyjnych i klinicznych.
Jako część małego zespołu będziesz odpowiedzialny za cały cykl życia danych od początku do końca – od pozyskania, zgody i adnotacji po przygotowanie – wraz z opracowaniem i wdrożeniem modelu.
Zapraszamy kandydatów na różnym poziomie doświadczenia. Najważniejsze są solidne podstawy uczenia maszynowego i autentyczna świadomość dziedziny obrazowania medycznego.
Zadania

• Wybierz i porównaj wstępnie wytrenowane modele i/lub sprawdzone architektury do analizy obrazów medycznych i dostosuj je do danych specyficznych dla domeny, zapewniając solidną wydajność w warunkach rzeczywistych

• Identyfikacja i dostosowywanie odpowiednich generatywnych modeli sztucznej inteligencji w celu tworzenia realistycznych syntetycznych obrazów medycznych na potrzeby edukacji i szkoleń

• Oceniaj i dostosowuj modele małych języków (SLM) pod kątem interakcji głosowej — zamiany mowy na tekst, rozumienia intencji i zamiany tekstu na mowę — zoptymalizowane pod kątem małych opóźnień lub korzystania z urządzenia za pomocą inteligentnych okularów

• Badaj i oceniaj najnowocześniejsze modele uczenia maszynowego i pojawiające się trendy, w tym wyjaśnialną sztuczną inteligencję (XAI), cyberbezpieczeństwo uczenia maszynowego oraz tryby wdrażania i dystrybucji (edycja brzegowa kontra chmura, uczenie stowarzyszone, kompresja modeli)

• Zaplanuj i wykonaj potok operacji ML — gromadzenie danych, adnotacje, przygotowanie, szkolenie, testowanie i wdrażanie

• Zaproponuj strategię gromadzenia danych — przeszukaj odpowiednie publiczne i kliniczne źródła danych, zarekomenduj zgodę pacjenta i inne wymagania administracyjne dotyczące szkolenia w zakresie ML (np. umowy o ochronie danych, zatwierdzenie etyki) oraz zdefiniuj protokoły gromadzenia i dodawania adnotacji wraz z ekspertami klinicznymi, w tym wytyczne dotyczące etykietowania i kontrole jakości

• Zidentyfikuj i zweryfikuj czynniki wpływające na wydajność modelu — warunki obrazu, stronniczość zbioru danych, różnorodność pacjentów, prywatność danych i wymogi prawne

• Zdefiniuj strategie i metryki testów oraz zweryfikuj wyniki modelu w porównaniu z oceną klinicysty

• Przeprowadzaj analizy kompilacji i zakupu modeli, narzędzi i usług, w tym porównanie kosztów

• Oszacuj koszty obliczeń i szkoleń oraz zaproponuj budżety na szkolenie i wdrażanie modeli

• Elastycznie wybieraj i konfiguruj środowiska szkoleniowe — sprzęt lokalny lub chmurę — w oparciu o koszty, prywatność danych i wydajność

• Podejmuj pragmatyczne decyzje techniczne odpowiednie dla bieżącego etapu prototypowania i jasno dokumentuj wyniki

• Utrzymuj przejrzystą, identyfikowalną dokumentację źródeł danych, modeli, eksperymentów i decyzji projektowych, aby wspierać audyty i przeglądy jakości

• Oceń i zintegruj dodatkowe czujniki, jeśli to możliwe (np. głębokość, LiDAR, termiczne, wielospektralne) i połącz je z wejściem RGB

Wymagania
Niezbędne

• Wykształcenie z informatyki, nauki o danych, inżynierii biomedycznej, matematyki lub pokrewnej dziedziny — lub równoważne doświadczenie praktyczne

• Dobra znajomość języka Python i praktyczne wykorzystanie PyTorch, OpenCV lub TensorFlow

• Solidne zrozumienie widzenia komputerowego — klasyfikacja, wykrywanie obiektów i segmentacja obrazu, rekonstrukcja 3D i geometria wielu widoków

• Praktyczna wiedza na temat uczenia się transferowego — dostosowywanie wstępnie wyszkolonych modeli i dostrajanie ich na niestandardowych zbiorach danych

• Praktyczna wiedza na temat pełnego cyklu życia uczenia maszynowego – przygotowywania danych, szkoleń, oceny i wdrażania

• Podstawowa wiedza na temat modeli generatywnych (modeli dyfuzyjnych lub GAN) i popularnych bibliotek open source

• Wygodne modele szkoleniowe zarówno lokalnie (stacja graficzna GPU), jak i na platformach chmurowych

• Możliwość oszacowania kosztów obliczeń ML i porównania opcji budowy i zakupu w celu wsparcia decyzji budżetowych

• Świadomość wyzwań związanych z obrazowaniem medycznym – ograniczone dane, różnice w etykietach między lekarzami i brak równowagi klasowej

• Świadomość prywatności i etyki danych w opiece zdrowotnej (np. RODO, zgoda pacjenta, anonimizacja) oraz tego, dlaczego w klinicznej sztucznej inteligencji liczy się możliwość wyjaśnienia i stronniczość

• Potrafi czytać artykuły naukowe i stosować je pragmatycznie

• Samokierujący i pragmatyczny — zdolny do kompleksowego podejmowania inicjatywy i rozwiązywania problemów w szczupłym zespole

• Biegła znajomość języka angielskiego — niemiecki będzie dodatkowym atutem

Mocny Plus

• Projekty lub zajęcia z obrazowania medycznego lub klinicznej sztucznej inteligencji

• Znajomość uczenia się częściowo nadzorowanego – wykorzystanie ograniczonych lub częściowo oznakowanych danych

• Doświadczenie w przetwarzaniu danych 3D — mapy głębi, chmury punktów lub rekonstrukcja siatki

• Ekspozycja na naukę multimodalną – łączenie RGB i danych głębi lub LiDAR

• Wdrożenie Edge AI lub urządzenia do noszenia (np. TensorFlow Lite, ONNX, kwantyzacja modelu)

• Znajomość metod wyjaśnialności (np. Grad-CAM, SHAP) lub odporności kontradyktoryjnej

• Znajomość narzędzi MLOps (np. MLflow, Weights & Biases, DVC, Docker)

• Znajomość przepisów dotyczących wyrobów medycznych w zakresie oprogramowania AI (np. EU MDR, IEC 62304)…

Źródło: Arbeitnow (https://www.arbeitnow.com/jobs/companies/stelldirvor-gmbh/ml-engineer-computer-vision-ml-ops-munich-359350)