Інженер ML (Computer Vision & ML Ops)

StellDirVor — це незалежна консалтингова, торгова та технологічна компанія, що спеціалізується на технологіях занурення в охорону здоров’я. Ми підтримуємо організації у впровадженні цифрових інновацій — віртуальної, доповненої та змішаної реальності, а також штучного інтелекту — зокрема для навчання, навчання та допомоги в режимі реального часу в клініці та середовищі догляду. Поєднуючи технології та охорону здоров’я, ми допомагаємо оптимізувати процеси, покращити передачу знань і підвищити якість обслуговування.
За підтримки партнерського гранту Німеччини (ZIM) і Тайваню (GIPIP) ми зараз розробляємо ARAIAS — систему навчання та допомоги для лікування хронічних ран на основі AR та штучного інтелекту. Використовуючи інтелектуальні окуляри AR, система забезпечує 3D-зйомку, аналіз із підтримкою штучного інтелекту та стандартизовану дистанційну експертизу та документування безпосередньо на місці надання медичної допомоги.
Як наш інженер ML (Computer Vision & ML Ops), ви створюватимете можливості штучного інтелекту в основі ARAIAS: оцінювати та точно налаштовувати моделі комп’ютерного зору на даних розумних окулярів, виконувати операції машинного навчання за ними та застосовувати генеративний штучний інтелект для створення синтетичних медичних зображень для освіти. Ми перебуваємо на ранній стадії — переходимо від концепції до робочого прототипу — тому в найближчій перспективі ми зосереджені на перевірці моделей і створенні доказів концепції, які ми можемо протестувати в реальних освітніх і клінічних умовах.
Як частина невеликої команди, ви будете володіти повним життєвим циклом даних від кінця до кінця — від джерела, згоди та анотації до підготовки — разом із розробкою та розгортанням моделі.
Ми вітаємо кандидатів з різним рівнем досвіду. Найбільше значення має міцна основа машинного навчання та справжня обізнаність у галузі медичної візуалізації.
завдання

• Вибирайте та перевіряйте попередньо навчені моделі та/або підтверджені архітектури для аналізу медичних зображень і адаптуйте їх до специфічних для домену даних, забезпечуючи надійну роботу в реальних умовах

• Визначати та адаптувати відповідні генеративні моделі ШІ для створення реалістичних синтетичних медичних зображень для освіти та навчання

• Оцініть і налаштуйте малі мовні моделі (SLM) для голосової взаємодії — перетворення мовлення в текст, розуміння наміру та перетворення тексту в мовлення — оптимізовані для низької затримки або використання на пристрої за допомогою розумних окулярів

• Досліджуйте та оцінюйте найсучасніші моделі машинного навчання та нові тенденції, включаючи Explainable AI (XAI), кібербезпеку для ML, а також режими розгортання та розповсюдження (граничний чи хмарний, інтегроване навчання, стиснення моделі)

• Плануйте та виконуйте конвеєр операцій ML — збір даних, анотації, підготовка, навчання, тестування та розгортання

• Запропонувати стратегію збору даних — досліджувати відповідні загальнодоступні та клінічні джерела даних, рекомендувати згоду пацієнта та інші адміністративні вимоги для навчання ML (наприклад, угоди про захист даних, етичне схвалення), а також визначати протоколи збору та анотації з клінічними експертами, включаючи вказівки щодо маркування та перевірки якості

• Визначення та перевірка факторів, які впливають на продуктивність моделі — умови зображення, зміщення набору даних, різноманітність пацієнтів, конфіденційність даних і нормативні вимоги

• Визначити стратегії та показники тестування та перевірити результати моделі на відповідність оцінкам лікарів

• Виконуйте аналіз моделей, інструментів і послуг, включаючи порівняння вартості

• Оцініть витрати на обчислення та навчання та запропонуйте бюджет для навчання та розгортання моделі

• Вибирайте й гнучко налаштовуйте навчальні середовища — локальне обладнання чи хмару — залежно від вартості, конфіденційності даних і продуктивності

• Приймайте прагматичні технічні рішення, які відповідають поточній стадії прототипування, і чітко документуйте результати

• Підтримуйте чітку документацію про джерела даних, моделі, експерименти та проектні рішення, які можна відстежувати, для підтримки аудитів і оцінок якості

• Оцініть та інтегруйте додаткові датчики, де це можливо (наприклад, датчики глибини, LiDAR, термічні, мультиспектральні) і об’єднайте їх із входом RGB

Вимоги
Необхідно мати

• Ступінь у галузі інформатики, науки про дані, біомедичної інженерії, математики або суміжної галузі — або еквівалентну практичну освіту

• Сильні навички Python і практичне використання PyTorch, OpenCV або TensorFlow

• Тверде розуміння комп’ютерного зору — класифікація, виявлення об’єктів і сегментація зображень, 3D-реконструкція та багаторакурсна геометрія

• Практичні знання про перенесення навчання — адаптація попередньо підготовлених моделей і їх точне налаштування на користувацьких наборах даних

• Практичні знання повного життєвого циклу машинного навчання — підготовка даних, навчання, оцінка та розгортання

• Базові знання про генеративні моделі (моделі дифузії або GAN) і загальні бібліотеки з відкритим кодом

• Зручні моделі навчання як локально (GPU робоча станція), так і на хмарних платформах

• Здатність оцінити витрати на обчислення ML і порівняти варіанти створення та покупки для підтримки бюджетних рішень

• Обізнаність із проблемами медичної візуалізації — обмежені дані, мінливість етикеток між клініцистами та класовий дисбаланс

• Обізнаність щодо конфіденційності та етики медичних даних (наприклад, GDPR, згода пацієнтів, анонімність) і чому пояснюваність і упередженість мають значення в клінічному ШІ

• Здатний читати дослідницькі статті та прагматично їх застосовувати

• Самоспрямований і прагматичний — здатний взяти на себе ініціативу та вирішити всі проблеми в м’якій команді

• Вільне володіння англійською — німецька — бонус

Сильний плюс

• Проекти або курсові роботи з медичної візуалізації або клінічного ШІ

• Знайомство з напівконтрольованим навчанням — використання обмежених або частково позначених даних

• Досвід обробки 3D-даних — карти глибини, хмари точок або реконструкція сітки

• Вплив мультимодального навчання — поєднання даних RGB і глибини або даних LiDAR

• Розгортання Edge AI або wearable (наприклад, TensorFlow Lite, ONNX, квантування моделі)

• Знання методів пояснення (наприклад, Grad-CAM, SHAP) або конкурентоспроможності

• Знайомство з інструментами MLOps (наприклад, MLflow, Weights & Biases, DVC, Docker)

• Поінформованість про регулювання медичних пристроїв для програмного забезпечення ШІ (наприклад, EU MDR, IEC 62304)…

Джерело: Arbeitnow (https://www.arbeitnow.com/jobs/companies/stelldirvor-gmbh/ml-engineer-computer-vision-ml-ops-munich-359350)