Инженер ML (компьютерное зрение и операции ML)

StellDirVor — независимая консалтинговая, торговая и технологическая компания, специализирующаяся на иммерсивных технологиях для здравоохранения. Мы поддерживаем организации во внедрении цифровых инноваций — виртуальной, дополненной и смешанной реальности, а также искусственного интеллекта — особенно для обучения, обучения и помощи в режиме реального времени в клинических условиях и условиях ухода. Объединив технологии и здравоохранение, мы помогаем оптимизировать процессы, улучшить передачу знаний и повысить качество медицинской помощи.
При поддержке партнерского гранта Германии (ZIM) и Тайваня (GIPIP) мы в настоящее время разрабатываем ARAIAS — систему обучения и помощи без помощи рук на основе AR и AI для ухода за хроническими ранами. Используя интеллектуальные очки дополненной реальности, система обеспечивает 3D-съемку, анализ с помощью искусственного интеллекта, а также стандартизированную удаленную экспертизу и документацию непосредственно в месте оказания медицинской помощи.
В качестве нашего инженера по машинному обучению (компьютерное зрение и операции машинного обучения) вы будете создавать возможности искусственного интеллекта в основе ARAIAS: оценивать и точно настраивать модели компьютерного зрения на данных умных очков, запускать на их основе операции машинного обучения и применять генеративный искусственный интеллект для создания синтетических медицинских изображений для образования. Мы находимся на ранней стадии — переходим от концепции к рабочему прототипу — поэтому в ближайшем будущем основное внимание будет уделено проверке моделей и созданию доказательства концепции, которую мы сможем протестировать в реальных образовательных и клинических условиях.
Будучи частью небольшой команды, вы будете контролировать полный жизненный цикл данных — от поиска, получения согласия и аннотаций до подготовки — наряду с разработкой и развертыванием модели.
Мы приветствуем кандидатов с разным уровнем опыта. Самое главное — это прочная основа машинного обучения и подлинное знание области медицинской визуализации.
Задачи

• Выбирайте и тестируйте предварительно обученные модели и/или проверенные архитектуры для анализа медицинских изображений и адаптируйте их к данным конкретной предметной области, обеспечивая надежную работу в реальных условиях.

• Определить и адаптировать подходящие генеративные модели искусственного интеллекта для создания реалистичных синтетических медицинских изображений для образования и обучения.

• Оценивать и точно настраивать модели малого языка (SLM) для голосового взаимодействия — речь в текст, намеренное понимание и преобразование текста в речь — оптимизированные для малой задержки или использования на устройстве с интеллектуальными очками.

• Исследование и оценка современных моделей машинного обучения и новых тенденций, включая объяснимый искусственный интеллект (XAI), кибербезопасность для машинного обучения, а также режимы развертывания и распространения (периферийное или облачное обучение, федеративное обучение, сжатие моделей).

• Планирование и реализация конвейера операций машинного обучения — сбор данных, аннотирование, подготовка, обучение, тестирование и развертывание.

• Предложить стратегию сбора данных — изучить подходящие общедоступные и клинические источники данных, рекомендовать согласие пациентов и другие административные требования для обучения ОД (например, соглашения о защите данных, этическое одобрение), а также определить протоколы сбора и аннотирования с клиническими экспертами, включая рекомендации по маркировке и проверки качества.

• Определить и проверить факторы, влияющие на эффективность модели — условия изображения, смещение набора данных, разнообразие пациентов, конфиденциальность данных и нормативные требования.

• Определить стратегии и показатели тестирования и сверить результаты модели с оценками врачей.

• Проведение анализа сборки и покупки моделей, инструментов и услуг, включая сравнение затрат.

• Оценить затраты на вычисления и обучение и предложить бюджеты на обучение и развертывание моделей.

• Гибко выбирайте и настраивайте среду обучения — локальное оборудование или облако — с учетом стоимости, конфиденциальности данных и производительности.

• Принимайте прагматичные технические решения, соответствующие текущему этапу прототипирования, и четко документируйте результаты.

• Поддерживать четкую, отслеживаемую документацию источников данных, моделей, экспериментов и проектных решений для поддержки аудитов и проверок качества.

• Оценить и интегрировать дополнительные датчики, где это возможно (например, глубины, LiDAR, тепловые, мультиспектральные) и объединить их с входом RGB.

Требования
Обязательно иметь

• Степень в области компьютерных наук, науки о данных, биомедицинской инженерии, математики или смежных областях — или эквивалентный практический опыт.

• Хорошие навыки Python и практическое использование PyTorch, OpenCV или TensorFlow.

• Глубокое понимание компьютерного зрения — классификация, обнаружение объектов и сегментация изображений, 3D-реконструкция и многовидовая геометрия.

• Практические знания трансферного обучения — адаптация предварительно обученных моделей и их точная настройка на пользовательских наборах данных.

• Практические знания полного жизненного цикла машинного обучения — подготовка данных, обучение, оценка и развертывание.

• Базовые знания генеративных моделей (моделей диффузии или GAN) и общих библиотек с открытым исходным кодом.

• Комфортные модели обучения как локально (рабочая станция GPU), так и на облачных платформах.

• Возможность оценить затраты на вычисления ML и сравнить варианты сборки и покупки для принятия решений по бюджету.

• Осведомленность о проблемах медицинской визуализации — ограниченные данные, различия в этикетках у разных врачей и классовый дисбаланс.

• Осведомленность о конфиденциальности и этике медицинских данных (например, GDPR, согласие пациента, анонимность) и почему объяснимость и предвзятость имеют значение в клиническом ИИ.

• Способен читать научные статьи и применять их прагматично

• Самостоятельный и прагматичный — способен взять на себя инициативу и решать проблемы комплексно в сплоченной команде.

• Свободное владение английским языком. Немецкий является бонусом.

Сильный Плюс

• Проекты или курсовые работы в области медицинской визуализации или клинического искусственного интеллекта.

• Знакомство с полуконтролируемым обучением — использование ограниченных или частично размеченных данных.

• Опыт обработки 3D-данных — карты глубины, облака точек или реконструкция сетки.

• Возможность мультимодального обучения — объединение данных RGB и глубины или данных LiDAR.

• Edge AI или развертывание носимых устройств (например, TensorFlow Lite, ONNX, квантование модели).

• Знание методов объяснимости (например, Grad-CAM, SHAP) или состязательной устойчивости.

• Знакомство с инструментами MLOps (например, MLflow, Weights & Biases, DVC, Docker)

• Осведомленность о регулировании медицинского оборудования для программного обеспечения искусственного интеллекта (например, EU MDR, IEC 62304)…

Источник: Arbeitnow (https://www.arbeitnow.com/jobs/companies/stelldirvor-gmbh/ml-engineer-computer-vision-ml-ops-munich-359350)