Исследователи Университета Иннополис представили мультимодальную ИИ-модель LogitGaze-Med, которая предсказывает движение глаз врача-рентгенолога при изучении медицинских снимков. По данным разработчиков, качество предсказания траектории взгляда выросло на 20–30% относительно аналогов, а точность автоматического распознавания патологий на рентгенограммах грудной клетки увеличилась более чем на 5%. О результатах сообщил cnews.ru.
Как устроена модель
LogitGaze-Med объединяет три потока данных: визуальные признаки от специализированных медицинских алгоритмов, текстовые описания диагностических меток и семантику на уровне фрагментов изображения, извлечённую методом «логит-линзы». В отличие от классических моделей внимания, которые ориентируются на яркие области снимка, разработка учитывает конкретную клиническую задачу — поиск признаков пневмонии или застойной сердечной недостаточности — и анатомический контекст: контуры сердца, затемнения, участки лёгочной ткани.
На выходе модель формирует не тепловую карту, а последовательность фиксаций с координатами и длительностью — синтетическую траекторию взгляда. В слепой оценке практикующий рентгенолог поставил сгенерированным траекториям 4,3 балла из 5 за визуальный реализм и 4,2 — за клиническую значимость, отличая их от реальных лишь в 58% случаев.
Зачем это отрасли
Дефицит размеченных данных о движении взгляда врачей — одно из узких мест в обучении медицинских ИИ-систем. Синтетические траектории позволяют закрыть этот пробел и применимы сразу в нескольких сценариях: обучающие симуляторы для ординаторов-рентгенологов, подсказки менее опытным врачам в реальном времени и повышение интерпретируемости решений алгоритма для лечащего специалиста.
- Поддержка принятия решений: ИИ может направлять внимание врача к потенциально проблемным зонам, повторяя логику эксперта.
- Обучение: модель пригодна как основа симуляторов для отработки паттернов визуального поиска.
- Доверие к ИИ: объяснимая логика «куда смотреть» снижает барьер внедрения в клиническую практику.
Работа опубликована в материалах конференции NeurIPS, исследование выполнено при поддержке Минэкономразвития. Авторы оговариваются, что для масштабирования модель потребует валидации в разных медицинских учреждениях — стандартный барьер для российских разработок в области медицинского ИИ, где регуляторные требования к клиническим испытаниям остаются ключевым фактором выхода на рынок.