Раскрывая тайны медицинского ИИ: как объяснимый искусственный интеллект (XAI) делает диагностику по изображениям прозрачной и заслуживающей доверия

Оглавление

• Ключевые моменты
• Почему это исследование важно: проблема «черного ящика» в медицинском ИИ
• Эволюция ИИ в медицинской визуализации: от правил 1980-х годов до мультимодальных систем 2025 года
• Методы исследования: как проводился этот систематический обзор
• Техники XAI: четыре группы объяснений
• Применение XAI в медицинской визуализации
• Ключевые выводы: что выявили 133 исследования
• Проблемы и ограничения: что все еще мешает продвижению вперед
• Клинические последствия: что это означает для пациентов и врачей
• Рекомендации: путь к прозрачному ИИ в будущем
• Часто задаваемые вопросы
• Информация об источнике

Ключевые моменты

• XAI делает инструменты визуализации на основе ИИ прозрачными, показывая, какие области изображения повлияли на диагноз.
• Существуют четыре группы XAI: карты значимости (saliency maps), механизмы внимания, LIME/SHAP и методы, основанные на правилах.
• В рамках 133 исследований XAI повысил уверенность клиницистов, но столкнулся с проблемами стандартизации и смещения данных.
• XAI помогает радиологам и патологоанатомам, однако врачи несут ответственность за окончательные решения о лечении.
• Объяснимый искусственный интеллект (XAI) снижает количество ошибок за счёт возможности аудита логики работы ИИ и помогает соблюдать требования к прозрачности.

Почему это исследование важно: проблема «чёрного ящика» в медицинском ИИ

За последнее десятилетие искусственный интеллект достиг значительных успехов в медицинской визуализации. Системы ИИ, использующие машинное обучение (ML) и глубокое обучение (DL) — продвинутые компьютерные алгоритмы, обучающиеся выявлять закономерности на основе больших объёмов данных, — стали ценными инструментами для диагностики рака молочной железы и рака головного мозга, выявления заболеваний сетчатки глаза, а также для сегментации (выделения контуров) структур на медицинских изображениях [1–4]. Однако есть один нюанс: многие из этих систем работают как «чёрные ящики», выдавая высокоточные результаты без объяснения того, как они пришли к своим выводам.

Отсутствие прозрачности является серьёзной проблемой в здравоохранении. Когда врач принимает решение о том, нужна ли пациенту операция, химиотерапия или вообще никакого лечения, ему необходимо понимать, почему ИИ отметил подозрительное образование на снимке. Предсказание без обоснования трудно — а зачастую и невозможно — доверять при принятии клинических решений с высокими рисками.

Объяснимый искусственный интеллект (XAI) был разработан для решения этой проблемы. XAI представляет собой набор методов, призванных сделать процессы принятия решений ИИ видимыми, понятными и поддающимися аудиту. Агентство передовых исследовательских проектов Министерства обороны США (DARPA), которое помогло создать интернет, определяет цель XAI как создание моделей ИИ, которые являются одновременно высокоточными и интерпретируемыми, чтобы человеческие пользователи могли понимать их работу, адекватно доверять им и эффективно управлять взаимодействием с ними [6].

Этому сдвигу способствуют также юридические требования. Общий регламент по защите данных Европейского союза (GDPR) требует прозрачности алгоритмического принятия решений перед их применением в уходе за пациентами [7]. Аналогичным образом, Министерство здравоохранения и социальных служб США подчёркивает, что клиницисты должны понимать нормативные стандарты для эффективного и безопасного использования систем поддержки клинических решений (CDSS). Объяснимость помогает врачам принимать обоснованные клинические решения, оставаясь при этом в рамках соответствия этим регуляторным требованиям.

Эволюция ИИ в медицинской визуализации: от правил 1980-х годов до мультимодальных систем 2025 года

Путь ИИ в медицине был долгим и отмечен несколькими парадигмальными сдвигами. В данном обзоре эта история прослеживается через временную шкалу, которая помогает понять, почему вопрос объяснимости стал особенно актуальным лишь недавно.

• 1980-е годы: Появились экспертные системы на основе правил — простые алгоритмы, использующие правила типа «если-то» для поддержки принятия решений. Они были прозрачны по своей конструкции, но допускали много ошибок.
• 1990-е годы: Появились алгоритмы машинного обучения, которые обучались выявлять закономерности непосредственно в наборах данных изображений, а не следовать заранее прописанным правилам.
• Начало 2000-х годов: Пришло глубокое обучение, обеспечив беспрецедентную точность анализа изображений и открыв путь для свёрточных нейронных сетей (CNN) — специализированных архитектур, вдохновлённых зрительной корой головного мозга.
• 2012 год: Прорыв с моделью AlexNet, мощной свёрточной нейронной сетью, ускорил доминирование моделей-«чёрных ящиков», которые демонстрировали лучшие результаты, но становились всё более сложными для интерпретации.
• 2015 год: Интерпретируемость стала отдельным направлением исследований, что привело к формированию самостоятельной области XAI.
• 2018 год: Архитектуры трансформеров совершили революцию в ИИ, позволив достичь новых уровней производительности и тонкости при интерпретации изображений.
• 2022 год: Появились объяснимые модели ИИ (XAI), сохраняющие конфиденциальность за счёт федеративного обучения, что позволило ИИ обучаться на распределённых данных без централизации информации о пациентах.
• 2025 год и далее: Эксперты прогнозируют этап развития мультимодального интерпретируемого ИИ, характеризующийся постоянным компромиссом между точностью и объяснимостью.

Эта историческая динамика важна для пациентов, поскольку она объясняет, почему ИИ стал одновременно более мощным и более загадочным. Ранний ИИ был достаточно простым, чтобы его полностью понять, но недостаточно умным, чтобы быть действительно полезным. Современный ИИ обладает высокой точностью, но является непрозрачным — именно поэтому необходим XAI.

Методы исследования: как проводился этот систематический обзор

Исследовательская группа во главе с Ахмедом и коллегами из учреждений Пакистана, Индии, Иордании, Йемена и Южной Кореи провела систематический литературный обзор (SLR) в соответствии со строгими рекомендациями PRISMA 2020 — международно признанным стандартом синтеза доказательств. Их целью было ответить на четыре конкретных исследовательских вопроса:

1. Какие методы XAI в настоящее время используются в медицинской визуализации и какие из них являются наиболее эффективными?
2. Как подходы XAI применяются к реальным клиническим случаям в радиологии и патологии?
3. Какие существуют проблемы и ограничения в интерпретируемости систем медицинской визуализации на основе ИИ?
4. Как клиницисты оценивают полезность, эффективность и удобство диагностических инструментов на основе XAI в реальных клинических условиях?

Поиск литературы охватывал основные научные базы данных, выявляя записи, опубликованные в период с 2015 по 2025 год. Процесс отбора был тщательным и многоэтапным:

• 980 записей было первоначально выявлено
• 289 дубликатов было удалено
• 691 запись перешла к этапу отбора
• 209 было исключено в процессе отбора
• 482 полных текста были оценены на соответствие критериям
• 263 было исключено после анализа полных текстов
• 219 исследований были рассмотрены, в результате чего 133 исследования были включены в обзор

Команда рецензентов использовала консенсус между оценщиками для обеспечения надежности отбора исследований, что означает, что несколько рецензентов независимо оценивали работы и разрешали разногласия путем обсуждения. Итоговый корпус из 133 исследований стал основой всех выводов данного обзора.

Одной из заметных особенностей этого обзора является его сравнение с более ранними обзорами, опубликованными в период с 2020 по 2025 год. Таблица 1 в оригинальной статье сравнивает семь предыдущих обзоров [12, 19–25] с предлагаемым исследованием. Авторы отмечают, что более ранние обзоры часто охватывали только карты значимости и механизмы внимания, имели минимальный или отсутствующий фокус на клиническом рабочем процессе и уделяли мало внимания регуляторным и этическим вопросам. Этот обзор явно устраняет эти пробелы.

Техники XAI: Четыре семейства объяснений

Обзор представляет единую таксономию, которая организует методы объяснимости по четырем основным семействам. Каждое семейство имеет свои сильные стороны, ограничения и оптимальные сценарии применения.

Семейство 1: Карты значимости и тепловые карты

Карты значимости — это визуальные инструменты, которые показывают, на какие части изображения обращал внимание модель ИИ при принятии решения. Представьте себе радиолога, рассматривающего рентгенограмму грудной клетки: карта значимости может ярко подсвечивать подозрительный узел, показывая врачу точно, куда была направлена внимание модели ИИ. Эти карты генерируются с использованием методов на основе градиентов, наиболее известным из которых является взвешенная по градиентам активация классов (Grad-CAM), которая создает тепловые наложения, интуитивно понятные даже нетехническим пользователям.

Сильные стороны: Высокая визуализация, немедленная интерпретируемость клиницистами и полезность для проверки того, смотрит ли ИИ на правильный анатомический регион. Ограничения: Они показывают где смотрел ИИ, но не почему этот регион был сочтен аномальным, и иногда могут создавать вводящие в заблуждение или зашумленные визуализации.

Семейство 2: Механизмы внимания

Механизмы внимания — изначально разработанные для трансформеров, архитектуры, лежащей в основе многих современных языковых моделей, — позволяют ИИ динамически взвешивать различные части изображения. Когда модель обрабатывает медицинский снимок, она учится «обращать внимание» (фокусироваться) на наиболее диагностически значимых областях и игнорировать фоновый шум. В отличие от карт значимости, которые часто применяются постфактум, внимание встроено непосредственно в архитектуру модели, предоставляя объяснения как побочный продукт вычислений.

Преимущества: Интегрируются непосредственно в современные архитектуры моделей, такие как Vision Transformers (ViTs), обеспечивая внутреннюю интерпретируемость без дополнительных этапов обработки. Ограничения: Веса внимания не всегда соответствуют истинной причинно-следственной важности и могут быть сложны для проверки.

Семейство 3: Модель-независимые методы (LIME и SHAP)

Модель-независимые методы работают с любой моделью ИИ, независимо от ее внутренней архитектуры. Наиболее известными из них являются:

• Локальные интерпретируемые модель-независимые объяснения (LIME): Этот метод аппроксимирует поведение модели ИИ локально путем возмущения (незначительного изменения) входных данных и наблюдения за тем, как меняется выходной результат, а затем строит простую, интерпретируемую модель, которая имитирует сложную модель в окрестности данного предсказания.
• Аддитивные объяснения Шэпли (SHAP): Основанный на теории кооперативных игр, SHAP присваивает каждой входной характеристике оценку важности, отражающую ее вклад в предсказание модели. Он предоставляет математически обоснованные объяснения того, почему определенный регион изображения склонил модель к определенному диагнозу.

Преимущества: Гибкость, применимость практически к любой модели ИИ, а SHAP предлагает теоретические гарантии согласованности. Ограничения: Высокие вычислительные затраты, а объяснения могут быть абстрактными и сложными для визуализации в случае данных изображений.

Семейство 4: Правила-ориентированные и символические методы, включая графовые нейронные сети (GNN)

Правила-ориентированные методы генерируют понятные человеку правила, объясняющие решения ИИ — например, «если у поражения неровные контуры И высокая васкуляризация, модель классифицирует его как злокачественное». В обзоре также рассматриваются графовые нейронные сети (GNN), отнесенные к этому семейству: GNN — это новая архитектура, моделирующая связи между различными регионами изображения или между разными структурами на снимке, что делает их особенно подходящими для понимания анатомической и патологической связности.

Преимущества: Генерируют объяснения, тесно напоминающие клиническое мышление, что делает их интуитивно понятными для врачей. Ограничения: Правила могут чрезмерно упрощать сложные диагностические сценарии, а GNN все еще являются развивающейся технологией в медицинской визуализации.

В обзоре отмечается, что модели глубокого обучения, используемые в медицинской визуализации — включая CNN, рекуррентные нейронные сети (RNN), автоэнкодеры, генеративно-состязательные сети (GAN), модели U-Net и Vision Transformers (ViTs) — каждая представляет собой уникальные вызовы в области интерпретируемости [17, 18]. Выбор метода XAI должен соответствовать лежащей в основе архитектуре модели и конкретному клиническому вопросу.

Применение XAI в медицинской визуализации

В обзоре рассматриваются приложения XAI в трех основных областях визуализации с уделением внимания тому, как каждый метод соотносится с конкретными этапами клинического рабочего процесса.

Рентгенология: рентгенография, КТ и МРТ

Рентгенология является наиболее зрелой областью применения XAI. Обзор охватывает исследования, использующие рентгенографию, компьютерную томографию (КТ) и магнитно-резонансную томографию (МРТ). Методы XAI в рентгенологии применяются для таких задач, как:

• Автоматическое выявление и сегментация поражений и аномалий
• Классификация заболеваний (например, различение доброкачественных и злокачественных находок)
• Прогнозирование исхода на основе признаков визуализации
• Контроль качества — проверка того, что модель ИИ фокусируется на истинных патологиях, а не на артефактах или нерелевантных анатомических структурах

Авторы подчеркивают, что в рентгенологии карты значимости и тепловые карты Grad-CAM особенно ценны, поскольку рентгенологи уже обучены чтению визуальных изображений. Когда выделенный ИИ регион совпадает с оценкой самого рентгенолога, уверенность в диагнозе существенно возрастает. Когда ИИ выделяет неожиданный регион, это побуждает рентгенолога повторно изучить эту область — что потенциально позволяет выявить патологии, которые могли бы быть пропущены.

Патология: цифровые изображения и целые срезы

Патология претерпела трансформацию благодаря технологиям цифрового сканирования, которые преобразуют стеклянные предметные стекла микроскопа в массивные цифровые изображения — так называемые целослайдовые изображения (WSI), — которые могут быть проанализированы с помощью искусственного интеллекта. Однако WSI имеют огромный объем (часто состоят из миллиардов пикселей), что делает их объяснение особенно сложной задачей. В данном обзоре рассматривается, как методы объяснимого ИИ (XAI) помогают патологоанатомам доверять анализу образцов тканей с помощью ИИ, включая определение степени злокачественности и стадии рака.

Авторы отмечают, что патология представляет собой особую задачу, поскольку детальный анализ тканей требует объяснений на нескольких уровнях масштаба — от клеточных особенностей до архитектуры ткани. Методы XAI, которые хорошо работают на уровне изображений в радиологии, могут потребовать адаптации для иерархической, многомасштабной природы изображений патологии.

Мультимодальная визуализация: ПЭТ-КТ и МРТ-ПЭТ

Современная диагностика все чаще сочетает несколько методов визуализации — например, позитронно-эмиссионную томографию (ПЭТ), объединенную с КТ (ПЭТ-КТ), или МРТ, совмещенную с ПЭТ (МРТ-ПЭТ). Эти комбинации предоставляют взаимодополняющую информацию: ПЭТ показывает метаболическую активность, тогда как КТ или МРТ демонстрируют анатомическую структуру. Затем мультимодальная визуализация часто сочетается с клиническими данными, геномикой и результатами лабораторных исследований, создавая сложный ландшафт данных.

В обзоре подчеркивается, что мультимодальные трансформеры и графовые нейронные сети (GNN) представляют особый интерес для этих приложений, поскольку они могут интегрировать и соотносить информацию из различных типов данных. Однако мультимодальная интеграция также усложняет задачу интерпретируемости: объяснение решения, которое синтезирует данные ПЭТ-сканирования, МРТ, отчета о биопсии и генетического тестирования, гораздо более сложное, чем объяснение решения на основе одного изображения.

Эта область представляет собой один из самых новых фронтов исследований в области XAI, и обзор выделяет ее как критически важное направление для будущих работ.

Ключевые выводы: что reveals анализ 133 исследований

Синтез 133 исследований, представленный в обзоре, позволяет сделать несколько важных выводов.

Вывод 1: XAI значительно улучшает клинические решения. Обзор сообщает, что XAI делает высокоуровневую логику работы моделей ИИ доступной для пользователей, что измеримо повышает уверенность клиницистов в решениях, принятых с помощью ИИ. Когда врачи понимают почему система ИИ выдала ту или иную рекомендацию, они с большей вероятностью appropriately интегрируют эту рекомендацию в уход за пациентом.

Вывод 2: XAI снижает клиническую ответственность. За счет привязки автоматизированных диагностических инструментов к этическим框架м и клиническим руководствам, XAI помогает снизить риск медицинских ошибок и обеспечивает основу для подотчетности. Системы здравоохранения могут проводить аудит решений ИИ, документировать их обоснование и выявлять потенциальные предвзятости или систематические ошибки до того, как они нанесут вред пациентам [14].

Вывод 3: Все четыре семейства методов XAI продемонстрировали свою полезность, но каждое имеет свои сильные стороны. Карты значимости (saliency maps) отлично подходят для рентгенографии, методы, не зависящие от модели, такие как SHAP, обладают наиболее широкой применимостью, механизмы внимания обеспечивают интегрированные объяснения для современных трансформерных моделей, а правила-ориентированные методы наиболее близко соответствуют тому, как врачи формулируют клиническое рассуждение.

Вывод 4: Сравнение методов XAI позволяет принимать обоснованные решения. Система сравнения, представленная в обзоре, — выявляющая последовательно эффективные техники и точки их воздействия на клинический рабочий процесс — предоставляет практические рекомендации для медицинских учреждений, решающих, какие методы XAI внедрять.

Вывод 5: Разрыв между исследованиями в области ИИ и клинической практикой сокращается, но остается значительным. Несмотря на достижение многообещающих результатов, обзор показывает, что систематическое применение XAI в повседневной клинической практике все еще ограничено. Большинство существующих исследований сосредоточены на изолированных алгоритмах или конкретных клинических приложениях, а не на комплексной интеграции в реальные клинические рабочие процессы.

Вызовы и ограничения: что все еще мешает

Обзор выделяет четыре основные категории препятствий, которые необходимо преодолеть, прежде чем XAI сможет быть полностью интегрирована в клиническую медицину. Важно, чтобы пациенты понимали эти ограничения, поскольку они объясняют, почему системы ИИ внедряются постепенно и осторожно.

1. Стандартизация

В настоящее время не существует общепринятого стандарта того, что считается «хорошим» объяснением или как измерять интерпретируемость. Различные исследования используют разные метрики, различные подходы к визуализации и различные методы валидации, что затрудняет сравнение результатов между исследованиями. В обзоре особо отмечается, что методологическая стандартизация и сравнительная эффективность различных методов XAI получили недостаточное внимание. Это отсутствие стандартизации также распространяется на заметный пробел: оценку последовательных метрик интерпретируемости, которые позволили бы объективно сравнивать техники.

2. Смещение данных (Data Bias)

Алгоритмы ИИ обучаются на исторических данных, и если эти данные содержат предвзятость — например, недостаточное представительство определенных демографических групп, конкретного оборудования для визуализации или особых проявлений заболеваний — модель ИИ будет воспроизводить или усиливать эту предвзятость. XAI может помочь выявить присущие смещения, но не может устранить их. Обзор призывает к дальнейшим исследованиям по приведению данных к соответствующим распределениям и использованию интерпретируемости для обнаружения и коррекции предвзятого поведения.

3. Восприятие клиницистами и образование

Даже самая прозрачная система ИИ бесполезна, если клиницисты не доверяют ей или не понимают её результатов. В обзоре обнаружено, что восприятие клиницистами инструментов на основе объяснимого ИИ (XAI) и их практическое клиническое влияние недостаточно изучены в научной литературе. Необходимы исследования, которые исследуют взгляды врачей на технологии XAI, их реальную удобность использования и то, как эти инструменты интегрируются в существующие клинические системы.

4. Сложная интеграция данных

Решения в реальной медицинской практике редко основываются на одном изображении. Они включают историю болезни пациента, результаты лабораторных исследований, геномные данные и findings клинического осмотра — не говоря уже о технических сложностях, связанных с разнородным оборудованием для визуализации и форматами данных. Интеграция XAI в это многомерное, разнородное пространство данных остается одной из самых сложных задач, стоящих перед этой областью.

Клинические последствия: что это значит для пациентов и врачей

Для пациентов развитие XAI означает несколько важных вещей. Прежде всего, XAI разработан для улучшения безопасности пациентов за счет снижения риска того, что ИИ совершит невидимую, необъяснимую ошибку. Когда система ИИ должна обосновывать свои выводы, систематические ошибки становятся обнаруживаемыми и исправляемыми.

Во-вторых, XAI помогает устранить предвзятость в данных и неверные прогнозы, что особенно важно при использовании ИИ в диагностических целях. В обзоре отмечается, что XAI "дает успокоение для разума пациентов" [18] — другими словами, когда пациенты знают, что их врач использует технологию ИИ, способную объяснить свои рассуждения, они могут чувствовать себя более уверенно в процессе диагностики.

В-третьих, XAI является критически важным инструментом для персонализированного лечения. Четко объясняя, какие особенности изображения определяют конкретный диагноз или прогноз, XAI помогает врачам адаптировать планы лечения к специфическим характеристикам заболевания каждого пациента. Это соответствует современной тенденции в сторону прецизионной медицины, где решения основываются на индивидуальных данных пациента, а не на средних показателях популяции.

Для систем здравоохранения обзор подчеркивает, что диагностические инструменты на основе ИИ — поддерживаемые XAI — могут повысить эффективность работы радиологов и патоморфологов без ущерба для точности. Когда клиницисты понимают рекомендации ИИ, они могут принимать решения быстрее, не теряя уверенности.

Обзор также выделяет важные практические вопросы. Автоматизация сегментации поражений, классификации заболеваний и прогнозирования течения болезни может помочь клиницистам справляться с большой нагрузкой, однако эта автоматизация должна внедряться осторожно, с адекватным обучением, прозрачными ожиданиями и четкими структурами подотчетности.

Рекомендации: путь вперед для прозрачного ИИ

Опираясь на свой анализ, Ахмед и коллеги предлагают несколько конкретных рекомендаций для исследователей, медицинских учреждений и лиц, принимающих политические решения.

1. Разработать стандартизированные метрики интерпретируемости. Область нуждается в общепринятых способах измерения и сравнения качества объяснений для различных методов XAI. Без таких стандартов доказательства не могут накапливаться, а лучшие практики не могут формироваться.
2. Создать стандартизированные рамки отчетности по XAI. Обзор явно предлагает регулярную, стандартизированную структуру отчетности для будущих исследований в области XAI, обеспечивающую последовательное описание методов, подходов к валидации и клинических исходов.
3. Сфокусировать исследования на восприятии клиницистами и интеграции в рабочий процесс. Необходимо больше исследований, оценивающих то, как врачи фактически воспринимают инструменты XAI — их удобство использования, влияние на скорость и точность принятия решений, а также их интеграцию в электронные медицинские карты и рабочие процессы радиологии.
4. Приоритизировать исследования по интеграции многомерных данных. По мере того как мультимодальная визуализация (ПЭТ-КТ, МРТ-ПЭТ) и комбинированные данные визуализации и клинических показателей становятся более распространенными, методы XAI должны развиваться, чтобы объяснять решения, основанные на нескольких источниках данных одновременно.
5. Решать проблему предвзятости данных как первостепенную задачу. Исследования в области XAI должны включать явные стратегии обнаружения, количественной оценки и смягчения предвзятости данных, а не рассматривать ее как второстепенный вопрос.
6. Изучать новые архитектуры. Обзор рекомендует уделить больше внимания графовым нейронным сетям (GNN) и мультимодальным трансформерам, которые обещают не только лучшую производительность в сложных задачах визуализации, но и более внутреннюю интерпретируемость.
7. Внедрить XAI в регуляторные рамки с самого начала. Обзор призывает к детальному регуляторному анализу, интегрирующему такие рамки, как одобрения FDA, Закон ЕС об ИИ и Регламент по медицинским изделиям (MDR), с конкретными клиническими случаями, иллюстрирующими, как требования к объяснимости работают на практике.

В конечном итоге авторы приходят к выводу, что достижение надежного XAI в медицинской визуализации требует трехсторонних усилий: синтеза текущих знаний, применения XAI к реальным клиническим случаям и прямого решения проблем интерпретируемости, присущих анализу медицинских изображений. Они отмечают, что их обзор "выявляет пробелы в исследованиях и прокладывает путь к надежным решениям XAI для медицинской визуализации", предполагая, что будущие работы должны быть сосредоточены на преодолении оставшегося разрыва между лабораторными успехами и полезностью у постели больного.

Часто задаваемые вопросы

Что такое объяснимый искусственный интеллект (XAI) в медицинской визуализации?

Аббревиатура XAI расшифровывается как explainable artificial intelligence (объяснимый искусственный интеллект). Это методы, которые позволяют системам ИИ показывать, почему они пришли к тому или иному диагнозу на основе медицинского изображения. Вместо «черного ящика» XAI выделяет области рентгеновского снимка, компьютерной томографии, магнитно-резонансной томографии или гистологического препарата, повлиявшие на принятие решения. Это помогает врачам понимать и доверять рекомендациям ИИ.

Почему ИИ, используемый для анализа снимков, должен объяснять свои действия?

ИИ может быть очень точным, но при этом оставаться «черным ящиком», то есть выдавать результат без раскрытия логики его получения. В медицине врачам необходимо понимать причину выделения снимка для принятия решения об операции или химиотерапии. Правовые нормы, такие как GDPR, и стандарты безопасности также требуют прозрачности, чтобы решения ИИ можно было проверить и доверять им.

Как объяснимый ИИ может помочь моему врачу поставить диагноз?

Когда ИИ выделяет на вашем снимке точную область интереса, ваш врач может сравнить это со своим собственным заключением. Если мнения совпадают, уверенность в диагнозе возрастает. Если ИИ указывает на неожиданный участок, врач может повторно изучить эту область. Такое взаимодействие направлено на выявление проблем, которые в противном случае могли бы быть упущены.

Заменяет ли объяснимый ИИ моего рентгенолога или патоморфолога?

Нет. XAI разработан для поддержки врачей, а не для их замены. Обзор показывает, что он повышает уверенность и эффективность, но окончательные решения всегда остаются за вашим лечащим врачом. ИИ оказывает помощь, предоставляя четкие объяснения, в то время как ваш врач сочетает это с вашей историей болезни, симптомами и другими результатами обследований для планирования лечения.

Существуют ли риски или ограничения у объяснимого ИИ в медицинской визуализации?

Да. Обзор 133 исследований выявил четыре основные проблемы: отсутствует стандартный способ оценки качества объяснения; ИИ может перенимать предвзятость из исторических данных; некоторые врачи могут не доверять выводам XAI или не понимать их; а также объединение ИИ с множеством различных типов данных по-прежнему затруднено. Именно эти ограничения обуславливают постепенное внедрение ИИ.

Что означает «черный ящик» в медицине?

«Черный ящик» — это система ИИ, которая выдает точные результаты, но не раскрывает, как она к ним пришла. Например, ИИ может правильно выделить подозрительное образование на снимке, но не сможет объяснить причину. В ситуациях с высокими рисками, таких как необходимость операции, предсказание без объяснения трудно доверить врачу.

Как объяснимый ИИ повышает безопасность пациентов?

Когда ИИ должен обосновывать свои выводы, ошибки становится легче обнаружить и исправить. В обзоре сообщается, что XAI снижает клинические риски за счет опоры на этические и клинические рекомендации. Он также помогает устранять предвзятость в данных, что приводит к меньшему количеству неверных прогнозов. Пациенты могут чувствовать себя увереннее, зная логику, лежащую в основе диагноза, поставленного с помощью ИИ.

Какие записи медицинской визуализации и патоморфологии мне нужно взять для получения второго мнения по диагнозу, установленному с помощью ИИ?

Для получения второго мнения по диагнозу, установленному с помощью ИИ в области медицинской визуализации, необходимы оригинальные снимки (рентгеновский снимок, компьютерная томография, магнитно-резонансная томография илиWhole-slide pathology). Также возьмите любые выводы объяснимого ИИ, такие как карты значимости или тепловые карты, которые показывают, какие области изображения использовал ИИ для своего заключения. Поскольку эти инструменты выделяют места, на которые обращал внимание ИИ, второй эксперт может проверить, является ли находка реальной или артефактом. Включите заключение рентгенолога или патоморфолога и укажите любые известные ограничения, такие как потенциальная предвзятость данных. Diagnostic Detectives Network предоставляет независимые экспертные вторые мнения.

Информация об источнике

Original Article Title: Explainable artificial intelligence (XAI) in medical imaging: a systematic review of techniques, applications, and challenges.

License: CC BY-NC-ND (open access)

Authors: Ahmed F, Naz NS, Khan S, Rehman AU, Ismael WM, Khan MA.

Journal: BMC Medical Imaging (2026) 26:37

DOI: https://doi.org/10.1186/s12880-025-02118-w

Study Type: Systematic literature review following PRISMA 2020 guidelines

Clinical Trial Number: Not applicable (this was a review of existing literature, not a clinical trial)

Funding/Institutional Affiliations: The authors are affiliated with the National College of Business Administration and Economics (Pakistan), Saveetha Institute of Medical and Technical Sciences (India), Applied Science Private University (Jordan), Chitkara University (India), Azal University for Human Development (Yemen), and Gachon University (Republic of Korea).

Эта статья для пациентов основана на рецензируемых исследованиях, опубликованных в журнале BMC Medical Imaging с открытым доступом. Оригинальная статья лицензирована по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License. Пациентам и лицам, осуществляющим уход, рекомендуется обсуждать любые вопросы об использовании ИИ в медицинской визуализации со своими медицинскими работниками.