Обзорная статья

Объяснимый ИИ для визуального осмотра: сравнительный анализ и обзор

DOI:

10.3791/69440

⸱

10 октября 2025 г.

 , 
1Al-Khwarizmi College of Engineering, Automated Manufacturing Department, University of Baghdad

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом обзоре обобщены объяснимые методы искусственного интеллекта (XAI) для визуального контроля в промышленной и медицинской областях. В результате поиска под руководством PRISMA было выявлено 75 исследований, которые позволили провести таксономию для конкретной области и сравнительный анализ с использованием стандартизированных показателей. Мы вносим свой вклад в научно обоснованную таксономию и ориентированный на практиков рабочий процесс для выбора инструментов.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Объяснимые методы искусственного интеллекта (XAI) обеспечивают прозрачность и доверие к автоматизированным системам визуального контроля, делая понятными модели машинного обучения «черного ящика». Несмотря на то, что XAI широко применяется, предыдущие обзоры не учитывали конкретные требования задач промышленного и медицинского контроля. В данной статье рассматриваются исследования, в которых применялись методы XAI для визуального контроля в промышленной и медицинской областях. В IEEE Xplore, Scopus, PubMed, arXiv и Web of Science был проведен систематический поиск исследований, опубликованных в период с 2014 по 2025 год, при этом критерии включения требовали применения XAI в задачах проверки с использованием общедоступных или специализированных наборов данных. Из первоначального пула исследований 75 были включены и классифицированы на постфактумные и внутренние, которые затем были оценены с точки зрения точности, надежности, сложности и точности локализации. Результаты показывают, что методы, основанные на градиенте и распространении, предлагают эффективные визуальные объяснения, пригодные для проверки в режиме, близком к реальному времени, хотя и с грубой локализацией, в то время как методы, основанные на возмущениях и суррогатной модели, обеспечивают более детальную атрибуцию при более высоких вычислительных затратах, но с меньшей надежностью. Кроме того, сети на основе прототипов и архитектуры самовнимания иллюстрируют компромисс между интерпретируемостью и прогностической эффективностью. Выбор наиболее эффективного метода XAI не является универсальным; Это зависит от набора данных, задержки и потребности в интерпретируемости. В этом обзоре представлена единая таксономия методов XAI для визуального контроля, сравниваются различные подходы как в промышленной, так и в медицинской областях с использованием стандартизированных метрик, а также предлагается рабочий процесс выбора на основе задач, чтобы помочь практикующим врачам в выборе оптимального метода. По сравнению с предыдущими обзорами, эта работа предлагает межпредметный сравнительный анализ, основанный на количественных бенчмарках, и намечает направления для стандартизированной оценки и валидации, ориентированной на пользователя.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Для таких отраслей, как производство, автомобилестроение, упаковка пищевых продуктов, фармацевтика и здравоохранение, крайне важно убедиться в том, что продукты и системы функционируют адекватно и безопасно. Инструменты автоматизации и машинного обучения, выходящие за рамки традиционного визуального контроля, выполняемого операторами-людьми, или рудиментарных систем на основе камер, повышают точность, скорость производства и согласованность1. Инспекция с помощью искусственного интеллекта позволяет осуществлять мониторинг в режиме реального времени2 и обнаруживать дефекты в средах с высокой пропускной способностью3, сокращая количество человеческих ошибок и эксплуатационных расходов4. Использование искусственного интеллекта, особенно с учетом достижений в области машинного обучения (ML) и глубокого обучения (DL), позволило создать автономные системы, которые обнаруживают дефекты5, классифицируют объекты и идентифицируют сложные визуальные паттерны6. В последнее время сверточные нейронные сети (СНС)7, рекуррентные сети и преобразователи зрения (ViT) превзошли системы, основанные на правилах, в задачах, охватывающих обнаружение поверхностных дефектов и локализацию аномалий в медицинской визуализации. Инспекция сместилась от процессов, основанных на правилах, к моделям на основе данных, обученным на больших наборах данных8.

Многие модели ИИ функционируют как «черные ящики», что означает, что нет никакого понимания того, как эти модели принимают решения. Такое отсутствие прозрачности создает риски. Например, в производстве неверные прогнозы могут привести к увеличению отходов, доработок, отзывов продукции и неудовлетворенности клиентов. В медицинской визуализации неправильная классификация более критична, поскольку она может задержать постановку диагноза или поставить под угрозу планы лечения. Даже разработчики этих моделей часто не могут полностью объяснить их результаты, что ограничивает доверие и принятие.

Именно здесь объяснимый ИИ (XAI) становится необходимым. XAI — это группа методов и инструментов, направленных на то, чтобы сделать решения модели машинного обучения интерпретируемыми людьми9. Его цель состоит в том, чтобы превратить предикторы «черного ящика» в прозрачные системы «стеклянного ящика», предоставляя удобочитаемые обоснования для их выходных данных. На практике система контроля с поддержкой XAI выходит за рамки обнаружения дефектов, не только помечая деталь как дефектную, но и объясняя, почему она была помечена.

Несмотря на растущее количество литературы, существующие исследования XAI в области компьютерного зрения остаются ограниченными по масштабу. Многие из них узко концентрируются на медицинской визуализации или промышленном контроле, предлагая полезные таксономии, но полагаясь в основном на качественные сравнения без стандартизированных контрольных показателей. Более широкие обзоры, такие как Nauta et al.10, предоставляют обзоры, не зависящие от предметной области, но не предлагают ориентированные на практика структуры отбора. Даже самое полное на сегодняшний день исследование компьютерного зрения, проведенное Cheng et al.11 , развивает таксономию и обсуждает такие метрики, как точность и точность локализации, но оно остается общим для всех задач машинного зрения и не рассматривает конкретно визуальный контроль, высокопроизводительное развертывание или проверку человеком в контуре. Аналогичным образом, промышленные обзоры XAI для прогностики и управления активами используют модель PRISMA, но фокусируются на прогностике и управлении здоровьем (PHM), а не на задачах визуального контроля.

Для устранения этих пробелов в данном обзоре представлены следующие материалы:

Систематическая таксономия: Обзор 75 исследований по промышленному и медицинскому визуальному контролю под руководством PRISMA.

Сравнительный анализ: Бенчмаркинг нескольких методов XAI (GradCAM, LRP, SHAP, LIME и RISE) на общедоступных наборах данных визуального контроля (например, MVTec AD, PCB) со стандартизированными метриками, включая AUC удаления/вставки, точность, стабильность и задержку в игре.

Система метрик оценки: Формальные определения и уравнения для точности, надежности, интерпретируемости и показателей, специфичных для конкретной задачи, используемые при оценке методов XAI.

Практическое руководство: Тематические исследования и ориентированный на практиков рабочий процесс выбора, связывающий тип задачи, задержку и потребности в объяснении с конкретными методами.

В совокупности эти вклады создают наиболее узкоспециализированный, основанный на бенчмарках синтез XAI для визуального контроля, предназначенный как для исследователей, так и для практиков, ищущих надежные рекомендации.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обзор и перспектива

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

2. Фреймворк XAI

Большинство современных моделей ИИ, особенно глубоких нейронных сетей, часто рассматриваются как черные ящики; Практически неясно, как они принимают решения12. Отсутствие прозрачности является барьером для доверия и объяснимости в различных приложениях. В результате XAI стал неотъемлемой частью надежного искусственного интеллекта. Не существует единого подхода, подходящего для всех сценариев: некоторые методы предполагают полный доступ к внутреннему устройству модели, в то время как другие рассматривают модель как неизменяемый черный ящик; Некоторые из них отдают приоритет локальным объяснениям для отдельных прогнозов, в то время как другие дают глобальное представление о поведении модели. Как показано на рисунке 1, эти соображения привели к появлению двух широких категорий методов XAI, основанных на том, когда вводится объяснимость: методы объяснения post hoc и методы внутренней интерпретируемости. Апостериорные методы далее подразделяются на модельно-независимые и модельно-специфичные14.

figure-protocol-1
Рисунок 1: Фреймворк XAI для визуального контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Post-hoc explanation methods
    Апостериорные методы генерируют объяснения после обучения модели, не изменяя ее архитектуру или параметры15. Эти подходы популярны, потому что они позволяют практикам использовать преимущества высокопроизводительных моделей, а затем ретроспективно объяснять их результаты16. Однако, поскольку базовая модель остается неизменной, объяснения post hoc должны аппроксимировать или выводить рассуждения модели, что может привести к ошибке аппроксимации и нестабильности17. В следующих разделах объясняются как модельно-специфичные, так и агностические методы.
    1. Для конкретной модели
      Эти методы используют знания о структуре модели или механизме обучения для предоставления объяснений, адаптированных к этой модели. Ярким примером является градиентная атрибуция для глубоких нейронных сетей. Такие методы, как GradCAM (Gradient-weighted Class Activation Mapping), используют внутренние градиенты обученных СНС для создания визуальных «тепловых карт», выделяющих области входного изображения, наиболее важные дляданного прогноза. GradCAM вычисляет градиент оценки целевого класса по отношению к картам признаков в конечном сверточном слое и проецирует эти градиенты на изображение, получая карту локализации с дискриминацией классов. Другие методы градиентного распространения распространяются на различные сетевые архитектуры. Интегрированные градиенты (IG)18 накапливают градиенты вдоль пути от исходных входных данных (например, пустого изображения) до фактических входных данных и удовлетворяют желательным аксиомам для атрибуции признаков. DeepLIFT19 аналогичным образом распространяет различия от эталонной активации через каждый слой для оценки вклада каждого входного объекта. Послойное распространение релевантности (LRP) слой за слоем распространяет оценку прогноза, распределяя «релевантность» для каждого входного пикселя или признака20. Подводя итог, можно сказать, что методы, специфичные для модели, используют преимущества внутренних градиентов, активаций или внимания для получения объяснений, тесно связанных со структурой модели.
    2. Модельно-независимый
      В отличие от этого, методы, не зависящие от модели, рассматривают модель как черный ящик, к которому можно обращаться за результатами. Эти методы делают минимальные предположения, обычно требуя только того, чтобы можно было получить прогноз модели для возмущенных входных данных. В качестве примера можно привести LIME (Local Interpretable Model-Agnostic Explanations), которая использует простую, интерпретируемую модель (например, разреженную линейную модель или дерево решений) для имитации поведения сложной модели в непосредственной близости от заданного входного устройства21. Для конкретного прогноза LIME генерирует множество возмущенных версий входных данных, получает прогнозы модели черного ящика для каждой из них, а затем изучает взвешенную линейную регрессию, которая аппроксимирует эти локальные отношения «вход-выпуск»22. Коэффициенты этой суррогатной линейной модели служат объяснением, указывающим, какие особенности наиболее сильно влияют на прогноз23. Привлекательность LIME заключается в его гибкости (его можно использовать с любым классификатором) и интуитивно понятном выводе (например, в небольшом наборе взвешенных функций). SHapley Additive exPlanations (SHAP) — еще один популярный метод, не зависящий от моделей, основанный на теории игр24. SHAP объясняет индивидуальный прогноз путем вычисления атрибуций признаков, которые аппроксимируют значения Шепли из кооперативной теории игр, обеспечивая такие свойства, как аддитивность и согласованность25. Помимо атрибуции признаков, модельно-независимые подходы также включают методы визуальных возмущений для моделей изображений. RISE (Randomized Input Sampling for Explanation) генерирует карты важности, случайным образом маскируя части входного изображения и наблюдая, как изменяются выходные данные модели26. Делая выборку из множества таких масок, RISE строит вероятностную карту заметности, указывающую, какие пиксели или области оказали наибольшее влияние на прогноз26. Примечательно, что RISE не требует доступа к внутреннему устройству модели и требует только возможности оценки модели на измененных входных данных, что делает его по-настоящему черным ящиком. Наконец, растущая область модельно-агностических XAI фокусируется на контрфактических объяснениях. Контрфактическое объяснение не перечисляет важность признаков, а вместо этого отвечает на вопрос: «Какое минимальное изменение входных данных могло бы изменить прогноз модели?» 27. Алгоритмы для генерации контрфактических суждений обычно выполняют поиск во входном пространстве (или выученном латентном пространстве) ближайшего примера, который дает желаемый результат, обеспечивая при этом реализм и разреженность изменений. Подводя итог, можно сказать, что постфактумные методы XAI широко распространены, потому что они могут быть применены к высокопроизводительным моделям после обучения, сочетая в себе предсказательную силу с определенной степенью прозрачности.
  2. Внутренние методы интерпретируемости
    Внутренние методы используют принципиально иной подход: вместо того, чтобы объяснять «черный ящик» постфактум, эти методы делают модель интерпретируемой с помощью дизайна. Самообъясняющиеся нейронные сети (SENN) являются ярким примером. В структуре SENN, предложенной Альваресом-Мелисом и Яаколой28, нейронная сеть структурирована таким образом, чтобы сначала вычислить набор промежуточных активаций концепций, а затем сгенерировать прогноз как простую, объяснимую функцию этих концепций. ProtoPNet (Prototypical Part Network) — это глубокая сеть, которая классифицирует входные данные, сравнивая их с набором изученных прототипов представлений каждого класса. Например, в задаче классификации изображений ProtoPNet может изучать патчи прототипов и принимать решения, определяя, какие прототипы наиболее активируются входными данными29. В области моделей последовательностей и преобразователей механизмы внимания также используются для внутренней интерпретируемости. Некоторые модели обучаются с целью выравнивания внимания, которая поощряет соответствие весов внимания модели известным важным признакам или соответствующим областям, помеченным человеком. Направляя внимание на то, что оно «правильно по правильным причинам», эти подходы создают модели, которые не только хорошо работают, но и имеют распределение внимания, которое можно непосредственно интерпретировать как объяснения. Более того, такие модели дают объяснения, которые обычно верны по своей конструкции, поскольку объяснение генерируется из собственной интерпретируемой структуры модели, а не из внешнего апостериорногоприближения.

3. Таксономия XAI

Для обеспечения структурированного синтеза состояния исследований был проведен систематический обзор литературы с использованием рекомендаций PRISMA (рис. 2). Процесс включал в себя несколько академических баз данных (Scopus, Web of Science, IEEE Xplore, SpringerLink, PubMed, arXiv и MDPI) и руководствовался набором поисковых терминов, сочетающих «объяснимый искусственный интеллект», «интерпретируемость», «визуальный осмотр», «обнаружение дефектов», «обнаружение аномалий», «производство» и «медицинская визуализация». Критерии включения требовали, чтобы в статьях явно применялись или оценивались методы XAI в контексте визуального контроля (промышленного или медицинского) и содержалась достаточная методологическая детализация. Из критериев исключения исключены чисто теоретические предложения без реализации, а также работы вне визуального осмотра. Первоначально в ходе поиска было обнаружено 483 записи. После удаления дубликатов и отсеивания названий и аннотаций 147 остались для полнотекстового рецензирования. Применение критериев включения/исключения дало 75 первичных исследований, которые легли в основу данного обзора.

figure-protocol-2
Рисунок 2: Блок-схема процесса систематического обзора PRISMA в соответствии с рекомендациями PRISMA. На рисунке показаны записи, которые были идентифицированы, проверены и исключены на каждом этапе, в результате чего было включено 75 первичных исследований, включенных в окончательный обзор. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

  1. Прикладная таксономия рецензируемых исследований
    Опираясь на концептуальную основу, представленную в разделе 2 (постфактумный и внутренний подходы), мы уточнили таксономию, специфичную для предметной области, полученную на основе этих 75 исследований. Данная прикладная таксономия различает методы в соответствии с их реализацией в задачах визуального осмотра, как показано на рисунке 3.
  2. Распределение исследований по таксономии
    Полное распределение 75 исследований обобщено в таблице 1. Каждое исследование сопоставляется с его методологической категорией и областью применения. Это дает эмпирическую основу для сравнительного анализа, представленного в разделе 4.
  3. Синтез
    Из этого систематического обзора вытекает несколько четких тенденций. Во-первых, апостериорные методы, основанные на градиенте , остаются наиболее широко используемыми в задачах промышленного и медицинского контроля из-за их эффективности и простоты интеграции. Во-вторых, методы, основанные на возмущениях , обеспечивают более богатую атрибуцию признаков, но менее распространены в промышленных условиях с высокой пропускной способностью из-за требований к вычислительным ресурсам. В-третьих, внутренние методы набирают обороты, но остаются недостаточно представленными, и менее чем в 15% исследований их используют.
    Закрепляя эту таксономию в воспроизводимом обзоре под руководством PRISMA и связывая ее со структурированной базой данных из 75 исследований, этот раздел создает валидированную доказательную базу. Эти результаты закладывают основу для сравнительного анализа в разделе 4, где репрезентативные методы сравниваются по стандартизированным метрикам (точность, надежность, задержка и точность локализации).

figure-protocol-3
Рисунок 3: Предлагаемая таксономия методов XAI в задачах визуального контроля. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Метод XAIПодход XAIИзучатьПромышленностьГод
СвойственныйЛинейные модели, основанные на правилах и32,33Медицина — общее2015–2019
Прототипы (ProtoPNet, Case-based, Deformable ProtoPNet) 29,34,35,36 Медицинская, Промышленная, Общая2018–2024
Концептуальный (узкое место концепции, право по правильным причинам) 30,31,37 Общее, Научное применение2020–2021
Самообъясняющиеся нейронные сети (SENN)28Общее2018–2020
Распутанное представление (β-VAE), SOXAI38,39Общее2018
Преобразователи зрения (внутренняя интерпретируемость через внимание) 40,41,42,43,44,45 Компьютерное зрение, производство2020–2024
Пост-специальный, специфичный для моделиСемейство CAM 46,47,48,49,50,51,52, 53,54,55,56,57,58 Медицинская визуализация, Производство, Автомобилестроение, Сельское хозяйство, Электроника2018–2025
LRP (послойное распространение релевантности) 20,59,60,61,62 Общее, Медицинская визуализация2015–2024
Методы градиента и заметности (интегрированные градиенты, плавный IG DeepLIFT, DeconvNet, T-Explainer, тесты заметности) 18,19,63,64,65,
66,67,68,69,70 		Общее, Медицинская визуализация2013–2025
Атрибуция в специализированных моделях (SNN, атрибуция внимания трансформеров) 71,72,73 Нейронаука, Трансформеры зрения2023–2025
Пост-специальный, модельно-независимыйЛАЙМ и варианты (ЛАЙМ, ЭЛИМ, МАСАЛА), ШАП и варианты (Tree SHAP),Финансы, Прогностика и управление здоровьем, Кибербезопасность, Автономные транспортные средства, Промышленный контроль.2016–2025
Противного 21,22,23,24,25,27,74,
75,76,77,78,79,80,81,
82,83,84,85,86
Объяснения
Гибридные методыИнтеграция нескольких методов XAI, включая (GradCAM, SHAP, LRP, LIME) 58,87,88,89,90,91,92 Промышленный надзор, здравоохранение, производство.2021–2025

Таблица 1: Классификация 75 рассмотренных исследований по методу XAI, году, отрасли и подходу.

4. Метрики оценки для XAI

Производительность модели компьютерного зрения оценивается по устоявшимся метрикам, таким как точность, прецизионность и полнота памяти. Однако оценка объяснимости решений модели гораздо менее прямолинейна. В отличие от стандартной предиктивной производительности, не существует общепринятой метрики качества объясненийИИ. Другими словами, в то время как точность классификатора может быть точно измерена, не существует согласованной шкалы для количественной оценки того, насколько «хорошим» является объяснение для данной классификацииизображений93. Это несоответствие подчеркивает фундаментальный пробел в области XAI: как оценивать объяснение.

Разработка стандартизированных критериев оценки XAI оказалась исключительно сложной задачей. Одна из причин заключается в том, что интерпретируемость и качество объяснения многогранны и зависят от контекста и поэтому сопротивляются единому универсальномупоказателю. Оценка объяснения эффективно зависит от нескольких факторов, включая область применения, характер создаваемого объяснения и опыт конечного пользователя. Например, метод объяснения, подходящий для диагностики по медицинскому изображению, может быть оценен иначе, чем тот, который используется в задаче10 промышленного визуального контроля.

На практике отсутствие стандартных метрик привело к тому, что исследователи стали полагаться на различные подходы к оценке. Многие исследования до сих пор прибегают к качественной, анекдотической оценке методов XAI94,95. Часто можно увидеть, как авторы представляют несколько карт значимости или тепловых карт и утверждают, что они кажутся разумными (так называемый тест «лицевой валидности»)96. Такой визуальный осмотр может быть убедительным в повествовательном смысле, но он остается субъективным и недостаточным для строгогосравнения. Это иллюстрирует сложность стандартизации метрик XAI; В отсутствие согласованных критериев исследователи предлагают метрики, адаптированные к каждому набору данных или сценарию использования.

В результате, в настоящее время литература изобилует различными метриками оценки XAI, призванными восполнить этот пробел98. Были предложены многочисленные концепции и меры, каждая из которых нацелена на определенный аспект того, что делает объяснение полезным. В целом, метрики можно классифицировать в зависимости от их основной направленности. Метрики, основанные на точности, оценивают объяснение по тому, насколько хорошо оно отражает процесс принятия решения в модели100. В отличие от этого, метрики, ориентированные на интерпретируемость, оценивают, насколько понятно и убедительно объяснение для человека-наблюдателя101. Третья категория – это метрики, основанные на задачах, в которых оценка объяснения зависит от его влияния на производительность конечного пользователя102. Четвертая категория — это метрики, ориентированные на надежность, которые оценивают согласованность результатов103. Наконец, гибридные метрики сочетают в себе несколько измерений104.

Такое разнообразие метрик указывает на те аспекты объяснимости, которые исследователи считают важными, но также подчеркивает отсутствие единого стандарта: каждая метрика отражает только одну точку зрения качества объяснения105. Ниже приведен ряд показателей оценки для XAI, сгруппированных в четыре основные категории и обобщенных в таблице 2.

Тип метрикиМетрическийФормула / Определение
ВерностьОбласть удаления под кривой (AUC)26figure-protocol-4
являются топ-k важными особенностями; ниже = более верный
Область вставки под кривой (AUC)26figure-protocol-5
выше = вернее
Оценка неверности103figure-protocol-6
ниже = лучше
РЕВ106Точность падает после переобучения без «важных» функций
РобастностьИндекс устойчивости107figure-protocol-7
выше = более последовательно
Липшиц набрал103 баллаfigure-protocol-8
более низкий = более надежный
ИнтерпретируемостьРазреженность79figure-protocol-9
ниже = проще
Глубина суррогатного материнства79Глубина интерпретируемого суррогата (например, дерева решений);
более мелкий = более простой
Для конкретных задачпересечение через союз (IoU)108figure-protocol-10
перекрытие маски М и наземной правды G
Игра в Пойнтинг108Точность = #hits / #samples
выше = лучше
ГибридСовокупный балл104Взвешенное сочетание точности, разреженности и надежности

Таблица 2: Метрики оценки XAI при визуальном осмотре сгруппированы в четыре основные категории.

5. Сравнительный анализ

В этом разделе методы сравниваются с общедоступными наборами данных, такими как MVTec AD109 (>5 000 изображений дефектов с масками на уровне пикселей) и DeepPCB110 (1 500 изображений печатных плат с шестью классами дефектов), CheXpert111 и ImageNet112 , и оцениваются по следующим показателям: AUC удаления/вставки (достоверность), точность pointing-Game (локализация), показатели стабильности (устойчивость к возмущениям) и задержка (стоимость выполнения).

Для методов на основе CAM (GradCAM, GradCAM++) результаты на MVTec AD и DeepPCB показывают, что GradCAM достигает точности 0,83-0,87 (AUC вставки ~0,68; падение точности <15% при удалении), чувствительности (0,80 - 0,85) и времени выполнения <100 мс (~39 кадров в секунду (FPS)). Локализация остается умеренной (средний IoU ≈0,28 @ δ=0,25; точность наведения 86-87%). GradCAM++ улучшает локализацию нескольких экземпляров (среднее значение IoU = 0,38), сохраняя при этом аналогичную задержку (<120 мс) и более высокий уровень доверия пользователей (109,69/250 против 56,08/250 для GradCAM). Эти методы эффективны, но пространственно грубы 47,113.

Для методов, основанных на возмущениях (LIME, SHAP, RISE), производительность варьируется в зависимости от набора данных. На MVTec AD LIME достигает локальной точности R² = 0,70-0,80, но демонстрирует низкую робастность (индекс стабильности <0,5), задержку 3-5 с/изображение и умеренную локализацию (IoU = 0,25-0,35). SHAP применительно к классификации дефектов печатных плат обеспечивает стабильную атрибуцию (Δ log-odds = 0,2-0,3) с сильным выравниванием человека (70-80%), но медленнее (>1 с/изображение) и имеет слабую локализацию (IoU ≈0,02-0,03). RISE, протестированный на MS-COCO и воспроизведенный для MVTec AD, в среднем выполняет 4 000-8 000 замаскированных прямых передач, обеспечивая высокую надежность (стабильность >0,7), точность (0,78-0,82 AUC) и превосходную локализацию (Pointing-Game = 62,9% против 48,3% у GradCAM), но при задержке 1-2 с/объяснение 26,74,79,114.

Для методов распространения релевантности (LRP, DeepLIFT) оценки на DeepPCB и CheXpert показывают, что LRP достигает точности 0,82-0,90, чувствительности ~0,85 и IoU локализации 0,40-0,50. Время выполнения составляет 100–200 мс на изображение, что медленнее, чем у CAM, но приемлемо для проверки практически в реальном времени. В радиологических задачах CheXpert экспертные исследования показывают >70% перекрытие между тепловыми картами LRP и клинически значимыми областями, демонстрируя интерпретируемость в разных областях60.

Для методов, основанных на внимании (Transformers), результатов для ViT-моделей, обученных на ImageNet и CheXpert, необработанные карты внимания дают точность 0,75-0,85, но нестабильны при возмущениях, с чувствительностью 0,70-0,75 и умеренной локализацией (IoU = 0,30-0,45). Доверие человека составляет ~60-70%. Адаптированные подходы (поток-внимание, Transformer-LRP) улучшают причинно-следственные показатели, превосходя чистое внимание по удалению/вставке и очкам в игре 40,115,116.

Для методов, основанных на прототипах и контрфактических данных, оценки в MVTec AD подчеркивают, что ProtoPNet достигает основанных на примерах объяснений, в которых прогнозы обоснованы аналогичными случаями дефектов, что помогает оператору принимать решения. Подходы на основе SOM кластеризуют дефектные признаки на 2D-картах, сохраняя топологические отношения. Контрфактические методы, протестированные как на изображениях дефектов печатной платы, так и на CheXpert, обеспечивают действенные рассуждения («если длина трещины меньше 1 мм, прогноз смещается к норме»), но требуют дорогостоящей оптимизации и борьбы с входными данными с высоким разрешением. Эти методы в значительной степени согласуются с человеческим мышлением, но плохо масштабируются 117,118,119.

Наконец, при рассмотрении компромиссов и практического выбора CAM доминируют в рабочих процессах, критичных к задержкам, но остаются грубыми. LRP обеспечивает баланс между точностью и временем выполнения, превосходно справляясь с анализом на уровне пикселей. RISE обеспечивает высочайшую причинно-следственную достоверность и локализацию, но с задержкой на уровне секунд. SHAP и LIME улучшают интерпретируемость, но являются медленными и нестабильными. Прототипы и контрафактические данные максимально соответствуют человеческому фактору, но плохо масштабируются при контроле с высоким разрешением. Модели на основе трансформаторов требуют специализированных адаптаций, выходящих за рамки простого внимания. Таким образом, ни один метод не превосходит другие; Вместо этого выбор метода должен отражать потребности в наборе данных, задаче, задержке, бюджете и интерпретируемости. Как показано на рисунке 4, рабочий процесс выбора объединяет три из этих тестов (задача, задержка, интерпретируемость) в ориентированное на задачи руководство по выбору методов XAI при визуальном контроле.

figure-protocol-11
Рисунок 4: Процесс выбора для внедрения метода XAI. Это блок-схема принятия решений, определяющая выбор подходящих методов XAI при визуальном контроле. Рабочий процесс учитывает тип задачи (классификация, сегментация, обнаружение аномалий, регрессия), ограничения задержки и детали пояснений, а также связывает их с репрезентативными методами. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

6. Обсуждение

  1. Сравнительные результаты
    Наш анализ показывает, что градиентные методы, такие как GradCAM и Layer-wise Relevance Propagation (LRP), превосходно выделяют конкретные области изображения, наиболее влияющие на решения сверточной сети, что делает их интуитивно понятными инструментами для таких задач, как локализация дефектов или классификация медицинских изображений. Эти подходы эффективны, поскольку они работают в одном обратном ходу, но их объяснения часто грубы и могут стать неясными в сложных регионах. В отличие от этого, методы атрибуции признаков, не зависящие от модели, такие как SHAP и LIME, обеспечивают более количественное понимание вклада признаков за счет зондирования модели с возмущенными входными данными или подгонки локальных суррогатов, но с более высокими вычислительными затратами, чем GradCAM.
    Методы, основанные на внимании, используют внутренние веса модели для выделения областей фокуса в модели115. RISE, с другой стороны, представляет собой стратегию, основанную на рандомизации, которая маскирует и дискретизирует входные данные для создания гибких карт заметности, хотя для этого требуются тысячи проходов вперед. Взятые вместе, эти методы превосходны в определенных обстоятельствах, но ни один из них не превосходит другие26. Вместо этого выбор метода зависит от архитектуры модели, задачи визуального осмотра, требований к задержке и типа информации, необходимой лицам, принимающим решения.
  2. Тематические исследования
    Ниже приведены реальные тематические исследования по внедрению XAI как в медицинском, так и в промышленном секторах: в здравоохранении модели обнаружения пневмонии и COVID-19, обученные на рентгеновских снимках грудной клетки и компьютерной томографии, объяснялись с помощью GradCAM и LIME, а радиологи в пользовательских исследованиях неизменно отдавали предпочтение GradCAM, поскольку выделенные области соответствовали ожидаемой патологии, такой как инфильтраты легких120. Аналогичным образом, в цифровой патологии рака головы и шеи прогнозы CNN, поддерживаемые GradCAM и CAM высокого разрешения, выделяли кластеры злокачественных клеток, которые патологоанатомы подтвердили как клинически значимые, показывая, что объяснения усиливают как клиническую точность, таки доверие.
    В производственном секторе компания XAI добилась кардинальных изменений в точности и объяснимости. Одним из основных применений является обнаружение инородных предметов на рентгеновских изображениях шин с помощью сверточной нейронной сети на основе архитектуры Xception. Благодаря включению карты активации градиентно-взвешенных классов (GradCAM) система достигла точности классификации более 99% и создала тепловые карты с указанием точных областей изображения, ответственных за прогнозирование. Эти визуальные объяснения позволили инженерам по контролю качества убедиться в том, что внимание модели было сосредоточено на законных аномалиях в структурной опоре шины, а не на несущественных артефактах, что значительно повысило доверие и облегчило развертывание впроизводственных условиях с высокими ставками.
    В электронной промышленности подход SolderNet демонстрирует интеграцию XAI в контроль дефектов на уровне пикселей. Метод на основе СНС был разработан для проверки паяных соединений на печатных платах, задача, где высокая точность и объяснимаемость являются обязательными. С помощью GradCAM и Layer-wise Relevance Propagation (LRP) метод извлекал карты заметности, которые выделяли пиксели, ответственные за конкретные классификации дефектов. Благодаря такой объяснимости оператор смог дифференцировать истинные и ложные срабатывания и получить представление о режимах отказа, которые ранее были бы выходами черного ящика39. Эти случаи показывают, что XAI ценится, когда его объяснения согласуются с рассуждениями экспертов, но недостаточно используется, когда объяснения нестабильны, грубы или непрактичны с точки зрения вычислений.
  3. Ограниченность современных доказательств
    Несмотря на эти достижения, некоторые ограничения сохраняются. Во-первых, большинство эмпирических исследований опираются на общедоступные наборы данных, такие как MVTec AD для промышленного контроля или VinDR-CXR122 для медицинской визуализации, которые могут не в полной мере представлять реальные условия на заводах или в больницах. Во-вторых, оценка остается фрагментарной: точность, надежность и интерпретируемость измеряются непоследовательно в разных исследованиях, часто с помощью специальных определений и без стандартизированных пороговых значений. В-третьих, многим произведениям не хватает человеческого одобрения. Хотя такие метрики, как AUC удаления, точность игры или IoU локализации, дают количественные результаты, они не подтверждают, что эти объяснения действительно улучшают процесс принятия решений пользователями. Наконец, только ~8% исследований по обеспечению качества на основе искусственного интеллекта в производстве интегрируют XAI в свой рабочий процесс123. Это подчеркивает разрыв в практическом внедрении, даже несмотря на то, что эта статистика варьируется в зависимости от сектора и методологии и может быть неточной.
  4. Практическое значение для практикующих врачей
    Для практикующих врачей возникает несколько выводов. Методы на основе градиента остаются наиболее практичным выбором для задач контроля в режиме реального времени, поскольку они предоставляют объяснения с низкой задержкой (~100 мс на изображение) и просты в развертывании. Подходы, основанные на возмущениях, такие как SHAP или RISE, имеют более высокую задержку, чем методы на основе градиента, но лучше подходят для областей, где тонкая атрибуция перевешивает задержку, например, для здравоохранения, где точность имеет приоритет над скоростью. Подходы, основанные на внимании, полезны в архитектурах трансформеров, но они требуют тщательной интерпретации, поскольку чистое внимание не всегда дает четкое объяснение. Помимо технических компромиссов, успешное внедрение в значительной степени зависит от интеграции, обучения пользователей и демонстрации клинической ценности интерпретируемости. Как показывают тематические исследования, объяснения приобретают ценность только тогда, когда они четко согласуются с опытом в предметной области и помогают практикам проверять или оспаривать прогнозы ИИ.
  5. Будущие направления исследований
    Будущие исследования должны отдавать приоритет нескольким практическим направлениям:
    Стандартизация протоколов оценки: Установите воспроизводимые рекомендации по отчетности по ключевым показателям, включая AUC удаления/вставки, точность игры, индексы стабильности и задержки.
    Наборы данных тестов производительности для конкретных областей: Разрабатывайте тщательно отобранные наборы данных для промышленного и медицинского визуального контроля с наземными аннотациями, чтобы уменьшить чрезмерную зависимость от узких общедоступных наборов данных.
    Проверка, ориентированная на человека: Расширяйте исследования, которые измеряют, улучшают ли объяснения XAI качество решений, доверие пользователей и сотрудничество человека и искусственного интеллекта за пределами прокси-метрик
    Анализ затрат и выгод: Проведите тщательные исследования развертывания для количественной оценки коммерческой и клинической ценности интеграции XAI в рабочие процессы визуального контроля.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Выводы

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом обзоре было рассмотрено 75 исследований XAI при визуальном осмотре, в результате чего была составлена таксономия апостериорных и внутренних методов, а также сравнительный анализ, основанный на бенчмарках. Полученные данные подтверждают, что ни один метод не превосходит другие: градиентные подходы, такие как GradCAM и LRP, эффективны для локализации дефектов в реальном времени, но их объяснения могут быть грубыми в сложных областях. Методы, основанные на возмущениях, такие как SHAP...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют об отсутствии конфликта интересов в связи с публикацией данной работы.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Автор(ы) заявляют, что эта работа не получала специального гранта от какого-либо финансирующего агентства в государственном, коммерческом или некоммерческом секторах.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Alzarooni, A., et al. Anomaly detection for industrial applications, its challenges, solutions, and future directions: a review. IEEE Sens J. XX. (1), 1(2025).
  2. Hardan, F., Almusawi, A. R. J. Developing an automated vision system for maintaing social distancing to cure the pandemic. Al-Khwarizmi Eng J. 18 (1), 38-50 (2022).
  3. Terasaki, N., Fujio, Y. Mechanoluminescent visualization of crack propagation for joint evaluation. J Vis Exp. (191), e64118(2023).
  4. Al-Hamadani, S., Al-Darraji, I. Warehouse in Industry 4.0 based drone, computer vision, and artificial intelligence technologies: a literature review. Proc Eng Sci. 7 (1), 517-526 (2025).
  5. Al-Jubori, H. N., Izzat, A. D., Jerbi, H. Defect detection using thermography camera techniques: a review. Al-Khwarizmi Eng J. 20 (4), 70-88 (2024).
  6. Al-Hamadani, S., Al-Darraji, I., Jerbi, H. Improving barcode vision scanning process using a drone-based tracking PID controller for warehouse in Industry 4.0. Al-Khwarizmi Eng J. 21 (2), 72-92 (2025).
  7. Al-Jubori, H. N., Al-Darraji, I. Tools and process of defect detection in automated manufacturing systems. EAI Endorsed Trans Scalable Inf Syst. 10 (6), e4000(2023).
  8. Alaa, T., et al. Automated detection of defects on metal surfaces using vision transformers. , Published online October 6, 2024. Accessed August 1 (2025).
  9. Moosavi, S., et al. Explainable AI in manufacturing and industrial cyber-physical systems: a survey. Electronics. 13 (17), 3497(2024).
  10. Nauta, M., et al. From anecdotal evidence to quantitative evaluation methods: a systematic review on evaluating explainable AI. ACM Comput Surv. 55 (13), 1-42 (2023).
  11. Cheng, Z., et al. A comprehensive review of explainable artificial intelligence (XAI) in computer vision. Sensors. 25 (13), 4166(2025).
  12. Barredo Arrieta, A., et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 58, 82-115 (2020).
  13. Kouchaki, S., et al. Survey of explainable AI techniques in healthcare. Sensors. 23 (2), 634(2023).
  14. Laugel, T., et al. The dangers of post-hoc interpretability: unjustified counterfactual explanations. Proc Int Joint Conf Artif Intell. , 2801-2807 (2019).
  15. Slack, D., et al. Reliable post hoc explanations: modeling uncertainty in explainability. Adv Neural Inf Process Syst. 33, 9391-9404 (2020).
  16. Cesarini, M., et al. Explainable AI for text classification: lessons from a comprehensive evaluation of post hoc methods. Cognit Comput. 16 (6), 3077-3095 (2024).
  17. Mohamed Musthafa, M., et al. Enhancing brain tumor detection in MRI images through explainable AI using Grad-CAM with ResNet-50. BMC Med Imaging. 24 (1), 1-19 (2024).
  18. Sundararajan, M., Taly, A., Yan, Q. Axiomatic attribution for deep networks. Proc Int Conf Mach Learn. 70, 5109-5118 (2017).
  19. Shrikumar, A., Greenside, P., Kundaje, A. Learning important features through propagating activation differences. Proc Int Conf Mach Learn. 70, 4844-4866 (2017).
  20. Bassi, P. R. A. S., et al. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun. 15, 44371(2024).
  21. Knab, P., et al. Which LIME should I trust? Concepts, challenges, and solutions. arXiv preprint. , (2025).
  22. Garreau, D., von Luxburg, U. Explaining the explainer: a first theoretical analysis of LIME. Proc Mach Learn Res. 108, 1287-1296 (2020).
  23. Qian, J., et al. ELIME: exact local interpretable model-agnostic explanation. Eur J Artif Intell. , (2024).
  24. Salih, A. M., et al. A perspective on explainable artificial intelligence methods:SHAP and LIME . Adv Intell Syst. , (2024).
  25. Hermosilla, P., et al. Explainable AI for forensic analysis: a comparative study of SHAP and LIME in intrusion detection models. Appl Sci. 15 (13), 7329(2025).
  26. Petsiuk, V., Das, A., Saenko, K. RISE: randomized input sampling for explanation of black-box models. arXiv preprint. , (2018).
  27. Dandl, S., et al. Multi-objective counterfactual explanations. Lect Notes Comput Sci. 12269, 448-469 (2020).
  28. Alvarez-Melis, D., Jaakkola, T. S. Towards robust interpretability with self-explaining neural networks. Adv Neural Inf Process Syst. 31, 7775-7784 (2018).
  29. Donnelly, J., Barnett, A. J., Chen, C. Deformable ProtoPNet: an interpretable image classifier using deformable prototypes. Proc IEEE Conf Comput Vis Pattern Recognit. , 10255-10265 (2022).
  30. Ross, A. S., Hughes, M. C., Doshi-Velez, F. Right for the right reasons: training differentiable models by constraining their explanations. Proc Int Joint Conf Artif Intell. , 2662-2670 (2017).
  31. Schramowski, P., et al. Making deep neural networks right for the right scientific reasons by interacting with their explanations. Nat Mach Intell. 2 (8), 476-486 (2020).
  32. Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat Mach Intell. 1 (5), 206-215 (2019).
  33. Letham, B., et al. Interpretable classifiers using rules and Bayesian analysis: building a better stroke prediction model. Ann Appl Stat. 9 (3), 1350-1371 (2015).
  34. Barnett, A. J., et al. Interpretable mammographic image classification using case-based reasoning and deep learning. arXiv preprint. , (2021).
  35. Narayanan, A., Bergen, K. J. Prototype-based methods in explainable AI and emerging opportunities in the geosciences. arXiv preprint. , (2024).
  36. Chen, C., et al. This looks like that: deep learning for interpretable image recognition. Adv Neural Inf Process Syst. 32, 8928-8939 (2019).
  37. Koh, P. W., et al. Concept bottleneck models. Proc Int Conf Mach Learn. 119, 5294-5304 (2020).
  38. Burgess, C. P., et al. Understanding disentangling in β-VAE. arXiv preprint. , (2018).
  39. Gunraj, H., et al. SolderNet: towards trustworthy visual inspection of solder joints in electronics manufacturing using explainable artificial intelligence. Proc AAAI Conf Artif Intell. 37, 15668-15674 (2023).
  40. Dosovitskiy, A., et al. An image is worth 16×16 words: transformers for image recognition at scale. arXiv preprint. , (2020).
  41. Khan, S., et al. Transformers in vision: a survey. ACM Comput Surv. 54 (10), 1-41 (2021).
  42. Yu, L., et al. eX-ViT: a novel explainable vision transformer for weakly supervised semantic segmentation. Pattern Recognit. 142, 109666(2023).
  43. Alber, M., et al. Evaluating vision transformer models for visual quality control in industrial manufacturing. Lect Notes Comput Sci. Bifet, A., et al. 14950, 1-15 (2024).
  44. Stassin, S., et al. Explainability and evaluation of vision transformers: an in-depth experimental study. Electronics. 13 (1), 175(2024).
  45. Zhai, Y., et al. A lightweight transformer with linear self-attention for defect recognition. Electron Lett. 60 (17), e13292(2024).
  46. Dhore, V., et al. Enhancing explainable AI: a hybrid approach combining Grad-CAM and LRP for CNN interpretability. arXiv preprint. , (2024).
  47. Chattopadhay, A., et al. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks. Proc IEEE Winter Conf Appl Comput Vis. , 839-847 (2018).
  48. Saleh, R. A. A., et al. Advancing tire safety: explainable artificial intelligence-powered foreign object defect detection with Xception networks and Grad-CAM interpretation. Appl Sci. 14 (10), 4267(2024).
  49. Meister, S., et al. Investigations on explainable artificial intelligence methods for the deep learning classification of fibre layup defect in the automated composite manufacturing. Compos Part B Eng. 224, 109160(2021).
  50. Luo, X., Alzahrani, M. Automated tomato defect detection using CNN feature fusion for enhanced classification. Processes. 13 (1), 115(2025).
  51. Rahimunnisa, K. Textile fabric defect detection. J Innov Image Process. 4 (3), 165-172 (2022).
  52. Shin, H., et al. Visualization for explanation of deep learning-based defect detection model using class activation map. Comput Mater Contin. 75 (3), 4753-4766 (2023).
  53. Yue, H., et al. ASOD: attention-based salient object detector for strip steel surface defects. Electronics. 14 (5), 831(2025).
  54. Saleh, R. A. A., Ertunç, H. M. Explainable attention-based fused convolutional neural network (XAFCNN) for tire defect detection: an industrial case study. Eng Res Express. 6 (1), 015027(2024).
  55. Leem, S., Seo, H. Attention guided CAM: visual explanations of vision transformer guided by self-attention. Proc AAAI Conf Artif Intell. 38 (4), 2956-2964 (2024).
  56. Ibrahim, R., Shafiq, M. O. Augmented Score-CAM: high-resolution visual interpretations for deep neural networks. Knowl Based Syst. 252, 109287(2022).
  57. Clement, T., et al. XAI-enhanced semantic segmentation models for visual quality inspection. Proc IEEE Int Conf Consumer Electron. , 1-4 (2024).
  58. Riedel, H., et al. Automated quality control of vacuum insulated glazing by convolutional neural network image classification. Autom Constr. 135, 104144(2022).
  59. Böhle, M., et al. Layer-wise relevance propagation for explaining deep neural network decisions in MRI-based Alzheimer's disease classification. Front Aging Neurosci. 10, 194(2019).
  60. Bach, S., et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. PLoS One. 10 (7), e0130140(2015).
  61. Dieter, T. R., Zisgen, H. Evaluation of the explanatory power of layer-wise relevance propagation using adversarial examples. Neural Process Lett. 55 (7), 8531-8550 (2023).
  62. Hoefler, M. A., et al. XAI-guided insulator anomaly detection for imbalanced datasets. arXiv. , (2024).
  63. Kares, F., et al. What makes for a good saliency map? Comparing strategies for evaluating saliency maps in explainable AI (XAI). arXiv preprint. , (2025).
  64. Yona, G., Greenfeld, D. Revisiting sanity checks for saliency maps. arXiv preprint. , (2021).
  65. Zeiler, M. D., Fergus, R. Visualizing and understanding convolutional networks. Eur Conf Comput Vis. 8689, 818-833 (2014).
  66. Xu-Darme, R., et al. On the stability, correctness and plausibility of visual explanation methods based on feature importance. ACM Int Conf Proc Ser. , 119-125 (2023).
  67. Ortigossa, E. S., et al. T-Explainer: a model-agnostic explainability framework based on gradients. arXiv preprint. , (2024).
  68. Singh, M., et al. Attributional robustness training using input-gradient spatial alignment. Lect Notes Comput Sci. 12372, 515-533 (2019).
  69. Cerekci, E., et al. Quantitative evaluation of saliency-based explainable artificial intelligence methods in deep learning-based mammogram analysis. Eur J Radiol. 173, 111356(2024).
  70. Meister, S., et al. Cross-evaluation of a parallel operating SVM-CNN classifier for reliable internal decision-making processes in composite inspection. J Manuf Syst. 60, 620-639 (2021).
  71. Bitar, A., et al. Gradient-based feature-attribution explainability methods for spiking neural networks. Front Neurosci. 17, 1153999(2023).
  72. Qiang, Y., et al. Interpretability-aware vision transformer. arXiv preprint. , (2023).
  73. Bousselham, W., et al. LeGrad: an explainability method for vision transformers via feature formation sensitivity. arXiv preprint. , (2025).
  74. Lundberg, S. M., Lee, S. I. A unified approach to interpreting model predictions. Adv Neural Inf Process Syst. 30, (2017).
  75. Khan, F. S., et al. Model-agnostic explainable artificial intelligence methods in finance: a systematic review, recent developments, limitations, challenges and future directions. Artif Intell Rev. 58, 1-65 (2025).
  76. Nazim, S., et al. Advancing malware imagery classification with explainable deep learning: a state-of-the-art approach using SHAP LIME and Grad-CAM. PLoS One. 20 (5), e0318542(2025).
  77. Solís-Martín, D., et al. On the soundness of XAI in prognostics and health management (PHM). Information. 14 (5), 256(2023).
  78. Biecek, P., Burzykowski, T. Local interpretable model-agnostic explanations (LIME). In:Explanatory Model Analysis. , 107-123 (2021).
  79. Ribeiro, M. T., Singh, S., Guestrin, C. 34;Why should I trust you?" Explaining the predictions of any classifier. Proc ACM SIGKDD Int Conf Knowl Discov Data Min. , 1135-1144 (2016).
  80. Tahir, H. A., et al. A novel hybrid XAI solution for autonomous vehicles: real-time interpretability through LIME-SHAP integration. Sensors. 24 (21), 6776(2024).
  81. Goldman, C. V., et al. Explaining learning models in manufacturing processes. Procedia Comput Sci. 180, 259-268 (2021).
  82. Emmanouilidis, C., Rica, E. Visual quality control via explainable AI and the case of human in the AI loop. In: Lect Notes Mech Eng. , 252-260 (2023).
  83. Huang, M., et al. An interpretable approach using hybrid graph networks and explainable AI for intelligent diagnosis recommendations in chronic disease care. Biomed Signal Process Control. 91, 105913(2024).
  84. Dardouillet, P., et al. Explainability of image semantic segmentation through SHAP values. Data. 7 (8), 255(2022).
  85. Saifullah, S., et al. The privacy-explainability trade-off: unraveling the impacts of differential privacy and federated learning on attribution methods. Front Artif Intell. 7, 1236947(2024).
  86. Velmurugan, M., et al. Developing guidelines for functionally-grounded evaluation of explainable artificial intelligence using tabular data. Eng Appl Artif Intell. 141, 109772(2025).
  87. Wells, L., Bednarz, T. Explainable AI and reinforcement learning-a systematic review of current approaches and trends. Front Artif Intell. 4, 550030(2021).
  88. Rožanec, J. M., et al. Adaptive explainable artificial intelligence for visual defect inspection. Procedia Comput Sci. 232, 3034-3043 (2024).
  89. Nguyen, H. T. T., et al. XEdgeAI: a human-centered industrial inspection framework with data-centric explainable edge AI approach. Inf Fusion. 116, 102782(2025).
  90. Han, C., et al. Visual coating inspection framework via self-labeling and multi-stage deep learning strategies. J Intell Manuf. 35, 1-18 (2024).
  91. Kotsiopoulos, T., et al. Revolutionizing defect recognition in hard metal industry through AI explainability, human-in-the-loop approaches and cognitive mechanisms. Expert Syst Appl. 255, 124839(2024).
  92. Forcher, B., et al. Evaluation of explainable AI methods for classification tasks in visual inspection. Proc XAI Workshop (Late-Breaking Work, Demos, Doctoral Consortium). , 77-82 (2023).
  93. Miller, T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell. 267, 1-38 (2019).
  94. Jacovi, A., Goldberg, Y. Towards faithfully interpretable NLP systems: how should we define and evaluate faithfulness. Proc Annu Meet Assoc Comput Linguist. 58, 4198-4205 (2020).
  95. Adebayo, J., et al. Sanity checks for saliency maps. Adv Neural Inf Process Syst. 31, 9505-9515 (2018).
  96. Doshi-Velez, F., Kim, B. Considerations for evaluation and generalization in interpretable machine learning. Proc Explainable and Interpretable Models in Computer Vision and Machine Learning. , 3-17 (2018).
  97. Lage, I., et al. An evaluation of the human-interpretability of explanation. arXiv preprint. , (2019).
  98. Theunissen, M., Browning, J. Putting explainable AI in context: institutional explanations for medical AI. Ethics Inf Technol. 24 (2), 1-10 (2022).
  99. Hoffman, R. R., et al. Measures for explainable AI: explanation goodness, user satisfaction, mental models, curiosity, trust, and human-AI performance. Front Comput Sci. 5, 1096257(2023).
  100. Hedström, A., et al. Quantus: an explainable AI toolkit for responsible evaluation of neural network explanations and beyond. J Mach Learn Res. 24, 1-11 (2023).
  101. Mohseni, S., et al. A multidisciplinary survey and framework for design and evaluation of explainable AI systems. ACM Trans Interact Intell Syst. 11 (3-4), 1-45 (2021).
  102. Finzel, B., et al. Domain-specific evaluation of visual explanations for application-grounded facial expression recognition. Lect Notes Comput Sci. 14065, 31-44 (2023).
  103. Yeh, C. K., et al. On the (in)fidelity and sensitivity for explanations. Adv Neural Inf Process Syst. 32, 10967-10978 (2019).
  104. Better metrics for evaluating explainable artificial intelligence. Rosenfeld, A. Proc Int Conf Autonomous Agents Multiagent Syst, , 45-53 (2021).
  105. Evaluation metrics for XAI: a review, taxonomy, and practical applications. Kadir, M. A., et al. Proc IEEE Int Conf Intell Eng Syst, , 111-124 (2023).
  106. Sankaran, K. Data science principles for interpretable and explainable AI. J Data Sci. 22, 1-27 (2024).
  107. Alvarez-Melis, D., Jaakkola, T. S. On the robustness of interpretability methods. arXiv preprint. , (2018).
  108. Zhang, Y., et al. Saliency-Bench: a comprehensive benchmark for evaluating visual explanations. arXiv preprint. , (2025).
  109. Bergmann, P., et al. The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection. Int J Comput Vis. 129 (4), 1038-1059 (2021).
  110. Tang, S., et al. Online PCB defect detector on a new PCB defect dataset. arXiv preprint. , (2019).
  111. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. Irvin, J., et al. Proc AAAI Conf Artif Intell, 33, 590-597 (2019).
  112. ImageNet: a large-scale hierarchical image database. Deng, J., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 248-255 (2009).
  113. Selvaraju, R. R., et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 128 (2), 336-359 (2020).
  114. Black-box explanation of object detectors via saliency maps. Petsiuk, V., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 11438-11447 (2020).
  115. Attention is not explanation. Jain, S., Wallace, B. C. Proc Conf North Am Chapter Assoc Comput Linguist, , 3543-3556 (2019).
  116. Transformer interpretability beyond attention visualization. Chefer, H., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 782-791 (2021).
  117. Wachter, S., et al. Counterfactual explanations without opening the black box: automated decisions and the GDPR. SSRN Electron J. , (2017).
  118. Deep learning for case-based reasoning through prototypes: a neural network that explains its predictions. Li, O., et al. Proc AAAI Conf Artif Intell, 32, 3530-3537 (2018).
  119. Counterfactuals in explainable artificial intelligence (XAI): evidence from human reasoning. Byrne, R. M. J. Proc Int Joint Conf Artif Intell, , 6276-6282 (2019).
  120. Ihongbe, I. E., et al. Evaluating explainable artificial intelligence (XAI) techniques in chest radiology imaging through a human-centered lens. PLoS One. 19 (10), e0308758(2024).
  121. Dörrich, M., et al. Explainable convolutional neural networks for assessing head and neck cancer histopathology. Diagn Pathol. 18 (1), 121(2023).
  122. Nguyen, H. Q., et al. VinDr-CXR: an open dataset of chest X-rays with radiologist's annotations. Sci Data. 9, 429(2022).
  123. Lee, D. J., et al. A systematic literature review on artificial intelligence and explainable artificial intelligence for visual quality assurance in manufacturing. Electronics. 12 (22), 4572(2023).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

XAI

Похожие статьи