리뷰 논문

육안 검사를 위한 설명 가능한 AI: 비교 분석 및 검토

DOI:

10.3791/69440

⸱

2025년 10월 10일

 , 
1Al-Khwarizmi College of Engineering, Automated Manufacturing Department, University of Baghdad

이 논문에서

요약

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 검토는 산업 및 의료 영역의 육안 검사를 위한 설명 가능한 AI(XAI) 방법을 종합합니다. PRISMA 유도 검색을 통해 75개의 연구가 식별되어 표준화된 지표를 사용하여 영역별 분류 및 비교 분석을 알렸습니다. 우리는 도구 선택을 위한 증거 기반 분류법과 실무자 중심의 워크플로를 제공합니다.

초록

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

XAI(Explainable Artificial Intelligence) 기술은 블랙박스 머신 러닝 모델을 이해하기 쉽게 만들어 자동화된 육안 검사 시스템의 투명성과 신뢰를 가능하게 합니다. XAI는 널리 적용되었지만 이전 검토에서는 산업 및 의료 검사 작업의 특정 요구 사항을 다루지 않았습니다. 이 논문은 산업 및 의료 영역 전반에 걸쳐 육안 검사에 XAI 기술을 적용하는 연구를 검토합니다. IEEE Xplore, Scopus, PubMed, arXiv 및 Web of Science에서 2014년에서 2025년 사이에 발표된 연구에 대해 체계적인 검색이 수행되었으며, 포함 기준은 공개 또는 도메인별 데이터 세트를 사용하는 검사 작업에 XAI를 적용해야 한다는 것입니다. 초기 연구 풀에서 75개가 포함되고 사후 및 내재로 분류된 다음 충실도, 견고성, 복잡성 및 위치 파악 정확도와 관련하여 평가되었습니다. 결과는 그래디언트 및 전파 기반 방법은 대략적인 위치 파악이 있지만 거의 실시간 검사에 적합한 효율적인 시각적 설명을 제공하는 반면, 섭동 기반 및 대리 모델 방법은 더 높은 계산 비용으로 더 자세한 속성을 제공하지만 견고성은 감소한 것으로 나타났습니다. 또한 프로토타입 기반 네트워크와 자기 주의 아키텍처는 해석 가능성과 예측 성능 간의 균형을 보여줍니다. 가장 효과적인 XAI 방법을 선택하는 것은 모든 경우에 적용되는 것이 아닙니다. 데이터 세트, 대기 시간 및 해석 가능성 요구 사항에 따라 다릅니다. 이 검토는 육안 검사를 위한 XAI 방법의 통합 분류를 소개하고, 표준화된 지표를 사용하여 산업 및 의료 영역 모두에서 다양한 접근 방식을 비교하며, 실무자가 최적의 방법을 선택하도록 안내하는 작업 기반 선택 워크플로를 제안합니다. 이전 검토와 비교하여 이 작업은 정량적 벤치마크에 기반한 교차 영역 비교 분석을 제공하고 표준화된 평가 및 사용자 중심 검증을 위한 방향을 설명합니다.

서론

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

제조, 자동차, 식품 포장, 제약, 의료 등의 산업에서는 제품과 시스템이 적절하고 안전하게 작동하는지 확인하는 것이 필수적입니다. 인간 작업자가 수행하는 전통적인 육안 검사나 초보적인 카메라 기반 시스템을 뛰어넘는 자동화 및 머신 러닝 도구는 정확도, 생산 속도 및 일관성을 향상시킵니다1. AI 검사를 통해 실시간 모니터링2 및 처리량이 많은 환경3에서 결함 감지가 가능하여 인적 오류와 운영 비용이 절감됩니다4. 특히 기계 학습(ML) 및 딥 러닝(DL)의 발전으로 인공 지능의 사용으로결함을 감지하고5, 물체를 분류하고, 복잡한시각적 패턴을 식별하는 자율 시스템이 가능해졌습니다6. 최근 CNN(Convolutional Neural Networks)7, 순환 네트워크 및 ViT(Vision Transformers)는 표면 결함 탐지에서 의료 영상의 이상 위치 파악에 이르는 작업에서 규칙 기반 시스템을 능가했습니다. 검사는 규칙 기반 프로세스에서 대규모 데이터 세트에 대해 훈련된 데이터 기반 모델로 전환되었습니다8.

많은 AI 모델은 "블랙박스"로 기능하므로 이러한 모델이 어떻게 결정을 내리는지에 대한 통찰력이 없습니다. 이러한 투명성 부족은 위험을 초래합니다. 예를 들어, 제조업에서 잘못된 예측은 낭비, 재작업, 제품 리콜 및 고객 불만 증가로 이어질 수 있습니다. 의료 영상에서 오분류는 진단을 지연시키거나 치료 계획을 손상시킬 수 있으므로 더욱 중요합니다. 이러한 모델의 개발자조차도 출력을 완전히 설명하지 못하는 경우가 많아 신뢰와 채택이 제한됩니다.

이것이 바로 설명 가능한 AI(XAI)가 필수적인 곳입니다. XAI는 기계 학습 모델 결정을 인간이 해석할 수 있도록 하는 것을 목표로 하는 방법 및 도구 그룹입니다9. 그 목표는 출력에 대해 사람이 읽을 수 있는 정당성을 제공하여 블랙박스 예측기를 투명한 "유리 상자" 시스템으로 바꾸는 것입니다. 실제로 XAI 지원 검사 시스템은 부품에 결함이 있는 것으로 플래그를 지정하는 것뿐만 아니라 플래그가 지정된 이유를 설명함으로써 결함 감지를 넘어섭니다.

문헌이 늘어나고 있음에도 불구하고 컴퓨터 비전의 XAI에 대한 기존 설문 조사는 여전히 범위가 제한적입니다. 많은 사람들이 의료 영상이나 산업 검사에 좁게 집중하여 유용한 분류법을 제공하지만 표준화된 벤치마크 없이 주로 정성적 비교에 의존합니다. Nauta et al.10과 같은 광범위한 리뷰는 도메인에 구애받지 않는 개요를 제공하지만 실무자 중심의 선택 프레임워크를 제공하지는 않습니다. Cheng et al.11 에 의한 현재까지 가장 포괄적인 컴퓨터 비전 설문조사조차도 분류를 발전시키고 충실도 및 현지화 정확도와 같은 지표를 논의하지만 비전 작업 전반에 걸쳐 일반적이며 육안 검사, 고처리량 배포 또는 휴먼 인 더 루프 검증을 구체적으로 다루지는 않습니다. 마찬가지로 예후 및 자산 관리를 위한 XAI에 대한 산업 검토는 PRISMA 프레임워크를 채택하지만 육안 검사 작업보다는 예후 및 건강 관리(PHM)에 중점을 둡니다.

이러한 격차를 해소하기 위해 이 검토는 다음과 같은 기여를 합니다.

체계적인 분류: 산업 및 의료 육안 검사 전반에 걸친 75개 연구에 대한 PRISMA 안내 검토.

비교 분석: 삭제/삽입 AUC, 포인팅 게임 정확도, 안정성 및 대기 시간을 포함한 표준화된 메트릭을 사용하여 공개 육안 검사 데이터 세트(예: MVTec AD, PCB)에서 여러 XAI 방법(GradCAM, LRP, SHAP, LIME 및 RISE)을 벤치마킹합니다.

평가 메트릭 프레임워크: XAI 방법을 평가하는 데 사용되는 충실도, 견고성, 해석 가능성 및 작업별 측정에 대한 공식적인 정의 및 방정식입니다.

실용적인 지침: 사례 연구 및 작업 유형, 대기 시간 및 설명 요구 사항을 특정 방법에 연결하는 실무자 중심의 선택 워크플로.

이러한 기여는 신뢰할 수 있는 지침을 찾는 연구자와 실무자 모두를 대상으로 육안 검사를 위한 XAI의 가장 도메인별적이고 벤치마크에 기반한 합성을 확립합니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

리뷰 및 관점

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

2. XAI 프레임워크

대부분의 최첨단 AI 모델, 특히 심층 신경망은 종종 블랙박스로 취급됩니다. 그들이 어떻게 결정을 내리는지에 대한 가시성이 거의 없습니다12. 이러한 투명성 부족은 다양한 애플리케이션에서 신뢰와 설명 가능성에 대한 장벽입니다. 그 결과 XAI는 신뢰할 수 있는 AI의 필수 요소가 되었습니다. 모든 시나리오에 맞는 단일 접근 방식은 없습니다: 일부 방법은 모델 내부에 대한 전체 액세스를 가정하는 반면 다른 방법은 모델을 변경할 수 없는 블랙박스로 취급합니다. 일부는 개별 예측에 대한 로컬 설명을 우선시하는 반면, 다른 일부는 모델의 동작에 대한 글로벌 통찰력을 제공합니다. 그림 1에 묘사된 바와 같이, 이러한 고려 사항은 설명 가능성이 도입되는 시기에 따라 XAI 기술의 두 가지 광범위한 범주, 즉 사후 설명 방법과 본질적인 해석 가능성 방법13으로 이어졌습니다. 사후 방법은 모델에 구애받지 않는 방법과 모델별로 더 분류됩니다14.

figure-protocol-1
그림 1: 육안 검사를 위한 XAI 프레임워크. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

  1. Post-hoc explanation methods
    사후 방법은 모델이 훈련된 후 아키텍처나 매개변수를 변경하지 않고 설명을 생성합니다15. 이러한 접근 방식은 실무자가 고성능 모델을 활용한 다음 결과물을 소급적으로 설명할 수 있기 때문에 인기가 있습니다16. 그러나 기본 모델은 변경되지 않은 상태로 유지되기 때문에 사후 설명은 모델의 추론을 근사하거나 추론해야 하며, 이로 인해 근사 오류와 불안정성이 발생할 수 있습니다17. 다음 섹션에서는 모델별 방법과 불가지론적 방법을 모두 설명합니다.
    1. 모델별
      이러한 방법은 모델의 구조나 훈련 메커니즘에 대한 지식을 활용하여 해당 모델에 맞는 설명을 제공합니다. 대표적인 예는 심층 신경망에 대한 기울기 기반 속성입니다. GradCAM(Gradient-weighted Class Activation Mapping)과 같은 방법은 훈련된 CNN의 내부 그라디언트를 사용하여 주어진 예측에 가장 중요한 입력 이미지의 영역을 강조하는 시각적 "히트맵"을 생성합니다17. GradCAM은 최종 컨볼루션 레이어의 특징 맵과 관련하여 대상 클래스 점수의 기울기를 계산하고 이러한 기울기를 이미지에 투영하여 클래스 판별 위치 파악 맵을 생성합니다. 다른 그래디언트 전파 방법은 다양한 네트워크 아키텍처로 일반화됩니다. 통합 그라디언트(IG)18 은 기준선 입력(예: 빈 이미지)에서 실제 입력까지의 경로를 따라 그래디언트를 축적하고 특징 속성에 대한 바람직한 공리를 충족합니다. DeepLIFT19 는 각 레이어를 통해 참조 활성화의 차이를 유사하게 전파하여 각 입력 기능의 기여도를 추정합니다. LRP(Layer-Wise Relevance Propagation)는 예측 점수를 레이어별로 역전파하여 각 입력 픽셀 또는 기능(20)에 "관련성"을 분배합니다. 요약하면, 모델별 방법은 내부 기울기, 활성화 또는 주의를 활용하여 모델 구조와 밀접하게 결합된 설명을 생성합니다.
    2. 모델에 구애받지 않음
      대조적으로, 모델에 구애받지 않는 방법은 모델을 출력에 대해 쿼리할 수 있는 블랙박스로 취급합니다. 이러한 기술은 최소한의 가정을 하며, 일반적으로 교란된 입력에 대한 모델의 예측만 얻을 수 있으면 됩니다. 예를 들면 주어진 입력(21) 근처에서 복잡한 모델의 동작을 모방하기 위해 단순하고 해석 가능한 모델(예: 희소 선형 모델 또는 의사 결정 트리)을 사용하는 LIME(Local Interpretable Model-Agnostic Explanations)이 있습니다. 특정 예측의 경우 LIME은 입력의 많은 교란 버전을 생성하고, 각각에 대한 블랙박스 모델의 예측을 얻은 다음, 이러한 로컬 입력-출력 관계에 근사하는 가중 선형 회귀를 학습합니다22. 이 대리 선형 모델의 계수는 어떤 특징이 예측을 가장 강력하게 주도하는지 나타내는 설명 역할을 합니다23. LIME의 매력은 유연성(모든 분류기와 함께 사용 가능)과 직관적인 출력(예: 작은 가중치 기능 세트)에 있습니다. SHAP(SHapley Additive exPlanations)는 게임 이론24를 기반으로 하는 또 다른 인기 있는 모델에 구애받지 않는 방법입니다. SHAP는 협동 게임 이론의 Shapley 값을 근사화하는 특징 속성을 계산하여 개별 예측을 설명하고 가산성 및 일관성과 같은 속성을 보장합니다25. 특징 속성 외에도 모델에 구애받지 않는 접근 방식에는 이미지 모델에 대한 시각적 섭동 방법도 포함됩니다. RISE(Randomized Input Sampling for Explanation)는 입력 이미지의 일부를 무작위로 마스킹하고 모델의 출력이 어떻게 변하는지 관찰하여 중요도 맵을 생성합니다26. 이러한 마스크를 많이 샘플링함으로써 RISE는 어떤 픽셀 또는 영역이 예측에 가장 큰 영향을 미쳤는지 나타내는 확률적 현저성 맵을 구축합니다26. 특히 RISE는 모델 내부에 대한 액세스가 필요하지 않으며 수정된 입력에 대해 모델을 평가할 수 있는 기능만 필요하므로 진정한 블랙박스가 됩니다. 마지막으로, 모델에 구애받지 않는 XAI의 성장 영역은 반사실적 설명에 초점을 맞추고 있습니다. 반사실적 설명은 특징의 중요도를 열거하지 않고 대신 "입력에 대한 최소한의 변경으로 모델의 예측이 변경되었을까요?" 27. 반사실을 생성하는 알고리즘은 일반적으로 변경 사항에 현실성과 희소성을 적용하면서 원하는 출력을 생성하는 가장 가까운 예에 대해 입력 공간(또는 학습된 잠재 공간)에서 검색을 수행합니다. 요약하면, 사후 XAI 방법은 예측력과 어느 정도의 투명성을 결합하여 훈련 후 고성능 모델에 적용할 수 있기 때문에 널리 채택되고 있습니다.
  2. 고유 해석 가능성 방법
    내재적 방법은 근본적으로 다른 접근 방식을 취합니다: 사후에 블랙박스를 설명하는 대신 이러한 방법은 설계에 따라 모델을 해석할 수 있게 만듭니다. SENN(Self-Explaining Neural Networks)이 주목할만한 예입니다. Alvarez-Melis와 Jaakola28이 제안한 SENN 프레임워크에서 신경망은 먼저 일련의 중간 개념 활성화를 계산한 다음 해당 개념의 간단하고 설명 가능한 함수로 예측을 생성하도록 구성되어 있습니다. ProtoPNet(Prototypical Part Network)은 입력을 각 클래스의 학습된 프로토타입 표현 세트와 비교하여 분류하는 심층 네트워크입니다. 예를 들어, 이미지 분류 작업에서, ProtoPNet은 프로토타입 패치를 학습하고, 입력(29)에 의해 가장 활성화되는 프로토타입을 찾아 결정을 내릴 수 있다. 시퀀스 모델 및 트랜스포머 영역에서는 본질적인 해석 가능성에도 주의 메커니즘이 활용되었습니다. 일부 모델은 주의 정렬 목표로 학습되며, 이는 모델의 주의 가중치가 알려진 중요한 기능 또는 사람이 레이블을 지정한 관련 영역에 해당하도록 장려합니다. 주의가 "올바른 이유에 따라 옳은" 것으로 유도함으로써30, 이러한 접근 방식은 잘 수행될 뿐만 아니라 설명으로 직접 해석될 수 있는 주의력 분포를 갖는 모델을 생성합니다. 더욱이, 이러한 모델은 설명이 외부 사후 근사치(31)가 아니라 모델 자체의 해석 가능한 구조로부터 생성되기 때문에 일반적으로 구성에 충실한 설명을 제공합니다.

3. XAI 분류

연구 상태의 구조화된 종합을 제공하기 위해 PRISMA 지침을 사용하여 체계적인 문헌 검토를 수행했습니다(그림 2). 이 프로세스에는 여러 학술 데이터베이스(Scopus, Web of Science, IEEE Xplore, SpringerLink, PubMed, arXiv 및 MDPI)가 포함되었으며 "설명 가능한 AI", "해석 가능성", "육안 검사", "결함 감지", "이상 감지", "제조" 및 "의료 영상 "을 결합한 일련의 검색어가 안내되었습니다. 포함 기준은 논문이 육안 검사 맥락(산업 또는 의료)에서 XAI 방법을 명시적으로 적용하거나 평가하고 충분한 방법론적 세부 사항을 보고해야 했습니다. 제외 기준은 구현되지 않은 순전히 이론적인 제안과 육안 검사 이외의 작업을 제거했습니다. 검색은 처음에 483개의 기록을 검색했습니다. 중복 항목을 제거하고 제목과 초록을 선별한 후 전체 텍스트 검토를 위해 147개가 남았습니다. 포함/제외 기준을 적용하면 이 검토의 기초를 형성하는 75개의 1차 연구가 산출되었습니다.

figure-protocol-2
그림 2: PRISMA 지침에 따른 체계적 검토 프로세스의 PRISMA 흐름도. 이 그림은 각 단계에서 식별, 선별 및 제외된 기록을 보여주며, 최종 검토에 포함된 75개의 1차 연구를 산출합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

  1. 검토된 연구의 응용 분류
    섹션 2(사후 및 내재적 접근 방식)에서 소개된 개념적 프레임워크를 기반으로 이 75개 연구에서 파생된 영역별 분류법을 개선했습니다. 이 적용된 분류법은 그림 3과 같이 육안 검사 작업에서의 구현에 따라 방법을 구별합니다.
  2. 분류학 전반에 걸친 연구 분포
    75개 연구의 전체 분포는 표 1에 요약되어 있습니다. 각 연구는 방법론적 범주 및 응용 영역에 매핑됩니다. 이는 섹션 4에 제시된 비교 분석에 대한 경험적 토대를 제공합니다.
  3. 합성
    이 체계적 검토에서 몇 가지 명확한 추세가 나타납니다. 첫째, 그래디언트 기반 사후 방법은 효율성과 통합 용이성으로 인해 산업 및 의료 검사 작업에서 가장 널리 채택되고 있습니다. 둘째, 섭동 기반 방법은 더 풍부한 특징 속성을 제공하지만 계산 요구로 인해 처리량이 많은 산업 환경에서는 덜 일반적입니다. 셋째, 내재적 방법이 주목을 받고 있지만 이를 구현하는 연구의 15% 미만으로 여전히 과소 대표되고 있습니다.
    이 분류법을 재현 가능한 PRISMA 안내 검토에 고정하고 이를 75개 연구의 구조화된 데이터베이스에 연결함으로써 이 섹션은 검증된 증거 기반을 구축합니다. 이러한 결과는 표준화된 지표(충실도, 견고성, 대기 시간 및 현지화 정확도)에 걸쳐 대표적인 방법을 벤치마킹하는 섹션 4의 비교 분석을 위한 단계를 설정합니다.

figure-protocol-3
그림 3: 육안 검사 작업에서 XAI 방법의 제안된 분류법. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

XAI 방법XAI 접근 방식공부산업년
본질적인규칙 기반 및 선형 모델32,33일반 의학2015–2019
프로토타입 기반(ProtoPNet, Case-based, Deformable ProtoPNet) 29,34,35,36 의료, 산업, 일반2018–2024
개념 중심(개념 병목 현상, 올바른 이유에 대한 권리) 30,31,37 일반, 과학 응용2020–2021
자기 설명 신경망(SENN)28일반2018–2020
얽힌 표현(β-VAE),SOXAI38,39일반2018
비전 트랜스포머(주의를 통한 본질적인 해석 가능성) 40,41,42,43,44,45 컴퓨터 비전, 제조2020–2024
사후, 모델별CAM 제품군 46,47,48,49,50,51,52, 53,54,55,56,57,58 의료 영상, 제조, 자동차, 농업, 전자2018–2025
LRP(레이어별 관련성 전파) 20,59,60,61,62 일반, 의료 영상2015–2024
그래디언트 및 현저성 방법(통합 그래디언트, Smooth IG, DeepLIFT, DeconvNet, T-Explainer, Saliency Benchmarks) 18,19,63,64,65,
66,67,68,69,70 		일반, 의료 영상2013–2025
특수 모델의 어트리뷰션(SNN, 트랜스포머 어텐션 어트리뷰션) 71,72,73 신경과학, 비전 트랜스포머2023–2025
사후, 모델에 구애받지 않음석회 및 변형(LIME, ELIME, MASALA), SHAP 및 변형(트리 SHAP),금융, 예후 및 건강 관리, 사이버 보안, 자율 주행 차량, 산업 검사.2016–2025
반사실 21,22,23,24,25,27,74,
75,76,77,78,79,80,81,
82,83,84,85,86
설명
하이브리드 방법(GradCAM, SHAP, LRP, LIME)을 포함한 여러 XAI 방법 통합 58,87,88,89,90,91,92 산업 검사, 의료, 제조.2021–2025

표 1: XAI 방법, 연도, 산업 및 접근 방식에 따른 75개의 검토된 연구 분류.

4. XAI에 대한 평가 지표

컴퓨터 비전 모델의 성능은 정확도, 정밀도 및 재현율과 같은 잘 확립된 지표로 판단됩니다. 그러나 모델 결정의 설명 가능성을 평가하는 것은 훨씬 덜 간단합니다. 표준 예측 성능과 달리 AI 설명의 품질에 대해 보편적으로 인정되는 지표는 없습니다66. 다시 말해, 분류기의 정확도는 정확하게 측정될 수 있지만, 주어진 이미지 분류(93)에 대한 설명이 얼마나 "좋은" 것인지를 정량화하기 위해 합의된 척도는 없다. 이러한 차이는 XAI 분야의 근본적인 격차, 즉 설명을 평가하는 방법을 강조합니다.

표준화된 XAI 평가 기준을 개발하는 것은 매우 어려운 것으로 입증되었습니다. 한 가지 이유는 해석 가능성과 설명 품질이 다면적이고 상황에 따라 달라지기 때문에 단일 보편적 지표에 저항하기 때문입니다10. 설명을 효과적으로 평가하는 것은 응용 프로그램 도메인, 생성된 설명의 성격, 최종 사용자의 배경 등 여러 요소에 의존합니다. 예를 들어, 의료 영상 진단에 적합한 설명 기술은 산업 육안 검사 작업(10)에서 사용되는 것과 다르게 평가될 수 있다.

실제로 표준 지표가 없기 때문에 연구자들은 다양한 평가 접근 방식에 의존하게 되었습니다. 많은 연구가 여전히 XAI 방법에 대한 정성적, 일화적 평가에 의존하고 있습니다 94,95. 저자가 몇 가지 현저성 맵이나 히트맵을 제시하고 이것이 합리적으로 보인다고 주장하는 것을 흔히 볼 수 있습니다(소위 "얼굴 타당성" 테스트)96. 이러한 육안 검사는 서술적 의미에서 설득력이 있을 수 있지만 여전히 주관적이며 엄격한 비교에는 불충분합니다97. 이는 XAI 메트릭을 표준화하는 것이 얼마나 어려운지 보여줍니다. 합의된 기준이 없는 경우 연구자는 각 데이터 세트 또는 사용 사례에 맞는 지표를 제안합니다.

그 결과, 이제 문헌에는 이 격차를 메우기 위한 다양한 XAI 평가 지표가 풍부합니다98. 수많은 프레임워크와 조치가 제시되었으며, 각 프레임워크와 조치는 설명을 유용하게 만드는 특정 측면을 대상으로 합니다99. 일반적으로 메트릭은 주요 초점에 따라 분류할 수 있습니다. 충실도 기반 메트릭은 모델(100)의 의사결정 과정을 얼마나 잘 반영하는지에 따라 설명을 판단한다. 대조적으로, 해석 가능성 중심 메트릭은 설명이 인간 관찰자에게 얼마나 이해 가능하고 설득력이 있는지를 평가합니다101. 세 번째 범주는 작업 기반 메트릭으로, 설명의 평가는 최종 사용자 성능에 미치는 영향에 따라 달라집니다102. 네 번째 범주는 결과의 일관성을 평가하는 견고성 지향 메트릭입니다(103). 마지막으로, 하이브리드 메트릭은 여러 차원을 결합합니다104.

이러한 메트릭의 다양성은 연구자들이 중요하다고 생각하는 설명 가능성의 측면을 나타내지만 단일 표준의 부족을 강조하기도 합니다: 각 메트릭은 설명 품질의 한 각도만 포착합니다105. 다음에서는 XAI에 대한 다양한 평가 지표를 네 가지 주요 범주로 그룹화하고 표 2에 요약합니다.

메트릭 유형메트릭공식 / 정의
충실도곡선 아래 삭제 면적(AUC)26figure-protocol-4
상위 K 중요한 기능입니다. 더 낮음 = 더 충실함
곡선 아래 삽입 면적(AUC)26figure-protocol-5
더 높음 = 더 충실함
불륜 점수103figure-protocol-6
낮음 = 더 좋습니다
포효106'중요한' 기능 없이 재훈련 후 정확도 떨어짐
견고성안정성 지수107figure-protocol-7
더 높음 = 더 일관성 있음
립시츠 점수103figure-protocol-8
더 낮음 = 더 견고함
해석 가능성희소성79figure-protocol-9
더 낮음 = 더 단순함
대리 깊이79해석 가능한 대용물의 깊이(예: 의사 결정 트리);
더 얕은 = 더 단순함
작업별교차 오버 유니온(IoU)108figure-protocol-10
마스크 M과 실측 G의 겹침
포인팅 게임108정확도 = #hits / #samples
더 높음 = 더 좋습니다
잡종종합 점수104충실도, 희소성 및 견고성의 가중 조합

표 2: 육안 검사에서 XAI에 대한 평가 지표는 네 가지 주요 범주로 그룹화됩니다.

5. 비교 분석

이 섹션에서는 MVTec AD109 (픽셀 수준 마스크가 있는 >5,000개의 결함 이미지) 및 DeepPCB110 (6개의 결함 클래스가 있는 1,500개의 PCB 이미지), CheXpert111 및 ImageNet112 와 같은 공개 데이터 세트에서 방법을 비교하고 삭제/삽입 AUC(충실도), 포인팅 게임 정확도(현지화), 안정성 점수(섭동 하에서의 견고성) 및 대기 시간(런타임 비용)과 같은 지표에 걸쳐 평가됩니다.

CAM 기반 방법(GradCAM, GradCAM++)의 경우 MVTec AD 및 DeepPCB의 결과는 GradCAM이 0.83-0.87(삽입 AUC ~0.68; <삭제 시 15% 정확도 저하), 감도(0.80 - 0.85) 및 런타임 <100ms(~39fps))의 충실도를 달성한다는 것을 보여줍니다. 국소화는 보통으로 유지됩니다(평균 IoU≈0.28 @ δ=0.25, 포인팅 정확도 86-87%). GradCAM++는 유사한 대기 시간(<120ms)과 더 높은 사용자 신뢰도(109.69/250 대 GradCAM의 경우 56.08/250)를 유지하면서 다중 인스턴스 현지화(평균 IoU = 0.38)를 개선합니다. 이러한 방법은 효율적이지만 공간적으로 거칠다47,113.

섭동 기반 방법(LIME, SHAP, RISE)의 경우 성능은 데이터 세트에 따라 다릅니다. MVTec AD에서 LIME은 로컬 충실도 R² = 0.70-0.80에 도달하지만 낮은 견고성(안정성 지수 <0.5), 3-5초/이미지의 대기 시간 및 중간 정도의 현지화(IoU = 0.25-0.35)를 보여줍니다. PCB 결함 분류에 적용된 SHAP는 강력한 인간 정렬(70-80%)으로 일관된 속성(Δ 로그 확률 = 0.2-0.3)을 달성하지만 속도가 느리고(>1초/이미지) 국소화가 약합니다(IoU≈0.02-0.03). MS-COCO를 벤치마킹하고 MVTec AD용으로 복제된 RISE는 평균 4,000-8,000개의 마스킹된 포워드 패스를 수행하여 높은 견고성(안정성 >0.7), 충실도(0.78-0.82 AUC) 및 우수한 현지화(포인팅 게임 = 62.9% 대 GradCAM의 경우 48.3%)를 제공하지만 1-2초/설명 대기 시간은 26,74,79,114입니다.

관련성 전파 방법(LRP, DeepLIFT)의 경우 DeepPCB 및 CheXpert에 대한 평가에 따르면 LRP는 0.82-0.90의 충실도, 감도 ~0.85 및 0.40-0.50의 국소화 IoU를 달성합니다. 런타임은 이미지당 100-200ms로 CAM보다 느리지만 거의 실시간 검사가 가능합니다. CheXpert 방사선과 작업에서 전문가 연구에 따르면 LRP 히트맵과 임상 관련 영역 사이에 >70%가 겹쳐져 도메인 전반에 걸쳐 해석 가능성이 입증되었습니다60.

ImageNet 및 CheXpert에서 훈련된 ViT 모델의 결과인 어텐션 기반 방법(Transformers)의 경우 원시 어텐션 맵은 0.75-0.85의 충실도를 산출하지만 0.70-0.75의 민감도와 적당한 국소화(IoU = 0.30-0.45)로 섭동 하에서 불안정합니다. 인간의 신뢰는 ~60-70%입니다. 적응된 접근 방식(주의 흐름, Transformer-LRP)은 인과 지표를 개선하여 삭제/삽입 및 포인팅 게임 점수 40,115,116에서 원시 주의력을 능가합니다.

프로토타입 및 반사실 기반 방법의 경우 MVTec AD의 평가는 ProtoPNet이 유사한 결함 사례에 의해 예측이 정당화되어 운영자의 의사 결정을 돕는 예시 기반 설명을 달성한다는 점을 강조합니다. SOM 기반 접근 방식은 2D 맵에서 결함 특징을 클러스터링하여 위상 관계를 보존합니다. PCB 결함 이미지와 CheXpert 모두에서 테스트된 반사실적 방법은 실행 가능한 추론("균열 길이가 1mm 미만이면 예측이 정상으로 전환됨")을 제공하지만 비용이 많이 드는 최적화가 필요하고 고해상도 입력으로 어려움을 겪습니다. 이러한 방법은 인간의 추론과 강력하게 일치하지만 규모는117,118,119에 미치지 못합니다.

마지막으로, 절충안과 실질적인 선택을 고려할 때 CAM은 대기 시간이 중요한 워크플로를 지배하지만 여전히 거칠습니다. LRP는 충실도와 런타임의 균형을 유지하여 픽셀 수준 분석에 탁월합니다. RISE는 가장 강력한 인과적 충실성과 현지화를 제공하지만 대기 시간은 초 수준입니다. SHAP 및 LIME은 해석 가능성을 향상시키지만 느리고 불안정합니다. 프로토타입과 반사실은 사람의 정렬을 극대화하지만 고해상도 검사에서는 확장성이 떨어집니다. 트랜스포머 기반 모델에는 원시적인 주의를 넘어서는 특수한 적응이 필요합니다. 따라서 어떤 단일 방법이 보편적으로 다른 방법보다 성능이 뛰어나지 않습니다. 대신 방법 선택은 데이터 세트, 작업, 대기 시간, 예산 및 해석 가능성 요구 사항을 반영해야 합니다. 그림 4에서 볼 수 있듯이 선택 워크플로는 이러한 벤치마크 중 세 가지(작업, 대기 시간, 해석 가능성)를 육안 검사에서 XAI 방법을 선택하기 위한 작업 지향 가이드에 통합합니다.

figure-protocol-11
그림 4: XAI 방법 채택을 위한 선택 워크플로우. 이것은 육안 검사에서 적절한 XAI 방법을 선택하는 것을 안내하는 의사 결정 순서도입니다. 워크플로는 작업 유형(분류, 세분화, 이상 탐지, 회귀), 대기 시간 제약 조건 및 설명 세부 정보를 고려하고 이를 대표적인 메서드에 연결합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

6. 토론

  1. 비교 결과
    우리의 분석에 따르면 GradCAM 및 LRP(Layer-wise Relevance Propagation)와 같은 그래디언트 기반 방법은 컨볼루션 네트워크의 결정에 가장 큰 영향을 미치는 특정 이미지 영역을 강조하는 데 탁월하여 결함 위치 파악 또는 의료 이미지 분류와 같은 작업을 위한 직관적인 도구가 됩니다. 이러한 접근 방식은 단일 역방향 패스에서 작동하기 때문에 효율적이지만 설명이 거칠고 복잡한 영역에서는 불분명해질 수 있습니다. 대조적으로, SHAP 및 LIME과 같은 모델에 구애받지 않는 특징 속성 기술은 교란된 입력으로 모델을 조사하거나 로컬 서로게이트를 피팅하여 특징 기여도에 대한 보다 정량적인 통찰력을 제공하지만 GradCAM보다 계산 비용이 더 높습니다.
    주의 기반 방법은 모델의 내부 가중치를 활용하여 모델(115) 내에서 초점 영역을 강조한다. 반면에 RISE는 수천 번의 순방향 통과가 필요하지만 유연한 현저성 맵을 생성하기 위해 입력을 마스킹하고 샘플링하는 무작위화 기반 전략을 나타냅니다. 종합하면, 이러한 기술은 특정 상황에서 탁월하지만 보편적으로 다른 기술을 능가하는 것은 없습니다26. 대신 방법 선택은 모델 아키텍처, 육안 검사 작업, 대기 시간 요구 사항 및 의사 결정자가 필요로 하는 정보 유형에 따라 달라집니다.
  2. 사례 연구
    다음은 의료 및 산업 부문 모두에서 XAI를 구현한 실제 사례 연구입니다. 의료 분야에서 흉부 X-레이 및 CT 스캔으로 훈련된 폐렴 및 COVID-19 검출 모델은 GradCAM 및 LIME로 설명되었으며, 사용자 연구의 방사선 전문의는 폐 침윤과 같은 예상 병리와 일치하는 강조 영역 때문에 지속적으로 GradCAM을 선호했습니다120. 유사하게, 두경부암에 대한 디지털 병리학에서 GradCAM 및 고해상도 CAM이 지원하는 CNN 예측은 병리학자가 임상적으로 관련이 있는 것으로 확인한 악성 세포 클러스터를 강조하여 설명이 임상적 정확성과 신뢰를 모두 강화했음을 보여주었습니다121.
    제조 부문 라인에서 XAI는 정확성과 설명 가능성 면에서 혁신적인 변화를 가져왔습니다. 주요 응용 분야 중 하나는 Xception 아키텍처를 기반으로 하는 컨볼루션 신경망을 사용하는 타이어의 X선 이미지에서 이물질 감지입니다. GradCAM(Gradient-weighted Class Activation Mapping)을 포함함으로써 시스템은 99% 이상의 분류 정확도를 달성하고 예측을 담당하는 이미지 내의 정확한 영역을 나타내는 히트맵을 생성했습니다. 이러한 시각적 설명을 통해 QA 엔지니어는 모델의 관심이 관련 없는 아티팩트가 아닌 타이어의 구조적 지지대 내의 합법적인 이상 현상에 있는지 확인할 수 있었고, 이를 통해 신뢰를 크게 향상시키고 고위험 생산 환경에서의 배포를 용이하게 할 수 있었습니다48.
    전자 산업에서 SolderNet 접근 방식은 XAI를 픽셀 수준 결함 검사에 통합하는 것을 보여줍니다. CNN 기반 방법은 높은 정확도와 설명 가능성이 필수인 인쇄 회로 기판의 솔더 조인트 검사를 위해 개발되었습니다. GradCAM과 LRP(Layer-wise Relevance Propagation)를 적용하여 이 방법은 특정 결함 분류를 담당하는 픽셀을 강조하는 현저성 맵을 추출했습니다. 이러한 설명 가능성을 통해 운영자는 참양성과 거짓 긍정을 구별하고 이전에는 블랙박스 출력이었을 고장 모드에 대한 통찰력을 도출할 수 있었습니다39. 이러한 사례는 XAI의 설명이 전문가의 추론과 일치할 때 가치가 있지만 설명이 불안정하거나 거칠거나 계산적으로 비실용적일 때 제대로 사용되지 않는다는 것을 보여줍니다.
  3. 현재 근거의 한계
    이러한 발전에도 불구하고 몇 가지 제한 사항이 남아 있습니다. 첫째, 대부분의 실증적 연구는 산업 검사를 위한 MVTec AD 또는 의료 영상을 위한 VinDR-CXR122 와 같은 공개 데이터 세트에 의존하므로 공장이나 병원의 실제 환경을 완전히 나타내지 못할 수 있습니다. 둘째, 평가는 여전히 단편화되어 있습니다: 충실도, 견고성 및 해석 가능성은 연구 전반에 걸쳐 일관되지 않게 측정되며, 종종 임시 정의와 표준화된 임계값 없이 측정됩니다. 셋째, 많은 작품이 인간의 검증이 부족합니다. 삭제 AUC, 포인팅 게임 정확도 또는 현지화 IoU와 같은 지표는 정량적 결과를 제공하지만 이러한 설명이 실제로 사용자 의사 결정을 개선한다는 것을 확인하지는 않습니다. 마지막으로, 제조 분야의 AI 기반 품질 보증 연구 중 ~8%만이 XAI를 워크플로우에 통합합니다123. 이는 이 통계가 부문 및 방법론에 따라 다르고 정확하지 않을 수 있음에도 불구하고 실제 채택 격차를 강조합니다.
  4. 실무자를 위한 실질적인 시사점
    실무자에게는 몇 가지 의미가 나타납니다. 그래디언트 기반 방법은 짧은 대기 시간(이미지당 ~100ms)으로 설명을 제공하고 배포하기 쉽기 때문에 실시간 검사 작업에 가장 실용적인 선택으로 남아 있습니다. SHAP 또는 RISE와 같은 섭동 기반 접근 방식은 그래디언트 기반 방법보다 지연 시간이 더 길지만 속도보다 정확도가 우선하는 의료와 같이 세분화된 속성이 지연 시간을 능가하는 도메인에 더 적합합니다. 주의 기반 접근 방식은 트랜스포머 아키텍처에 유용하지만 원시 주의가 항상 명확한 설명을 제공하는 것은 아니기 때문에 신중한 해석이 필요합니다. 기술적 절충 외에도 성공적인 채택은 통합, 사용자 교육 및 해석 가능성의 임상적 가치 입증에 크게 좌우됩니다. 사례 연구에서 알 수 있듯이 설명은 도메인 전문 지식과 명확하게 일치하고 실무자가 AI 예측을 검증하거나 이의를 제기하는 데 도움이 될 때만 가치를 얻습니다.
  5. 향후 연구 방향
    향후 연구에서는 몇 가지 실행 가능한 방향에 우선순위를 두어야 합니다.
    평가 프로토콜의 표준화: 삭제/삽입 AUC, 포인팅 게임 정확도, 안정성 지수 및 대기 시간을 포함한 주요 지표에 대한 재현 가능한 보고 지침을 설정합니다.
    도메인별 벤치마크 데이터 세트: 좁은 공개 데이터 세트에 대한 과도한 의존도를 줄이기 위해 실측 주석이 포함된 산업 및 의료 육안 검사를 위해 선별된 데이터 세트를 개발합니다.
    인간 중심 검증: XAI 설명이 프록시 지표를 넘어 의사 결정 품질, 사용자 신뢰 및 인간-AI 협업을 개선하는지 여부를 측정하는 연구 확장
    비용 편익 분석: XAI를 육안 검사 워크플로에 통합하는 비즈니스 및 임상 가치를 정량화하기 위해 엄격한 배포 연구를 수행합니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결론

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 검토는 육안 검사에서 XAI에 대한 75건의 연구를 조사하여 사후 및 내재적 방법의 분류와 벤치마크 기반 비교 분석을 도출했습니다. 연구 결과는 단일 방법이 보편적으로 다른 방법보다 성능이 우수하지 않음을 확인시켜 줍니다: GradCAM 및 LRP와 같은 그래디언트 기반 접근 방식은 실시간 결함 위치 파악에 효율적이지만 복잡한 영역에서는 설명이 거칠 수 있습니다. SHAP, LIME 및 RISE와 같은 섭동 기반 방법은 더 미세한 디테일과 강력한 충실도를 제공하지만 높은 대기 시간과 계산 비용으로 인해 실제로는 종종 실패합니다. 주의 기반 방법은 트랜스포머 내부를 활용하지만 원시 주의가 인과적 추론을 반영하지 않을 때 신뢰할 수 없습니다. LRP는 자세한 설명을 생성하지만 여전히 CAM 기반 접근 방식보다 비용이 많이 듭니다. 이러한 한계는 XAI의 효율성이 방법이 적용되는 상황에 크게 의존한다는 것을 분명히 보여줍니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 이 저작물의 출판과 관련하여 이해 상충이 없음을 선언합니다.

감사의 글

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 이 작업이 공공, 상업 또는 비영리 부문의 자금 지원 기관으로부터 특정 보조금을 받지 않았음을 선언합니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

참고문헌

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Alzarooni, A., et al. Anomaly detection for industrial applications, its challenges, solutions, and future directions: a review. IEEE Sens J. XX. (1), 1(2025).
  2. Hardan, F., Almusawi, A. R. J. Developing an automated vision system for maintaing social distancing to cure the pandemic. Al-Khwarizmi Eng J. 18 (1), 38-50 (2022).
  3. Terasaki, N., Fujio, Y. Mechanoluminescent visualization of crack propagation for joint evaluation. J Vis Exp. (191), e64118(2023).
  4. Al-Hamadani, S., Al-Darraji, I. Warehouse in Industry 4.0 based drone, computer vision, and artificial intelligence technologies: a literature review. Proc Eng Sci. 7 (1), 517-526 (2025).
  5. Al-Jubori, H. N., Izzat, A. D., Jerbi, H. Defect detection using thermography camera techniques: a review. Al-Khwarizmi Eng J. 20 (4), 70-88 (2024).
  6. Al-Hamadani, S., Al-Darraji, I., Jerbi, H. Improving barcode vision scanning process using a drone-based tracking PID controller for warehouse in Industry 4.0. Al-Khwarizmi Eng J. 21 (2), 72-92 (2025).
  7. Al-Jubori, H. N., Al-Darraji, I. Tools and process of defect detection in automated manufacturing systems. EAI Endorsed Trans Scalable Inf Syst. 10 (6), e4000(2023).
  8. Alaa, T., et al. Automated detection of defects on metal surfaces using vision transformers. , Published online October 6, 2024. Accessed August 1 (2025).
  9. Moosavi, S., et al. Explainable AI in manufacturing and industrial cyber-physical systems: a survey. Electronics. 13 (17), 3497(2024).
  10. Nauta, M., et al. From anecdotal evidence to quantitative evaluation methods: a systematic review on evaluating explainable AI. ACM Comput Surv. 55 (13), 1-42 (2023).
  11. Cheng, Z., et al. A comprehensive review of explainable artificial intelligence (XAI) in computer vision. Sensors. 25 (13), 4166(2025).
  12. Barredo Arrieta, A., et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 58, 82-115 (2020).
  13. Kouchaki, S., et al. Survey of explainable AI techniques in healthcare. Sensors. 23 (2), 634(2023).
  14. Laugel, T., et al. The dangers of post-hoc interpretability: unjustified counterfactual explanations. Proc Int Joint Conf Artif Intell. , 2801-2807 (2019).
  15. Slack, D., et al. Reliable post hoc explanations: modeling uncertainty in explainability. Adv Neural Inf Process Syst. 33, 9391-9404 (2020).
  16. Cesarini, M., et al. Explainable AI for text classification: lessons from a comprehensive evaluation of post hoc methods. Cognit Comput. 16 (6), 3077-3095 (2024).
  17. Mohamed Musthafa, M., et al. Enhancing brain tumor detection in MRI images through explainable AI using Grad-CAM with ResNet-50. BMC Med Imaging. 24 (1), 1-19 (2024).
  18. Sundararajan, M., Taly, A., Yan, Q. Axiomatic attribution for deep networks. Proc Int Conf Mach Learn. 70, 5109-5118 (2017).
  19. Shrikumar, A., Greenside, P., Kundaje, A. Learning important features through propagating activation differences. Proc Int Conf Mach Learn. 70, 4844-4866 (2017).
  20. Bassi, P. R. A. S., et al. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun. 15, 44371(2024).
  21. Knab, P., et al. Which LIME should I trust? Concepts, challenges, and solutions. arXiv preprint. , (2025).
  22. Garreau, D., von Luxburg, U. Explaining the explainer: a first theoretical analysis of LIME. Proc Mach Learn Res. 108, 1287-1296 (2020).
  23. Qian, J., et al. ELIME: exact local interpretable model-agnostic explanation. Eur J Artif Intell. , (2024).
  24. Salih, A. M., et al. A perspective on explainable artificial intelligence methods:SHAP and LIME . Adv Intell Syst. , (2024).
  25. Hermosilla, P., et al. Explainable AI for forensic analysis: a comparative study of SHAP and LIME in intrusion detection models. Appl Sci. 15 (13), 7329(2025).
  26. Petsiuk, V., Das, A., Saenko, K. RISE: randomized input sampling for explanation of black-box models. arXiv preprint. , (2018).
  27. Dandl, S., et al. Multi-objective counterfactual explanations. Lect Notes Comput Sci. 12269, 448-469 (2020).
  28. Alvarez-Melis, D., Jaakkola, T. S. Towards robust interpretability with self-explaining neural networks. Adv Neural Inf Process Syst. 31, 7775-7784 (2018).
  29. Donnelly, J., Barnett, A. J., Chen, C. Deformable ProtoPNet: an interpretable image classifier using deformable prototypes. Proc IEEE Conf Comput Vis Pattern Recognit. , 10255-10265 (2022).
  30. Ross, A. S., Hughes, M. C., Doshi-Velez, F. Right for the right reasons: training differentiable models by constraining their explanations. Proc Int Joint Conf Artif Intell. , 2662-2670 (2017).
  31. Schramowski, P., et al. Making deep neural networks right for the right scientific reasons by interacting with their explanations. Nat Mach Intell. 2 (8), 476-486 (2020).
  32. Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat Mach Intell. 1 (5), 206-215 (2019).
  33. Letham, B., et al. Interpretable classifiers using rules and Bayesian analysis: building a better stroke prediction model. Ann Appl Stat. 9 (3), 1350-1371 (2015).
  34. Barnett, A. J., et al. Interpretable mammographic image classification using case-based reasoning and deep learning. arXiv preprint. , (2021).
  35. Narayanan, A., Bergen, K. J. Prototype-based methods in explainable AI and emerging opportunities in the geosciences. arXiv preprint. , (2024).
  36. Chen, C., et al. This looks like that: deep learning for interpretable image recognition. Adv Neural Inf Process Syst. 32, 8928-8939 (2019).
  37. Koh, P. W., et al. Concept bottleneck models. Proc Int Conf Mach Learn. 119, 5294-5304 (2020).
  38. Burgess, C. P., et al. Understanding disentangling in β-VAE. arXiv preprint. , (2018).
  39. Gunraj, H., et al. SolderNet: towards trustworthy visual inspection of solder joints in electronics manufacturing using explainable artificial intelligence. Proc AAAI Conf Artif Intell. 37, 15668-15674 (2023).
  40. Dosovitskiy, A., et al. An image is worth 16×16 words: transformers for image recognition at scale. arXiv preprint. , (2020).
  41. Khan, S., et al. Transformers in vision: a survey. ACM Comput Surv. 54 (10), 1-41 (2021).
  42. Yu, L., et al. eX-ViT: a novel explainable vision transformer for weakly supervised semantic segmentation. Pattern Recognit. 142, 109666(2023).
  43. Alber, M., et al. Evaluating vision transformer models for visual quality control in industrial manufacturing. Lect Notes Comput Sci. Bifet, A., et al. 14950, 1-15 (2024).
  44. Stassin, S., et al. Explainability and evaluation of vision transformers: an in-depth experimental study. Electronics. 13 (1), 175(2024).
  45. Zhai, Y., et al. A lightweight transformer with linear self-attention for defect recognition. Electron Lett. 60 (17), e13292(2024).
  46. Dhore, V., et al. Enhancing explainable AI: a hybrid approach combining Grad-CAM and LRP for CNN interpretability. arXiv preprint. , (2024).
  47. Chattopadhay, A., et al. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks. Proc IEEE Winter Conf Appl Comput Vis. , 839-847 (2018).
  48. Saleh, R. A. A., et al. Advancing tire safety: explainable artificial intelligence-powered foreign object defect detection with Xception networks and Grad-CAM interpretation. Appl Sci. 14 (10), 4267(2024).
  49. Meister, S., et al. Investigations on explainable artificial intelligence methods for the deep learning classification of fibre layup defect in the automated composite manufacturing. Compos Part B Eng. 224, 109160(2021).
  50. Luo, X., Alzahrani, M. Automated tomato defect detection using CNN feature fusion for enhanced classification. Processes. 13 (1), 115(2025).
  51. Rahimunnisa, K. Textile fabric defect detection. J Innov Image Process. 4 (3), 165-172 (2022).
  52. Shin, H., et al. Visualization for explanation of deep learning-based defect detection model using class activation map. Comput Mater Contin. 75 (3), 4753-4766 (2023).
  53. Yue, H., et al. ASOD: attention-based salient object detector for strip steel surface defects. Electronics. 14 (5), 831(2025).
  54. Saleh, R. A. A., Ertunç, H. M. Explainable attention-based fused convolutional neural network (XAFCNN) for tire defect detection: an industrial case study. Eng Res Express. 6 (1), 015027(2024).
  55. Leem, S., Seo, H. Attention guided CAM: visual explanations of vision transformer guided by self-attention. Proc AAAI Conf Artif Intell. 38 (4), 2956-2964 (2024).
  56. Ibrahim, R., Shafiq, M. O. Augmented Score-CAM: high-resolution visual interpretations for deep neural networks. Knowl Based Syst. 252, 109287(2022).
  57. Clement, T., et al. XAI-enhanced semantic segmentation models for visual quality inspection. Proc IEEE Int Conf Consumer Electron. , 1-4 (2024).
  58. Riedel, H., et al. Automated quality control of vacuum insulated glazing by convolutional neural network image classification. Autom Constr. 135, 104144(2022).
  59. Böhle, M., et al. Layer-wise relevance propagation for explaining deep neural network decisions in MRI-based Alzheimer's disease classification. Front Aging Neurosci. 10, 194(2019).
  60. Bach, S., et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. PLoS One. 10 (7), e0130140(2015).
  61. Dieter, T. R., Zisgen, H. Evaluation of the explanatory power of layer-wise relevance propagation using adversarial examples. Neural Process Lett. 55 (7), 8531-8550 (2023).
  62. Hoefler, M. A., et al. XAI-guided insulator anomaly detection for imbalanced datasets. arXiv. , (2024).
  63. Kares, F., et al. What makes for a good saliency map? Comparing strategies for evaluating saliency maps in explainable AI (XAI). arXiv preprint. , (2025).
  64. Yona, G., Greenfeld, D. Revisiting sanity checks for saliency maps. arXiv preprint. , (2021).
  65. Zeiler, M. D., Fergus, R. Visualizing and understanding convolutional networks. Eur Conf Comput Vis. 8689, 818-833 (2014).
  66. Xu-Darme, R., et al. On the stability, correctness and plausibility of visual explanation methods based on feature importance. ACM Int Conf Proc Ser. , 119-125 (2023).
  67. Ortigossa, E. S., et al. T-Explainer: a model-agnostic explainability framework based on gradients. arXiv preprint. , (2024).
  68. Singh, M., et al. Attributional robustness training using input-gradient spatial alignment. Lect Notes Comput Sci. 12372, 515-533 (2019).
  69. Cerekci, E., et al. Quantitative evaluation of saliency-based explainable artificial intelligence methods in deep learning-based mammogram analysis. Eur J Radiol. 173, 111356(2024).
  70. Meister, S., et al. Cross-evaluation of a parallel operating SVM-CNN classifier for reliable internal decision-making processes in composite inspection. J Manuf Syst. 60, 620-639 (2021).
  71. Bitar, A., et al. Gradient-based feature-attribution explainability methods for spiking neural networks. Front Neurosci. 17, 1153999(2023).
  72. Qiang, Y., et al. Interpretability-aware vision transformer. arXiv preprint. , (2023).
  73. Bousselham, W., et al. LeGrad: an explainability method for vision transformers via feature formation sensitivity. arXiv preprint. , (2025).
  74. Lundberg, S. M., Lee, S. I. A unified approach to interpreting model predictions. Adv Neural Inf Process Syst. 30, (2017).
  75. Khan, F. S., et al. Model-agnostic explainable artificial intelligence methods in finance: a systematic review, recent developments, limitations, challenges and future directions. Artif Intell Rev. 58, 1-65 (2025).
  76. Nazim, S., et al. Advancing malware imagery classification with explainable deep learning: a state-of-the-art approach using SHAP LIME and Grad-CAM. PLoS One. 20 (5), e0318542(2025).
  77. Solís-Martín, D., et al. On the soundness of XAI in prognostics and health management (PHM). Information. 14 (5), 256(2023).
  78. Biecek, P., Burzykowski, T. Local interpretable model-agnostic explanations (LIME). In:Explanatory Model Analysis. , 107-123 (2021).
  79. Ribeiro, M. T., Singh, S., Guestrin, C. 34;Why should I trust you?" Explaining the predictions of any classifier. Proc ACM SIGKDD Int Conf Knowl Discov Data Min. , 1135-1144 (2016).
  80. Tahir, H. A., et al. A novel hybrid XAI solution for autonomous vehicles: real-time interpretability through LIME-SHAP integration. Sensors. 24 (21), 6776(2024).
  81. Goldman, C. V., et al. Explaining learning models in manufacturing processes. Procedia Comput Sci. 180, 259-268 (2021).
  82. Emmanouilidis, C., Rica, E. Visual quality control via explainable AI and the case of human in the AI loop. In: Lect Notes Mech Eng. , 252-260 (2023).
  83. Huang, M., et al. An interpretable approach using hybrid graph networks and explainable AI for intelligent diagnosis recommendations in chronic disease care. Biomed Signal Process Control. 91, 105913(2024).
  84. Dardouillet, P., et al. Explainability of image semantic segmentation through SHAP values. Data. 7 (8), 255(2022).
  85. Saifullah, S., et al. The privacy-explainability trade-off: unraveling the impacts of differential privacy and federated learning on attribution methods. Front Artif Intell. 7, 1236947(2024).
  86. Velmurugan, M., et al. Developing guidelines for functionally-grounded evaluation of explainable artificial intelligence using tabular data. Eng Appl Artif Intell. 141, 109772(2025).
  87. Wells, L., Bednarz, T. Explainable AI and reinforcement learning-a systematic review of current approaches and trends. Front Artif Intell. 4, 550030(2021).
  88. Rožanec, J. M., et al. Adaptive explainable artificial intelligence for visual defect inspection. Procedia Comput Sci. 232, 3034-3043 (2024).
  89. Nguyen, H. T. T., et al. XEdgeAI: a human-centered industrial inspection framework with data-centric explainable edge AI approach. Inf Fusion. 116, 102782(2025).
  90. Han, C., et al. Visual coating inspection framework via self-labeling and multi-stage deep learning strategies. J Intell Manuf. 35, 1-18 (2024).
  91. Kotsiopoulos, T., et al. Revolutionizing defect recognition in hard metal industry through AI explainability, human-in-the-loop approaches and cognitive mechanisms. Expert Syst Appl. 255, 124839(2024).
  92. Forcher, B., et al. Evaluation of explainable AI methods for classification tasks in visual inspection. Proc XAI Workshop (Late-Breaking Work, Demos, Doctoral Consortium). , 77-82 (2023).
  93. Miller, T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell. 267, 1-38 (2019).
  94. Jacovi, A., Goldberg, Y. Towards faithfully interpretable NLP systems: how should we define and evaluate faithfulness. Proc Annu Meet Assoc Comput Linguist. 58, 4198-4205 (2020).
  95. Adebayo, J., et al. Sanity checks for saliency maps. Adv Neural Inf Process Syst. 31, 9505-9515 (2018).
  96. Doshi-Velez, F., Kim, B. Considerations for evaluation and generalization in interpretable machine learning. Proc Explainable and Interpretable Models in Computer Vision and Machine Learning. , 3-17 (2018).
  97. Lage, I., et al. An evaluation of the human-interpretability of explanation. arXiv preprint. , (2019).
  98. Theunissen, M., Browning, J. Putting explainable AI in context: institutional explanations for medical AI. Ethics Inf Technol. 24 (2), 1-10 (2022).
  99. Hoffman, R. R., et al. Measures for explainable AI: explanation goodness, user satisfaction, mental models, curiosity, trust, and human-AI performance. Front Comput Sci. 5, 1096257(2023).
  100. Hedström, A., et al. Quantus: an explainable AI toolkit for responsible evaluation of neural network explanations and beyond. J Mach Learn Res. 24, 1-11 (2023).
  101. Mohseni, S., et al. A multidisciplinary survey and framework for design and evaluation of explainable AI systems. ACM Trans Interact Intell Syst. 11 (3-4), 1-45 (2021).
  102. Finzel, B., et al. Domain-specific evaluation of visual explanations for application-grounded facial expression recognition. Lect Notes Comput Sci. 14065, 31-44 (2023).
  103. Yeh, C. K., et al. On the (in)fidelity and sensitivity for explanations. Adv Neural Inf Process Syst. 32, 10967-10978 (2019).
  104. Better metrics for evaluating explainable artificial intelligence. Rosenfeld, A. Proc Int Conf Autonomous Agents Multiagent Syst, , 45-53 (2021).
  105. Evaluation metrics for XAI: a review, taxonomy, and practical applications. Kadir, M. A., et al. Proc IEEE Int Conf Intell Eng Syst, , 111-124 (2023).
  106. Sankaran, K. Data science principles for interpretable and explainable AI. J Data Sci. 22, 1-27 (2024).
  107. Alvarez-Melis, D., Jaakkola, T. S. On the robustness of interpretability methods. arXiv preprint. , (2018).
  108. Zhang, Y., et al. Saliency-Bench: a comprehensive benchmark for evaluating visual explanations. arXiv preprint. , (2025).
  109. Bergmann, P., et al. The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection. Int J Comput Vis. 129 (4), 1038-1059 (2021).
  110. Tang, S., et al. Online PCB defect detector on a new PCB defect dataset. arXiv preprint. , (2019).
  111. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. Irvin, J., et al. Proc AAAI Conf Artif Intell, 33, 590-597 (2019).
  112. ImageNet: a large-scale hierarchical image database. Deng, J., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 248-255 (2009).
  113. Selvaraju, R. R., et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 128 (2), 336-359 (2020).
  114. Black-box explanation of object detectors via saliency maps. Petsiuk, V., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 11438-11447 (2020).
  115. Attention is not explanation. Jain, S., Wallace, B. C. Proc Conf North Am Chapter Assoc Comput Linguist, , 3543-3556 (2019).
  116. Transformer interpretability beyond attention visualization. Chefer, H., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 782-791 (2021).
  117. Wachter, S., et al. Counterfactual explanations without opening the black box: automated decisions and the GDPR. SSRN Electron J. , (2017).
  118. Deep learning for case-based reasoning through prototypes: a neural network that explains its predictions. Li, O., et al. Proc AAAI Conf Artif Intell, 32, 3530-3537 (2018).
  119. Counterfactuals in explainable artificial intelligence (XAI): evidence from human reasoning. Byrne, R. M. J. Proc Int Joint Conf Artif Intell, , 6276-6282 (2019).
  120. Ihongbe, I. E., et al. Evaluating explainable artificial intelligence (XAI) techniques in chest radiology imaging through a human-centered lens. PLoS One. 19 (10), e0308758(2024).
  121. Dörrich, M., et al. Explainable convolutional neural networks for assessing head and neck cancer histopathology. Diagn Pathol. 18 (1), 121(2023).
  122. Nguyen, H. Q., et al. VinDr-CXR: an open dataset of chest X-rays with radiologist's annotations. Sci Data. 9, 429(2022).
  123. Lee, D. J., et al. A systematic literature review on artificial intelligence and explainable artificial intelligence for visual quality assurance in manufacturing. Electronics. 12 (22), 4572(2023).

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

이 JoVE 논문의 텍스트 또는 그림 재사용 허가 요청

허가 요청

태그

XAI

관련 논문