Artykuł przeglądowy

Wytłumaczalna sztuczna inteligencja do kontroli wizualnej: analiza porównawcza i przegląd

DOI:

10.3791/69440

⸱

10 października 2025

 , 
1Al-Khwarizmi College of Engineering, Automated Manufacturing Department, University of Baghdad

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W niniejszym przeglądzie dokonano syntezy metod wytłumaczalnej sztucznej inteligencji (XAI) do kontroli wizualnej w dziedzinach przemysłowych i medycznych. W wyniku wyszukiwania kierowanego przez PRISMA zidentyfikowano 75 badań, które dostarczyły informacji na temat taksonomii specyficznej dla danej dziedziny i analizy porównawczej przy użyciu ustandaryzowanych wskaźników. Zapewniamy popartą dowodami taksonomię i zorientowany na praktyków przepływ pracy w celu wyboru narzędzi.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wytłumaczalne techniki sztucznej inteligencji (XAI) zapewniają przejrzystość i zaufanie do zautomatyzowanych systemów kontroli wizualnej, sprawiając, że modele uczenia maszynowego typu "skrzynka" są zrozumiałe. Chociaż XAI jest szeroko stosowany, wcześniejsze przeglądy nie uwzględniały konkretnych wymagań związanych z zadaniami inspekcji przemysłowej i medycznej. W niniejszym artykule dokonano przeglądu badań wykorzystujących techniki XAI do kontroli wizualnej w różnych dziedzinach przemysłu i medycyny. W IEEE Xplore, Scopus, PubMed, arXiv i Web of Science przeprowadzono systematyczne wyszukiwanie badań opublikowanych w latach 2014-2025, z kryteriami włączenia wymagającymi zastosowania XAI w zadaniach inspekcyjnych z wykorzystaniem publicznych lub specyficznych dla danej dziedziny zbiorów danych. Z początkowej puli badań 75 zostało włączonych i podzielonych na post-hoc i wewnętrzne, które następnie oceniono pod kątem wierności, solidności, złożoności i dokładności lokalizacji. Wyniki pokazują, że metody oparte na gradientach i propagacjach oferują skuteczne wyjaśnienia wizualne odpowiednie do inspekcji w czasie zbliżonym do rzeczywistego, choć z przybliżoną lokalizacją, podczas gdy metody oparte na perturbacjach i modelach zastępczych zapewniają bardziej szczegółowe atrybucje przy wyższych kosztach obliczeniowych, ale przy zmniejszonej niezawodności. Ponadto sieci oparte na prototypach i architektury samouwagi ilustrują kompromisy między interpretowalnością a wydajnością predykcyjną. Wybór najskuteczniejszej metody XAI nie jest uniwersalny; Zależy to od potrzeb w zakresie zestawu danych, opóźnienia i możliwości interpretacji. Niniejszy przegląd wprowadza ujednoliconą taksonomię metod XAI do kontroli wizualnej, porównuje różne podejścia zarówno w dziedzinach przemysłowych, jak i medycznych przy użyciu ustandaryzowanych wskaźników oraz proponuje przepływ pracy oparty na zadaniach, aby pomóc lekarzom w wyborze optymalnej metody. W porównaniu z wcześniejszymi przeglądami, niniejsza praca oferuje międzydomenową analizę porównawczą opartą na ilościowych wzorcach porównawczych i nakreśla kierunki standaryzowanej oceny i walidacji zorientowanej na użytkownika.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W branżach takich jak produkcja, motoryzacja, opakowania żywności, farmaceutyki i opieka zdrowotna niezbędne jest sprawdzenie, czy produkty i systemy działają prawidłowo i bezpiecznie. Narzędzia do automatyzacji i uczenia maszynowego, które wykraczają poza tradycyjną kontrolę wizualną wykonywaną przez operatorów lub podstawowe systemy oparte na kamerach, poprawiają dokładność, szybkość i spójnośćprodukcji 1. Inspekcja oparta na sztucznej inteligencji umożliwia monitorowanie w czasierzeczywistym2 i wykrywanie defektów w środowiskach o wysokiej przepustowości3, zmniejszając liczbę błędów ludzkich i koszty operacyjne4. Wykorzystanie sztucznej inteligencji, w szczególności dzięki postępom w uczeniu maszynowym (ML) i głębokim uczeniu (DL), umożliwiło autonomiczne systemy, które wykrywają defekty5, klasyfikują obiekty i identyfikują złożone wzorce wizualne6. Ostatnio konwolucyjne sieci neuronowe (CNNs)7, sieci rekurencyjne i transformatory wizyjne (ViT) wyprzedziły systemy oparte na regułach w zadaniach od wykrywania wad powierzchniowych po lokalizację anomalii w obrazowaniu medycznym. Inspekcja przeniosła się z procesów opartych na regułach na modele oparte na danych wytrenowane na dużych zestawach danych8.

Wiele modeli sztucznej inteligencji funkcjonuje jako "czarne skrzynki", co oznacza, że nie ma wglądu w to, w jaki sposób te modele podejmują decyzje. Ten brak przejrzystości wiąże się z ryzykiem. Na przykład w branży produkcyjnej błędne prognozy mogą prowadzić do zwiększenia ilości odpadów, przeróbek, wycofywania produktów z rynku i niezadowolenia klientów. W obrazowaniu medycznym błędne klasyfikacje są bardziej krytyczne, ponieważ mogą opóźnić diagnozę lub zagrozić planom leczenia. Nawet twórcy tych modeli często nie są w stanie w pełni wyjaśnić ich wyników, co ogranicza zaufanie i adopcję.

W tym miejscu wytłumaczalna sztuczna inteligencja (XAI) staje się niezbędna. XAI to grupa metod i narzędzi, które mają na celu uczynienie decyzji modelu uczenia maszynowego interpretowalnymi przez ludzi9. Jego celem jest przekształcenie predyktorów z czarnej skrzynki w przezroczyste systemy "szklanych skrzynek" poprzez dostarczanie czytelnych dla człowieka uzasadnień ich wyników. W praktyce system kontroli oparty na XAI wykraczałby poza wykrywanie wad, nie tylko oznaczając część jako wadliwą, ale także wyjaśniając, dlaczego została oznaczona.

Pomimo rosnącej ilości literatury, istniejące badania dotyczące XAI w widzeniu komputerowym mają nadal ograniczony zakres. Wiele z nich koncentruje się wąsko na obrazowaniu medycznym lub inspekcji przemysłowej, oferując przydatne taksonomie, ale opierając się przede wszystkim na porównaniach jakościowych bez ustandaryzowanych punktów odniesienia. Szersze przeglądy, takie jak Nauta i wsp.10, zapewniają przeglądy niezależne od domeny, ale nie oferują ram selekcji zorientowanych na praktyków. Nawet najbardziej kompleksowe badanie widzenia komputerowego przeprowadzone do tej pory przez Cheng i wsp.11 rozwija taksonomię i omawia wskaźniki, takie jak wierność i dokładność lokalizacji, ale pozostaje ogólne we wszystkich zadaniach wizyjnych i nie dotyczy konkretnie inspekcji wizualnej, wdrożenia o wysokiej przepustowości lub walidacji człowieka w pętli. Podobnie, przemysłowe przeglądy XAI dla prognostyki i zarządzania aktywami przyjmują ramy PRISMA, ale koncentrują się na prognozowaniu i zarządzaniu zdrowiem (PHM), a nie na zadaniach kontroli wizualnej.

Aby zaradzić tym lukom, w niniejszym przeglądzie wniesiono następujące elementy:

Taksonomia systematyczna: Prowadzony przez PRISMA przegląd 75 badań dotyczących przemysłowej i medycznej kontroli wizualnej.

Analiza porównawcza: Analiza porównawcza wielu metod XAI (GradCAM, LRP, SHAP, LIME i RISE) na publicznych zestawach danych kontroli wizualnej (np. MVTec AD, PCB) ze znormalizowanymi wskaźnikami, w tym AUC usuwania/wstawiania, dokładnością gry, stabilnością i opóźnieniem.

Ramy metryk oceny: Formalne definicje i równania dotyczące wierności, solidności, interpretowalności i miar specyficznych dla zadania stosowanych w ocenie metod XAI.

Praktyczne wskazówki: Studia przypadków i zorientowany na praktyków przepływ pracy selekcji łączący typ zadania, opóźnienie i potrzeby w zakresie wyjaśnień z określonymi metodami.

Łącznie wkład ten stanowi najbardziej specyficzną dla danej dziedziny, opartą na testach porównawczych syntezę XAI do kontroli wizualnej, skierowaną zarówno do badaczy, jak i praktyków poszukujących wiarygodnych wskazówek.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przegląd i perspektywa

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

2. Struktura XAI

Większość najnowocześniejszych modeli sztucznej inteligencji – zwłaszcza głębokich sieci neuronowych – jest często traktowana jako czarne skrzynki; Wgląd w to, w jaki sposób podejmują decyzje, jest niewielki12. Ten brak przejrzystości stanowi barierę dla zaufania i wytłumaczalności w różnych zastosowaniach. W rezultacie XAI stał się nieodzowną częścią godnej zaufania sztucznej inteligencji. Żadne pojedyncze podejście nie pasuje do wszystkich scenariuszy: niektóre metody zakładają pełny dostęp do elementów wewnętrznych modelu, podczas gdy inne traktują model jako niezmienną czarną skrzynkę; Niektóre z nich nadają priorytet lokalnym wyjaśnieniom poszczególnych przewidywań, podczas gdy inne zapewniają globalny wgląd w zachowanie modelu. Jak pokazano na rysunku 1, rozważania te doprowadziły do powstania dwóch szerokich kategorii technik XAI w zależności od tego, kiedy wprowadzana jest wytłumaczalność: metody wyjaśniania post hoc i metody interpretacji wewnętrznej13. Metody post hoc są dalej kategoryzowane jako niezależne od modelu i specyficzne dla modelu14.

figure-protocol-1
Rysunek 1: Struktura XAI do kontroli wizualnej. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

  1. Metody wyjaśniania post-hoc
    Metody post-hoc generują wyjaśnienia po wytrenowaniu modelu, bez zmiany jego architektury lub parametrów15. Podejścia te są popularne, ponieważ pozwalają praktykom korzystać z modeli o wysokiej wydajności, a następnie retrospektywnie wyjaśniać ich wyniki16. Ponieważ jednak model bazowy pozostaje niezmieniony, wyjaśnienia post hoc muszą przybliżać lub wnioskować o rozumowaniu modelu, co może wprowadzać błąd aproksymacji i niestabilność17. W poniższych sekcjach wyjaśniono zarówno metody specyficzne dla modelu, jak i metody agnostyczne.
    1. Specyficzne dla modelu
      Metody te wykorzystują wiedzę o strukturze modelu lub mechanizmie trenowania w celu zapewnienia wyjaśnień dostosowanych do tego modelu. Doskonałym przykładem jest atrybucja oparta na gradiencie dla głębokich sieci neuronowych. Metody takie jak GradCAM (Gradient-weighted Class Activation Mapping) wykorzystują wewnętrzne gradienty wytrenowanych CNN do tworzenia wizualnych "map cieplnych" podkreślających obszary obrazu wejściowego najważniejsze dla danej prognozy17. GradCAM oblicza gradient wyniku klasy docelowej w odniesieniu do map obiektów w końcowej warstwie konwolucyjnej i rzutuje te gradienty na obraz, uzyskując mapę lokalizacji dyskryminującą klasę. Inne metody propagacji gradientu uogólniają się na różne architektury sieciowe. Zintegrowane gradienty (IG)18 kumulują gradienty wzdłuż ścieżki od danych wejściowych linii bazowej (np. pustego obrazu) do rzeczywistych danych wejściowych i spełniają pożądane aksjomaty przypisywania cech. DeepLIFT19 w podobny sposób propaguje różnice od aktywacji referencyjnej przez każdą warstwę, aby oszacować wkład każdej cechy wejściowej. Propagacja istotności warstwy (LRP) wstecznie propaguje wynik predykcji warstwa po warstwie, rozdzielając "istotność" do każdego piksela wejściowegolub cechy 20. Podsumowując, metody specyficzne dla modelu wykorzystują wewnętrzne gradienty, aktywacje lub uwagę, aby uzyskać wyjaśnienia ściśle powiązane ze strukturą modelu.
    2. Niezależny od modelu
      Z kolei metody niezależne od modelu traktują model jako czarną skrzynkę, której można wysyłać zapytania o dane wyjściowe. Techniki te przyjmują minimalne założenia, zwykle wymagając jedynie uzyskania przewidywania modelu dla zaburzonych danych wejściowych. Przykładem może być LIME (Local Interpretable Model-Agnostic Explanations), który wykorzystuje prosty, możliwy do interpretacji model (taki jak rzadki model liniowy lub drzewo decyzyjne) do naśladowania zachowania złożonego modelu w pobliżu danego danych wejściowych21. Dla konkretnej prognozy LIME generuje wiele zaburzonych wersji danych wejściowych, pobiera przewidywania modelu czarnej skrzynki dla każdej z nich, a następnie uczy się ważonej regresji liniowej, która przybliża te lokalne relacje wejścia-wyjścia22. Współczynniki tego zastępczego modelu liniowego służą jako wyjaśnienie, wskazując, które cechy najsilniej napędzają prognozę23. Atrakcyjność LIME polega na jego elastyczności (można go używać z dowolnym klasyfikatorem) i intuicyjnym wyjściu (np. mały zestaw ważonych funkcji). SHapley Additive exPlanations (SHAP) to kolejna popularna metoda niezależna od modelu oparta na teorii gier24. SHAP wyjaśnia indywidualne przewidywanie, obliczając atrybucje cech, które przybliżają wartości Shapleya z kooperacyjnej teorii gier, zapewniając właściwości takie jak addytywność i spójność25. Poza atrybucją cech, podejścia niezależne od modelu obejmują również metody perturbacji wizualnej dla modeli obrazów. RISE (Randomized Input Sampling for Explanation) generuje mapy ważności, losowo maskując części obrazu wejściowego i obserwując, jak zmienia się wynik modelu26. Próbkując wiele takich masek, RISE buduje probabilistyczną mapę istotności wskazującą, które piksele lub regiony miały największy wpływ na przewidywanie26. Warto zauważyć, że RISE nie wymaga dostępu do elementów wewnętrznych modelu, a jedynie wymaga możliwości oceny modelu na zmodyfikowanych danych wejściowych, co czyni go prawdziwą czarną skrzynką. Wreszcie, rosnący obszar XAI niezależny od modelu koncentruje się na wyjaśnieniach kontrfaktycznych. Wyjaśnienie oparte na faktach alternatywnych nie wylicza ważności cech, ale odpowiada na pytanie: "Jaka minimalna zmiana danych wejściowych zmieniłaby przewidywania modelu?"27. Algorytmy do generowania scenariuszy alternatywnych zazwyczaj przeprowadzają wyszukiwanie w przestrzeni wejściowej (lub wyuczonej przestrzeni utajonej) w poszukiwaniu najbliższego przykładu, który daje pożądane wyniki, jednocześnie wymuszając realizm i rzadkość zmian. Podsumowując, metody XAI post-hoc są powszechnie stosowane, ponieważ można je zastosować do modeli o wysokiej wydajności po wytrenowaniu, łącząc moc predykcyjną z pewnym stopniem przejrzystości.
  2. Metody interpretacji wewnętrznej
    Metody wewnętrzne przyjmują zasadniczo inne podejście: zamiast wyjaśniać czarną skrzynkę po fakcie, metody te sprawiają, że model jest interpretowalny z założenia. Godnym uwagi przykładem są samowyjaśniające się sieci neuronowe (SENN). W ramach SENN zaproponowanym przez Alvareza-Melisa i Jaakolę28 sieć neuronowa jest skonstruowana w taki sposób, aby najpierw obliczyć zestaw pośrednich aktywacji pojęć, a następnie wygenerować prognozę jako prostą, wytłumaczalną funkcję tych pojęć. ProtoPNet (Prototypical Part Network) to głęboka sieć, która klasyfikuje dane wejściowe, porównując je z zestawem wyuczonych prototypowych reprezentacji każdej klasy. Na przykład, w zadaniu klasyfikacji obrazów, ProtoPNet może uczyć się łat prototypowych i podejmować decyzje, znajdując, które prototypy są najbardziej aktywowane przez dane wejściowe29. W dziedzinie modeli sekwencyjnych i transformatorów mechanizmy uwagi zostały również wykorzystane do wewnętrznej interpretowalności. Niektóre modele są trenowane z celem dopasowania uwagi, który zachęca wagi uwagi modelu do odpowiadania znanym ważnym cechom lub odpowiednim regionom oznaczonym przez człowieka. Kierując uwagę tak, aby była "właściwa z właściwych powodów"30, podejścia te tworzą modele, które nie tylko dobrze działają, ale także mają rozkład uwagi, który można bezpośrednio interpretować jako wyjaśnienia. Co więcej, takie modele dostarczają wyjaśnień, które są zazwyczaj wierne ze względu na konstrukcję, ponieważ wyjaśnienie jest generowane na podstawie własnej możliwej do zinterpretowania struktury modelu, a nie na podstawie zewnętrznego przybliżenia post-hoc31.

3. Taksonomia XAI

Aby zapewnić usystematyzowaną syntezę stanu badań, przeprowadzono systematyczny przegląd literatury z wykorzystaniem wytycznych PRISMA (ryc. 2). Proces obejmował wiele akademickich baz danych (Scopus, Web of Science, IEEE Xplore, SpringerLink, PubMed, arXiv i MDPI) i był prowadzony przez zestaw terminów wyszukiwania łączących "wytłumaczalną sztuczną inteligencję", "możliwość interpretacji", "inspekcję wizualną", "wykrywanie defektów", "wykrywanie anomalii", "produkcję" i "obrazowanie medyczne". Kryteria włączenia wymagały, aby w artykułach wyraźnie zastosowano lub oceniono metody XAI w kontekście kontroli wizualnej (przemysłowej lub medycznej) i przedstawiono wystarczające szczegóły metodologiczne. Kryteria wykluczenia usuwały czysto teoretyczne propozycje bez wdrożenia, a także prace poza oględzinami. Początkowo w wyniku poszukiwań uzyskano 483 rekordy. Po usunięciu duplikatów oraz selekcji tytułów i abstraktów, 147 pozostało do recenzji pełnotekstowej. Stosując kryteria włączenia/wykluczenia, uzyskano 75 badań podstawowych, które stanowią podstawę niniejszego przeglądu.

figure-protocol-2
Rysunek 2: Diagram przepływu PRISMA procesu przeglądu systematycznego zgodnie z wytycznymi PRISMA. Rysunek ilustruje zapisy zidentyfikowane, przebadane i wykluczone na każdym etapie, co daje 75 badań pierwotnych włączonych do przeglądu końcowego. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

  1. Taksonomia stosowana recenzowanych badań
    Opierając się na ramach pojęciowych przedstawionych w sekcji 2 (podejścia post-hoc i wewnętrzne), udoskonaliliśmy taksonomię specyficzną dla danej dziedziny wyprowadzoną z tych 75 badań. Ta zastosowana taksonomia rozróżnia metody w zależności od ich implementacji w zadaniach kontroli wizualnej, jak pokazano na rysunku 3.
  2. Rozkład badań w taksonomii
    Pełny rozkład 75 badań przedstawiono w Tabeli 1. Każde badanie jest przyporządkowane do swojej kategorii metodologicznej i dziedziny zastosowania. Stanowi to empiryczną podstawę dla analizy porównawczej przedstawionej w sekcji 4.
  3. Synteza
    Z tego przeglądu systematycznego wyłania się kilka wyraźnych tendencji. Po pierwsze, metody post-hoc oparte na gradientach pozostają najpowszechniej stosowane w zadaniach inspekcji przemysłowej i medycznej ze względu na ich wydajność i łatwość integracji. Po drugie, metody oparte na perturbacjach zapewniają bogatsze atrybucje cech, ale są mniej powszechne w środowiskach przemysłowych o wysokiej przepustowości ze względu na wymagania obliczeniowe. Po trzecie, metody wewnętrzne zyskują na popularności, ale pozostają niedostatecznie reprezentowane, a w mniej niż 15% badań je wdraża.
    Poprzez zakotwiczenie tej taksonomii w powtarzalnym przeglądzie kierowanym przez PRISMA i powiązanie jej ze ustrukturyzowaną bazą danych zawierającą 75 badań, w niniejszej sekcji ustanowiono zweryfikowaną bazę dowodową. Wyniki te stanowią podstawę do analizy porównawczej w sekcji 4, w której reprezentatywne metody są porównywane w odniesieniu do ustandaryzowanych wskaźników (wierność, solidność, opóźnienia i dokładność lokalizacji).

figure-protocol-3
Rysunek 3: Proponowana taksonomia metod XAI w zadaniach kontroli wizualnej. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Metoda XAIPodejście XAIStudiowaćPrzemysłRok
NieodłącznyModele oparte na regułach i liniowePytanie grupy 32,33Podstawy medyczne2015–2019
Oparte na prototypach (ProtoPNet, Case-based, Deformable ProtoPNet) 29,34,35,36 Medyczne, przemysłowe, ogólne2018–2024
Zorientowane na koncepcję (wąskie gardło koncepcji, prawo z właściwych powodów) 30,31,37 Zastosowania ogólne, naukowe2020–2021
Samowyjaśniające się sieci neuronowe (SENN)28Ogólne2018–2020
Reprezentacja rozplątana (β-VAE),SOXAIPytanie 38,39 TGLOgólne2018
Transformatory wizyjne (wewnętrzna interpretowalność poprzez uwagę) 40,41,42,43,44,45 Komputerowe systemy wizyjne, produkcja2020–2024
Post-hoc, specyficzne dla modeluRodzina CAM 46,47,48,49,50,51,52, 53,54,55,56,57,58 Obrazowanie medyczne, produkcja, motoryzacja, rolnictwo, elektronika2018–2025
LRP (propagacja istotności warstwowej) 20,59,60,61,62 Ogólne, Obrazowanie medyczne2015–2024
Metody gradientu i istotności (zintegrowane gradienty, gładki IG DeepLIFT, DeconvNet, T-Explainer, testy porównawcze istotności) 18,19,63,64,65,
66,67,68,69,70 		Ogólne, Obrazowanie medyczne2013–2025
Atrybucja w modelach wyspecjalizowanych (SNN, atrybucja uwagi Transformers) 71,72,73 Neurobiologia, Transformatory wizyjne2023–2025
Post-hoc, niezależny od modeluWAPNO & warianty (LIME, ELIME, MASALA), SHAP & Variants (Tree SHAP),Finanse, Prognozowanie i Zarządzanie Zdrowiem, Cyberbezpieczeństwo, Pojazdy autonomiczne, Inspekcja przemysłowa.2016–2025
Scenariusza 21,22,23,24,25,27,74,
75,76,77,78,79,80,81,
82,83,84,85,86
Wyjaśnienia
Metody hybrydoweIntegracja wielu metod XAI, w tym (GradCAM, SHAP, LRP, LIME) 58,87,88,89,90,91,92 Inspekcja przemysłowa, służba zdrowia, produkcja.2021–2025

Tabela 1: Klasyfikacja 75 recenzowanych badań według metody XAI, roku, branży i podejścia.

4. Metryki oceny dla XAI

Wydajność modelu przetwarzania obrazów jest oceniana na podstawie dobrze ugruntowanych metryk, takich jak dokładność, precyzja i kompletność. Jednak ocena wytłumaczalności decyzji modelu jest znacznie mniej prosta. W przeciwieństwie do standardowej wydajności predykcyjnej nie ma powszechnie akceptowanej miary jakości wyjaśnień opartych na sztucznej inteligencji66. Innymi słowy, podczas gdy dokładność klasyfikatora może być precyzyjnie zmierzona, nie ma uzgodnionej skali, która określałaby, jak "dobre" jest wyjaśnienie dla danej klasyfikacji obrazu93. Ta rozbieżność uwypukla fundamentalną lukę w dziedzinie XAI: jak ocenić wyjaśnienie.

Opracowanie ustandaryzowanych kryteriów oceny XAI okazało się wyjątkowo trudne. Jednym z powodów jest to, że interpretowalność i jakość wyjaśnienia są wieloaspektowe i zależne od kontekstu, a zatem opierają się jednej uniwersalnej metryce10. Skuteczna ocena wyjaśnienia zależy od kilku czynników, w tym domeny aplikacji, charakteru przedstawionego wyjaśnienia i pochodzenia użytkownika końcowego. Na przykład technika wyjaśnienia odpowiednia do diagnozy obrazu medycznego może być oceniana inaczej niż technika stosowana w zadaniu przemysłowej kontroli wizualnej10.

W praktyce brak standardowych wskaźników skłonił badaczy do polegania na różnych podejściach do oceny. Wiele badań nadal ucieka się do jakościowej, anegdotycznej oceny metod XAI94,95. Często zdarza się, że autorzy prezentują kilka map istotności lub map cieplnych i twierdzą, że wydają się one rozsądne (tzw. test "trafności twarzy")96. Takie oględziny mogą być przekonujące w sensie narracyjnym, ale pozostają subiektywne i niewystarczające do rygorystycznego porównania97. Ilustruje to trudność standaryzacji metryk XAI; W przypadku braku uzgodnionych kryteriów badacze proponują wskaźniki dostosowane do każdego zestawu danych lub przypadku użycia.

W związku z tym w literaturze można obecnie znaleźć różnorodne wskaźniki oceny XAI, które mają na celu wypełnienie tej luki98. Zaproponowano liczne ramy i środki, z których każdy dotyczy określonego aspektu tego, co sprawia, że wyjaśnienie jest użyteczne99. Ogólnie rzecz biorąc, metryki można sklasyfikować na podstawie ich głównego przedmiotu. Metryki oparte na wierności oceniają wyjaśnienie na podstawie tego, jak dobrze odzwierciedla ono proces decyzyjny modelu100. W przeciwieństwie do tego, wskaźniki skoncentrowane na interpretowalności oceniają, jak zrozumiałe i przekonujące jest wyjaśnienie dla ludzkiego obserwatora101. Trzecią kategorią są metryki oparte na zadaniach, w przypadku których ocena wyjaśnienia zależy od jego wpływu na wydajność użytkownika końcowego102. Czwarta kategoria to wskaźniki zorientowane na solidność, które oceniają spójność wyników103. Wreszcie, metryki hybrydowe łączą wiele wymiarów104.

Ta różnorodność wskaźników wskazuje na aspekty wytłumaczalności, które badacze uważają za ważne, ale także podkreśla brak jednego standardu: każda metryka ujmuje tylko jeden kąt jakości wyjaśnienia105. Poniżej przedstawiono szereg wskaźników oceny XAI pogrupowanych w cztery główne kategorie i podsumowanych w tabeli 2.

Typ metrykiMetrykaWzór / definicja
WiernośćObszar delecji pod krzywą (AUC)26figure-protocol-4
są najważniejsze cechy ; niższy = bardziej wierny
Obszar wstawiania pod krzywą (AUC)26figure-protocol-5
wyższy = wierniejszy
Wynik niewierności: 103figure-protocol-6
niższy = lepszy
RYK106Spadki dokładności po ponownym trenowaniu bez "ważnych" funkcji
NiezawodnościWskaźnik stabilności107figure-protocol-7
wyższy = bardziej spójny
Wynik Lipschitza:103figure-protocol-8
niższy = bardziej wytrzymały
InterpretowalnośćRzadki79figure-protocol-9
niższy = prostszy
Głębokość zastępcza79Głębokość interpretowalnego substytutu (np. drzewo decyzyjne);
płytszy = prostszy
Specyficzne dla zadaniaprzecięcie nad sumą (IoU)108figure-protocol-10
nakładanie się maski M i prawdy podstawowej G
Gra w wskazywanie108Precyzja = #hits / #samples
Wyższy = lepszy
HybrydaWynik złożony104Wyważone połączenie wierności, rzadkości i solidności

Tabela 2: Wskaźniki oceny XAI w oględzinach pogrupowane w cztery główne kategorie.

5. Analiza porównawcza

W tej sekcji metody są porównywane w publicznych zestawach danych, takich jak MVTec AD109 (>5 000 obrazów defektów z maskami na poziomie pikseli) i DeepPCB110 (1 500 obrazów PCB z sześcioma klasami defektów), CheXpert111 i ImageNet112 i oceniane pod kątem następujących wskaźników: AUC usuwania/wstawiania (wierność), dokładność gry wskazującej (lokalizacja), wyniki stabilności (odporność na zakłócenia) i opóźnienie (koszt środowiska uruchomieniowego).

Dla metod opartych na CAM (GradCAM, GradCAM++) wyniki na MVTec AD i DeepPCB pokazują, że GradCAM osiąga wierność 0,83-0,87 (AUC insercji ~0,68; <15% spadek dokładności przy usuwaniu), czułości (0,80 - 0,85) i czasu pracy <100 ms (~39 klatek na sekundę (FPS)). Lokalizacja pozostaje umiarkowana (średnia IoU ≈0,28 @ δ=0,25; dokładność celowania 86-87%). GradCAM++ poprawia lokalizację wieloinstancjową (średnia IoU = 0,38) przy zachowaniu podobnego opóźnienia (<120 ms) i większego zaufania użytkowników (109,69/250 vs. 56,08/250 dla GradCAM). Metody te są wydajne, ale przestrzenniezgrubne 47 113.

W przypadku metod opartych na perturbacjach (LIME, SHAP, RISE) wydajność różni się w zależności od zestawu danych. Na MVTec AD LIME osiąga lokalną wierność R² = 0,70-0,80, ale wykazuje niską solidność (wskaźnik stabilności <0,5), opóźnienie 3-5 s/obraz i umiarkowaną lokalizację (IoU = 0,25-0,35). SHAP zastosowany do klasyfikacji defektów PCB osiąga spójne atrybucje (Δ log-kursy = 0,2-0,3) z silnym dopasowaniem człowieka (70-80%), ale jest wolniejszy (>1 s/obraz) i ma słabą lokalizację (IoU ≈0,02-0,03). RISE, testowany w testach porównawczych na MS-COCO i replikowany dla MVTec AD, średnio 4,000-8,000 zamaskowanych podań do przodu, zapewniając wysoką solidność (stabilność >0,7), wierność (0,78-0,82 AUC) i lepszą lokalizację (Pointing-Game = 62,9% vs. 48,3% dla GradCAM), ale przy opóźnieniu 1-2 s/wyjaśnienie 26,74,79,114.

W przypadku metod propagacji trafności (LRP, DeepLIFT), oceny DeepPCB i CheXpert wskazują, że LRP osiąga wierność 0,82-0,90, czułość ~0,85 i lokalizację IoU 0,40-0,50. Czas pracy wynosi 100-200 ms na obraz, jest wolniejszy niż w przypadku CAM, ale możliwy do przeprowadzenia w czasie zbliżonym do rzeczywistego. W zadaniach radiologicznych CheXpert badania ekspertów wykazują >70% pokrywanie się map cieplnych LRP z klinicznie istotnymi regionami, wykazując możliwość interpretacji w różnych domenach60.

W przypadku metod opartych na uwadze (transformatory), wyniki dla modeli ViT wytrenowanych na ImageNet i CheXpert, surowe mapy uwagi dają wierność 0,75-0,85, ale są niestabilne w przypadku zakłóceń, z czułością 0,70-0,75 i skromną lokalizacją (IoU = 0,30-0,45). Zaufanie człowieka wynosi ~60-70%. Dostosowane podejścia (przepływ uwagi, Transformer-LRP) poprawiają wskaźniki przyczynowe, przewyższając surową uwagę w usuwaniu/wstawianiu i wynikach gry punktowej40 115 116.

W przypadku metod opartych na prototypach i scenariuszach alternatywnych, oceny n MVTec AD podkreślają, że ProtoPNet osiąga wyjaśnienia oparte na przykładach, w których przewidywania są uzasadnione podobnymi przypadkami defektów, pomagając operatorowi w podejmowaniu decyzji. Podejście oparte na SOM pozwala na wyodrębnianie cech defektów klastrów na mapach 2D, zachowując relacje topologiczne. Metody kontrfaktyczne, przetestowane zarówno na obrazach wad PCB, jak i na CheXpert, dostarczają praktycznych wniosków ("jeśli długość pęknięcia jest mniejsza niż 1 mm, przewidywanie zmienia się do normy"), ale wymagają kosztownej optymalizacji i mają problemy z danymi wejściowymi o wysokiej rozdzielczości. Metody te są silnie zgodne z ludzkim rozumowaniem, ale słabo się skalują 117,118,119.

Wreszcie, biorąc pod uwagę kompromisy i wybór praktyczny, CAM dominują w przepływach pracy o krytycznym znaczeniu dla opóźnień, ale pozostają zgrubne. LRP równoważy wierność i czas działania, doskonale sprawdzając się w analizie na poziomie pikseli. RISE zapewnia najsilniejszą przyczynowość i lokalizację, ale z opóźnieniem na poziomie sekund. SHAP i LIME zwiększają interpretowalność, ale są powolne i niestabilne. Prototypy i scenariusze alternatywne maksymalizują dopasowanie człowieka, ale słabo skalują się podczas kontroli w wysokiej rozdzielczości. Modele oparte na transformatorach wymagają specjalistycznych adaptacji, które wykraczają poza surową uwagę. W związku z tym żadna pojedyncza metoda nie przewyższa innych; Zamiast tego wybór metody musi odzwierciedlać potrzeby dotyczące zestawu danych, zadania, opóźnienia, budżetu i możliwości interpretacji. Jak pokazano na rysunku 4, proces selekcji integruje trzy z tych testów porównawczych (zadanie, opóźnienie, możliwość interpretacji) w zorientowany na zadanie przewodnik dotyczący wyboru metod XAI w kontroli wizualnej.

figure-protocol-11
Rysunek 4: Proces wyboru metody XAI. Jest to schemat decyzyjny prowadzący do wyboru odpowiednich metod XAI w kontroli wizualnej. Przepływ pracy uwzględnia typ zadania (klasyfikacja, segmentacja, wykrywanie anomalii, regresja), ograniczenia opóźnienia i szczegóły wyjaśnień, a następnie łączy je z reprezentatywnymi metodami. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

6. Dyskusja

  1. Wyniki badań porównawczych
    Nasza analiza pokazuje, że metody oparte na gradientach, takie jak GradCAM i Layer-wise Relevance Propagation (LRP), doskonale nadają się do podkreślania konkretnych obszarów obrazu, które mają największy wpływ na decyzje sieci konwolucyjnej, co czyni je intuicyjnymi narzędziami do zadań takich jak lokalizacja defektów lub klasyfikacja obrazów medycznych. Podejścia te są skuteczne, ponieważ działają w jednym przejściu wstecznym, ale ich wyjaśnienia są często zgrubne i mogą stać się niejasne w złożonych regionach. Z kolei techniki atrybucji cech niezależne od modelu, takie jak SHAP i LIME, zapewniają bardziej ilościowy wgląd w wkład funkcji poprzez sondowanie modelu za pomocą zaburzonych danych wejściowych lub dopasowywanie lokalnych surogatów, ale przy wyższych kosztach obliczeniowych niż GradCAM.
    Metody oparte na uwadze wykorzystują wewnętrzne wagi modelu do podkreślenia obszarów ostrości w modelu115. Z drugiej strony RISE reprezentuje strategię opartą na randomizacji, która maskuje i próbkuje dane wejściowe w celu stworzenia elastycznych map istotności, chociaż wymaga tysięcy podań do przodu. Podsumowując, techniki te sprawdzają się w określonych okolicznościach, ale żadna z nich nie jest uniwersalnie lepsza od pozostałych26. Zamiast tego wybór metody zależy od architektury modelu, zadania kontroli wizualnej, wymagań dotyczących opóźnień i rodzaju informacji potrzebnych decydentom.
  2. Przypadków
    Poniżej przedstawiono rzeczywiste studia przypadków wdrażające XAI zarówno w sektorze medycznym, jak i przemysłowym: w opiece zdrowotnej modele wykrywania zapalenia płuc i COVID-19 wyszkolone na zdjęciach rentgenowskich klatki piersiowej i tomografii komputerowej zostały wyjaśnione za pomocą GradCAM i LIME, a radiolodzy w badaniach użytkowników konsekwentnie preferowali GradCAM, ponieważ jego wyróżnione obszary były zgodne z oczekiwaną patologią, takie jak nacieki w płucach120. Podobnie, w patologii cyfrowej raka głowy i szyi, prognozy CNN wspierane przez GradCAM i CAM o wysokiej rozdzielczości uwypukliły klastry komórek nowotworowych, które patolodzy potwierdzili jako klinicznie istotne, pokazując, że wyjaśnienia wzmocniły zarówno dokładność kliniczną, jak i zaufanie121.
    W sektorze produkcyjnym firma XAI dokonała przełomowej zmiany w zakresie dokładności i wytłumaczalności. Jednym z głównych zastosowań jest wykrywanie ciał obcych na zdjęciach rentgenowskich opon z wykorzystaniem konwolucyjnej sieci neuronowej opartej na architekturze Xception. Dzięki zastosowaniu GradCAM (GradCAM) mapowania aktywacji klas ważonych gradientem, system osiągnął ponad 99% dokładność klasyfikacji i stworzył mapy cieplne wskazujące dokładne regiony na obrazie odpowiedzialne za przewidywania. Te wizualne wyjaśnienia pozwoliły inżynierom ds. kontroli jakości zweryfikować, czy uwaga modelu skupiła się na uzasadnionych anomaliach w podporze konstrukcyjnej opony, a nie na nieistotnych artefaktach, co znacznie zwiększyło zaufanie i ułatwiło wdrożenie w warunkach produkcyjnych o wysokiej stawce48.
    W przemyśle elektronicznym podejście SolderNet pokazuje integrację XAI z kontrolą defektów na poziomie pikseli. Metoda oparta na CNN została opracowana do kontroli połączeń lutowanych na płytkach drukowanych, zadania, w którym wymagana jest wysoka dokładność i wytłumaczalność. Dzięki zastosowaniu GradCAM i Layer-wise Relevance Propagation (LRP) w ramach metody wyodrębniono mapy istotności, które uwidoczniły piksele odpowiedzialne za określone klasyfikacje defektów. Dzięki takiemu wytłumaczeniu operator był w stanie odróżnić prawdziwe i fałszywe alarmy oraz wyciągnąć wnioski w tryby awarii, które wcześniej byłyby wyjściami czarnej skrzynki39. Przypadki te pokazują, że XAI jest ceniony, gdy jego wyjaśnienia są zgodne z rozumowaniem ekspertów, ale niedostatecznie wykorzystywany, gdy wyjaśnienia są niestabilne, zgrubne lub niepraktyczne obliczeniowo.
  3. Ograniczenia dostępnych danych naukowych
    Pomimo tych postępów nadal istnieje kilka ograniczeń. Po pierwsze, większość badań empirycznych opiera się na publicznych zestawach danych, takich jak MVTec AD do inspekcji przemysłowej lub VinDR-CXR122 do obrazowania medycznego, które mogą nie odzwierciedlać w pełni rzeczywistych środowisk fabryk lub szpitali. Po drugie, ocena pozostaje fragmentaryczna: wierność, solidność i możliwość interpretacji są mierzone niespójnie we wszystkich badaniach, często z definicjami ad hoc i bez ustandaryzowanych progów. Po trzecie, wielu dziełom brakuje ludzkiego uprawomocnienia. Chociaż metryki, takie jak AUC usuwania, dokładność wskazywania gry lub lokalizacja IoU, dostarczają wyników ilościowych, nie potwierdzają, że te wyjaśnienia faktycznie usprawniają podejmowanie decyzji przez użytkowników. Wreszcie, tylko ~8% badań nad zapewnieniem jakości opartych na sztucznej inteligencji w produkcji integruje XAI w swoim przepływie pracy123. Uwypukla to praktyczną lukę w przyjęciu, mimo że statystyki te różnią się w zależności od sektora i metodologii i mogą nie być dokładne.
  4. Praktyczne implikacje dla praktyków
    Dla praktyków wyłania się kilka implikacji. Metody oparte na gradientach pozostają najbardziej praktycznym wyborem dla zadań inspekcyjnych w czasie rzeczywistym, ponieważ dostarczają wyjaśnień z niskim opóźnieniem (~100 ms na obraz) i są łatwe do wdrożenia. Podejścia oparte na perturbacjach, takie jak SHAP lub RISE, mają większe opóźnienia niż metody oparte na gradientach, ale lepiej nadają się do dziedzin, w których atrybucja drobnoziarnista przeważa nad opóźnieniem, takich jak opieka zdrowotna, gdzie dokładność ma pierwszeństwo przed szybkością. Podejścia oparte na uwadze są przydatne w przypadku architektur transformatorowych, ale wymagają starannej interpretacji, ponieważ surowa uwaga nie zawsze zapewnia jasne wyjaśnienie. Poza kompromisami technicznymi, pomyślne wdrożenie zależy w dużej mierze od integracji, szkolenia użytkowników i wykazania klinicznej wartości interpretowalności. Jak pokazują studia przypadków, wyjaśnienia zyskują na wartości tylko wtedy, gdy są wyraźnie zgodne z wiedzą specjalistyczną w danej dziedzinie i pomagają praktykom weryfikować lub kwestionować przewidywania dotyczące sztucznej inteligencji.
  5. Przyszłe kierunki badań
    Przyszłe badania powinny nadać priorytet kilku możliwym do zrealizowania kierunkom:
    Standaryzacja protokołów oceny: Ustal powtarzalne wytyczne dotyczące raportowania dla kluczowych wskaźników, w tym AUC usuwania/wstawiania, dokładności wskazywania gry, wskaźników stabilności i opóźnień.
    Zestawy danych testów porównawczych specyficznych dla domeny: Twórz wyselekcjonowane zestawy danych do przemysłowej i medycznej inspekcji wizualnej z adnotacjami o podstawowej prawdzie, aby zmniejszyć nadmierne poleganie na wąskich publicznych zestawach danych.
    Walidacja skoncentrowana na człowieku: Rozszerz badania, które mierzą, czy wyjaśnienia XAI poprawiają jakość decyzji, zaufanie użytkowników i współpracę między człowiekiem a sztuczną inteligencją, wykraczając poza wskaźniki proxy
    Analiza kosztów i korzyści: Przeprowadzanie rygorystycznych badań wdrożeniowych w celu ilościowego określenia wartości biznesowej i klinicznej integracji XAI z przepływami pracy kontroli wizualnej.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wnioski

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W niniejszym przeglądzie przeanalizowano 75 badań dotyczących XAI w oględzinach, w wyniku których opracowano taksonomię metod post-hoc i wewnętrznych oraz analizę porównawczą opartą na wskaźnikach porównawczych. Wyniki potwierdzają, że żadna pojedyncza metoda nie jest uniwersalnie lepsza od innych: podejścia oparte na gradientach, takie jak GradCAM i LRP, są skuteczne w lokalizacji defektów w czasie rzeczywistym, ale ich wyjaśnienia mogą być zgrubne w złożonych regionach. Metody oparte na perturbacjach, takie jak SHAP, L...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy oświadczają, że nie zachodzą konflikty interesów w związku z publikacją niniejszej pracy.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autor (autorzy) oświadczają, że niniejsza praca nie otrzymała żadnej konkretnej dotacji od żadnej agencji finansującej w sektorze publicznym, komercyjnym lub non-profit.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Alzarooni, A., et al. Anomaly detection for industrial applications, its challenges, solutions, and future directions: a review. IEEE Sens J. XX. (1), 1(2025).
  2. Hardan, F., Almusawi, A. R. J. Developing an automated vision system for maintaing social distancing to cure the pandemic. Al-Khwarizmi Eng J. 18 (1), 38-50 (2022).
  3. Terasaki, N., Fujio, Y. Mechanoluminescent visualization of crack propagation for joint evaluation. J Vis Exp. (191), e64118(2023).
  4. Al-Hamadani, S., Al-Darraji, I. Warehouse in Industry 4.0 based drone, computer vision, and artificial intelligence technologies: a literature review. Proc Eng Sci. 7 (1), 517-526 (2025).
  5. Al-Jubori, H. N., Izzat, A. D., Jerbi, H. Defect detection using thermography camera techniques: a review. Al-Khwarizmi Eng J. 20 (4), 70-88 (2024).
  6. Al-Hamadani, S., Al-Darraji, I., Jerbi, H. Improving barcode vision scanning process using a drone-based tracking PID controller for warehouse in Industry 4.0. Al-Khwarizmi Eng J. 21 (2), 72-92 (2025).
  7. Al-Jubori, H. N., Al-Darraji, I. Tools and process of defect detection in automated manufacturing systems. EAI Endorsed Trans Scalable Inf Syst. 10 (6), e4000(2023).
  8. Alaa, T., et al. Automated detection of defects on metal surfaces using vision transformers. , Published online October 6, 2024. Accessed August 1 (2025).
  9. Moosavi, S., et al. Explainable AI in manufacturing and industrial cyber-physical systems: a survey. Electronics. 13 (17), 3497(2024).
  10. Nauta, M., et al. From anecdotal evidence to quantitative evaluation methods: a systematic review on evaluating explainable AI. ACM Comput Surv. 55 (13), 1-42 (2023).
  11. Cheng, Z., et al. A comprehensive review of explainable artificial intelligence (XAI) in computer vision. Sensors. 25 (13), 4166(2025).
  12. Barredo Arrieta, A., et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 58, 82-115 (2020).
  13. Kouchaki, S., et al. Survey of explainable AI techniques in healthcare. Sensors. 23 (2), 634(2023).
  14. Laugel, T., et al. The dangers of post-hoc interpretability: unjustified counterfactual explanations. Proc Int Joint Conf Artif Intell. , 2801-2807 (2019).
  15. Slack, D., et al. Reliable post hoc explanations: modeling uncertainty in explainability. Adv Neural Inf Process Syst. 33, 9391-9404 (2020).
  16. Cesarini, M., et al. Explainable AI for text classification: lessons from a comprehensive evaluation of post hoc methods. Cognit Comput. 16 (6), 3077-3095 (2024).
  17. Mohamed Musthafa, M., et al. Enhancing brain tumor detection in MRI images through explainable AI using Grad-CAM with ResNet-50. BMC Med Imaging. 24 (1), 1-19 (2024).
  18. Sundararajan, M., Taly, A., Yan, Q. Axiomatic attribution for deep networks. Proc Int Conf Mach Learn. 70, 5109-5118 (2017).
  19. Shrikumar, A., Greenside, P., Kundaje, A. Learning important features through propagating activation differences. Proc Int Conf Mach Learn. 70, 4844-4866 (2017).
  20. Bassi, P. R. A. S., et al. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun. 15, 44371(2024).
  21. Knab, P., et al. Which LIME should I trust? Concepts, challenges, and solutions. arXiv preprint. , (2025).
  22. Garreau, D., von Luxburg, U. Explaining the explainer: a first theoretical analysis of LIME. Proc Mach Learn Res. 108, 1287-1296 (2020).
  23. Qian, J., et al. ELIME: exact local interpretable model-agnostic explanation. Eur J Artif Intell. , (2024).
  24. Salih, A. M., et al. A perspective on explainable artificial intelligence methods:SHAP and LIME . Adv Intell Syst. , (2024).
  25. Hermosilla, P., et al. Explainable AI for forensic analysis: a comparative study of SHAP and LIME in intrusion detection models. Appl Sci. 15 (13), 7329(2025).
  26. Petsiuk, V., Das, A., Saenko, K. RISE: randomized input sampling for explanation of black-box models. arXiv preprint. , (2018).
  27. Dandl, S., et al. Multi-objective counterfactual explanations. Lect Notes Comput Sci. 12269, 448-469 (2020).
  28. Alvarez-Melis, D., Jaakkola, T. S. Towards robust interpretability with self-explaining neural networks. Adv Neural Inf Process Syst. 31, 7775-7784 (2018).
  29. Donnelly, J., Barnett, A. J., Chen, C. Deformable ProtoPNet: an interpretable image classifier using deformable prototypes. Proc IEEE Conf Comput Vis Pattern Recognit. , 10255-10265 (2022).
  30. Ross, A. S., Hughes, M. C., Doshi-Velez, F. Right for the right reasons: training differentiable models by constraining their explanations. Proc Int Joint Conf Artif Intell. , 2662-2670 (2017).
  31. Schramowski, P., et al. Making deep neural networks right for the right scientific reasons by interacting with their explanations. Nat Mach Intell. 2 (8), 476-486 (2020).
  32. Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat Mach Intell. 1 (5), 206-215 (2019).
  33. Letham, B., et al. Interpretable classifiers using rules and Bayesian analysis: building a better stroke prediction model. Ann Appl Stat. 9 (3), 1350-1371 (2015).
  34. Barnett, A. J., et al. Interpretable mammographic image classification using case-based reasoning and deep learning. arXiv preprint. , (2021).
  35. Narayanan, A., Bergen, K. J. Prototype-based methods in explainable AI and emerging opportunities in the geosciences. arXiv preprint. , (2024).
  36. Chen, C., et al. This looks like that: deep learning for interpretable image recognition. Adv Neural Inf Process Syst. 32, 8928-8939 (2019).
  37. Koh, P. W., et al. Concept bottleneck models. Proc Int Conf Mach Learn. 119, 5294-5304 (2020).
  38. Burgess, C. P., et al. Understanding disentangling in β-VAE. arXiv preprint. , (2018).
  39. Gunraj, H., et al. SolderNet: towards trustworthy visual inspection of solder joints in electronics manufacturing using explainable artificial intelligence. Proc AAAI Conf Artif Intell. 37, 15668-15674 (2023).
  40. Dosovitskiy, A., et al. An image is worth 16×16 words: transformers for image recognition at scale. arXiv preprint. , (2020).
  41. Khan, S., et al. Transformers in vision: a survey. ACM Comput Surv. 54 (10), 1-41 (2021).
  42. Yu, L., et al. eX-ViT: a novel explainable vision transformer for weakly supervised semantic segmentation. Pattern Recognit. 142, 109666(2023).
  43. Alber, M., et al. Evaluating vision transformer models for visual quality control in industrial manufacturing. Lect Notes Comput Sci. Bifet, A., et al. 14950, 1-15 (2024).
  44. Stassin, S., et al. Explainability and evaluation of vision transformers: an in-depth experimental study. Electronics. 13 (1), 175(2024).
  45. Zhai, Y., et al. A lightweight transformer with linear self-attention for defect recognition. Electron Lett. 60 (17), e13292(2024).
  46. Dhore, V., et al. Enhancing explainable AI: a hybrid approach combining Grad-CAM and LRP for CNN interpretability. arXiv preprint. , (2024).
  47. Chattopadhay, A., et al. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks. Proc IEEE Winter Conf Appl Comput Vis. , 839-847 (2018).
  48. Saleh, R. A. A., et al. Advancing tire safety: explainable artificial intelligence-powered foreign object defect detection with Xception networks and Grad-CAM interpretation. Appl Sci. 14 (10), 4267(2024).
  49. Meister, S., et al. Investigations on explainable artificial intelligence methods for the deep learning classification of fibre layup defect in the automated composite manufacturing. Compos Part B Eng. 224, 109160(2021).
  50. Luo, X., Alzahrani, M. Automated tomato defect detection using CNN feature fusion for enhanced classification. Processes. 13 (1), 115(2025).
  51. Rahimunnisa, K. Textile fabric defect detection. J Innov Image Process. 4 (3), 165-172 (2022).
  52. Shin, H., et al. Visualization for explanation of deep learning-based defect detection model using class activation map. Comput Mater Contin. 75 (3), 4753-4766 (2023).
  53. Yue, H., et al. ASOD: attention-based salient object detector for strip steel surface defects. Electronics. 14 (5), 831(2025).
  54. Saleh, R. A. A., Ertunç, H. M. Explainable attention-based fused convolutional neural network (XAFCNN) for tire defect detection: an industrial case study. Eng Res Express. 6 (1), 015027(2024).
  55. Leem, S., Seo, H. Attention guided CAM: visual explanations of vision transformer guided by self-attention. Proc AAAI Conf Artif Intell. 38 (4), 2956-2964 (2024).
  56. Ibrahim, R., Shafiq, M. O. Augmented Score-CAM: high-resolution visual interpretations for deep neural networks. Knowl Based Syst. 252, 109287(2022).
  57. Clement, T., et al. XAI-enhanced semantic segmentation models for visual quality inspection. Proc IEEE Int Conf Consumer Electron. , 1-4 (2024).
  58. Riedel, H., et al. Automated quality control of vacuum insulated glazing by convolutional neural network image classification. Autom Constr. 135, 104144(2022).
  59. Böhle, M., et al. Layer-wise relevance propagation for explaining deep neural network decisions in MRI-based Alzheimer's disease classification. Front Aging Neurosci. 10, 194(2019).
  60. Bach, S., et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. PLoS One. 10 (7), e0130140(2015).
  61. Dieter, T. R., Zisgen, H. Evaluation of the explanatory power of layer-wise relevance propagation using adversarial examples. Neural Process Lett. 55 (7), 8531-8550 (2023).
  62. Hoefler, M. A., et al. XAI-guided insulator anomaly detection for imbalanced datasets. arXiv. , (2024).
  63. Kares, F., et al. What makes for a good saliency map? Comparing strategies for evaluating saliency maps in explainable AI (XAI). arXiv preprint. , (2025).
  64. Yona, G., Greenfeld, D. Revisiting sanity checks for saliency maps. arXiv preprint. , (2021).
  65. Zeiler, M. D., Fergus, R. Visualizing and understanding convolutional networks. Eur Conf Comput Vis. 8689, 818-833 (2014).
  66. Xu-Darme, R., et al. On the stability, correctness and plausibility of visual explanation methods based on feature importance. ACM Int Conf Proc Ser. , 119-125 (2023).
  67. Ortigossa, E. S., et al. T-Explainer: a model-agnostic explainability framework based on gradients. arXiv preprint. , (2024).
  68. Singh, M., et al. Attributional robustness training using input-gradient spatial alignment. Lect Notes Comput Sci. 12372, 515-533 (2019).
  69. Cerekci, E., et al. Quantitative evaluation of saliency-based explainable artificial intelligence methods in deep learning-based mammogram analysis. Eur J Radiol. 173, 111356(2024).
  70. Meister, S., et al. Cross-evaluation of a parallel operating SVM-CNN classifier for reliable internal decision-making processes in composite inspection. J Manuf Syst. 60, 620-639 (2021).
  71. Bitar, A., et al. Gradient-based feature-attribution explainability methods for spiking neural networks. Front Neurosci. 17, 1153999(2023).
  72. Qiang, Y., et al. Interpretability-aware vision transformer. arXiv preprint. , (2023).
  73. Bousselham, W., et al. LeGrad: an explainability method for vision transformers via feature formation sensitivity. arXiv preprint. , (2025).
  74. Lundberg, S. M., Lee, S. I. A unified approach to interpreting model predictions. Adv Neural Inf Process Syst. 30, (2017).
  75. Khan, F. S., et al. Model-agnostic explainable artificial intelligence methods in finance: a systematic review, recent developments, limitations, challenges and future directions. Artif Intell Rev. 58, 1-65 (2025).
  76. Nazim, S., et al. Advancing malware imagery classification with explainable deep learning: a state-of-the-art approach using SHAP LIME and Grad-CAM. PLoS One. 20 (5), e0318542(2025).
  77. Solís-Martín, D., et al. On the soundness of XAI in prognostics and health management (PHM). Information. 14 (5), 256(2023).
  78. Biecek, P., Burzykowski, T. Local interpretable model-agnostic explanations (LIME). In:Explanatory Model Analysis. , 107-123 (2021).
  79. Ribeiro, M. T., Singh, S., Guestrin, C. 34;Why should I trust you?" Explaining the predictions of any classifier. Proc ACM SIGKDD Int Conf Knowl Discov Data Min. , 1135-1144 (2016).
  80. Tahir, H. A., et al. A novel hybrid XAI solution for autonomous vehicles: real-time interpretability through LIME-SHAP integration. Sensors. 24 (21), 6776(2024).
  81. Goldman, C. V., et al. Explaining learning models in manufacturing processes. Procedia Comput Sci. 180, 259-268 (2021).
  82. Emmanouilidis, C., Rica, E. Visual quality control via explainable AI and the case of human in the AI loop. In: Lect Notes Mech Eng. , 252-260 (2023).
  83. Huang, M., et al. An interpretable approach using hybrid graph networks and explainable AI for intelligent diagnosis recommendations in chronic disease care. Biomed Signal Process Control. 91, 105913(2024).
  84. Dardouillet, P., et al. Explainability of image semantic segmentation through SHAP values. Data. 7 (8), 255(2022).
  85. Saifullah, S., et al. The privacy-explainability trade-off: unraveling the impacts of differential privacy and federated learning on attribution methods. Front Artif Intell. 7, 1236947(2024).
  86. Velmurugan, M., et al. Developing guidelines for functionally-grounded evaluation of explainable artificial intelligence using tabular data. Eng Appl Artif Intell. 141, 109772(2025).
  87. Wells, L., Bednarz, T. Explainable AI and reinforcement learning-a systematic review of current approaches and trends. Front Artif Intell. 4, 550030(2021).
  88. Rožanec, J. M., et al. Adaptive explainable artificial intelligence for visual defect inspection. Procedia Comput Sci. 232, 3034-3043 (2024).
  89. Nguyen, H. T. T., et al. XEdgeAI: a human-centered industrial inspection framework with data-centric explainable edge AI approach. Inf Fusion. 116, 102782(2025).
  90. Han, C., et al. Visual coating inspection framework via self-labeling and multi-stage deep learning strategies. J Intell Manuf. 35, 1-18 (2024).
  91. Kotsiopoulos, T., et al. Revolutionizing defect recognition in hard metal industry through AI explainability, human-in-the-loop approaches and cognitive mechanisms. Expert Syst Appl. 255, 124839(2024).
  92. Forcher, B., et al. Evaluation of explainable AI methods for classification tasks in visual inspection. Proc XAI Workshop (Late-Breaking Work, Demos, Doctoral Consortium). , 77-82 (2023).
  93. Miller, T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell. 267, 1-38 (2019).
  94. Jacovi, A., Goldberg, Y. Towards faithfully interpretable NLP systems: how should we define and evaluate faithfulness. Proc Annu Meet Assoc Comput Linguist. 58, 4198-4205 (2020).
  95. Adebayo, J., et al. Sanity checks for saliency maps. Adv Neural Inf Process Syst. 31, 9505-9515 (2018).
  96. Doshi-Velez, F., Kim, B. Considerations for evaluation and generalization in interpretable machine learning. Proc Explainable and Interpretable Models in Computer Vision and Machine Learning. , 3-17 (2018).
  97. Lage, I., et al. An evaluation of the human-interpretability of explanation. arXiv preprint. , (2019).
  98. Theunissen, M., Browning, J. Putting explainable AI in context: institutional explanations for medical AI. Ethics Inf Technol. 24 (2), 1-10 (2022).
  99. Hoffman, R. R., et al. Measures for explainable AI: explanation goodness, user satisfaction, mental models, curiosity, trust, and human-AI performance. Front Comput Sci. 5, 1096257(2023).
  100. Hedström, A., et al. Quantus: an explainable AI toolkit for responsible evaluation of neural network explanations and beyond. J Mach Learn Res. 24, 1-11 (2023).
  101. Mohseni, S., et al. A multidisciplinary survey and framework for design and evaluation of explainable AI systems. ACM Trans Interact Intell Syst. 11 (3-4), 1-45 (2021).
  102. Finzel, B., et al. Domain-specific evaluation of visual explanations for application-grounded facial expression recognition. Lect Notes Comput Sci. 14065, 31-44 (2023).
  103. Yeh, C. K., et al. On the (in)fidelity and sensitivity for explanations. Adv Neural Inf Process Syst. 32, 10967-10978 (2019).
  104. Better metrics for evaluating explainable artificial intelligence. Rosenfeld, A. Proc Int Conf Autonomous Agents Multiagent Syst, , 45-53 (2021).
  105. Evaluation metrics for XAI: a review, taxonomy, and practical applications. Kadir, M. A., et al. Proc IEEE Int Conf Intell Eng Syst, , 111-124 (2023).
  106. Sankaran, K. Data science principles for interpretable and explainable AI. J Data Sci. 22, 1-27 (2024).
  107. Alvarez-Melis, D., Jaakkola, T. S. On the robustness of interpretability methods. arXiv preprint. , (2018).
  108. Zhang, Y., et al. Saliency-Bench: a comprehensive benchmark for evaluating visual explanations. arXiv preprint. , (2025).
  109. Bergmann, P., et al. The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection. Int J Comput Vis. 129 (4), 1038-1059 (2021).
  110. Tang, S., et al. Online PCB defect detector on a new PCB defect dataset. arXiv preprint. , (2019).
  111. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. Irvin, J., et al. Proc AAAI Conf Artif Intell, 33, 590-597 (2019).
  112. ImageNet: a large-scale hierarchical image database. Deng, J., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 248-255 (2009).
  113. Selvaraju, R. R., et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 128 (2), 336-359 (2020).
  114. Black-box explanation of object detectors via saliency maps. Petsiuk, V., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 11438-11447 (2020).
  115. Attention is not explanation. Jain, S., Wallace, B. C. Proc Conf North Am Chapter Assoc Comput Linguist, , 3543-3556 (2019).
  116. Transformer interpretability beyond attention visualization. Chefer, H., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 782-791 (2021).
  117. Wachter, S., et al. Counterfactual explanations without opening the black box: automated decisions and the GDPR. SSRN Electron J. , (2017).
  118. Deep learning for case-based reasoning through prototypes: a neural network that explains its predictions. Li, O., et al. Proc AAAI Conf Artif Intell, 32, 3530-3537 (2018).
  119. Counterfactuals in explainable artificial intelligence (XAI): evidence from human reasoning. Byrne, R. M. J. Proc Int Joint Conf Artif Intell, , 6276-6282 (2019).
  120. Ihongbe, I. E., et al. Evaluating explainable artificial intelligence (XAI) techniques in chest radiology imaging through a human-centered lens. PLoS One. 19 (10), e0308758(2024).
  121. Dörrich, M., et al. Explainable convolutional neural networks for assessing head and neck cancer histopathology. Diagn Pathol. 18 (1), 121(2023).
  122. Nguyen, H. Q., et al. VinDr-CXR: an open dataset of chest X-rays with radiologist's annotations. Sci Data. 9, 429(2022).
  123. Lee, D. J., et al. A systematic literature review on artificial intelligence and explainable artificial intelligence for visual quality assurance in manufacturing. Electronics. 12 (22), 4572(2023).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Techniki XAIinspekcja przemys owainspekcja medycznametody gradientowemetody propagacjimetody perturbacyjnemodele zast pczearchitektury samoatencji

Powiązane artykuły