Übersichtsartikel

Erklärbare KI für die visuelle Inspektion: Eine vergleichende Analyse und Überprüfung

DOI:

10.3791/69440

⸱

10. Oktober 2025

 , 
1Al-Khwarizmi College of Engineering, Automated Manufacturing Department, University of Baghdad

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dieser Übersichtsarbeit werden Explainable AI (XAI)-Methoden für die visuelle Inspektion im industriellen und medizinischen Bereich synthetisiert. Eine PRISMA-gesteuerte Suche identifizierte 75 Studien, die eine domänenspezifische Taxonomie und eine vergleichende Analyse unter Verwendung standardisierter Metriken ermöglichten. Wir tragen zu einer evidenzgestützten Taxonomie und einem praxisorientierten Workflow für die Werkzeugauswahl bei.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Techniken der erklärbaren künstlichen Intelligenz (XAI) ermöglichen Transparenz und Vertrauen in automatisierte visuelle Inspektionssysteme, indem sie Black-Box-Modelle des maschinellen Lernens verständlich machen. Obwohl XAI weit verbreitet ist, wurden frühere Überprüfungen nicht auf die spezifischen Anforderungen industrieller und medizinischer Inspektionsaufgaben eingegangen. In diesem Artikel werden Studien zur Anwendung von XAI-Techniken auf die visuelle Inspektion in industriellen und medizinischen Bereichen vorgestellt. In IEEE Xplore, Scopus, PubMed, arXiv und Web of Science wurde eine systematische Suche nach Studien durchgeführt, die zwischen 2014 und 2025 veröffentlicht wurden, wobei die Einschlusskriterien die Anwendung von XAI bei Inspektionsaufgaben unter Verwendung öffentlicher oder domänenspezifischer Datensätze erfordern. Aus einem anfänglichen Pool von Studien wurden 75 eingeschlossen und in post-hoc und intrinsisch kategorisiert, die dann hinsichtlich Genauigkeit, Robustheit, Komplexität und Lokalisierungsgenauigkeit bewertet wurden. Die Ergebnisse zeigen, dass gradienten- und ausbreitungsbasierte Methoden effiziente visuelle Erklärungen bieten, die sich für eine Inspektion nahezu in Echtzeit eignen, jedoch mit grober Lokalisierung, während störungsbasierte und Surrogatmodellmethoden detailliertere Zuschreibungen bei höherem Rechenaufwand, aber mit geringerer Robustheit ermöglichen. Darüber hinaus veranschaulichen prototypenbasierte Netzwerke und Self-Attention-Architekturen die Zielkonflikte zwischen Interpretierbarkeit und Vorhersageleistung. Die Auswahl der effektivsten XAI-Methode ist keine Einheitsgröße. Dies hängt vom Dataset, der Latenz und den Anforderungen an die Interpretierbarkeit ab. In dieser Übersichtsarbeit wird eine einheitliche Taxonomie von XAI-Methoden für die visuelle Inspektion vorgestellt, verschiedene Ansätze sowohl im industriellen als auch im medizinischen Bereich anhand standardisierter Metriken verglichen und ein aufgabenbasierter Auswahlworkflow vorgeschlagen, um Ärzte bei der Auswahl der optimalen Methode zu unterstützen. Im Vergleich zu früheren Übersichtsarbeiten bietet diese Arbeit eine domänenübergreifende vergleichende Analyse, die auf quantitativen Benchmarks basiert und Richtungen für eine standardisierte Bewertung und nutzerzentrierte Validierung aufzeigt.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Für Branchen wie die Fertigung, die Automobilindustrie, Lebensmittelverpackungen, Pharmazeutika und das Gesundheitswesen ist es unerlässlich, zu überprüfen, ob Produkte und Systeme angemessen und sicher funktionieren. Automatisierungs- und maschinelle Lernwerkzeuge, die über die traditionelle visuelle Inspektion durch menschliche Bediener oder rudimentäre kamerabasierte Systeme hinausgehen, verbessern die Genauigkeit, Produktionsgeschwindigkeit und Konsistenz1. Die KI-Inspektion ermöglicht die Echtzeitüberwachung2 und Fehlererkennung in Umgebungen mit hohem Durchsatz3, wodurch menschliche Fehler und Betriebskostenreduziert werden 4. Der Einsatz von künstlicher Intelligenz, insbesondere mit Fortschritten im Bereich des maschinellen Lernens (ML) und des Deep Learning (DL), hat autonome Systeme ermöglicht, die Defekteerkennen 5, Objekte klassifizieren und komplexe visuelle Mustererkennen 6. In jüngster Zeit haben Convolutional Neural Networks (CNNs)7, rekurrente Netze und Vision Transformers (ViTs) regelbasierte Systeme bei Aufgaben übertroffen, die von der Erkennung von Oberflächenfehlern bis zur Lokalisierung von Anomalien in der medizinischen Bildgebung reichen. Die Inspektion hat sich von regelbasierten Prozessen zu datengesteuerten Modellen verlagert, die mit großen Datensätzen trainiert wurden8.

Viele KI-Modelle fungieren als "Black Boxes", was bedeutet, dass es keinen Einblick in die Art und Weise gibt, wie diese Modelle Entscheidungen treffen. Dieser Mangel an Transparenz birgt Risiken. In der Fertigung können beispielsweise falsche Vorhersagen zu erhöhtem Abfall, Nacharbeiten, Produktrückrufen und Kundenunzufriedenheit führen. In der medizinischen Bildgebung sind Fehlklassifizierungen kritischer, da sie Diagnosen verzögern oder Behandlungspläne beeinträchtigen können. Selbst die Entwickler dieser Modelle können ihre Ergebnisse oft nicht vollständig erklären, was das Vertrauen und die Akzeptanz einschränkt.

Hier wird Explainable AI (XAI) unerlässlich. XAI ist eine Gruppe von Methoden und Werkzeugen, die darauf abzielen, Modellentscheidungen des maschinellen Lernens für Menschen interpretierbar zu machen9. Ziel ist es, Black-Box-Prädiktoren in transparente "Glass-Box"-Systeme zu verwandeln, indem sie für Menschen lesbare Begründungen für ihre Ausgaben liefern. In der Praxis würde ein XAI-fähiges Inspektionssystem über die Fehlererkennung hinausgehen, indem es ein Teil nicht nur als fehlerhaft kennzeichnet, sondern auch erklärt, warum es gekennzeichnet wurde.

Trotz der wachsenden Literatur sind die bestehenden Erhebungen zu XAI in der Computer Vision nach wie vor in begrenztem Umfang. Viele konzentrieren sich eng auf die medizinische Bildgebung oder die industrielle Inspektion und bieten nützliche Taxonomien an, verlassen sich aber in erster Linie auf qualitative Vergleiche ohne standardisierte Benchmarks. Umfassendere Übersichtsarbeiten, wie z.B. Nauta et al.10, bieten einen domänenunabhängigen Überblick, bieten jedoch keine praxisorientierten Auswahlrahmen. Selbst die bisher umfassendste Computer-Vision-Umfrage von Cheng et al.11 erweitert die Taxonomie und diskutiert Metriken wie Genauigkeit und Lokalisierungsgenauigkeit, bleibt jedoch für alle Bildverarbeitungsaufgaben allgemein und befasst sich nicht speziell mit visueller Inspektion, Hochdurchsatz-Einsatz oder Human-in-the-Loop-Validierung. In ähnlicher Weise folgen industrielle Überprüfungen von XAI für Prognosen und Asset-Management einem PRISMA-Framework, konzentrieren sich jedoch auf Prognostik und Gesundheitsmanagement (PHM) und nicht auf visuelle Inspektionsaufgaben.

Um diese Lücken zu schließen, leistet dieser Bericht einen Beitrag zu Folgendem:

Systematische Taxonomie: Eine PRISMA-geführte Überprüfung von 75 Studien sowohl in der industriellen als auch in der medizinischen visuellen Inspektion.

Vergleichende Analyse: Benchmarking mehrerer XAI-Methoden (GradCAM, LRP, SHAP, LIME und RISE) an öffentlichen visuellen Inspektionsdatensätzen (z. B. MVTec AD, PCB) mit standardisierten Metriken wie Lösch-/Einfüge-AUC, Genauigkeit des Zeigespiels, Stabilität und Latenz.

Rahmen für Bewertungsmetriken: Formale Definitionen und Gleichungen für Genauigkeit, Robustheit, Interpretierbarkeit und aufgabenspezifische Maße, die bei der Bewertung von XAI-Methoden verwendet werden.

Praktische Hinweise: Fallstudien und ein praxisorientierter Auswahlworkflow, der Aufgabentyp, Latenz und Erklärungsbedarf mit spezifischen Methoden verknüpft.

Zusammen stellen diese Beiträge die domänenspezifischste, benchmarkbasierte Synthese von XAI für die visuelle Inspektion dar, die sich sowohl an Forscher als auch an Praktiker richtet, die eine zuverlässige Anleitung suchen.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Überprüfung und Perspektive

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

2. XAI-Rahmen

Die meisten hochmodernen KI-Modelle – insbesondere tiefe neuronale Netze – werden oft als Black Boxes behandelt. Es gibt wenig Einblick in die Art und Weise, wie sie Entscheidungen treffen12. Dieser Mangel an Transparenz ist ein Hindernis für das Vertrauen und die Erklärbarkeit in verschiedenen Anwendungen. Dadurch ist XAI zu einem unverzichtbaren Bestandteil einer vertrauenswürdigen KI geworden. Es gibt keinen einheitlichen Ansatz, der für alle Szenarien geeignet ist: Einige Methoden gehen von vollständigem Zugriff auf die Interna des Modells aus, während andere das Modell als unveränderliche Blackbox behandeln. Einige priorisieren lokale Erklärungen für einzelne Vorhersagen, während andere einen globalen Einblick in das Verhalten eines Modells bieten. Wie in Abbildung 1 dargestellt, haben diese Überlegungen zu zwei großen Kategorien von XAI-Techniken geführt, die darauf basieren, wann die Erklärbarkeit eingeführt wird: Post-hoc-Erklärungsmethoden und intrinsische Interpretierbarkeitsmethoden13. Post-hoc-Methoden werden weiter in modellagnostische und modellspezifische14 kategorisiert.

figure-protocol-1
Abbildung 1: XAI-Framework für die visuelle Inspektion. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

  1. Post-hoc explanation methods
    Post-hoc-Methoden generieren Erklärungen, nachdem ein Modell trainiert wurde, ohne dessen Architektur oder Parameter zu verändern15. Diese Ansätze sind beliebt, weil sie es Praktikern ermöglichen, die Vorteile von Hochleistungsmodellen zu nutzen und ihre Ergebnisse dann im Nachhinein zu erläutern16. Da das zugrunde liegende Modell jedoch unverändert bleibt, müssen Post-hoc-Erklärungen die Argumentation des Modells approximieren oder ableiten, was zu Approximationsfehlern und Instabilität führen kann17. In den folgenden Abschnitten werden sowohl modellspezifische als auch agnostische Methoden erläutert.
    1. Modellspezifisch
      Diese Methoden nutzen das Wissen über die Struktur oder den Trainingsmechanismus eines Modells, um auf dieses Modell zugeschnittene Erklärungen zu liefern. Ein Paradebeispiel ist die gradientenbasierte Attribution für tiefe neuronale Netze. Methoden wie GradCAM (Gradient-weighted Class Activation Mapping) verwenden die internen Gradienten trainierter CNNs, um visuelle "Heatmaps" zu erstellen, die die Bereiche eines Eingabebildes hervorheben, die für eine bestimmte Vorhersage am wichtigsten sind17. GradCAM berechnet den Gradienten des Zielklassen-Scores in Bezug auf Merkmalskarten in der abschließenden Faltungsschicht und projiziert diese Farbverläufe auf das Bild, wodurch eine klassendiskriminative Lokalisierungskarte entsteht. Andere Methoden zur Gradientenausbreitung lassen sich auf unterschiedliche Netzwerkarchitekturen verallgemeinern. Integrierte Gradienten (IG)18 akkumulieren Gradienten entlang des Pfades von einer Basislinieneingabe (z. B. einem leeren Bild) zur tatsächlichen Eingabe und erfüllen die gewünschten Axiome für die Merkmalszuordnung. DeepLIFT19 propagiert auf ähnliche Weise Unterschiede von einer Referenzaktivierung durch jeden Layer, um den Beitrag jedes Eingabe-Features zu schätzen. Bei der schichtweisen Relevanzausbreitung (Relevance Propagation, LRP) wird ein Vorhersagewert Schicht für Schicht rückpropagiert, wobei die "Relevanz" auf jedes Eingabepixel oder Merkmal20 verteilt wird. Zusammenfassend lässt sich sagen, dass modellspezifische Methoden interne Gradienten, Aktivierungen oder Aufmerksamkeit nutzen, um Erklärungen zu liefern, die eng mit der Struktur des Modells gekoppelt sind.
    2. Modell-agnostisch
      Im Gegensatz dazu behandeln modellagnostische Methoden das Modell als Blackbox, die nach Ausgaben abgefragt werden kann. Diese Techniken gehen von minimalen Annahmen aus und erfordern in der Regel lediglich, dass man die Vorhersage des Modells für gestörte Eingaben erhalten kann. Beispiele hierfür sind LIME (Local Interpretable Model-Agnostic Explanations), das ein einfaches, interpretierbares Modell (wie ein spärliches lineares Modell oder einen Entscheidungsbaum) verwendet, um das Verhalten des komplexen Modells in der Nähe einer gegebenen Eingabe21 nachzuahmen. Für eine spezifische Vorhersage generiert LIME viele gestörte Versionen der Eingabe, ruft die Vorhersagen des Black-Box-Modells für jede Version ab und lernt dann eine gewichtete lineare Regression, die diese lokalen Eingabe-Ausgabe-Beziehungenapproximiert 22. Die Koeffizienten dieses linearen Ersatzmodells dienen als Erklärung und geben an, welche Merkmale die Vorhersage am stärksten beeinflussen23. Der Reiz von LIME liegt in seiner Flexibilität (mit jedem Klassifikator verwendbar) und seiner intuitiven Ausgabe (z. B. eine kleine Anzahl gewichteter Merkmale). SHapley Additive Explanations (SHAP) ist eine weitere beliebte modellagnostische Methode, die auf der Spieltheorie24 basiert. SHAP erklärt eine individuelle Vorhersage durch die Berechnung von Merkmalszuordnungen, die sich den Shapley-Werten aus der kooperativen Spieltheorie annähern und Eigenschaften wie Additivität und Konsistenzsicherstellen 25. Neben der Merkmalszuordnung umfassen modellagnostische Ansätze auch visuelle Störungsmethoden für Bildmodelle. RISE (Randomized Input Sampling for Explanation) generiert Wichtigkeitskarten, indem Teile des Eingabebildes nach dem Zufallsprinzip maskiert und beobachtet werden, wie sich die Ausgabe des Modells ändert26. Durch die Abtastung vieler solcher Masken erstellt RISE eine probabilistische Salienzkarte, die angibt, welche Pixel oder Regionen für die Vorhersage am einflussreichsten waren26. Bemerkenswert ist, dass RISE keinen Zugriff auf die Interna des Modells erfordert und nur die Fähigkeit erfordert, das Modell auf modifizierten Eingaben zu evaluieren, was es zu einer echten Black-Box macht. Schließlich konzentriert sich ein wachsender Bereich der modellagnostischen XAI auf kontrafaktische Erklärungen. Eine kontrafaktische Erklärung zählt nicht die Wichtigkeit von Merkmalen auf, sondern beantwortet stattdessen die Frage: "Welche minimale Änderung an der Eingabe hätte die Vorhersage des Modells verändert?" 27. Algorithmen zur Generierung von Kontrafaktualitäten führen in der Regel eine Suche im Eingaberaum (oder einem gelernten latenten Raum) nach dem nächstgelegenen Beispiel durch, das die gewünschte Ausgabe liefert, während sie Realismus und Sparsamkeit in den Änderungen erzwingen. Zusammenfassend lässt sich sagen, dass Post-hoc-XAI-Methoden weit verbreitet sind, da sie nach dem Training auf Hochleistungsmodelle angewendet werden können und Vorhersagekraft mit einem gewissen Maß an Transparenz kombinieren.
  2. Intrinsische Interpretierbarkeitsmethoden
    Intrinsische Methoden verfolgen einen grundlegend anderen Ansatz: Anstatt eine Black-Box im Nachhinein zu erklären, machen diese Methoden das Modell von vornherein interpretierbar. Selbsterklärende neuronale Netze (SENN) sind ein bemerkenswertes Beispiel. In dem von Alvarez-Melis und Jaakola vorgeschlagenen SENN-Framework28 ist das neuronale Netz so strukturiert, dass es zunächst eine Reihe von intermediären Konzeptaktivierungen berechnet und dann eine Vorhersage als einfache, erklärbare Funktion dieser Konzepte generiert. ProtoPNet (Prototypical Part Network) ist ein tiefes Netzwerk, das Eingaben klassifiziert, indem es sie mit einer Reihe von erlernten Prototyp-Darstellungen jeder Klasse vergleicht. Zum Beispiel könnte ein ProtoPNet in einer Bildklassifizierungsaufgabe Prototyp-Patches lernen und Entscheidungen treffen, indem es herausfindet, welche Prototypen am meisten durch die Eingabe29 aktiviert werden. Im Bereich der Sequenzmodelle und Transformatoren wurden Aufmerksamkeitsmechanismen ebenfalls für die intrinsische Interpretierbarkeit genutzt. Einige Modelle werden mit einem Aufmerksamkeitsausrichtungsziel trainiert, das die Aufmerksamkeitsgewichte des Modells dazu anregt, bekannten wichtigen Merkmalen oder von Menschen gekennzeichneten relevanten Regionen zu entsprechen. Indem diese Ansätze die Aufmerksamkeit so lenken, dass sie "aus den richtigen Gründen richtig ist"30, produzieren sie Modelle, die nicht nur gut funktionieren, sondern auch Aufmerksamkeitsverteilungen aufweisen, die direkt als Erklärungen interpretiert werden können. Darüber hinaus liefern solche Modelle Erklärungen, die typischerweise konstruktionsgetreu sind, da die Erklärung aus der eigenen interpretierbaren Struktur des Modells generiert wird und nicht aus einer externen Post-hoc-Approximation31.

3. XAI-Taxonomie

Um eine strukturierte Synthese des Forschungsstandes zu ermöglichen, wurde eine systematische Literaturrecherche unter Anlehnung an die PRISMA-Leitlinien durchgeführt (Abbildung 2). Der Prozess umfasste mehrere akademische Datenbanken (Scopus, Web of Science, IEEE Xplore, SpringerLink, PubMed, arXiv und MDPI) und wurde von einer Reihe von Suchbegriffen geleitet, die "erklärbare KI", "Interpretierbarkeit", "visuelle Inspektion", "Fehlererkennung", "Anomalieerkennung", "Fertigung" und "medizinische Bildgebung" kombinierten. Die Einschlusskriterien setzten voraus, dass die Arbeiten XAI-Methoden explizit in visuellen Inspektionskontexten (industriell oder medizinisch) anwendeten oder bewerteten und ausreichende methodische Details enthielten. Durch die Ausschlusskriterien wurden sowohl rein theoretische Vorschläge ohne Umsetzung als auch Arbeiten außerhalb der Sichtprüfung entfernt. Bei der Suche wurden zunächst 483 Datensätze gefunden. Nach dem Entfernen von Duplikaten und dem Screening von Titeln und Abstracts blieben 147 für die Volltextprüfung übrig. Die Anwendung von Einschluss-/Exklusionskriterien ergab 75 Primärstudien, die die Grundlage dieser Übersichtsarbeit bilden.

figure-protocol-2
Abbildung 2: PRISMA-Flussdiagramm des systematischen Review-Prozesses nach den PRISMA-Richtlinien. Die Abbildung zeigt die in jeder Phase identifizierten, gescreenten und ausgeschlossenen Datensätze, was 75 Primärstudien ergibt, die in die abschließende Überprüfung einbezogen wurden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

  1. Angewandte Taxonomie der begutachteten Studien
    Aufbauend auf dem in Abschnitt 2 vorgestellten konzeptionellen Rahmen (Post-hoc- und intrinsische Ansätze) haben wir eine domänenspezifische Taxonomie verfeinert, die aus diesen 75 Studien abgeleitet wurde. Diese angewandte Taxonomie unterscheidet Methoden nach ihrer Implementierung in visuelle Inspektionsaufgaben, wie in Abbildung 3 dargestellt.
  2. Verteilung der Studien über die Taxonomie
    Die vollständige Verteilung der 75 Studien ist in Tabelle 1 zusammengefasst. Jede Studie wird ihrer methodischen Kategorie und ihrem Anwendungsbereich zugeordnet. Dies bietet eine empirische Grundlage für die in Abschnitt 4 vorgestellte vergleichende Analyse.
  3. Synthese
    Aus dieser systematischen Übersichtsarbeit ergeben sich mehrere klare Trends. Erstens sind gradientenbasierte Post-hoc-Methoden aufgrund ihrer Effizienz und einfachen Integration nach wie vor am weitesten verbreitet in industriellen und medizinischen Inspektionsaufgaben. Zweitens bieten störungsbasierte Methoden umfangreichere Merkmalszuordnungen, sind aber in industriellen Umgebungen mit hohem Durchsatz aufgrund des Rechenaufwands weniger verbreitet. Drittens gewinnen intrinsische Methoden an Bedeutung, sind aber nach wie vor unterrepräsentiert: In weniger als 15 % der Studien werden sie umgesetzt.
    Durch die Verankerung dieser Taxonomie in einem reproduzierbaren PRISMA-geführten Review und die Verknüpfung mit einer strukturierten Datenbank mit 75 Studien schafft dieser Abschnitt eine validierte Evidenzbasis. Diese Ergebnisse bildeten die Grundlage für die vergleichende Analyse in Abschnitt 4, in der repräsentative Methoden anhand standardisierter Metriken (Wiedergabetreue, Robustheit, Latenz und Lokalisierungsgenauigkeit) verglichen werden.

figure-protocol-3
Abbildung 3: Vorgeschlagene Taxonomie von XAI-Methoden bei visuellen Inspektionsaufgaben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

XAI-MethodeXAI-AnsatzStudierenIndustrieJahr
IntrinsischRegelbasierte und lineare Modelle32,33 kgMedizin allgemein2015–2019
Prototypenbasiert (ProtoPNet, Case-based, Deformable ProtoPNet) 29,34,35,36 kg Medizin, Industrie, Allgemein2018–2024
Konzeptgetrieben (Konzept-Engpass, Right-for-Right-Gründe) 30,31,37 kg Allgemeine, wissenschaftliche Anwendungen2020–2021
Selbsterklärende Neuronale Netze (SENN)28Allgemein2018–2020
Entwirrte Darstellung (β-VAE),SOXAI38,39 kgAllgemein2018
Vision Transformers (Intrinsische Interpretierbarkeit über Aufmerksamkeit) 40,41,42,43,44,45 Computer Vision, Fertigung2020–2024
Post-hoc, modellspezifischCAM-Familie 46,47,48,49,50,51,52, 53,54,55,56,57,58 Medizinische Bildgebung, Fertigung, Automobilindustrie, Landwirtschaft, Elektronik2018–2025
LRP (Layer-wise Relevance Propagation) 20,59,60,61,62 Allgemein, Medizinische Bildgebung2015–2024
Gradient & Saliency Methoden (integrierte Gradienten, Smooth IG DeepLIFT, DeconvNet, t-Explainer, Saliency Benchmarks) 18,19,63,64,65,
66,67,68,69,70 		Allgemein, Medizinische Bildgebung2013–2025
Attribution in spezialisierten Modellen (SNNs, Transformers-Aufmerksamkeitszuschreibung) 71,72,73 kg Neurowissenschaften, Vision Transformers2023–2025
Post-hoc, modellagnostischLIME & Varianten (LIME, ELIME, MASALA), SHAP & Varianten (Tree SHAP),Finanzen, Prognose und Gesundheitsmanagement, Cybersicherheit, autonome Fahrzeuge, industrielle Inspektion.2016–2025
Kontrafaktisch 21,22,23,24,25,27,74,
75,76,77,78,79,80,81,
82,83,84,85,86
Erklärungen
Hybride MethodenIntegration mehrerer XAI-Methoden, einschließlich (GradCAM, SHAP, LRP, LIME) 58,87,88,89,90,91,92 Industrielle Inspektion, Gesundheitswesen, Fertigung.2021–2025

Tabelle 1: Klassifizierung von 75 überprüften Studien nach XAI-Methode, Jahr, Branche und Ansatz.

4. Bewertungsmetriken für XAI

Die Leistung eines Computer-Vision-Modells wird anhand etablierter Metriken wie Genauigkeit, Präzision und Abruf beurteilt. Die Bewertung der Erklärbarkeit der Entscheidungen eines Modells ist jedoch weitaus weniger einfach. Im Gegensatz zur standardmäßigen Vorhersageleistung gibt es keine allgemein akzeptierte Metrik für die Qualität von KI-Erklärungen66. Mit anderen Worten, während die Genauigkeit eines Klassifikators genau gemessen werden kann, gibt es keine vereinbarte Skala, um zu quantifizieren, wie "gut" eine Erklärung für eine bestimmte Bildklassifizierung ist93. Diese Diskrepanz verdeutlicht eine grundlegende Lücke im Bereich der XAI: Wie ist eine Erklärung zu bewerten?

Die Entwicklung standardisierter XAI-Bewertungskriterien hat sich als außerordentlich herausfordernd erwiesen. Ein Grund dafür ist, dass Interpretierbarkeit und Erklärungsqualität vielschichtig und kontextabhängig sind und sich daher einer einzigen universellen Metrikwidersetzen 10. Die effektive Bewertung einer Erklärung hängt von mehreren Faktoren ab, darunter die Anwendungsdomäne, die Art der erstellten Erklärung und der Hintergrund des Endbenutzers. So kann z. B. eine Erklärungstechnik, die für eine medizinische Bilddiagnose geeignet ist, anders bewertet werden als eine Erklärungstechnik, die bei einer industriellen visuellen Inspektionsaufgabe10 verwendet wird.

In der Praxis hat das Fehlen von Standardmetriken dazu geführt, dass sich die Forscher auf eine Vielzahl von Bewertungsansätzen verlassen haben. Viele Studien greifen nach wie vor auf eine qualitative, anekdotische Evaluierung von XAI-Methoden zurück94,95. Es ist üblich, dass Autoren einige Salienzkarten oder Heatmaps vorlegen und argumentieren, dass diese vernünftig erscheinen (der sogenannte "Face-Validity"-Test)96. Eine solche visuelle Inspektion kann im erzählerischen Sinne überzeugend sein, bleibt aber subjektiv und unzureichend für einen rigorosen Vergleich97. Dies verdeutlicht die Schwierigkeit der Standardisierung von XAI-Metriken; In Ermangelung vereinbarter Kriterien schlagen die Forscher Metriken vor, die auf jeden Datensatz oder Anwendungsfall zugeschnitten sind.

Infolgedessen ist die Literatur heute reich an verschiedenen XAI-Bewertungsmetriken, die diese Lücke schließen sollen98. Es wurden zahlreiche Rahmenwerke und Maßnahmen vorgeschlagen, die jeweils auf einen bestimmten Aspekt dessen abzielen, was eine Erklärung nützlich macht99. Im Großen und Ganzen können Metriken nach ihrem Hauptfokus klassifiziert werden. Treuebasierte Metriken beurteilen eine Erklärung danach, wie gut sie den Entscheidungsprozess des Modells100 widerspiegelt. Im Gegensatz dazu bewerten interpretierbarkeitszentrierte Metriken, wie verständlich und überzeugend die Erklärung für einen menschlichen Beobachter ist101. Eine dritte Kategorie sind aufgabenbasierte Metriken, bei denen die Bewertung der Erklärung von ihren Auswirkungen auf die Leistung der Endbenutzer abhängt102. Eine vierte Kategorie sind robustheitsorientierte Metriken, die die Konsistenz der Ergebnissebewerten 103. Schließlich kombinieren hybride Metriken mehrere Dimensionen104.

Diese Vielfalt der Metriken zeigt die Aspekte der Erklärbarkeit an, die die Forscher für wichtig halten, unterstreicht aber auch das Fehlen eines einzigen Standards: Jede Metrik erfasst nur einen Blickwinkel der Erklärungsqualität105. Im Folgenden werden eine Reihe von Bewertungsmetriken für XAI in vier Hauptkategorien gruppiert und in Tabelle 2 zusammengefasst.

Metrischer TypMetrikFormel / Definition
TreueDeletionsfläche unter der Kurve (AUC)26figure-protocol-4
sind wichtige Top-K-Funktionen ; niedriger = treuer
Einfügefläche unter der Kurve (AUC)26figure-protocol-5
höher = treuer
Untreue-Punktzahl103figure-protocol-6
niedriger = besser
ROAR106Die Genauigkeit sinkt nach dem erneuten Training ohne "wichtige" Funktionen
RobustheitStabilitätsindex107figure-protocol-7
höher = konsistenter
Lipschitz Punktzahl103figure-protocol-8
niedriger = robuster
InterpretierbarkeitSparsamkeit79figure-protocol-9
niedriger = einfacher
Tiefe der Leihmutter79Tiefe des interpretierbaren Surrogats (z. B. Entscheidungsbaum);
flacher = einfacher
AufgabenspezifischSchnittmenge über Vereinigung (IoU)108figure-protocol-10
Überlappung von Maske M und Ground-Truth G
Zeigespiel108Genauigkeit = #hits / #samples
höher = besser
HybridGesamtpunktzahl104Gewichtete Kombination aus Wiedergabetreue, Sparsamkeit und Robustheit

Tabelle 2: Bewertungsmetriken für XAI in der visuellen Inspektion, gruppiert in vier Hauptkategorien.

5. Vergleichende Analyse

In diesem Abschnitt werden Methoden aus öffentlichen Datensätzen wie MVTec AD109 (>5.000 Fehlerbilder mit Pixelebenenmasken) und DeepPCB110 (1.500 PCB-Bilder mit sechs Fehlerklassen), CheXpert111 und ImageNet112 verglichen und anhand der folgenden Metriken bewertet: Deletion/Insertion AUC (Treue), Pointing-Game-Genauigkeit (Lokalisierung), Stabilitätswerte (Robustheit bei Störungen) und Latenz (Laufzeitkosten).

Für CAM-basierte Methoden (GradCAM, GradCAM++) zeigen die Ergebnisse von MVTec AD und DeepPCB, dass GradCAM eine Genauigkeit von 0,83-0,87 (Insertions-AUC ~0,68; <15% Genauigkeitsabfall beim Löschen), eine Sensitivität (0,80 - 0,85) und eine Laufzeit <100 ms (~39 Frames Per Second (FPS)) erreicht. Die Lokalisation bleibt moderat (mittlerer IoU ≈0,28 @ δ=0,25; Zeigegenauigkeit 86-87%). GradCAM++ verbessert die Lokalisierung mehrerer Instanzen (mittlerer IoU = 0,38) bei ähnlicher Latenz (<120 ms) und höherem Benutzervertrauen (109,69/250 vs. 56,08/250 für GradCAM). Diese Methoden sind effizient, aber räumlich grob 47,113.

Bei störungsbasierten Methoden (LIME, SHAP, RISE) variiert die Leistung je nach Datensatz. Unter MVTec AD erreicht LIME die lokale Genauigkeit R² = 0,70-0,80, weist aber eine geringe Robustheit (Stabilitätsindex <0,5), eine Latenz von 3-5 s/Bild und eine moderate Lokalisierung (IoU = 0,25-0,35) auf. SHAP, das auf die Klassifizierung von PCB-Defekten angewendet wird, erzielt konsistente Zuordnungen (Δ log-odds = 0,2-0,3) mit starker menschlicher Ausrichtung (70-80%), ist aber langsamer (>1 s/Bild) und weist eine schwache Lokalisierung auf (IoU ≈0,02-0,03). RISE, das auf MS-COCO gebenchmarkt und für MVTec AD repliziert wurde, erreicht durchschnittlich 4.000-8.000 maskierte Vorwärtsdurchgänge, was zu einer hohen Robustheit (Stabilität >0,7), Genauigkeit (0,78-0,82 AUC) und überlegener Lokalisierung (Pointing-Game = 62,9% vs. 48,3% für GradCAM) führt, jedoch bei 1-2 s/Erklärungslatenz 26,74,79,114.

Für Relevanzpropagationsmethoden (LRP, DeepLIFT) zeigen Auswertungen auf DeepPCB und CheXpert, dass LRP eine Genauigkeit von 0,82-0,90, eine Sensitivität von ~0,85 und einen Lokalisations-IoU von 0,40-0,50 erreicht. Die Laufzeit beträgt 100-200 ms pro Bild, langsamer als bei CAMs, aber machbar für eine Inspektion nahezu in Echtzeit. Bei CheXpert-Radiologieaufgaben zeigen Expertenstudien eine Überlappung von >70 % zwischen LRP-Heatmaps und klinisch relevanten Regionen, was die Interpretierbarkeit über Domänen hinweg belegt60.

Für aufmerksamkeitsbasierte Methoden (Transformer) ergeben die Ergebnisse für ViT-Modelle, die mit ImageNet und CheXpert trainiert wurden, eine Genauigkeit von 0,75-0,85, sind aber bei Störungen instabil, mit einer Empfindlichkeit von 0,70-0,75 und einer moderaten Lokalisierung (IoU = 0,30-0,45). Menschliches Vertrauen liegt bei ~60-70%. Angepasste Ansätze (Attention-Flow, Transformer-LRP) verbessern kausale Metriken und übertreffen die rohe Aufmerksamkeit bei Deletion/Insertion und Pointing-Game-Wertenvon 40.115.116.

Für prototypen- und kontrafaktische Methoden zeigen die Auswertungen in MVTec AD, dass ProtoPNet exemplarbasierte Erklärungen liefert, bei denen Vorhersagen durch ähnliche Fehlerfälle gerechtfertigt sind, was die Entscheidungsfindung des Betreibers unterstützt. SOM-basierte Ansätze clustern Defektmerkmale auf 2D-Karten unter Beibehaltung topologischer Beziehungen. Kontrafaktische Methoden, die sowohl an PCB-Defektbildern als auch an CheXpert getestet wurden, liefern umsetzbare Argumentationen ("wenn die Risslänge weniger als 1 mm beträgt, verschiebt sich die Vorhersage auf den Normalwert"), erfordern jedoch eine kostspielige Optimierung und haben Schwierigkeiten mit hochauflösenden Eingaben. Diese Methoden orientieren sich stark an der menschlichen Argumentation, skalieren aber schlecht 117.118.119.

Wenn man schließlich Kompromisse und die praktische Auswahl berücksichtigt, dominieren CAMs latenzkritische Workflows, bleiben aber grob. LRP sorgt für ein ausgewogenes Verhältnis zwischen Wiedergabetreue und Laufzeit und zeichnet sich durch eine Analyse auf Pixelebene aus. RISE bietet die stärkste kausale Treue und Lokalisierung, jedoch mit einer Latenz von Sekunden. SHAP und LIME verbessern die Interpretierbarkeit, sind aber langsam und instabil. Prototypen und kontrafaktische Darstellungen maximieren die menschliche Ausrichtung, skalieren aber bei hochauflösenden Inspektionen schlecht. Transformatorbasierte Modelle erfordern spezielle Anpassungen, die über die rohe Aufmerksamkeit hinausgehen. Daher übertrifft keine einzelne Methode universell die anderen; Stattdessen muss die Methodenauswahl die Anforderungen an Dataset, Aufgabe, Latenz, Budget und Interpretierbarkeit widerspiegeln. Wie in Abbildung 4 gezeigt, integriert der Auswahl-Workflow drei dieser Benchmarks (Aufgabe, Latenz, Interpretierbarkeit) in einen aufgabenorientierten Leitfaden für die Auswahl von XAI-Methoden in der visuellen Inspektion.

figure-protocol-11
Abbildung 4: Auswahlworkflow für die Einführung der XAI-Methode. Dabei handelt es sich um ein Entscheidungsflussdiagramm, das die Auswahl geeigneter XAI-Methoden in der visuellen Inspektion leitet. Der Workflow berücksichtigt den Aufgabentyp (Klassifizierung, Segmentierung, Anomalieerkennung, Regression), Latenzeinschränkungen und Erklärungsdetails und verknüpft sie mit repräsentativen Methoden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

6. Diskussion

  1. Vergleichende Ergebnisse
    Unsere Analyse zeigt, dass gradientenbasierte Methoden wie GradCAM und Layer-wise Relevance Propagation (LRP) hervorragend darin sind, die spezifischen Bildbereiche hervorzuheben, die den größten Einfluss auf die Entscheidungen eines Faltungsnetzwerks haben, was sie zu intuitiven Werkzeugen für Aufgaben wie die Lokalisierung von Defekten oder die Klassifizierung medizinischer Bilder macht. Diese Ansätze sind effizient, da sie in einem einzigen Rückwärtsdurchgang arbeiten, aber ihre Erklärungen sind oft grob und können in komplexen Regionen unklar werden. Im Gegensatz dazu bieten modellagnostische Merkmalszuordnungstechniken wie SHAP und LIME quantitativere Einblicke in die Merkmalsbeiträge, indem sie das Modell mit gestörten Eingaben untersuchen oder lokale Surrogate anpassen, jedoch mit einem höheren Rechenaufwand als GradCAM.
    Aufmerksamkeitsbasierte Methoden nutzen die internen Gewichtungen des Modells, um die Fokusbereiche innerhalb des Modells115 hervorzuheben. RISE hingegen stellt eine auf Randomisierung basierende Strategie dar, die Eingaben maskiert und abtastet, um flexible Salienzkarten zu erstellen, obwohl sie Tausende von Vorwärtsdurchgängen erfordert. Zusammengenommen sind diese Techniken unter bestimmten Umständen hervorragend, aber keine übertrifft die anderendurchweg 26. Stattdessen hängt die Wahl der Methode von der Modellarchitektur, der visuellen Inspektionsaufgabe, den Latenzanforderungen und der Art der Informationen ab, die von den Entscheidungsträgern benötigt werden.
  2. Fallstudien
    Im Folgenden finden Sie Fallstudien aus der Praxis, in denen XAI sowohl im medizinischen als auch im industriellen Bereich implementiert wurde: Im Gesundheitswesen wurden Lungenentzündungs- und COVID-19-Erkennungsmodelle, die auf Röntgenaufnahmen des Brustkorbs und CT-Scans trainiert wurden, mit GradCAM und LIME erklärt, und Radiologen bevorzugten in Benutzerstudien durchweg GradCAM, da die hervorgehobenen Regionen mit der erwarteten Pathologie übereinstimmten, wie z. B. Lungeninfiltrate120. In ähnlicher Weise hoben CNN-Vorhersagen, die durch GradCAM und hochauflösende CAM unterstützt wurden, in der digitalen Pathologie für Kopf- und Halskrebs bösartige Zellcluster hervor, die von Pathologen als klinisch relevant bestätigt wurden, was zeigte, dass die Erklärungen sowohl die klinische Genauigkeit als auch das Vertrauen stärkten121.
    Im Bereich der Fertigung hat XAI einen transformativen Unterschied in Bezug auf Genauigkeit und Erklärbarkeit gemacht. Eine der Hauptanwendungen ist die Fremdkörpererkennung auf Röntgenbildern von Reifen unter Verwendung eines Convolutional Neural Network, das auf der Xception-Architektur basiert. Durch die Einbeziehung von Gradient-weighted Class Activation Mapping (GradCAM) erreichte das System eine Klassifizierungsgenauigkeit von mehr als 99 % und erstellte Heatmaps, die die genauen Bereiche innerhalb des Bildes anzeigen, die für Vorhersagen verantwortlich sind. Diese visuellen Erklärungen ermöglichten es den QA-Ingenieuren zu überprüfen, ob die Aufmerksamkeit des Modells auf legitimen Anomalien in der strukturellen Unterstützung des Reifens und nicht auf irrelevanten Artefakten lag, was das Vertrauen erheblich verbesserte und den Einsatz in Produktionsumgebungen mit hohem Einsatz erleichterte48.
    In der Elektronikindustrie zeigt der SolderNet-Ansatz die Integration von XAI in die Fehlerinspektion auf Pixelebene. Das CNN-basierte Verfahren wurde für die Inspektion von Lötstellen auf Leiterplatten entwickelt, eine Aufgabe, bei der eine hohe Genauigkeit und Erklärbarkeit zwingend erforderlich ist. Mit der Anwendung von GradCAM und Layer-wise Relevance Propagation (LRP) extrahierte die Methode Salienzkarten, die die Pixel hervorhoben, die für bestimmte Defektklassifizierungen verantwortlich sind. Durch diese Erklärbarkeit war der Bediener in der Lage, True- und False-Positive-Ergebnisse zu unterscheiden und Einblicke in Fehlermodi zu gewinnen, die zuvor Black-Box-Ausgänge39 gewesen wären. Diese Fälle zeigen, dass XAI geschätzt wird, wenn seine Erklärungen mit der Argumentation von Experten übereinstimmen, aber zu wenig genutzt wird, wenn die Erklärungen instabil, grob oder rechnerisch unpraktisch sind.
  3. Grenzen der aktuellen Evidenz
    Trotz dieser Fortschritte gibt es nach wie vor einige Einschränkungen. Erstens stützen sich die meisten empirischen Studien auf öffentliche Datensätze wie MVTec AD für die industrielle Inspektion oder VinDR-CXR122 für die medizinische Bildgebung, die die realen Umgebungen von Fabriken oder Krankenhäusern möglicherweise nicht vollständig abbilden. Zweitens bleibt die Bewertung fragmentiert: Genauigkeit, Robustheit und Interpretierbarkeit werden in allen Studien uneinheitlich gemessen, oft mit Ad-hoc-Definitionen und ohne standardisierte Schwellenwerte. Drittens fehlt es vielen Werken an menschlicher Bestätigung. Metriken wie die AUC des Löschens, die Genauigkeit des Pointing-Spiels oder die Lokalisierungs-IoU liefern zwar quantitative Ergebnisse, bestätigen jedoch nicht, dass diese Erklärungen die Entscheidungsfindung der Benutzer tatsächlich verbessern. Schließlich integrieren nur ~8% der KI-basierten Qualitätssicherungsstudien in der Fertigung XAI in ihren Arbeitsablauf123. Dies verdeutlicht die Lücke bei der praktischen Einführung, auch wenn diese Statistik je nach Sektor und Methodik variiert und möglicherweise nicht genau ist.
  4. Praktische Implikationen für Praktiker
    Für Praktiker ergeben sich mehrere Implikationen. Gradientenbasierte Methoden sind nach wie vor die praktischste Wahl für Echtzeit-Inspektionsaufgaben, da sie Erklärungen mit einer geringen Latenz (~100 ms pro Bild) liefern und einfach zu implementieren sind. Störungsbasierte Ansätze wie SHAP oder RISE weisen eine höhere Latenz auf als gradientenbasierte Methoden, eignen sich jedoch besser für Bereiche, in denen eine feinkörnige Attribution die Latenz überwiegt, z. B. im Gesundheitswesen, wo Genauigkeit Vorrang vor Geschwindigkeit hat. Aufmerksamkeitsbasierte Ansätze sind bei Transformatorarchitekturen nützlich, erfordern jedoch eine sorgfältige Interpretation, da die rohe Aufmerksamkeit nicht immer eine klare Erklärung liefert. Abgesehen von technischen Kompromissen hängt die erfolgreiche Einführung in hohem Maße von der Integration, der Benutzerschulung und dem Nachweis des klinischen Werts der Interpretierbarkeit ab. Wie die Fallstudien zeigen, gewinnen Erklärungen nur dann an Wert, wenn sie klar mit der Fachkompetenz übereinstimmen und Praktikern helfen, KI-Vorhersagen zu überprüfen oder in Frage zu stellen.
  5. Zukünftige Forschungsrichtungen
    Zukünftige Forschung sollte mehrere umsetzbare Richtungen priorisieren:
    Standardisierung von Auswertungsprotokollen: Erstellen Sie reproduzierbare Berichtsrichtlinien für wichtige Metriken, einschließlich AUC zum Löschen/Einfügen, Genauigkeit des Zeigespiels, Stabilitätsindizes und Latenz.
    Domänenspezifische Benchmark-Datensätze: Entwickeln Sie kuratierte Datensätze für die visuelle Inspektion in Industrie und Medizin mit Ground-Truth-Annotationen, um die übermäßige Abhängigkeit von engen öffentlichen Datensätzen zu reduzieren.
    Menschzentrierte Validierung: Erweitern Sie Studien, die messen, ob XAI-Erklärungen die Entscheidungsqualität, das Vertrauen der Benutzer und die Zusammenarbeit zwischen Mensch und KI über Proxy-Metriken hinaus verbessern
    Kosten-Nutzen-Analyse: Führen Sie strenge Bereitstellungsstudien durch, um den geschäftlichen und klinischen Wert der Integration von XAI in Arbeitsabläufe der visuellen Inspektion zu quantifizieren.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Schlussfolgerungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dieser Übersichtsarbeit wurden 75 Studien zur XAI in der visuellen Inspektion untersucht, was zu einer Taxonomie von Post-hoc- und intrinsischen Methoden und einer benchmarkgestützten vergleichenden Analyse führte. Die Ergebnisse bestätigen, dass keine einzelne Methode universell besser abschneidet als andere: gradientenbasierte Ansätze wie GradCAM und LRP sind effizient für die Echtzeit-Defektlokalisierung, aber ihre Erklärungen können in komplexen Bereichen grob sein. Störungsbasier...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren erklären, dass es keine Interessenkonflikte hinsichtlich der Veröffentlichung dieser Arbeit gibt.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der/die Autor(en) erklären, dass diese Arbeit keine spezifische Förderung von einer Förderagentur im öffentlichen, kommerziellen oder gemeinnützigen Sektor erhalten hat.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Alzarooni, A., et al. Anomaly detection for industrial applications, its challenges, solutions, and future directions: a review. IEEE Sens J. XX. (1), 1(2025).
  2. Hardan, F., Almusawi, A. R. J. Developing an automated vision system for maintaing social distancing to cure the pandemic. Al-Khwarizmi Eng J. 18 (1), 38-50 (2022).
  3. Terasaki, N., Fujio, Y. Mechanoluminescent visualization of crack propagation for joint evaluation. J Vis Exp. (191), e64118(2023).
  4. Al-Hamadani, S., Al-Darraji, I. Warehouse in Industry 4.0 based drone, computer vision, and artificial intelligence technologies: a literature review. Proc Eng Sci. 7 (1), 517-526 (2025).
  5. Al-Jubori, H. N., Izzat, A. D., Jerbi, H. Defect detection using thermography camera techniques: a review. Al-Khwarizmi Eng J. 20 (4), 70-88 (2024).
  6. Al-Hamadani, S., Al-Darraji, I., Jerbi, H. Improving barcode vision scanning process using a drone-based tracking PID controller for warehouse in Industry 4.0. Al-Khwarizmi Eng J. 21 (2), 72-92 (2025).
  7. Al-Jubori, H. N., Al-Darraji, I. Tools and process of defect detection in automated manufacturing systems. EAI Endorsed Trans Scalable Inf Syst. 10 (6), e4000(2023).
  8. Alaa, T., et al. Automated detection of defects on metal surfaces using vision transformers. , Published online October 6, 2024. Accessed August 1 (2025).
  9. Moosavi, S., et al. Explainable AI in manufacturing and industrial cyber-physical systems: a survey. Electronics. 13 (17), 3497(2024).
  10. Nauta, M., et al. From anecdotal evidence to quantitative evaluation methods: a systematic review on evaluating explainable AI. ACM Comput Surv. 55 (13), 1-42 (2023).
  11. Cheng, Z., et al. A comprehensive review of explainable artificial intelligence (XAI) in computer vision. Sensors. 25 (13), 4166(2025).
  12. Barredo Arrieta, A., et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 58, 82-115 (2020).
  13. Kouchaki, S., et al. Survey of explainable AI techniques in healthcare. Sensors. 23 (2), 634(2023).
  14. Laugel, T., et al. The dangers of post-hoc interpretability: unjustified counterfactual explanations. Proc Int Joint Conf Artif Intell. , 2801-2807 (2019).
  15. Slack, D., et al. Reliable post hoc explanations: modeling uncertainty in explainability. Adv Neural Inf Process Syst. 33, 9391-9404 (2020).
  16. Cesarini, M., et al. Explainable AI for text classification: lessons from a comprehensive evaluation of post hoc methods. Cognit Comput. 16 (6), 3077-3095 (2024).
  17. Mohamed Musthafa, M., et al. Enhancing brain tumor detection in MRI images through explainable AI using Grad-CAM with ResNet-50. BMC Med Imaging. 24 (1), 1-19 (2024).
  18. Sundararajan, M., Taly, A., Yan, Q. Axiomatic attribution for deep networks. Proc Int Conf Mach Learn. 70, 5109-5118 (2017).
  19. Shrikumar, A., Greenside, P., Kundaje, A. Learning important features through propagating activation differences. Proc Int Conf Mach Learn. 70, 4844-4866 (2017).
  20. Bassi, P. R. A. S., et al. Improving deep neural network generalization and robustness to background bias via layer-wise relevance propagation optimization. Nat Commun. 15, 44371(2024).
  21. Knab, P., et al. Which LIME should I trust? Concepts, challenges, and solutions. arXiv preprint. , (2025).
  22. Garreau, D., von Luxburg, U. Explaining the explainer: a first theoretical analysis of LIME. Proc Mach Learn Res. 108, 1287-1296 (2020).
  23. Qian, J., et al. ELIME: exact local interpretable model-agnostic explanation. Eur J Artif Intell. , (2024).
  24. Salih, A. M., et al. A perspective on explainable artificial intelligence methods:SHAP and LIME . Adv Intell Syst. , (2024).
  25. Hermosilla, P., et al. Explainable AI for forensic analysis: a comparative study of SHAP and LIME in intrusion detection models. Appl Sci. 15 (13), 7329(2025).
  26. Petsiuk, V., Das, A., Saenko, K. RISE: randomized input sampling for explanation of black-box models. arXiv preprint. , (2018).
  27. Dandl, S., et al. Multi-objective counterfactual explanations. Lect Notes Comput Sci. 12269, 448-469 (2020).
  28. Alvarez-Melis, D., Jaakkola, T. S. Towards robust interpretability with self-explaining neural networks. Adv Neural Inf Process Syst. 31, 7775-7784 (2018).
  29. Donnelly, J., Barnett, A. J., Chen, C. Deformable ProtoPNet: an interpretable image classifier using deformable prototypes. Proc IEEE Conf Comput Vis Pattern Recognit. , 10255-10265 (2022).
  30. Ross, A. S., Hughes, M. C., Doshi-Velez, F. Right for the right reasons: training differentiable models by constraining their explanations. Proc Int Joint Conf Artif Intell. , 2662-2670 (2017).
  31. Schramowski, P., et al. Making deep neural networks right for the right scientific reasons by interacting with their explanations. Nat Mach Intell. 2 (8), 476-486 (2020).
  32. Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat Mach Intell. 1 (5), 206-215 (2019).
  33. Letham, B., et al. Interpretable classifiers using rules and Bayesian analysis: building a better stroke prediction model. Ann Appl Stat. 9 (3), 1350-1371 (2015).
  34. Barnett, A. J., et al. Interpretable mammographic image classification using case-based reasoning and deep learning. arXiv preprint. , (2021).
  35. Narayanan, A., Bergen, K. J. Prototype-based methods in explainable AI and emerging opportunities in the geosciences. arXiv preprint. , (2024).
  36. Chen, C., et al. This looks like that: deep learning for interpretable image recognition. Adv Neural Inf Process Syst. 32, 8928-8939 (2019).
  37. Koh, P. W., et al. Concept bottleneck models. Proc Int Conf Mach Learn. 119, 5294-5304 (2020).
  38. Burgess, C. P., et al. Understanding disentangling in β-VAE. arXiv preprint. , (2018).
  39. Gunraj, H., et al. SolderNet: towards trustworthy visual inspection of solder joints in electronics manufacturing using explainable artificial intelligence. Proc AAAI Conf Artif Intell. 37, 15668-15674 (2023).
  40. Dosovitskiy, A., et al. An image is worth 16×16 words: transformers for image recognition at scale. arXiv preprint. , (2020).
  41. Khan, S., et al. Transformers in vision: a survey. ACM Comput Surv. 54 (10), 1-41 (2021).
  42. Yu, L., et al. eX-ViT: a novel explainable vision transformer for weakly supervised semantic segmentation. Pattern Recognit. 142, 109666(2023).
  43. Alber, M., et al. Evaluating vision transformer models for visual quality control in industrial manufacturing. Lect Notes Comput Sci. Bifet, A., et al. 14950, 1-15 (2024).
  44. Stassin, S., et al. Explainability and evaluation of vision transformers: an in-depth experimental study. Electronics. 13 (1), 175(2024).
  45. Zhai, Y., et al. A lightweight transformer with linear self-attention for defect recognition. Electron Lett. 60 (17), e13292(2024).
  46. Dhore, V., et al. Enhancing explainable AI: a hybrid approach combining Grad-CAM and LRP for CNN interpretability. arXiv preprint. , (2024).
  47. Chattopadhay, A., et al. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks. Proc IEEE Winter Conf Appl Comput Vis. , 839-847 (2018).
  48. Saleh, R. A. A., et al. Advancing tire safety: explainable artificial intelligence-powered foreign object defect detection with Xception networks and Grad-CAM interpretation. Appl Sci. 14 (10), 4267(2024).
  49. Meister, S., et al. Investigations on explainable artificial intelligence methods for the deep learning classification of fibre layup defect in the automated composite manufacturing. Compos Part B Eng. 224, 109160(2021).
  50. Luo, X., Alzahrani, M. Automated tomato defect detection using CNN feature fusion for enhanced classification. Processes. 13 (1), 115(2025).
  51. Rahimunnisa, K. Textile fabric defect detection. J Innov Image Process. 4 (3), 165-172 (2022).
  52. Shin, H., et al. Visualization for explanation of deep learning-based defect detection model using class activation map. Comput Mater Contin. 75 (3), 4753-4766 (2023).
  53. Yue, H., et al. ASOD: attention-based salient object detector for strip steel surface defects. Electronics. 14 (5), 831(2025).
  54. Saleh, R. A. A., Ertunç, H. M. Explainable attention-based fused convolutional neural network (XAFCNN) for tire defect detection: an industrial case study. Eng Res Express. 6 (1), 015027(2024).
  55. Leem, S., Seo, H. Attention guided CAM: visual explanations of vision transformer guided by self-attention. Proc AAAI Conf Artif Intell. 38 (4), 2956-2964 (2024).
  56. Ibrahim, R., Shafiq, M. O. Augmented Score-CAM: high-resolution visual interpretations for deep neural networks. Knowl Based Syst. 252, 109287(2022).
  57. Clement, T., et al. XAI-enhanced semantic segmentation models for visual quality inspection. Proc IEEE Int Conf Consumer Electron. , 1-4 (2024).
  58. Riedel, H., et al. Automated quality control of vacuum insulated glazing by convolutional neural network image classification. Autom Constr. 135, 104144(2022).
  59. Böhle, M., et al. Layer-wise relevance propagation for explaining deep neural network decisions in MRI-based Alzheimer's disease classification. Front Aging Neurosci. 10, 194(2019).
  60. Bach, S., et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation. PLoS One. 10 (7), e0130140(2015).
  61. Dieter, T. R., Zisgen, H. Evaluation of the explanatory power of layer-wise relevance propagation using adversarial examples. Neural Process Lett. 55 (7), 8531-8550 (2023).
  62. Hoefler, M. A., et al. XAI-guided insulator anomaly detection for imbalanced datasets. arXiv. , (2024).
  63. Kares, F., et al. What makes for a good saliency map? Comparing strategies for evaluating saliency maps in explainable AI (XAI). arXiv preprint. , (2025).
  64. Yona, G., Greenfeld, D. Revisiting sanity checks for saliency maps. arXiv preprint. , (2021).
  65. Zeiler, M. D., Fergus, R. Visualizing and understanding convolutional networks. Eur Conf Comput Vis. 8689, 818-833 (2014).
  66. Xu-Darme, R., et al. On the stability, correctness and plausibility of visual explanation methods based on feature importance. ACM Int Conf Proc Ser. , 119-125 (2023).
  67. Ortigossa, E. S., et al. T-Explainer: a model-agnostic explainability framework based on gradients. arXiv preprint. , (2024).
  68. Singh, M., et al. Attributional robustness training using input-gradient spatial alignment. Lect Notes Comput Sci. 12372, 515-533 (2019).
  69. Cerekci, E., et al. Quantitative evaluation of saliency-based explainable artificial intelligence methods in deep learning-based mammogram analysis. Eur J Radiol. 173, 111356(2024).
  70. Meister, S., et al. Cross-evaluation of a parallel operating SVM-CNN classifier for reliable internal decision-making processes in composite inspection. J Manuf Syst. 60, 620-639 (2021).
  71. Bitar, A., et al. Gradient-based feature-attribution explainability methods for spiking neural networks. Front Neurosci. 17, 1153999(2023).
  72. Qiang, Y., et al. Interpretability-aware vision transformer. arXiv preprint. , (2023).
  73. Bousselham, W., et al. LeGrad: an explainability method for vision transformers via feature formation sensitivity. arXiv preprint. , (2025).
  74. Lundberg, S. M., Lee, S. I. A unified approach to interpreting model predictions. Adv Neural Inf Process Syst. 30, (2017).
  75. Khan, F. S., et al. Model-agnostic explainable artificial intelligence methods in finance: a systematic review, recent developments, limitations, challenges and future directions. Artif Intell Rev. 58, 1-65 (2025).
  76. Nazim, S., et al. Advancing malware imagery classification with explainable deep learning: a state-of-the-art approach using SHAP LIME and Grad-CAM. PLoS One. 20 (5), e0318542(2025).
  77. Solís-Martín, D., et al. On the soundness of XAI in prognostics and health management (PHM). Information. 14 (5), 256(2023).
  78. Biecek, P., Burzykowski, T. Local interpretable model-agnostic explanations (LIME). In:Explanatory Model Analysis. , 107-123 (2021).
  79. Ribeiro, M. T., Singh, S., Guestrin, C. 34;Why should I trust you?" Explaining the predictions of any classifier. Proc ACM SIGKDD Int Conf Knowl Discov Data Min. , 1135-1144 (2016).
  80. Tahir, H. A., et al. A novel hybrid XAI solution for autonomous vehicles: real-time interpretability through LIME-SHAP integration. Sensors. 24 (21), 6776(2024).
  81. Goldman, C. V., et al. Explaining learning models in manufacturing processes. Procedia Comput Sci. 180, 259-268 (2021).
  82. Emmanouilidis, C., Rica, E. Visual quality control via explainable AI and the case of human in the AI loop. In: Lect Notes Mech Eng. , 252-260 (2023).
  83. Huang, M., et al. An interpretable approach using hybrid graph networks and explainable AI for intelligent diagnosis recommendations in chronic disease care. Biomed Signal Process Control. 91, 105913(2024).
  84. Dardouillet, P., et al. Explainability of image semantic segmentation through SHAP values. Data. 7 (8), 255(2022).
  85. Saifullah, S., et al. The privacy-explainability trade-off: unraveling the impacts of differential privacy and federated learning on attribution methods. Front Artif Intell. 7, 1236947(2024).
  86. Velmurugan, M., et al. Developing guidelines for functionally-grounded evaluation of explainable artificial intelligence using tabular data. Eng Appl Artif Intell. 141, 109772(2025).
  87. Wells, L., Bednarz, T. Explainable AI and reinforcement learning-a systematic review of current approaches and trends. Front Artif Intell. 4, 550030(2021).
  88. Rožanec, J. M., et al. Adaptive explainable artificial intelligence for visual defect inspection. Procedia Comput Sci. 232, 3034-3043 (2024).
  89. Nguyen, H. T. T., et al. XEdgeAI: a human-centered industrial inspection framework with data-centric explainable edge AI approach. Inf Fusion. 116, 102782(2025).
  90. Han, C., et al. Visual coating inspection framework via self-labeling and multi-stage deep learning strategies. J Intell Manuf. 35, 1-18 (2024).
  91. Kotsiopoulos, T., et al. Revolutionizing defect recognition in hard metal industry through AI explainability, human-in-the-loop approaches and cognitive mechanisms. Expert Syst Appl. 255, 124839(2024).
  92. Forcher, B., et al. Evaluation of explainable AI methods for classification tasks in visual inspection. Proc XAI Workshop (Late-Breaking Work, Demos, Doctoral Consortium). , 77-82 (2023).
  93. Miller, T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell. 267, 1-38 (2019).
  94. Jacovi, A., Goldberg, Y. Towards faithfully interpretable NLP systems: how should we define and evaluate faithfulness. Proc Annu Meet Assoc Comput Linguist. 58, 4198-4205 (2020).
  95. Adebayo, J., et al. Sanity checks for saliency maps. Adv Neural Inf Process Syst. 31, 9505-9515 (2018).
  96. Doshi-Velez, F., Kim, B. Considerations for evaluation and generalization in interpretable machine learning. Proc Explainable and Interpretable Models in Computer Vision and Machine Learning. , 3-17 (2018).
  97. Lage, I., et al. An evaluation of the human-interpretability of explanation. arXiv preprint. , (2019).
  98. Theunissen, M., Browning, J. Putting explainable AI in context: institutional explanations for medical AI. Ethics Inf Technol. 24 (2), 1-10 (2022).
  99. Hoffman, R. R., et al. Measures for explainable AI: explanation goodness, user satisfaction, mental models, curiosity, trust, and human-AI performance. Front Comput Sci. 5, 1096257(2023).
  100. Hedström, A., et al. Quantus: an explainable AI toolkit for responsible evaluation of neural network explanations and beyond. J Mach Learn Res. 24, 1-11 (2023).
  101. Mohseni, S., et al. A multidisciplinary survey and framework for design and evaluation of explainable AI systems. ACM Trans Interact Intell Syst. 11 (3-4), 1-45 (2021).
  102. Finzel, B., et al. Domain-specific evaluation of visual explanations for application-grounded facial expression recognition. Lect Notes Comput Sci. 14065, 31-44 (2023).
  103. Yeh, C. K., et al. On the (in)fidelity and sensitivity for explanations. Adv Neural Inf Process Syst. 32, 10967-10978 (2019).
  104. Better metrics for evaluating explainable artificial intelligence. Rosenfeld, A. Proc Int Conf Autonomous Agents Multiagent Syst, , 45-53 (2021).
  105. Evaluation metrics for XAI: a review, taxonomy, and practical applications. Kadir, M. A., et al. Proc IEEE Int Conf Intell Eng Syst, , 111-124 (2023).
  106. Sankaran, K. Data science principles for interpretable and explainable AI. J Data Sci. 22, 1-27 (2024).
  107. Alvarez-Melis, D., Jaakkola, T. S. On the robustness of interpretability methods. arXiv preprint. , (2018).
  108. Zhang, Y., et al. Saliency-Bench: a comprehensive benchmark for evaluating visual explanations. arXiv preprint. , (2025).
  109. Bergmann, P., et al. The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection. Int J Comput Vis. 129 (4), 1038-1059 (2021).
  110. Tang, S., et al. Online PCB defect detector on a new PCB defect dataset. arXiv preprint. , (2019).
  111. CheXpert: a large chest radiograph dataset with uncertainty labels and expert comparison. Irvin, J., et al. Proc AAAI Conf Artif Intell, 33, 590-597 (2019).
  112. ImageNet: a large-scale hierarchical image database. Deng, J., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 248-255 (2009).
  113. Selvaraju, R. R., et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 128 (2), 336-359 (2020).
  114. Black-box explanation of object detectors via saliency maps. Petsiuk, V., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 11438-11447 (2020).
  115. Attention is not explanation. Jain, S., Wallace, B. C. Proc Conf North Am Chapter Assoc Comput Linguist, , 3543-3556 (2019).
  116. Transformer interpretability beyond attention visualization. Chefer, H., et al. Proc IEEE Conf Comput Vis Pattern Recognit, , 782-791 (2021).
  117. Wachter, S., et al. Counterfactual explanations without opening the black box: automated decisions and the GDPR. SSRN Electron J. , (2017).
  118. Deep learning for case-based reasoning through prototypes: a neural network that explains its predictions. Li, O., et al. Proc AAAI Conf Artif Intell, 32, 3530-3537 (2018).
  119. Counterfactuals in explainable artificial intelligence (XAI): evidence from human reasoning. Byrne, R. M. J. Proc Int Joint Conf Artif Intell, , 6276-6282 (2019).
  120. Ihongbe, I. E., et al. Evaluating explainable artificial intelligence (XAI) techniques in chest radiology imaging through a human-centered lens. PLoS One. 19 (10), e0308758(2024).
  121. Dörrich, M., et al. Explainable convolutional neural networks for assessing head and neck cancer histopathology. Diagn Pathol. 18 (1), 121(2023).
  122. Nguyen, H. Q., et al. VinDr-CXR: an open dataset of chest X-rays with radiologist's annotations. Sci Data. 9, 429(2022).
  123. Lee, D. J., et al. A systematic literature review on artificial intelligence and explainable artificial intelligence for visual quality assurance in manufacturing. Electronics. 12 (22), 4572(2023).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

XAI Technikenindustrielle Inspektionmedizinische InspektionGradientenmethodenPropagationsmethodenPerturbationsmethodenErsatzmodelleSelf Attention Architekturen

Verwandte Artikel