Die vorgeschlagene Methodik verwendet einen systembasierten Ansatz des cyber-physischen Mensch-Systems (CPHS) gemäß Industrie 5.0, der erklärbares Deep Learning mit einem durch Edge Computing ermöglichten cyber-physischen Zusammenarbeitssystem kombiniert, um nachhaltige Fertigungsprozesse zu unterstützen. Zunächst wird das Problem angegangen, indem bestimmte Grenzen bestehender CPHS-Lösungen erkannt werden, wie beispielsweise der Mangel an KI-gestützter Intelligenz, Erklärbarkeit und menschenzentrierter Zusammenarbeit. Um die Herausforderungen zu bewältigen, nutzt die vorgeschlagene Lösung den MIMII-Datensatz für die Überwachung des Zustands industrieller Maschinen mittels akustischer Signalverarbeitung.
Der vorgeschlagene Ansatz beginnt damit, die erzeugten Spektrogramme einem CNN-Modell zuzuführen, das räumliche Merkmale extrahiert, indem es signifikante Frequenzmuster erkennt, die mit verschiedenen Maschinenzuständen assoziiert sind. Die extrahierten räumlichen Merkmale werden anschließend in Sequenzen umgewandelt und einem Transformer-Encoder-Modul zugeführt, um zeitliche Abhängigkeiten mittels Selbst-Attention zu erfassen. Die transformierte Merkmalsdarstellung wird danach an ein vollverknüpftes Klassifizierungsmodul weitergeleitet, um Maschinenzustände als normal oder abnormal einzustufen. Zusätzlich wird zur Gewährleistung von Transparenz und zur Unterstützung menschzentrierter Entscheidungsfindung der SHAP-Erklärbarkeitsansatz verwendet, um Vorhersagen zu erläutern, indem bedeutende Zeit-Frequenz-Bereiche in der Modellausgabe ausgewählt werden. Das entwickelte Modell wird in einer CPS-Umgebung mit Edge-Funktionalität implementiert, wodurch Echtzeit-Inferenz mit geringer Rechenlatenz und geringem Energieverbrauch ermöglicht wird. Außerdem wird ein Mensch-in-der-Schleife-Konzept integriert, sodass menschliche Bediener mithilfe der Erklärbarkeitsergebnisse Validierungen vornehmen können. Die Leistung wird anhand von Genauigkeit, Präzision, Sensitivität und F1-Score sowie weiteren systembezogenen Metriken wie Latenz und Energieeffizienz überprüft.
Der vorgeschlagene Rahmen ist ein XAI-gestützter CPHS-Mechanismus für nachhaltige Produktion im Kontext von Industry 5.0, und sein Workflow wird als Pipeline von der Datenerfassung bis zur intelligenten Entscheidungsfindung und -durchführung dargestellt, wie in Abbildung 1 gezeigt. In der Anfangsphase des Datenerfassungsverfahrens werden Schallsignale von Maschinen in Branchen wie Motoren, Pumpen und Lagern mithilfe von Datensätzen wie MIMII erfasst. Die so erhaltenen Datensignale werden an die nächste Stufe weitergeleitet, die als Daten-Präprozessierung bezeichnet wird, wo sie Filterung, Normalisierung und Segmentierung durchlaufen. Die segmentierten Datensignale werden abschließend in der Schicht der Merkmalsdarstellung mittels der Kurzzeit-Fourier-Transformation (STFT) in ein Spektrogramm umgewandelt.
Anschließend verwendet die KI-Modellschicht die Spektrogrammbilder, um mithilfe des CNN-Moduls Merkmale zu extrahieren und räumliche Muster sowie Anomalien zu identifizieren. Danach werden die extrahierten Merkmale umgeformt und in den Transformer-Encoder eingespeist, der zeitliche Abhängigkeiten und langreichweitige Beziehungen durch Selbstbeachtungsmechanismen lernt. Die resultierenden Merkmalsvektoren werden mittels der Klassifikationsschicht als normal oder abnormal klassifiziert. Um Transparenz im Vorhersageprozess sicherzustellen, verwendet die Erklärbarkeitsschicht SHAP, um bedeutende Zeit-Frequenz-Bereiche im Spektrogramm hervorzuheben.
Zusätzlich gibt es einen menschlich überwachten Prozess, bei dem Bediener die Ergebnisse des Modells interpretieren und Rückmeldungen dazu geben. In der Einsatzschicht läuft das Modell auf einer edge-basierten CPHS-Infrastruktur, wodurch eine schnelle Inferenz und ein geringer Energieverbrauch sichergestellt werden, und kann optional mit Cloud-Systemen für Speicherbedarf oder erweiterte Analysen verbunden sein. Insgesamt gewährleistet das Framework eine genaue Fehlererkennung, Nachvollziehbarkeit und einen effizienten Echtzeitbetrieb, die den Anforderungen von Industry 5.0 entsprechen.
Problembeschreibung und Anforderungsanalyse
Cyber-physikalische Mensch-Systeme (CPHS) in Industrie-5.0-Umgebungen versprechen Intelligenz, Nachhaltigkeit und eine menschenzentrierte Herangehensweise. Dennoch sind aktuelle Frameworks zur Entwicklung von CPHS durch einen Mangel an fortschrittlichen, KI-gestützten Fähigkeiten, Erklärbarkeit und ausreichender Unterstützung für die Mensch-Maschine-Zusammenarbeit eingeschränkt. Tatsächlich basieren herkömmliche CPHS auf regelbasierten oder nicht interpretierbaren Modellen, was die Anpassung an wechselnde industrielle Bedingungen erschwert und das Vertrauen der Bediener in die Automatisierung begrenzt. Zudem können herkömmliche CPHS hochkomplexe Daten, wie industrielle akustische Signale mit räumlichen (d. h. frequenzabhängigen) und zeitabhängigen Komponenten, die für die vorausschauende Wartung wichtig sind, nicht effektiv analysieren. Daher ist es notwendig, ein Framework zu entwickeln, das Maschinenanomalien mit hoher Genauigkeit erkennen, Erklärungen liefern und am Netzrand (Edge) arbeiten kann, wodurch CPS ermöglicht werden.
Hier ist x(t) das akustische Eingangssignal, S(f,t) ist die Spektrogrammdarstellung des Signals,
ist die Bezeichnung und θ ist der Parametersatz der CNN-Transformer-Architektur. Symbole, die in nachfolgenden Gleichungen verwendet werden, werden direkt nach ihrem ersten Auftreten eingeführt, um die mathematische Korrektheit zu gewährleisten.
Aus mathematischer Sicht lässt sich die Aufgabe als überwachtes Lernproblem formalisieren. Sei das industrielle akustische Signal mit x(t) bezeichnet. Die STFT von x(t) wird gemäß der folgenden Formel berechnet:
(1)
wo ω(.) ist die Fensterfunktion und f ist die Frequenz. Das erzeugte Spektrogramm
dient als Eingabe für den Deep-Learning-Algorithmus. Das Ziel besteht darin, die Abbildungsfunktion zu trainieren
(2)
wobei
die Klassenbezeichnung (entweder normal oder abnormal) ist und wobei S die spektrogrammbasierte Eingabe, y die vorhergesagte Ausgabebezeichnung und θ die Menge der lernbaren Parameter der CNN-Transformer-Architektur ist. Das Optimierungsproblem wird als Minimierung des Klassifizierungsverlusts formuliert:
(3)
unter Berücksichtigung der Einschränkungen durch minimale Latenz
, Energieeffizienz
und Interpretierbarkeit, wobei die Erklärung ∅(SHAP) die Bedeutung der Merkmale im Vorhersageprozess erfasst,
(4)
wobei
der Beitrag jedes einzelnen Merkmals ist. Entsprechend dem Vorstehenden umfasst die Konstruktionsanforderungen Folgendes: (i) zuverlässige Anomalieerkennung basierend auf hybriden Deep-Learning-Verfahren, (ii) interpretierbare Ausgaben für menschliches Eingreifen und (iii) Implementierung in einem edge-erweiterten CPS-Framework.
Erwerbung und Vorverarbeitung des Datensatzes
Zur Bewertung des vorgeschlagenen erklärbarkeitsbasierten CPHS-Frameworks auf KI-Basis wurde in diesem Zusammenhang der MIMII-Datensatz13 ausgewählt. Dieser Datensatz ist ein weithin genutzter Benchmark zur Erkennung von Anomalien in industriellen Maschinen mithilfe akustischer Signale. Die Datenbank enthält Tonaufnahmen verschiedener Maschinen, wie zum Beispiel von Schiebeschienen, Ventilatoren, Pumpen und Ventilen, sowohl unter normalen als auch unter fehlerhaften Betriebsbedingungen. Für jede Maschine variieren die Aufnahmen je nach unterschiedlichen Einstellungen und Geräuschumgebungen. Dadurch eignet sich der Datensatz gut zum Trainieren und Evaluieren von Modellen unter echtzeitnahen industriellen Bedingungen.
Während der MIMII-Datensatz in vielen Studien zur unüberwachten Anomalieerkennung verwendet wird, die ausschließlich auf normalen Beispielen während des Trainings beruhen, enthält er explizite Annotationen sowohl normaler als auch anormaler Maschinenzustände. Das Problem wird als überwachte binäre Klassifizierungsaufgabe formuliert, um die Fähigkeit der vorgeschlagenen erklärbarkeitsbasierten CNN-Transformer-Architektur zu testen, gesunde von fehlerhaften Maschinenzuständen zu unterscheiden. Dabei werden speziell die offiziellen MIMII-Kennzeichnungen verwendet, wobei die Klasse 0 normalen Beispielen und die Klasse 1 anormalen Beispielen zugewiesen wird.
Tabelle 1 zeigt die Details zur Datensatzbeschreibung. In der vorliegenden Studie wurden etwa 12.000 Aufzeichnungen akustischer Signale berücksichtigt, darunter sowohl normale als auch fehlerhafte Maschinenbetriebszustände. Gemäß den Anforderungen wurden alle Aufzeichnungen in dieser Studie mit 16 kHz abgetastet und sind jeweils 10 s lang. Obwohl der Datensatz etwa 12.000 Aufzeichnungen umfasst, wurde allein zur Visualisierung der Konfusionsmatrix ein klassenbalancierter Teildatensatz aus 2.000 Testaufzeichnungen ausgewählt. Alle angegebenen Leistungsmetriken wurden anhand des vollständigen Testdatensatzes (etwa 2.400 Aufzeichnungen) berechnet. Darüber hinaus erfolgte die Aufteilung von Trainings- und Testdaten im Verhältnis 80:20 zur Modelltrainierung. Diese Datenbank eignet sich besonders gut für Anwendungen im Bereich Industrie 5.0, da sie Echtzeit-Störgeräusche enthält. Die in dieser Studie verwendete Verteilung der Aufzeichnungen ist in Tabelle 2 dargestellt. Aus diesem Datensatz wurden etwa 12.000 Aufzeichnungen, die alle Maschinentypen und Signal-Rausch-Verhältnis-(SNR-)Bedingungen abdecken, für Experimente zur überwachten binären Klassifizierung unter Verwendung einer 80:20-Trainings-/Test-Aufteilung ausgewählt; diese zeigt die industriellen Maschinentypen, die entsprechenden Maschinenkennungen, die Gesamtanzahlen normaler und anormaler akustischer Aufzeichnungen, die SNR-Bedingungen sowie die für die überwachte binäre Klassifizierung verwendete experimentelle Aufteilung in Trainings- und Testdaten.
Das Experiment wurde mit dem MIMII-Datensatz (Malfunctioning Industrial Machine Investigation and Inspection), Version 1.0, durchgeführt, der vier Arten von Industriemaschinen umfasst: Ventilatoren, Pumpen, Ventile und Schiebeschienen. Die Daten wurden von verschiedenen Maschinen-IDs (ID00–ID06, abhängig vom Maschinentyp) und unter verschiedenen Bedingungen erfasst. Die MIMII-Datenbank enthält Daten, die bei Signal-Rausch-Verhältnissen (SNR) von −6 dB, 0 dB und +6 dB aufgezeichnet wurden. Normale Daten entsprechen dem gesunden Zustand der Industriemaschine, während anormale Daten einem anomalen Zustand entsprechen. Die Klassen wurden basierend auf der Annotation der Datenbank festgelegt, wobei normale Daten als Klasse 0 und anormale Daten als Klasse 1 gekennzeichnet wurden.
Ein faires Evaluierungsverfahren erforderte, dass die Aufteilung in Trainings- und Testmengen auf Ebene der ursprünglichen Audioaufnahmen erfolgte, bevor irgendwelche Teilungen, Datenaugmentierungen oder Erzeugungen von Spektrogrammen durchgeführt wurden. Dadurch konnten Audiodatenabschnitte aus derselben Aufnahme nicht sowohl in der Trainings- als auch in der Testmenge vorkommen. Für das Evaluierungsexperiment wurden Aufnahmen mit unterschiedlichen Signal-Rausch-Verhältnissen (−6 dB, 0 dB und +6 dB) verwendet, was die Möglichkeit bot, das vorgeschlagene Framework unter verschiedenen industriellen Bedingungen zu bewerten.
Um Datenlecks zu vermeiden, erfolgte die Aufteilung in Trainings- und Testmenge basierend auf der ursprünglichen Audiodatei, bevor eine Segmentierung oder Spektrogrammerzeugung durchgeführt wurde. Segmente aus der gleichen 10-s-Audioaufnahme wurden ausschließlich entweder der Trainings- oder der Testmenge zugeordnet, wobei keine Segmente in beiden Mengen vorhanden waren. Anschließend wurden die Spektrogramme separat für jeden Datensatz erzeugt und erweitert. Auf diese Weise wird das Problem von Datenlecks vermieden, wodurch eine übermäßig optimistische Bewertung der Leistung verhindert wird.
Vorverarbeitung des Datensatzes
Die unbehandelten akustischen Signale aus dem MIMII-Datensatz werden anschließend verarbeitet, um die Signalqualität zu verbessern und eine effektive Merkmalsextraktion zu ermöglichen. Das Eingangssignal wird mit x(t) bezeichnet, wobei t die Zeit darstellt. Der erste Schritt ist die Rauschfilterung, bei der Hintergrundgeräusche mithilfe einer Filterfunktion herausgefiltert werden, sodass gilt:
(5)
wobei ∗ den Faltungsprozess und h(t) die Impulsantwort des Filters darstellt. Dieser Prozess verbessert die Klarheit des akustischen Signals und minimiert die Auswirkungen von Rauschen, das in industriellen Umgebungen häufig auftritt. Die Signalnormalisierung dient dazu, sicherzustellen, dass die Amplituden aller Audiosignale vergleichbar sind, bevor sie in das Deep-Learning-Modell eingespeist werden. Das normalisierte Signal, bezeichnet als xn(t), wird berechnet als:
(6)
wobei μ und σ der Mittelwert und die Standardabweichung des Eingangssignals sind. Alle Eingangssignale weisen aufgrund dieses Verfahrens garantiert einen Mittelwert von null und Varianzen von eins auf. Schließlich wird das normalisierte Eingangssignal zur Verarbeitung in mehrere kleine Abschnitte unterteilt. Unter der Annahme, dass die Länge des gesamten Signals T beträgt, wird es mithilfe einer gleitenden Fensterfunktion in N überlappende Frames zerlegt, wobei jeder eine Länge L aufweist:
(7)
wobei H die Hop-Größe ist. Das Spektrogramm kann durch die folgende Formel definiert werden:
(8)
Die auf diese Weise gewonnenen Spektrogramme werden in das auf CNN-Transformern basierende Framework eingespeist, um räumliche und zeitliche Merkmale für eine erfolgreiche Anomalieerkennung zu extrahieren. Abbildung 2 zeigt die Vorverarbeitungspipeline.
Abbildung 2 veranschaulicht eine vertikale Vorverarbeitungspipeline, die für akustische Daten aus der Industrie verwendet werden kann. Zunächst werden die Rohaudiosignale aus dem MIMII-Datensatz extrahiert und zur Rauschunterdrückung weitergeleitet, um Störgeräusche zu reduzieren. Anschließend erfolgt die Normalisierung des Signals, um Amplitudenunterschiede auszugleichen und eine konsistente Signalqualität sicherzustellen. Danach wird das Signal in kleinere, sich überlappende Abschnitte unterteilt. Nach der Segmentierung werden STFT-Transformationen auf die Daten angewendet, um die Signale vom Zeitbereich in den Zeit-Frequenz-Bereich zu überführen. Daraufhin wird das Leistungsspektrum zur Erzeugung des Spektrogramms des Signals berechnet. Die vorverarbeiteten Spektrogramme sind somit das Ergebnis dieses Prozesses und werden im vorgeschlagenen CNN-Transformator-Modell verwendet.
Erzeugung von Spektrogrammen
Nach der Datennormalisierung und -segmentierung werden akustische Signale mithilfe der Kurzzeit-Fourier-Transformation (STFT) in eine Zeit-Frequenz-Darstellung umgewandelt. Das resultierende Spektrogramm liefert eine bildhafte Darstellung der Änderungen in der Frequenzzusammensetzung über den Analysezeitraum hinweg. In industriellen Anwendungen zeigen sich Maschinenstörungen gewöhnlich als Frequenzmuster, wodurch Spektrogramme besonders nützlich zur Erkennung von Maschinenanomalien sind.
Die resultierenden verarbeiteten Daten werden daher in Spektrogrammbilder umgewandelt, um zwischen normalen und abnormalen Fällen innerhalb der Maschinen zu unterscheiden. Die Audiodaten werden in mehrere Spektrogramme umgewandelt, damit das Lernmodell lokale Frequenzkomponenten und zeitliche Veränderungen im Maschinenprozess analysieren kann. Diese Bilder dienen als Eingabedaten für das CNN-Transformer-Modell, wobei das CNN räumliche (Frequenz-)Muster verarbeitet und die Transformer zeitliche Beziehungen erfassen.
Algorithmus 1: Erzeugung eines Spektrogramms aus akustischen Signalen
Eingabe: Roh-Audiosignal x(t)
Ergebnis: Spektrogramm S(t, f)
Schritt 1: Audiosignal x(t) laden
Schritt 2: Anwenden der Rauschfilterung
Schritt 3: Signal xn(t) normalisieren
Schritt 4: Signal in Rahmen segmentieren:
für k = 1 bis N ausführen

Ende für
Schritt 5: Eine Fensterfunktion w(t) auf jedes Segment anwenden
Schritt 6: Berechnung der STFT:
(9)
Schritt 7: Betrag berechnen:
(10)
Schritt 8: Spektrogramm S(t, f) speichern
Schritt 9: Spektrogrammdatensatz zurückgeben
Der Prozess der Erzeugung von Spektrogrammen beginnt mit der Erfassung des ursprünglichen Audiosignals, gefolgt von Vorverarbeitungsschritten wie Rauschunterdrückung und Signalnormalisierung, um Integrität und Qualität des Signals sicherzustellen. Danach wird das normalisierte Audio in mehrere sich überlappende Fenster unterteilt, um die zeitlichen Eigenschaften sowohl über längere als auch kürzere Zeiträume hinweg zu erfassen. Um Spektralleckage zu vermeiden, wird jeder Ausschnitt vor der Weiterleitung an die Kurzzeit-Fourier-Transformation mit einer Fensterfunktion multipliziert. Anschließend wird das transformierte Signal als komplexwertige Funktion im Frequenzbereich dargestellt, und seine Beträge werden quadriert. So wird die Energie der Frequenzen über die gegebene Zeit durch die Spektrogramme repräsentiert. Schließlich werden sie als bilddatenähnliche Daten gespeichert und dem neuronalen Netzwerk zum Training zugeführt.
Räumliche Merkmalsextraktion unter Verwendung eines CNN
Nach dem Erstellen der Spektrogramme werden die resultierenden Zeit-Frequenz-Bilder als Eingaben verwendet und einem Faltungs-Neuronalen Netzwerk (CNN) zugeführt. Dabei wird das Eingabe-Spektrogramm als
, angenommen, wobei H den Frequenzbereich und W den Zeitbereich darstellt. Der Zweck der Verwendung des CNNs besteht darin, diskriminierende räumliche Merkmale aus dem Eingabe-Spektrogramm zu erlernen. Diese diskriminierenden räumlichen Merkmale ermöglichen es, zwischen normalem und abnormalem Maschinenverhalten in einer industriellen Umgebung zu unterscheiden.
Eine grundlegende Operation, die vom Faltungs-Neuronalen Netzwerk (CNN) durchgeführt wird, ist die Faltung. Die Faltung mit einem gegebenen Filter
wird wie folgt angegeben:
(11)
Der oben beschriebene Vorgang ermöglicht es dem neuronalen Netzwerk, lokale räumliche Merkmale wie Kanten, Frequenzen und harmonische Anteile im Spektrogramm zu erkennen. Dies erfolgt durch mehrere Filteroperationen, die verschiedene Merkmalsdarstellungen erzeugen und mehrere Merkmalskarten generieren. Auf die Faltung folgt eine nichtlineare Aktivierungsfunktion, wie unten dargestellt:
(12)
Diese Nichtlinearität ermöglicht es dem Netzwerk, komplexe Beziehungen zwischen Variablen zu erfassen und darzustellen. Die nächste Stufe in einem faltenden neuronalen Netzwerk umfasst die Anwendung von Pooling-Operationen. Die gängige Technik des Max-Pooling wird mathematisch wie folgt ausgedrückt:
(13)
wobei Ω das Pooling-Fenster bezeichnet. Das Pooling trägt zur Erreichung von Translationsinvarianz bei und behält nur die relevanten Informationen bei, während Redundanzen verworfen werden. Von niedrigstufigen Variablen wie Frequenzen bis hin zu komplexem Maschinenverhalten können höherstufige Merkmale hierarchisch mithilfe eines faltenden neuronalen Netzwerks extrahiert werden. Folglich können Merkmalskarten verwendet werden, um die endgültige Ausgabe des Netzwerks darzustellen:
(14)
wobei die lernbaren Parameter des CNN darstellt. Die Merkmalskarten enthalten umfassende räumliche Informationen und werden in Sequenzen umgewandelt, um als Eingaben für den Transformer-Encoder in der nächsten Phase zu dienen. Der oben beschriebene Prozess der räumlichen Merkmalsextraktion ist entscheidend, um dem Modell die Erkennung minimaler Anomalien in industriellen akustischen Signalen zu ermöglichen.
Abbildung 3 zeigt, wie räumliche Merkmale mithilfe eines CNN-Modells horizontal aus dem Spektrogramm-Eingang extrahiert werden. Zunächst liegt das Eingabespektrogramm vor, das die Zeit-Frequenz-Eigenschaften des Audiosignals in bildlicher Form kodiert. Das Eingabespektrogramm wird anschließend über eine Faltungsschicht geleitet, in der verschiedene Filtertypen räumliche Merkmale wie Frequenzbänder, Kanten und Texturen extrahieren und dabei Merkmalskarten erzeugen. Danach durchlaufen die extrahierten Merkmalskarten eine nichtlineare Aktivierungsfunktion, die rectified linear unit (ReLU), wodurch das neuronale Netzwerk Abhängigkeiten in den Eingabedaten erkennen kann. Die Merkmalskarten werden danach über eine Pooling-Schicht geleitet, in der die Kartengröße reduziert wird, während ihre wichtigsten Merkmale erhalten bleiben. Dieser Prozess aus Faltungs-, Aktivierungs- und Pooling-Schichten wiederholt sich mehrfach und erzeugt eine Hierarchie der Merkmalsdarstellung, die mit einfachen Merkmalen beginnt und sich hin zu komplexeren Merkmalen entwickelt, die mit Maschinenoperationen zusammenhängen.
Zeitliche Modellierung unter Verwendung eines Transformer-Encoders
Sobald die räumlichen Merkmale mithilfe des CNN extrahiert wurden, besteht der nächste Schritt darin, Merkmalskarten auf hoher Ebene abzuleiten, die frequenzbasierte Muster erfassen, die aus dem Spektrogramm gelernt wurden. Die resultierenden Merkmalskarten werden anschließend abgeflacht und als Sequenzen umgeformt, um zeitliche Informationen im akustischen Signal zu erfassen. Unter der Annahme, dass die Merkmalskarten durch
dargestellt werden, wobei H', W', und C jeweils Höhe, Breite und Kanäle bezeichnen, wird die folgende Sequenz abgeleitet:
(15)
wobei T die Sequenzlänge und d die Merkmalsdimension darstellt. Der Transformer nutzt die obige Sequenz, um mithilfe eines Selbst-Attention-Mechanismus langfristige Abhängigkeiten zu modellieren. Im Gegensatz zu herkömmlichen rekurrenten Modellen verarbeitet das Transformer-Modell jedes Element der Sequenz parallel und verwendet Attention-Gewichte, um die relative Relevanz der einzelnen Elemente zu bestimmen. Der Attention-Mechanismus funktioniert, indem er Query-Q-, Key-K- und Value-V-Vektoren verwendet, die für jeden Eingang xt gemäß folgender Vorschrift erzeugt werden:
(16)
wobei WQ, WK, WV trainierbare Gewichte sind. Die Ähnlichkeiten zwischen den Elementen werden mithilfe folgender Gleichung bestimmt:
(17)
dk ist die Dimension der wichtigen Vektoren. Dieses Verfahren erleichtert es dem Modell, Abhängigkeiten aus entfernt liegenden Zeitpunkten des Signals zu lernen und sich ausschließlich auf die relevanten Zeitabschnitte zu konzentrieren. Um die Lernkapazität des Netzwerks zu erhöhen, wird die Multi-Head-Attention verwendet, bei der mehrere Attention-Köpfe parallel aus der Eingabe lernen:
(18)
Jeder Kopf verarbeitet unterschiedliche Merkmale der zeitlichen Eingabesequenz. Dies wird gefolgt von feed-forward-Neuronalen Netzen und Residualverbindungen:
(19)
Die resultierende kodierte Sequenz erfasst sowohl die räumlichen als auch die zeitlichen Merkmale des Eingabesignals. Diese Sequenz wird zur Anomalieerkennung an die Klassifizierungsschicht gesendet.
Abbildung 4 zeigt den gesamten Prozess der zeitlichen Modellierung mithilfe eines Transformer-Encoders auf Merkmalen, die aus dem CNN extrahiert wurden. Zunächst werden die aus dem CNN extrahierten Merkmalskarten verwendet, die räumliche Informationen aus dem Spektrogramm enthalten. Die Merkmalskarten werden zu einer Sequenz abgeflacht, wobei jedes Element einem Zeitstempel entspricht. Anschließend durchläuft die Sequenz eine lineare Transformation, die die Daten in Vektoren einer bestimmten Dimension abbildet. Da Transformator-Modelle nicht in der Lage sind, zeitliche Abhängigkeiten zu erfassen, wird den Einbettungsvektoren zusätzlich eine Positions-Codierung hinzugefügt, um die zeitliche Struktur der Sequenz zu bewahren. Schließlich durchläuft die Sequenz einen Transformer-Encoder, der aus einem Stapel mehrerer Schichten besteht, in denen ein Multi-Head-Self-Attention-Mechanismus eingesetzt wird, um dem Modell das Erlernen von Zusammenhängen zwischen den Zeitstempeln in der Sequenz zu ermöglichen. Das Feed-Forward-Neurale-Netzwerk verbessert diese Einbettungen weiter, während Residualverbindungen sicherstellen, dass die Gradienten effizient weitergeleitet werden. Der Prozess wird über die gestapelten Transformer-Encoder-Schichten hinweg wiederholt, wodurch zunehmend komplexere zeitliche Wechselwirkungen erfasst werden. Am Ende werden die Sequenzeinbettungen durch Pooling (z. B. Mittelwert-Pooling oder das Klassifikationstoken (CLS)) zu einer Darstellung fester Länge kombiniert, wodurch eine globale zeitliche Merkmalsdarstellung entsteht.
Klassifikationsschicht
Nach der zeitlichen Kodierung mittels des Transformer-Encoders bestehen die Ausgaben aus einer Sequenz kodierter Vektoren, von denen jeder Merkmale enthält, die sowohl die räumlichen als auch die zeitlichen Aspekte des Eingangssignals betreffen. Der erste Schritt zur Klassifizierung anhand der kodierten Ausgaben besteht darin, all diese Merkmale zu einem einzigen Vektor zusammenzufassen. Dies wird entweder erreicht, indem auf die Sequenz der Merkmalsvektoren eine Mittelwert-Pooling-Operation angewendet wird, oder indem das sogenannte „Klassifizierungstoken“ verwendet wird. Angenommen, die Ausgabe des Transformers ist
, wobei jeder
. Das aggregierte Merkmal h wird berechnet als:
(20)
Anschließend stellt der aggregierte Merkmalsvektor h die Eingabe in kompakter Form dar und dient als Eingabe für den Klassifikator. Der Klassifikationsteil besteht aus einer oder mehreren dichten Schichten, die die gelernte Darstellung in den Ausgaberaum transformieren. Eine dichte Schicht implementiert eine Transformation, die wie folgt definiert ist:
(21)
wobei o die Ausgabe (Logits), b der Bias-Vektor und W die Gewichtungsmatrix ist. Letztere stellen die Klassenscores in nicht normalisierter Form dar. Um Nichtlinearität in das Modell einzubauen, werden häufig Aktivierungsfunktionen wie ReLU verwendet. Abschließend wird eine Softmax-Aktivierungsfunktion auf die Logits angewendet, um die Wahrscheinlichkeit für jede Klasse zu erhalten:
(22)
wobei C die Anzahl der Klassen darstellt (C = 2; normal und abnormal). Die Klassenvorhersage basiert auf dem maximalen Wahrscheinlichkeitswert. Während des Trainings werden die optimalen Werte der Modellparameter durch Minimierung des Cross-Entropy-Verlusts zwischen den tatsächlichen und vorhergesagten Beschriftungen ermittelt, wodurch eine genaue Klassifizierung der Maschinenzustände erreicht wird. Zusammenfassend erfüllt die Klassifizierungsschicht eine wesentliche Funktion bei der Umwandlung der mit der Transformer-Architektur extrahierten zeitlichen Merkmale in praktische Entscheidungen. Durch eine geeignete Unterscheidung zwischen gesunden und fehlerhaften Maschinenzuständen wird die Anomalieerkennung und eine intelligente Entscheidungsfindung im Rahmen des Industry-5.0-Paradigmas ermöglicht.
Abbildung 5 zeigt, wie die Klassifizierungsschicht funktioniert, die auf den Transformer-Encoder folgt. Der Prozess beginnt mit der codierten Sequenz-Ausgabe, bei der jeder Vektor zeitliche Informationen enthält, die aus der Eingabe gelernt wurden. Diese Vektoren werden zu einem einzigen Vektor kombiniert, der als globaler Merkmalsvektor bekannt ist. Im nächsten Schritt wird der globale Merkmalsvektor durch mehrere dichte neuronale Netzwerkschichten geleitet. In jeder dichten Schicht werden Matrixmultiplikationsoperationen durchgeführt, um lineare Kombinationen der Eingaben zu erzeugen. Danach kann eine nichtlineare Aktivierungsfunktion wie ReLU angewendet werden, um die Flexibilität beim Lernen von Entscheidungsgrenzen zu erhöhen. Am Ende der letzten dichten Schicht liegen Logit-Scores für jede Klasse vor. Diese Logit-Scores können in die Softmax-Funktion eingespeist werden, um Wahrscheinlichkeitswerte für jede Klasse zu berechnen. Mithilfe dieser Wahrscheinlichkeitswerte wird bestimmt, ob die Eingabe zur Klasse 0 (Normal) oder Klasse 1 (Abnormal) gehört.
Erklärbarkeit mithilfe von SHAP
Nachdem das Modell Eingangssignale klassifiziert hat, werden Vorhersagen daraufhin generiert, ob die Maschine normal oder abnormal arbeitet. Innerhalb der Industrie-5.0-Umgebung reicht die Erzeugung von Vorhersagen jedoch nicht aus; das System muss zudem Transparenz und Erklärbarkeit bieten, um die menschliche Entscheidungsfindung zu unterstützen. Der folgende Ansatz verwendet SHAP, ein auf der Spieltheorie basierendes Modell, das die Bedeutung jeder einzelnen Merkmalsausprägung für die getroffene Vorhersage quantifiziert. Auf diese Weise weist SHAP den Merkmalen Gewichtungen zu, wodurch man die relative Bedeutung verschiedener Abschnitte der Spektrogramm-Eingabe für die Gesamtvorhersage bewerten kann.
Die mathematische Formulierung von SHAP basiert auf einer Zerlegung des Modells f(x):
(23)
wobei ∅0 der Basiswert (mittlere Modellausgabe) ist, ∅i der Einfluss des i-ten Merkmals ist und M die Anzahl der Eingabemerkmale angibt. Im Rahmen dieser Studie handelt es sich bei den Merkmalen um die Zeit-Frequenz-Bins des Spektrogramms. SHAP-Werte sind positiv, wenn sie zur Wahrscheinlichkeit des abnormalen Zustands beitragen, andernfalls negativ. Diese Formulierung gewährleistet eine eindeutige, lokal konsistente Erklärung für jede Vorhersage. Die SHAP-Methode kann auf ein trainiertes CNN-Transformer-Modell angewendet werden, um eine Erklärung basierend auf der Merkmalsrelevanz zu liefern. Die visuelle Darstellung zeigt die wichtigsten Zeit-Frequenz-Bins im Spektrogramm, die den Entscheidungsprozess beeinflussen. Beispielsweise kann ein abnormales Verhalten der Ausrüstung bestimmte frequenzreiche Bereiche mit hoher Energie erzeugen, die das SHAP-Framework als wichtige Beiträge zum Entscheidungsprozess identifiziert.
Darüber hinaus kann SHAP die Zusammenarbeit zwischen Menschen und Maschinen in einer cyber-physischen Umgebung fördern. Dies liegt daran, dass die Vorhersagen mithilfe intuitiver Visualisierungen erklärbar sind, wodurch die Bediener und Entscheidungssysteme die Vorhersagen überprüfen, das Problem analysieren und geeignete Maßnahmen ergreifen können. Dies erhöht nicht nur das Vertrauen, sondern macht auch künstliche Intelligenz-basierte Fertigungsprozesse zuverlässig und nachvollziehbar. Durch die Integration von Deep-Learning-Algorithmen, die den aktuellen Leistungsstandards entsprechen, mit SHAP, das Erklärbarkeit bietet, erfüllt die vorgeschlagene Architektur die Anforderungen von Industrie 5.0.
Algorithmus 2: SHAP-basierte Erklärbarkeit für Modellvorhersagen
Eingabe: Trainiertes Modell f(x), Eingabespektrogramm S
Ergebnis: SHAP-Werte
und Erklärungskarte
Schritt 1: Spektrogramm S in ein trainiertes Modell eingeben
Schritt 2: Vorhersage berechnen: y = f(S)
Schritt 3: Initialisieren Sie einen auf maschinelles Lernen ausgerichteten SHAP-Erklärer
Schritt 4: Berechnung der SHAP-Werte:

Schritt 5: Für jedes Merkmal i in S:
Berechnung des Beitrags 
Schritt 6: Erklärungskarte generieren:
Markieren Sie Bereiche mit hohem 
Schritt 7: Visualisierung der Merkmalswichtigkeit (Heatmap)
Schritt 8: SHAP-Werte und Erklärungskarte zurückgeben
Der auf SHAP basierende Erklärbarkeitsalgorithmus beginnt damit, ein vorverarbeitetes Spektrogrammbild als Eingabe zu erhalten und es in die trainierte CNN-Transformer-Architektur einzuspeisen, um Vorhersagen zu treffen (z. B. normaler oder abnormaler Maschinenzustand). Nachdem mit der trainierten Architektur Vorhersagen getroffen wurden, wird die SHAP-Methode verwendet, um das Modell zu interpretieren. Insbesondere werden die SHAP-Werte (ϕ) für jedes Eingabemerkmals berechnet, um herauszufinden, welche Zeit-Frequenz-Komponenten der Eingabe am stärksten zur Vorhersage beitragen. Um diese Werte zu berechnen, müssen die Modellausgaben für Eingaben mit und ohne bestimmte Merkmale verglichen werden.
Nach der Berechnung der SHAP-Werte für jedes Merkmal kann dessen Einfluss auf die Vorhersage anhand des Vorzeichens und der Größe des SHAP-Werts beurteilt werden. Beispielsweise beeinflussen Merkmale mit höheren SHAP-Werten das Ergebnis wahrscheinlicher, wobei ein positives oder negatives Vorzeichen angibt, dass das Merkmal die Vorhersage in Richtung der normalen beziehungsweise abnormalen Klasse lenkt. Basierend auf den Ergebnissen kann eine Erklärungskarte in Form einer Wärmekarte erstellt werden.
Abschließend gibt der Algorithmus sowohl die SHAP-Werte als auch die Visualisierungen aus, wodurch Einblicke in die Analyse der Modellentscheidungen durch Menschen ermöglicht werden. Die Methode erhöht die Transparenz des Prozesses und erlaubt es Menschen, sich an Entscheidungen zu beteiligen, wodurch sichergestellt wird, dass sowohl die Vorhersagen des Algorithmus als auch deren Zuverlässigkeit in der KI-gestützten Industrie erreicht werden. Repräsentative Testsamples wurden aus korrekt diagnostizierten anomalen Fällen verschiedener Maschinentypen ausgewählt, um die Zuverlässigkeit der Erklärbarkeitsanalyse zu verbessern. Während eine globale SHAP-Analyse der Merkmalswichtigkeit durch Aggregation der SHAP-Werte über den gesamten Testdatensatz durchgeführt wurde, um durchgängig einflussreiche Zeit-Frequenz-Bereiche zu identifizieren, wurden für diese repräsentativen Fälle lokale SHAP-Erklärungen erstellt. Diese integrierte lokale und globale Analyse bietet ohne Notwendigkeit einer Expertenannotation eine zuverlässige Interpretation der Modellvorhersagen.
Integration von CPS mit Edge-Funktionalität
Diese vorgeschlagene Lösung wird innerhalb des Edge-fähigen cyber-physischen Systems (CPS) eingesetzt, das Effizienz, Nachhaltigkeit und Echtzeit-Industrieoperationen anstrebt. Sobald das Modell trainiert wurde, wird der CNN-Transformer über einen Edge-Computing-Ansatz bereitgestellt. Die betreffende Edge-Computing-Schicht befindet sich in der Nähe von Geräten des industriellen Internets der Dinge (IIoT), einschließlich Sensoren und Maschinen. Anstatt alle gesammelten Daten in die Cloud zu übertragen, führt das Edge-Gerät die Inferenz des eintreffenden akustischen Signals durch, ohne es zuvor dorthin zu übermitteln. Dadurch kann das System Maschinenstörungen nahezu sofort erkennen und die erforderlichen Maßnahmen ergreifen, bevor sich die Situation weiter verschlechtert. Ein weiterer Vorteil dieses Edge-fähigen Ansatzes ist die verbesserte Latenz und Effizienz, da die Daten nahe dem Entstehungsort analysiert werden. Mit anderen Worten, im Gegensatz zum Cloud-Ansatz, bei dem die Inferenzzeit Tinf
(24)
Die Latenz wird im Allgemeinen erheblich durch eine Verringerung von Tcommunication reduziert. Ein weiterer Vorteil besteht in geringerem Bandbreitenverbrauch und weniger Energieaufwand beim kontinuierlichen Übertragen von Daten. Daher ist dieses System für große Industrieanlagen mit zahlreichen vernetzten Geräten skalierbar und nachhaltig. Außerdem ermöglicht das CPS die Interaktion mit der physikalischen Schicht (Maschinen), der KI (rechnerischen Schicht) und der menschlichen Schicht.
Mensch-zentrierte Zusammenarbeit
Eine Schlüsselkomponente des vorgeschlagenen Industry-5.0-CPS, das menschliche Bediener umfasst, die aktiv gemeinsam mit KI-Modellen in den Entscheidungsprozess eingebunden sind, ist die Mensch-in-der-Schleife-Zusammenarbeit. Demnach wird das System gemäß dem entworfenen Rahmenwerk keine autonome Black-Box, sondern ermöglicht es Bedienern, mit ihm zu interagieren und nachvollziehbare Vorhersageergebnisse in Form von SHAP-Erklärungen zu beobachten. Die betreffenden Vorhersagen beziehen sich auf die Ergebnisse (normal/abnormal) und werden begleitet von Visualisierungen der Teile der Spektrogramme, die für deren Erstellung verwendet wurden.
Eine solche Interaktion hilft den Bedienern, besser zu verstehen, wie die Vorhersage zustande kommt und welche Faktoren zu ihr beitragen. Die Einbindung von Menschen beinhaltet die Überprüfung der Systemergebnisse und ermöglicht es den Bedienern, diese bei Bedarf auf der Grundlage ihres fachlichen Urteils zu überschreiben. Die Zusammenarbeit mit menschlichen Bedienern macht das System vertrauenswürdiger, effizienter, sicherer und zuverlässiger und hilft, Fehler zu vermeiden.