Door uitlegbare AI ondersteunde cyber-fysieke samenwerking voor duurzame productie in Industrie 5.0

Samenvatting

Deze studie presenteert een op Explainable AI gebaseerd Industry 5.0 cyber-fysiek samenwerkingskader dat gebruikmaakt van een CNN-transformer en SHAP voor het detecteren van industriële akoestische anomalieën op de MIMII-dataset. Edge-computing-integratie ondersteunt interpreteerbaar, mensgericht voorspellend onderhoud.

Samenvatting

In deze studie presenteren we een innovatieve benadering voor de duurzame productie van industriële onderdelen met behulp van een cyber-fysiek collaboratiesysteem gebaseerd op uitlegbare kunstmatige intelligentie (XAI) voor Industrie 5.0. Uit onderzoek is gebleken dat huidige cyber-fysieke menselijke systemen (CPHS'en) AI slechts in beperkte mate integreren en vaak een gebrek aan uitlegbaarheid vertonen. Er is daarom een behoefte om hun schaalbaarheid en flexibiliteit te verbeteren, in overeenstemming met de beginselen van Industrie 5.0: veerkracht, levensvatbaarheid op lange termijn en mensgerichtheid. Om deze tekortkomingen aan te pakken, introduceren we een architectuur die deep learning en uitlegbare AI integreert in het Cyber-Physical System (CPS) ecosysteem om slimme, uitlegbare besluitvorming mogelijk te maken. Specifiek maken we gebruik van de Malfunctioning Industrial Machine Investigation and Inspection (MIMII) dataset voor het detecteren van machinefouten op basis van akoestische signalen. Audiosignalen ondergaan een spectrale transformatie om spectrogrambeelden te genereren, die vervolgens worden verwerkt door een convolutioneel neuraal netwerk (CNN) voor ruimtelijke kenmerksextractie en een transformer-encoder voor temporele kenmerken. Om de transparantie te vergroten en human-in-the-loop samenwerking te faciliteren, helpt een benadering op basis van Shapley additive explanations (SHAP) operators om het besluitvormingsproces van het systeem te begrijpen door de inputkenmerken die de modelvoorspellingen beïnvloeden te highlighten. Daarnaast wordt het raamwerk toegepast in een op edge-computing gebaseerd cyber-fysiek systeem om een lage latentie en een laag energieverbruik te bereiken terwijl er tijdige responsen worden geboden, wat helpt bij het waarborgen van een duurzame productieomgeving. Experimentele resultaten tonen aan dat de voorgestelde CNN-Transformer architectuur een nauwkeurigheid van 98,5% behaalt en beter presteert dan bestaande CPHS-systemen, terwijl een lage latentie behouden blijft. Het gebruik van uitlegbare AI in een dergelijk cyber-fysiek collaboratiesysteem vergroot het vertrouwen van de operator aanzienlijk en maakt een naadloze mens-machine samenwerking mogelijk.

Inleiding

De overgang van Industrie 4.0, waarbij de nadruk lag op technologie, mechanisatie en communicatie, naar het nieuwe Industrie 5.0-model, dat technologische vooruitgang combineert met aanpassingsvermogen, duurzame ontwikkeling en mensgerichtheid, heeft de dynamische evolutie van industriële systemen beïnvloed^1,2. De Europese Commissie definieert Industrie 5.0 als een paradigma dat zich niet alleen richt op productiviteit en efficiëntie, maar ook op de drie pijlers van mensgerichtheid, duurzaamheid en veerkracht. Het is belangrijk op te merken dat recent onderzoek de rol van AI-systemen, mens-machine samenwerking en duurzame productie heeft aangewezen als de belangrijkste drijfveren van Industrie 5.0-omgevingen^3,4. Traditionele onderhoudsmethoden zijn in deze evoluerende industriële omgeving niet langer voldoende. Om veerkracht mogelijk te maken in complexe, instabiele contexten, moet onderhoud evolueren naar een meer aanpasbare en systemische vorm⁵. Sinds 2011 is Industrie 4.0 het dominante model voor industriële transformatie in Europa geweest, waarbij de digitale transformatie van bedrijven werd aangemoedigd om de bedrijfsvoering te verbeteren en beschikbare middelen te maximaliseren⁴. Het is daarom essentieel om de efficiëntie te verhogen zonder menselijke arbeid in de productie te elimineren, terwijl de gezondheid en veiligheid van werknemers worden beschermd. Om deze reden zijn bedrijven en academici begonnen met het definiëren van de beginselen van het Industrie 5.0-paradigma^5,6,7, mede gemotiveerd door het Japanse concept van Society 5.0^8,9,10,11. Ondanks de toegenomen nadruk op duurzaam onderhoud in recente literatuur blijven de meeste bestaande systematische evaluaties gefragmenteerd of domeinspecifiek, waarbij een allesomvattend kader dat veerkracht, duurzaamheid en AI integreert, ontbreekt. Zo onderzoeken auteurs duurzame onderhoudspraktijken voor specifieke systemen of strategieën, waaronder duurzaam totaal productief onderhoud (STPM), terwijl onderzoekers spreken over het integreren van duurzaamheidsthema's in onderhoudstechnieken^12,13,14. Auteurs voerden een uitgebreide beoordeling uit van criteria voor de adoptie van duurzaamheid en benadrukten technologische factoren die ervoor zorgen dat productie een positieve duurzame impact heeft¹⁵. Desondanks zijn duurzaamheid, veerkracht en AI-gebaseerde besluitvorming binnen het Industrie 5.0-paradigma in geen van deze werken volledig geïntegreerd. Als gevolg hiervan richten afzonderlijke onderhoudsmethoden zich vaak op duurzaamheid. SHAP onderscheidt zich van andere technieken voor uitlegbare kunstmatige intelligentie (XAI) vanwege de theoretisch onderbouwde methode voor kenmerkattributie^16,17,18.

Data-gestuurde besluitvorming wordt mogelijk gemaakt door AI, maar nauwkeurige modellen vereisen vaak grote hoeveelheden gegevens. Conventionele technieken voor machine learning (ML), zoals beslisbomen, logistieke regressie en lineaire regressie, presteren vaak slecht in sterk niet-lineaire situaties omdat ze uitgaan van relatief eenvoudige datadistributies¹⁹. Diepe neurale netwerken (DNN's) omzeilen deze beperkingen door complexe kenmerkrepresentaties te leren uit massale datasets²⁰. Volgens onderzoeken²¹ presteren diepere netwerken vaak beter dan ondiepe structuren bij complexe besluitvormingstaken, maar hun toenemende diepte en parametercomplexiteit maken het model minder interpreteerbaar²².

Een cyber-fysiek systeem (CPS) is een cruciale ondersteunende technologie voor productie binnen Industrie 5.0, omdat het gedistribueerde intelligentie, embedded computers, fysieke processen en communicatie combineert. Om flexibele, intelligente en real-time industriële operaties mogelijk te maken, integreren moderne CPS'en snel edge computing, edge AI en het groene Internet of Things (G-IoT)^23,24. Duurzaamheid en veerkracht zijn in recente studies naar Maintenance 4.0 en smart maintenance sterk benadrukt. Terwijl eerdere werken de betekenis van Maintenance 4.0-technologie in duurzame productie hebben onderzocht en modelleringskaders voor duurzaam onderhoud hebben voorgesteld, hebben bibliometrische en systematische studies smart maintenance-technologieën beoordeeld^25,26,27,28. Verder onderzoek heeft de integratie van duurzaam onderhoud in Industrie 4.0-omgevingen en duurzaamheidsgeoriënteerde productiesystemen onderzocht^29,30,31,32. Het Operator 4.0-concept³³, mensgerichte Industrie 5.0-kaders³⁴ en socio-economische perspectieven³⁵ hebben allemaal aanzienlijke aandacht besteed aan mensgericht onderhoud. Daarnaast zijn vooruitgang in digitaal onderhoud³⁶, predictief en prescriptief onderhoud^37,38 en duurzame onderhoudsstrategieën^39,40 in recente studies benadrukt. Ondanks deze vooruitgang blijft het onderzoek versnipperd en bieden weinig studies een samenhangend paradigma dat uitlegbare AI, duurzaamheid, veerkracht en mensgerichte cyber-fysieke samenwerking integreert. Cyber-fysieke systemen (CPS'en) hebben, ondanks hun toenemende inzet, geen volledige autonomie bereikt, en het Industrie 5.0-paradigma streeft daar ook niet naar. Industrie 5.0 legt daarentegen meer nadruk op menselijk toezicht, samenwerking en besluitvorming. Door menselijk denken en samenwerking in cyber-fysieke processen te betrekken, breiden cyber-menselijke systemen, zoals human-in-the-loop CPS'en (HiLCPSs)⁴¹, mensgerichte CPS'en (HCPSs)^42,43 en cyber-fysieke menselijke systemen (CPHSs)⁴⁴, traditionele CPS'en uit. Deze integratie verbetert de aanpassingscapaciteit, transparantie, veiligheid en veerkracht door real-time samenwerking tussen intelligente systemen en menselijke operators mogelijk te maken^45,46.

De detectie van audio-anomalieën in de industrie is sterk verbeterd door nieuwe architecturen, waaronder de Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer en self-supervised learning; de integratie daarvan met uitlegbare cyber-fysische systemen voor Industrie 5.0 blijft echter beperkt. Zonder de integratie van uitlegbaarheid, edge-implementatie en human-in-the-loop beslissingsondersteuning in één enkel framework, richt het huidige onderzoek zich primair op classificatienauwkeurigheid of op post hoc XAI-gebaseerde interpreteerbaarheid. Deze studie stelt een nieuwe, door Explainable AI ondersteunde CNN-Transformer cyber-fysische collaboratiearchitectuur voor die edge computing, temporele afhankelijkheidsmodellering, SHAP-gebaseerde uitlegbaarheid, spatiale kenleereffecten en mensgerichte beslissingsondersteuning combineert om duurzame productie binnen Industrie 5.0 mogelijk te maken en deze beperkingen te overwinnen.

Hierdoor blijft er een aanzienlijk onderzoekstekort bestaan. Huidige technieken voor akoestische anomaliedetectie op basis van CNN/Transformers geven prioriteit aan classificatieprestaties, maar missen cyber-fysieke samenwerking en uitlegbaarheid. Hoewel kaders voor Industrie 5.0 conceptuele mensgerichte modellen bieden, integreren deze geen uitlegbaar deep learning, edge-intelligentie en door de operator ondersteunde besluitvorming in één enkel systeem; XAI-gebaseerde technieken voor voorspellend onderhoud vergroten wel de transparantie, maar functioneren onafhankelijk van CPHS-architecturen. Daarom ontbreekt er nog steeds een enkel cyber-fysiek menselijk systeem voor Industrie 5.0 dat precieze auditieve anomaliedetectie, SHAP-gebaseerde uitlegbaarheid, edge-gebaseerde implementatie en human-in-the-loop samenwerking integreert.

Dit artikel stelt een nieuw, door Explainable AI ondersteund CNN-Transformer cyber-fysiek samenwerkingsparadigma voor Industrie 5.0 voor om deze beperkingen te overwinnen. De voorgestelde architectuur combineert edge computing-implementatie, CNN-gebaseerde ruimtelijke kenmertextractie, Transformer-gebaseerd leren van temporele afhankelijkheden, SHAP-gebaseerde uitlegbaarheid en mens-in-de-lus beslissingsondersteuning in één enkel CPHS-framework. In tegenstelling tot huidige methoden die deze elementen onafhankelijk behandelen, biedt het voorgestelde framework een geïntegreerde oplossing die gelijktijdig de prestaties van anomaliedetectie, modeltransparantie, operationele efficiëntie en mensgerichte samenwerking voor duurzame productie verbetert.

Het hoofddoel van deze studie is het creëren van een cyberfysisch menselijk systeem (CPHS) met Explainable AI voor duurzame productie binnen Industrie 5.0, door SHAP-gebaseerde uitlegbaarheid, edge computing en mens-in-de-lus beslissingsondersteuning te combineren met een hybride CNN-Transformer-gebaseerde methode voor akoestische anomaliedetectie. In het bijzonder beoogt het voorgestelde raamwerk de nauwkeurigheid van anomaliedetectie te verbeteren terwijl er duidelijke, begrijpelijke voorspellingen worden geboden, wat een efficiënte edge-implementatie faciliteert en coöperatieve besluitvorming tussen intelligente systemen en menselijke operators stimuleert. Door gelijktijdig hoge detectieprestaties, uitlegbaarheid, een lage latentie en mensgerichte cyberfysische samenwerking te realiseren, pakt deze geïntegreerde architectuur de tekortkomingen van huidige raamwerken voor akoestische anomaliedetectie, XAI-gebaseerd predictief onderhoud en CPHS aan.

De voorgestelde architectuur presenteert een geïntegreerd, door Explainable AI ondersteund cyberfysisch menselijk systeem (CPHS) voor Industrie 5.0, in tegenstelling tot huidige technieken voor akoestische anomaliedetectie, die zich primair richten op classificatienauwkeurigheid. Binnen één enkele architectuur combineert het CNN-gebaseerde ruimtelijke kenmerkextractie, Transformer-gebaseerde temporele modellering, SHAP-gebaseerde uitlegbaarheid, edge computing en human-in-the-loop beslissingsondersteuning. De voorgestelde architectuur pakt cruciale kwesties aan op het gebied van transparantie, operatorondersteuning en cyberfysische samenwerking door nauwkeurige anomaliedetectie te fuseren met begrijpelijke besluitvorming en real-time edge-implementatie. De belangrijkste wetenschappelijke bijdrage van dit werk is de integratie op systeemniveau, waardoor de voorgestelde aanpak zich onderscheidt van eerder onderzoek dat zich uitsluitend richt op anomaliedetectie, explainable AI of frameworks voor Industrie 5.0.

Protocol

De voorgestelde methodologie maakt gebruik van een systeembestuurde Industry 5.0 Cyber-physical human system (CPHS)-benadering die uitlegbare deep learning combineert met een cyber-fysiek samenwerkingskader mogelijk gemaakt door edge computing om duurzame productieprocessen te ondersteunen. Ten eerste wordt het probleem aangepakt door bepaalde beperkingen van huidige CPHS-oplossingen te herkennen, zoals een gebrek aan AI-gestuurde intelligentie, uitlegbaarheid en mensgerichte samenwerking. Om deze uitdagingen aan te pakken, maakt de voorgestelde oplossing gebruik van de MIMII-dataset voor conditiemonitoren van industriële machines middels akoestische signaalverwerking.

Het voorgestelde raamwerk begint met het invoeren van de gegenereerde spectrogrammen in een CNN-model dat ruimtelijke kenmerken extraheert door significante frequentiepatronen te herkennen die geassocieerd zijn met verschillende machinetoestanden. De geëxtraheerde ruimtelijke kenmerken worden omgezet in sequenties en ingevoerd in een transformer-encoder-module om temporele afhankelijkheden via self-attention vast te leggen. De getransformeerde kenmerkrepresentatie wordt vervolgens doorgegeven aan een volledig verbonden classifiermodule om machinetoestanden te classificeren als normaal of abnormaal. Daarnaast wordt, om transparantie te waarborgen en mensgerichte besluitvorming te faciliteren, de SHAP-uitlegbaarheidsbenadering gebruikt om voorspellingen toe te lichten door significante tijd-frequentiegebieden in de modeloutput te selecteren. Het ontworpen model zal worden geïmplementeerd in een edge-enabled CPS-omgeving, waardoor real-time inferentie mogelijk is met een lage computationele latentie en een laag energieverbruik. Bovendien zal een human-in-the-loop-schema worden geïntegreerd om menselijke operators in staat te stellen validaties uit te voeren op basis van de uitlegbaarheidsresultaten. De prestaties worden gevalideerd met behulp van nauwkeurigheid, precisie, recall en de F1-score, evenals andere systeemmetrieken zoals latentie en energie-efficiëntie.

Het voorgestelde raamwerk is een door XAI aangestuurd CPHS-mechanisme voor duurzame productie in de context van Industrie 5.0, en de workflow ervan wordt gepresenteerd als een pijplijn van data-acquisitie tot intelligente besluitvorming en uitvoering, zoals weergegeven in Figuur 1. In de beginfase van de procedure voor data-acquisitie worden geluidssignalen verzameld van machines in industrieën zoals motoren, pompen en lagers met behulp van datasets waaronder MIMII. De zo verkregen datasignalen worden doorgezet naar de volgende fase, aangeduid als data-preprocessing, waar ze worden onderworpen aan filtering, normalisatie en segmentatie. De gesegmenteerde datasignalen worden tenslotte omgezet in een spectrogram met behulp van de short-time Fourier transform (STFT) op de laag voor kenmerkrepresentatie.

Vervolgens gebruikt de AI-modellocatie de spectrogrambeelden om via de CNN-module kenmerken te extraheren, waarbij ruimtelijke patronen en anomalieën worden geïdentificeerd. Daarna worden de geëxtraheerde kenmerken hervormd en ingevoerd in de transformer-encoder, die via self-attention-mechanismen temporele afhankelijkheden en langetermijnrelaties leert. De resulterende kenmerkvectoren worden met behulp van de classificatielaag geclassificeerd als normaal of abnormaal. Om transparantie in het voorspellingsproces te waarborgen, gebruikt de explainability-laag SHAP om significante tijd-frequentiegebieden in het spectrogram te markeren.

Daarnaast is er een "human-in-the-loop"-proces waarbij operators de resultaten van het model interpreteren en feedback geven. In de implementatielaag draait het model op een edge-gebaseerde CPHS-infrastructuur, wat zorgt voor een snelle inferentie en een laag energieverbruik, terwijl er optioneel een koppeling is met cloudsystemen voor opslagvereisten of geavanceerde analyses. Samen waarborgt het raamwerk een nauwkeurige foutdetectie, verklaarbaarheid en efficiënte real-time werking in overeenstemming met de eisen van Industrie 5.0.

Probleemdefinitie en vereistenanalyse

Cyber-fysieke menselijke systemen (CPHS) in Industry 5.0-omgevingen beloven intelligentie, duurzaamheid en mensgerichtheid. Toch worden hedendaagse frameworks voor het bouwen van CPHS belemmerd door een gebrek aan geavanceerde AI-gestuurde mogelijkheden, uitlegbaarheid en adequate ondersteuning voor mens-machinecollaboratie. Inderdaad zijn conventionele CPHS gebaseerd op regelgebaseerde of oninterpreteerbare modellen, wat de aanpassing aan veranderende industriële omstandigheden belemmert en het vertrouwen van operators in automatisering beperkt. Bovendien kunnen conventionele CPHS geen hoogwaardige data effectief analyseren, zoals industriële akoestische signalen die zowel ruimtelijke (d.w.z. frequentie) als tijdsafhankelijke componenten bevatten, welke essentieel zijn voor voorspellend onderhoud. Daarom is het noodzakelijk om een framework te creëren dat machineanomalieën met hoge precisie kan detecteren, uitleg kan geven en aan de edge kan opereren, waardoor CPS wordt gefaciliteerd.

Hier is x(t) het akoestische ingangssignaal, S(f,t) de spectrogramrepresentatie van het signaal,  het label en θ de parameterset van de CNN-Transformer-architectuur. Symbolen die in volgende vergelijkingen worden gebruikt, worden direct na hun eerste verschijning geïntroduceerd om de mathematische correctheid te waarborgen.

Vanuit een wiskundig oogpunt kan de taak worden geformaliseerd als een probleem van gesuperviseerd leren. Laat het industriële akoestische signaal worden aangeduid als x(t). De STFT van x(t) wordt berekend volgens de formule:

   (1)

waarbij  ω(.) de vensterfunctie is en f de frequentie. Het gegenereerde spectrogram  dient als input voor het deep learning-algoritme. Het doel is om de afbeeldingsfunctie te trainen

    (2)

waarbij  het klasselabel is (ofwel normaal of abnormaal), en waarbij S de spectrogram-input is, y het voorspelde outputlabel is en  θ de set leerbare parameters van de CNN-Transformer-architectuur is. Het optimalisatieprobleem is geformuleerd als de minimalisatie van het classificatieverlies:

  (3)

onderworpen aan de beperkingen van minimale latentie , energie-efficiëntie , en interpreteerbaarheid, waarbij de verklaring ∅(SHAP) het belang van kenmerken in het voorspellingsproces vastlegt,

   (4)

waarbij  de bijdrage van elke individuele feature is. In overeenstemming met het voorgaande omvatten de ontwerpeisen het volgende: (i) betrouwbare anomaliedetectie op basis van hybride deep learning, (ii) interpreteerbare outputs voor menselijke interventie en (iii) implementatie in een edge-enhanced CPS-framework.

Datasetverwerving en preprocessing

In dit verband is de MIMII Dataset¹³ geselecteerd om het voorgestelde CPHS-framework op basis van Explainable AI te beoordelen. Deze dataset is een veelgebruikte benchmark voor het detecteren van anomalieën in industriële machines met behulp van akoestische signalen. Deze database bevat geluidsopnamen van diverse machines, zoals glijrails, ventilatoren, pompen en kleppen, onder zowel normale als defecte bedrijfsomstandigheden. Voor elke machine variëren de opnamen per instelling en ruisomgeving. Dit maakt de dataset geschikt voor het trainen en evalueren van modellen onder industriële real-time omstandigheden.

Hoewel de MIMII-dataset veelvuldig wordt gebruikt in studies naar ongesuperviseerde anomaliedetectie die tijdens de training uitsluitend vertrouwen op normale monsters, bevat deze expliciete annotaties van zowel normale als abnormale machinestanden. Het probleem is geformuleerd als een gesuperviseerde binaire classificatietaak om het vermogen van de voorgestelde, op Explainable AI gebaseerde CNN-Transformer-architectuur te testen om gezonde van defecte machinestanden te scheiden. Specifiek worden de officiële MIMII-labels gebruikt, waarbij klasselabel 0 wordt toegekend aan normale monsters en klasselabel 1 aan abnormale monsters.

Tabel 1 toont de details van de beschrijving van de dataset. In het huidige onderzoek worden ongeveer 12.000 opnames van akoestische signalen beschouwd, waaronder zowel normale als defecte machinebedrjfgingen. Conform de vereisten zijn alle opnames in deze studie vastgelegd op 16 kHz en hebben ze een duur van 10 s. Hoewel de dataset ongeveer 12.000 opnames bevat, is een klasse-gebalanceerde subset van 2.000 testopnames uitsluitend geselecteerd om de confuse matrix te visualiseren. Alle gerapporteerde prestatiemetrieken zijn berekend met gebruik van de volledige testset (ongeveer 2.400 opnames). Verder zijn de trainings- en testmonsters gescheiden in een verhouding van 80:20 voor de modeltraining. Deze database is zeer geschikt voor Industry 5.0-toepassingen omdat deze realtime ruiscondities bevat. De verdeling van de opnames die in deze studie is gebruikt, staat in Tabel 2. Uit deze dataset zijn ongeveer 12.000 opnames geselecteerd die alle machinetypen en signaal-ruisverhouding (SNR)-condities dekken voor de experimenten met gesuperviseerde binaire classificatie met een 80:20 train/test-splitsing; hierin worden de industriële machinetypen, de bijbehorende machine-ID's, het totale aantal normale en abnormale akoestische opnames, de SNR-condities en de experimentele train/test-partitie getoond die is gebruikt voor de gesuperviseerde binaire classificatie.

Het experiment werd uitgevoerd met versie 1.0 van de MIMII (Malfunctioning Industrial Machine Investigation and Inspection) dataset, die vier typen industriële machines bevat: ventilatoren, pompen, kleppen en glijrails. De gegevens werden verzameld van verschillende machine-ID's (ID00–ID06, afhankelijk van het machinetype) en condities. De MIMII-database bevat gegevens die zijn verkregen bij signaal-ruisverhoudingen (SNR's) van −6 dB, 0 dB en +6 dB. Normale gegevens komen overeen met de gezonde conditie van de industriële machine, terwijl anomale gegevens overeenkomen met een abnormale conditie. De klassen werden gelabeld op basis van de annotatie van de database, waarbij normale gegevens werden gelabeld als klasse 0 en anomale gegevens als klasse 1.

Een eerlijke evaluatieprocedure vereiste dat de splitsing tussen de trainings- en testsets plaatsvond op het niveau van de oorspronkelijke audio-opname, voorafgaand aan alle stappen voor splitsing, augmentatie of het maken van spectrogrammen. Bijgevolg konden audiosegmenten van dezelfde opname niet in zowel de trainings- als de testset voorkomen. Voor het evaluatie-experiment werden opnames met verschillende signaal-ruisverhoudingen (−6 dB, 0 dB en +6 dB) gebruikt, wat de mogelijkheid bood om het voorgestelde raamwerk onder diverse industriële omstandigheden te evalueren.

Om datalekken te voorkomen, werd de train/test-splitsing uitgevoerd op basis van het originele audiobestand, voorafgaand aan enige segmentatie of spectrogramgeneratie. Segmenten van dezelfde audio-opname van 10 s werden exclusief toegewezen aan óf de trainingsset óf de testset, waarbij geen segmenten in beide sets voorkwamen. Daarna werden spectrogrammen gegenereerd en apart voor elke dataset uitgebreid door middel van augmentatie. Op deze manier wordt het probleem van datalekken vermeden, waardoor een te optimistische beoordeling van de prestaties wordt voorkomen.

Preprocessing van de dataset

De onbewerkte akoestische signalen uit de MIMII-dataset worden vervolgens verwerkt om de signaalkwaliteit te verbeteren en effectieve kenmerkextractie mogelijk te maken. Het ingangssignaal wordt aangeduid met x(t), waarbij t de tijd is. Het eerste proces is ruisfiltering, waarbij achtergrondgeluiden worden gefilterd met behulp van een filterfunctie zodanig dat:

   (5)

waarbij ∗ het convolutieproces vertegenwoordigt en h(t) de impulsrespons van het filter is. Dit proces verbetert de helderheid van het akoestische signaal en minimaliseert de effecten van ruis die vaak voorkomen in industriële omgevingen. Signaalnormalisatie wordt gebruikt om ervoor te zorgen dat de amplitudes van alle audiosignalen vergelijkbaar zijn voordat ze in het deep learning-model worden gevoerd. Het genormaliseerde signaal, aangeduid als x_n(t), wordt als volgt berekend:

   (6)

waarbij  μ en  σ respectievelijk de gemiddelde waarde en de standaarddeviatie van het ingangssignaal zijn. Door deze procedure is gegarandeerd dat alle ingangssignalen een gemiddelde van nul en een eenheidsvariantie hebben. Ten slotte wordt het genormaliseerde ingangssignaal voor de verwerking opgedeeld in meerdere kleine segmenten. Gegeven dat de lengte van het volledige signaal T is, wordt dit met behulp van een sliding window-functie onderverdeeld in N overlappende frames, elk met een lengte L:

   (7)

waarbij H de hopgrootte is. Het spectrogram kan worden gedefinieerd door de onderstaande formule:

   (8)

De op deze manier verkregen spectrogrammen worden ingevoerd in het CNN-transformer-gebaseerde framework om ruimtelijke en temporele kenmerken te extraheren voor een succesvolle anomaliedetectie. Figuur 2 toont de preprocessing-pijplijn.

Figuur 2 illustreert een verticale voorverwerkingspijplijn die kan worden toegepast op akoestische gegevens verkregen in de industrie. Eerst worden de ruwe audiosignalen uit de MIMII-dataset geëxtraheerd en naar de fase voor ruisonderdrukking gestuurd om ruis te verminderen. Daarna volgt het normaliseren van het signaal om inconsistenties in amplitude te verwijderen, zodat het signaal consistent is. Het signaal wordt vervolgens opgesplitst in kleinere, overlappende secties. Na de segmentatie worden STFT-transformaties op de gegevens toegepast om tijdsdomeinsignalen om te zetten in tijd-frequentiesignalen. Vervolgens wordt het vermogensspectrum berekend als onderdeel van het genereren van het spectrogram van het signaal. Voorbewerkte spectrogrammen zullen dus de output zijn van dit proces en worden gebruikt in het voorgestelde CNN-transformer-model.

Genereren van spectrogrammen

Na datanormalisatie en segmentatie worden akoestische signalen via de Short-Time Fourier Transform (STFT) omgezet in een tijd-frequentievertegenwoordiging. Het resulterende spectrogram biedt een visuele weergave van veranderingen in de frequentiesamenstelling gedurende de analyseperiode. In industriële omgevingen uiten machinefouten zich meestal als frequentiepatronen, waardoor spectrogrammen nuttiger zijn voor het detecteren van machineanomalieën.

De resulterende verwerkte gegevens worden daarom omgezet in spectrogrambeelden om onderscheid te maken tussen normale en abnormale instanties binnen de machines. De audiodata worden omgezet in meerdere spectrogrammen om het leermodel in staat te stellen lokale frequentiecomponenten en temporele veranderingen binnen het machineproces te analyseren. Deze beelden worden gebruikt als inputgegevens voor het CNN-transformer-model, waarbij het CNN de ruimtelijke (frequentie)patronen verwerkt en de Transformers de temporele relaties behandelen.

Algoritme 1: Genereren van spectrogrammen uit akoestische signalen

Input: Ruw audiosignaal x(t)

Output: Spectrogram S(t, f)

Stap 1: Laad audiosignaal  x(t)

Stap 2: Pas ruisonderdrukking toe

Stap 3: Normaliseer signaal x_n(t)

Stap 4: Segmenteer het signaal in frames:

voor k = 1 tot N doe

einde lus

Stap 5: Pas een windowfunctie w(t) toe op elk segment

Stap 6: Bereken STFT:

  (9)

Stap 7: Bereken de magnitude:

   (10)

Stap 8: Sla spectrogram S(t, f) op

Stap 9: Spectrogramdataset teruggeven 

Het proces van het genereren van spectrogrammen begint met het verkrijgen van het oorspronkelijke audiosignaal, gevolgd door voorbewerkingsstappen zoals ruisonderdrukking en signaalnormalisatie om de integriteit en kwaliteit van het signaal te waarborgen. Daarna wordt de genormaliseerde audio opgedeeld in meerdere overlappende vensters om de temporele kenmerken van zowel lange- als kortetermijnperioden vast te leggen. Om spectrale lekkage te voorkomen, wordt elk van de fragmenten vermenigvuldigd met de vensterfunctie voordat ze door de Short-Time Fourier Transform worden geleid. Vervolgens wordt het getransformeerde signaal weergegeven als een complexwaardige functie in het frequentiedomein, en worden de magnitudes hiervan gekwadrateerd. Zo wordt de energie van de frequenties over de gegeven tijd weergegeven door de spectrogrammen. Ten slotte worden ze opgeslagen als beeldachtige gegevens en ingevoerd in het neurale netwerk voor training.

Ruimtelijke kenmerkextractie met behulp van CNN

Na het proces van het maken van spectrogrammen worden de resulterende tijd-frequentiebeelden als input gebruikt en aan een Convolutional Neural Network (CNN) gevoed. Uitgaande van het inputspectrogram als , waarbij H het frequentiedomein is en W het tijddomein. Het doel van het gebruik van het CNN is hier om discriminatieve ruimtelijke kenmerken uit het inputspectrogram te leren. Deze discriminatieve ruimtelijke kenmerken helpen bij het onderscheiden van normaal en abnormaal machinegedrag in een industriële omgeving.

Een basisbewerking die wordt uitgevoerd door het Convolutional Neural Network (CNN) is convolutie. Convolutie met een bepaald filter  wordt als volgt gegeven:

   (11)

De hierboven beschreven operatie stelt het neurale netwerk in staat om lokale ruimtelijke kenmerken, zoals randen, frequenties en harmonische inhoud, in het spectrogram te identificeren. Dit gebeurt via meerdere filteroperaties die diverse kenmerkrepresentaties genereren, wat resulteert in verschillende feature maps. De convolutie wordt gevolgd door een niet-lineaire activatiefunctie, zoals hieronder wordt getoond:

  (12)

Deze niet-lineariteit stelt het netwerk in staat om complexe relaties tussen variabelen vast te leggen en te representeren. De volgende fase in een convolutioneel neuraal netwerk omvat de toepassing van pooling-operaties. De gangbare techniek van max pooling wordt wiskundig als volgt uitgedrukt:

   (13)

waarbij Ω verwijst naar het pooling-venster. Pooling helpt om translatie-invariantie te bereiken en alleen de relevante informatie te behouden terwijl redundantie wordt geëlimineerd. Van laag-niveau variabelen zoals frequenties tot complex machinegedrag kunnen hoger-niveau kenmerken hiërarchisch worden geëxtraheerd met behulp van een convolutioneel neuraal netwerk. Bijgevolg kunnen keniskaarten (feature maps) worden gebruikt om de uiteindelijke output van het netwerk weer te geven:

   (14)

waar de leerbare parameters van het CNN worden weergegeven. De feature maps bevatten rijke ruimtelijke informatie en worden omgezet in sequenties om als input te dienen voor de transformer-encoder in de volgende fase. Het hierboven beschreven proces van ruimtelijke kenmerkextractie is essentieel om het model in staat te stellen minuscule anomalieën in industriële akoestische signalen te detecteren.

Figuur 3 demonstreert hoe ruimtelijke kenmerken horizontaal worden geëxtraheerd uit het spectrogram-inputsignaal met behulp van een CNN-model. Het begint met het input-spectrogram, dat de tijd-frequentie-eigenschappen van het audiosignaal in een picturale vorm codeert. Het input-spectrogram wordt vervolgens door een convolutionele laag geleid, waarin verschillende typen filters ruimtelijke kenmerken zoals frequentiebanden, randen en texturen extraheren, waardoor feature maps worden gegenereerd. Daarna ondergaan de geëxtraheerde feature maps een niet-lineaire activatiefunctie, de rectified linear unit (ReLU), waardoor het neurale netwerk afhankelijkheden in de inputgegevens kan detecteren. De feature maps worden vervolgens door een pooling-laag geleid, waarbij de grootte van de map wordt gereduceerd terwijl de belangrijkste kenmerken behouden blijven. Dit proces van convolutionele, activatie- en pooling-lagen herhaalt zich meerdere keren, waardoor een hiërarchie van kenmerkrepresentatie ontstaat die begint bij eenvoudige kenmerken en evolueert naar meer geavanceerde kenmerken die gerelateerd zijn aan machinebewerkingen.

Temporele modellering met behulp van een transformer-encoder

Zodra de ruimtelijke kenmerken met behulp van het CNN zijn geëxtraheerd, is de volgende stap het afleiden van high-level feature maps die de frequentiegebaseerde patronen vastleggen die uit het spectrogram zijn geleerd. De resulterende feature maps worden vervolgens afgeplat en omgevormd tot sequenties om temporele informatie in het akoestische signaal vast te leggen. Uitgaande daarvan dat de feature maps worden weergegeven door , waarbij H', W', en C respectievelijk de hoogte, breedte en kanalen zijn, wordt de volgende sequentie afgeleid:

    (15)

waarbij T de sequentielengte vertegenwoordigt en d de kenmerkdimensie is. De Transformer gebruikt vervolgens de bovenstaande sequentie om lange-termijn afhankelijkheden te modelleren met behulp van een self-attention mechanisme. In tegenstelling tot conventionele recurrente modellen verwerkt het transformer-model elk element van de sequentie parallel en gebruikt het attention-gewichten om de relatieve relevantie van elk onderdeel te bepalen. Het attention-mechanisme werkt door gebruik te maken van Query Q, Key K en Value V vectoren die voor elke input x_t worden gegenereerd volgens:

   (16)

waarbij W_Q, W_K, W_V trainbare gewichten zijn. De overeenkomsten tussen de elementen worden bepaald via:

   (17)

d_k is de dimensie van de belangrijke vectoren. Deze procedure maakt het voor het model eenvoudiger om afhankelijkheden van verre tijdstappen in het signaal te leren en zich uitsluitend te concentreren op de relevante tijdssegmenten. Om de leercapaciteit van het netwerk te vergroten, wordt multihead attention gebruikt, wat verwijst naar het proces waarbij meerdere attention-heads parallel leren van de input:

  (18)

Elke head richt zich op verschillende kenmerken van de temporele inputsequentie. Dit wordt gevolgd door feed-forward neurale netwerken en residuele verbindingen:

   (19)

De resulterende gecodeerde sequentie legt zowel de ruimtelijke als de temporele kenmerken van de input vast. Deze sequentie wordt naar de classificatielaag gestuurd om anomalieën te detecteren.

Figuur 4 toont het algemene proces van temporele modellering met behulp van een transformer-encoder op kenmerken die uit het CNN zijn geëxtraheerd. Eerst worden de uit het CNN geëxtraheerde feature maps gebruikt; deze bevatten ruimtelijke informatie uit het spectrogram. De feature maps worden afgeplat tot een sequentie, waarbij elk item overeenkomt met een tijdstempel. Daarna gaat de sequentie door een lineaire transformatie die de data omzet in vectoren van een specifieke dimensie. Omdat transformer-modellen niet in staat zijn om temporele afhankelijkheden vast te leggen, wordt er ook positionele codering toegevoegd aan de embedding-vectoren om de temporele structuur van de sequentie te behouden. Ten slotte gaat de sequentie door een transformer-encoder, bestaande uit een stapel van meerdere lagen, waarin een multi-head self-attention-mechanisme wordt gebruikt om het model in staat te stellen verbanden tussen tijdstempels in de sequentie te leren. Het feed-forward neurale netwerk verbetert deze embeddings verder, terwijl residuele verbindingen ervoor zorgen dat gradiënten efficiënt propageren. Het proces wordt herhaald over de gestapelde transformer-encoderlagen, die progressief complexere temporele interacties vastleggen. Uiteindelijk worden de sequentie-embeddings via pooling (bijv. average pooling of het classificatietoken (CLS)) gecombineerd tot een representatie met een vaste lengte, wat resulteert in een globale temporele kenmerkrepresentatie.

Classificatielaag

Na temporele codering met de transformer-encoder zullen de outputs een reeks gecodeerde vectoren zijn, elk met kenmerken die gerelateerd zijn aan zowel de ruimtelijke als de temporele aspecten van het ingangssignaal. De eerste stap naar classificatie vanuit de gecodeerde outputs is om al deze kenmerken te aggregeren tot één enkele vector. Dit wordt bereikt door ofwel mean pooling toe te passen op de reeks kenmerkvectoren, of door gebruik te maken van de zogenaamde "classificatietoken". Stel dat de output van de Transformer is, waarbij elke . Het geaggregeerde kenmerk h wordt berekend als:

   (20)

Vervolgens vertegenwoordigt de geaggregeerde kenmerkvector h de input in een compacte vorm en dient deze als input voor de classifier. Het classificatiegedeelte bestaat uit één of meer dense lagen, die de geleerde representatie transformeren naar de outputruimte. Een dense laag implementeert een transformatie die als volgt is gedefinieerd:

   (21)

waarbij o de output (logits) is, b de bias-vector is en W de gewichtsmatrix is. Deze laatsten zijn de class-scores in een niet-genormaliseerde vorm. Om nonlineariteit in het model te integreren, worden vaak activatiefuncties zoals ReLU gebruikt. Ten slotte wordt een softmax-activatiefunctie op de logits toegepast om een waarschijnlijkheid voor elke klasse te verkrijgen:

   (22)

waarbij C het aantal klassen vertegenwoordigt, (C = 2; normaal en abnormaal). De klaspredictie zal worden gebaseerd op de maximale probabiliteitswaarde. Tijdens de training worden de optimale waarden van de modelparameters verkregen door het minimaliseren van het cross-entropy verlies tussen de werkelijke en voorspelde labels, waardoor een nauwkeurige classificatie van machinetoestanden wordt bereikt. Samenvattend vervult de classificatielaag een essentiële functie bij het transformeren van de temporele kenmerken, geëxtraheerd met behulp van de Transformer-architectuur, naar praktische beslissingen. Door een correct onderscheid te maken tussen gezonde en defecte machinetoestanden, worden anomaliedetectie en intelligente besluitvorming mogelijk binnen het Industry 5.0-paradigma.

Figuur 5 laat zien hoe de classificatielaag werkt, die volgt op de transformer Encoder. Het proces begint met de output van de gecodeerde sequentie, waarbij elke vector temporele informatie bevat die uit de input is geleerd. Deze vectoren worden gecombineerd tot één enkele vector, bekend als de globale kenmerkvector. De volgende stap is om de globale kenmerkvector door verschillende dichte neurale netwerklaag te leiden. In elke dichte laag worden matrixvermenigvuldigingen uitgevoerd om lineaire combinaties van de inputs te creëren. Daarna kan een niet-lineaire activatiefunctie, zoals ReLU, worden toegepast om de flexibiliteit bij het leren van beslissingsgrenzen te vergroten. Aan het einde van de laatste dichte laag zijn er logit-scores voor elke klasse. Deze logit-scores kunnen via de Softmax-functie worden gebruikt om waarschijnlijkheidsscores voor elke klasse te berekenen. Deze waarschijnlijkheidsscores worden gebruikt om te bepalen of de input behoort tot Klasse 0 (Normaal) of Klasse 1 (Abnormaal).

Verklaarbaarheid met behulp van SHAP

Nadat het model de ingangssignalen heeft geclassificeerd, worden voorspellingen gegenereerd op basis van het feit of de machine normaal of abnormaal functioneert. Binnen de Industry 5.0-omgeving is het echter niet voldoende om enkel voorspellingen te produceren; het systeem moet ook transparantie en uitlegbaarheid bieden om de menselijke besluitvorming te ondersteunen. Het volgende raamwerk maakt gebruik van SHAP, een op speltheorie gebaseerd model dat het belang van elk kenmerk bij het bepalen van de voorspelling kwantificeert. Hierbij kent SHAP gewichten toe aan kenmerken, waardoor men het relatieve belang van verschillende secties van het spectrogram-ingangssignaal voor de totale voorspelling kan evalueren.

De wiskundige formulering van SHAP is gebaseerd op een decompositie van het model f(x):

   (23)

waarbij ∅₀ de basiswaarde (gemiddelde modeloutput) is, ∅_i het effect is van de i-de feature, en M het aantal inputfeatures is. Voor de doeleinden van deze studie zijn de features de tijd-frequentiebins uit het spectrogram. SHAP-waarden zijn positief als ze bijdragen aan de waarschijnlijkheid van de abnormale toestand en anders negatief. Deze formulering garandeert een unieke, lokaal consistente verklaring voor elke voorspelling. De SHAP-methode kan worden toegepast op een getraind CNN-transformer-model om een verklaring te geven op basis van feature-belangrijkheid. De visuele weergave zal de belangrijkste tijd-frequentiebins in het spectrogram tonen die het besluitvormingsproces beïnvloeden. Bijvoorbeeld, abnormaal gedrag van de apparatuur kan leiden tot bepaalde hoogenergetische frequentiebanden die het SHAP-raamwerk identificeert als belangrijke bijdragers aan het besluitvormingsproces.

Bovendien kan SHAP de samenwerking tussen mensen en machines in een cyber-fysische omgeving bevorderen. Dit komt doordat voorspellingen kunnen worden uitgelegd met behulp van intuïtieve visualisaties, waardoor operators en beslissingssystemen voorspellingen kunnen verifiëren, het probleem kunnen analyseren en passende stappen kunnen ondernemen. Dit vergroot niet alleen het vertrouwen, maar maakt AI-gebaseerde productieprocessen ook betrouwbaar en verantwoordelijk. Door deep learning-algoritmen die voldoen aan de huidige prestatienormen te integreren met SHAP, dat voor uitlegbaarheid zorgt, voldoet de voorgestelde architectuur aan de vereisten van Industrie 5.0.

Algoritme 2: SHAP-gebaseerde uitlegbaarheid voor modelvoorspelling

Input: Getraind model f(x), input-spectrogram S

Output: SHAP-waarden  en verklarende kaart

Stap 1: Voer spectrogram S in een getraind model in

Stap 2: Bereken de voorspelling: y = f(S)

Stap 3: Initialiseer een SHAP-explainer gericht op deep learning

Stap 4: Bereken de SHAP-waarden:

Stap 5: Voor elk kenmerk i in S:

Bereken de bijdrage 

Stap 6: Genereer verklarende kaart:

Markeer regio's met een hoge 

Stap 7: Visualiseer het belang van kenmerken (heatmap)

Stap 8: Retourneer SHAP-waarden en verklarende kaart

Het op SHAP gebaseerde uitlegbaarheidsalgoritme begint met het verkrijgen van een voorbewerkte spectrogramafbeelding als input, die vervolgens in de getrainde CNN-transformer-architectuur wordt gevoerd om voorspellingen te doen (bijv. normale of abnormale machineconditie). Nadat de voorspellingen met behulp van de getrainde architectuur zijn gedaan, wordt de SHAP-methode gebruikt om het model te interpreteren. In het bijzonder worden de SHAP-waarden (ϕ) voor elke inputfeature berekend om vast te stellen welke tijd-frequentiecomponenten van de input het meest bijdragen aan de voorspelling. Om deze waarden te berekenen, moeten de modeluitgangen voor inputs met en zonder bepaalde features worden vergeleken.

Na het berekenen van de SHAP-waarden voor elk kenmerk kan de invloed ervan op de voorspelling worden geëvalueerd aan de hand van het teken en de grootte van de SHAP-waarde. Zo zijn kenmerken met hogere SHAP-waarden waarschijnlijker bepalend voor de uitkomst, waarbij een positief of negatief teken aangeeft dat het kenmerk de voorspelling respectievelijk richting de normale of abnormale klasse stuurt. Op basis van de resultaten kan een verklarende kaart in de vorm van een heatmap worden opgesteld.

Ten slotte geeft het algoritme zowel de SHAP-waarden als de visualisaties weer, wat inzicht biedt in hoe mensen de besluitvorming van het model kunnen analyseren. De techniek maakt het proces transparanter en stelt mensen in staat om betrokken te zijn bij de besluitvorming, waardoor wordt gewaarborgd dat zowel de voorspellingen van het algoritme als de betrouwbaarheid ervan worden gerealiseerd in de door AI aangestuurde industrie. Om de betrouwbaarheid van de uitlegbare analyse te verbeteren, werden representatieve testmonsters geselecteerd uit nauwkeurig gediagnosticeerde anomale instanties van diverse machinestypes. Terwijl een globale SHAP-analyse van de kenmerkbelangrijkheid werd uitgevoerd door SHAP-waarden over de gehele testdataset te aggregeren om consistent invloedrijke tijd-frequentielocaties te identificeren, werden lokale SHAP-uitleggingen gegenereerd voor deze representatieve gevallen. Zonder dat er expertannotatie vereist is, biedt deze geïntegreerde lokale en globale analyse een betrouwbare interpretatie van de modelvoorspellingen.

Edge-ondersteunde CPS-integratie

Deze voorgestelde oplossing wordt gebruikt binnen het edge-enabled CPS, dat gericht is op het bereiken van efficiëntie, duurzaamheid en industriële operaties in realtime. Zodra het model is getraind, zal de CNN-transformer worden geïmplementeerd via een edge computing-benadering. De betreffende edge computing-laag bevindt zich dicht bij de apparaten van het industriële Internet of Things (IIoT), waaronder de sensoren en machines. In plaats van alle verzamelde gegevens naar de cloud te verzenden, voert het edge-apparaat inferentie uit op het binnenkomende akoestische signaal zonder dit eerst over te dragen. Hierdoor kan het systeem machineafwijkingen vrijwel direct detecteren en de nodige stappen ondernemen voordat de situatie verder verslechtert. Een ander voordeel van deze edge-enabled benadering is de verbeterde latentie en efficiëntie, aangezien gegevens worden geanalyseerd dicht bij het punt van generatie. Met andere woorden, in tegenstelling tot de cloudbenadering, waarbij de inferentietijd T_inf

   (24)

De latentie zal in het algemeen aanzienlijk worden verminderd door een afname van T_{communication}. Een ander voordeel is het verminderde bandbreedteverbruik en de energie die wordt verbruikt bij het continu verzenden van gegevens. Dit systeem is daarom schaalbaar en duurzaam voor grote industriële installaties met talrijke aangesloten apparaten. Bovendien maakt het CPS interactie mogelijk met de fysieke laag (machines), de AI (rekenlaag) en de menselijke laag.

Samenwerking met menselijke tussenkomst (human-in-the-loop)

Een cruciaal onderdeel van het voorgestelde Industrie 5.0 CPS, waarbij menselijke operatoren actief betrokken zijn bij het besluitvormingsproces naast AI-modellen, is human-in-the-loop samenwerking. Volgens het ontworpen raamwerk wordt het systeem namelijk geen autonome 'black box', maar stelt het operatoren in staat om ermee te interacteren en uitlegbare voorspellingsresultaten te observeren in de vorm van SHAP-verklaringen. De betreffende voorspellingen hebben betrekking op de uitkomsten (normaal/abnormaal), vergezeld van visualisaties van delen van de spectrogrammen die voor deze voorspellingen zijn gebruikt.

Een dergelijke interactie helpt operators om beter te begrijpen hoe de voorspelling precies tot stand komt en welke factoren daaraan bijdragen. Menselijke betrokkenheid houdt in dat de resultaten van het systeem worden geverifieerd en dat operators deze, indien nodig, kunnen overrulen op basis van hun professionele oordeel. Samenwerking met menselijke operators maakt het systeem vertrouwbaardiger, efficiënter, veiliger en betrouwbaarder, wat helpt bij het voorkomen van fouten.

Resultaten

Het gepresenteerde cyber-fysische collaboratiesysteem met geïntegreerde Explainable AI werd experimenteel getest op ongeveer 12.000 audio-opnames uit de MIMII Dataset, die zowel normale als abnormale machinecondities bevat. De trainingsdataset bestond uit ongeveer 9.600 datarecords, terwijl de testdataset ongeveer 2.400 audio-samples omvatte. Op basis van de resultaten bereikte het voorgestelde CNN-transformer-model een classificatienauwkeurigheid van 98,5% op de testdataset, 0,97–0,98. Dit komt overeen met de resultaten in Tabel 3, de confusiematrix en de statistische stabiliteitsanalyse. De integratie van de transformer-encoder verbetert de temporele modelleringscapaciteiten van de architectuur, terwijl de CNN discriminatieve ruimtelijke kenmerken uit het input-spectrogram extraheert.

Naast de classificatieprestaties werden andere systeemgerelateerde kenmerken beoordeeld. Ten eerste overschreed de inferentielatentie voor een edge-gebaseerde implementatie de 20 ms niet, wat real-time anomaliedetectie mogelijk maakte. Ten tweede hielp het gepresenteerde systeem de energie-efficiëntie te verbeteren door de communicatie-eisen te verminderen. Ten slotte biedt het voorgestelde Explainable AI-raamwerk SHAP-interpreteerbaarheid, waardoor het model gemakkelijker te analyseren is vanuit het perspectief van een domeinexpert. De MIMII-gegevens werden via Short-Time Fourier Transform (STFT) omgezet in spectrogrammen, met een venstergrootte van 1024, een hop-grootte van 512 en een Fast Fourier Transform FFT-grootte van 1024. De resulterende log Mel-spectrogrammen werden resized naar 224 × 224 pixels en vervolgens z-score genormaliseerd. Data-augmentatiemethoden, waaronder time masking, frequency masking en het toevoegen van Gaussische ruis, werden gebruikt om de robuustheid van het getrainde model te vergroten. De architectuur van het CNN bestond uit vier convolutionele lagen met respectievelijk 32, 64, 128 en 256 filters, en bevatte batch-normalisatie, ReLU- en max pooling-lagen. De geëxtraheerde feature maps werden getransformeerd naar sequenties en gebruikt als inputs voor de transformer-encoder, die bestond uit vier encoderlagen, acht attention heads, een 256-dimensionale embedding en een 1024-dimensionale feed-forward dimensie. Een dropout-waarschijnlijkheid van 0,3 werd toegepast om overfitting te minimaliseren. De Adam-optimizer met een learning rate van 0,0001 en een weight decay van 1 x 10⁻⁵ werd gebruikt voor de training. Het aantal epochs en de batch-grootte bij de training waren respectievelijk 100 en 32. De random seed werd ingesteld op 42 om de reproduceerbaarheid van het experiment te waarborgen. De volgende methoden werden gebruikt om de statistische validiteit van de resultaten te verifiëren: alle experimenten werden 10 keer onafhankelijk uitgevoerd met verschillende random seeds en data shuffles. De gemiddelde waarden en standaarddeviaties van Accuracy, Precision, Recall, F1-score, de oppervlakte onder de receiver operating characteristic curve (ROC-AUC) en de oppervlakte onder de precision–recall curve (PR-AUC) werden berekend. Bovendien werden 95% betrouwbaarheidsintervallen berekend om de onzekerheid van de prestaties te schatten. Ten slotte werd een gepaarde t-toets uitgevoerd om de resultaten van onze CNN-transformer aanpak te vergelijken met het best presterende baseline-model. De early stopping-methode werd toegepast met 10 epochs als patience-parameter. Tabel 4 presenteert de Environmental Setup en Hyperparameter Configuration, en Tabel 5 geeft de details van de Simulation Environment.

Het evaluatie-experiment in het huidige werk is uitgevoerd met behulp van de MIMII-dataset, die diverse bedrijfsomstandigheden van machines en akoestische foutscenario's bevat. Hoewel de resultaten van het voorgestelde framework het model valideren, is verdere validatie via diverse industriële datasets en productieomgevingen noodzakelijk.

Het voorgestelde raamwerk is geïmplementeerd op een edge-computingplatform uitgerust met een multicore-processor, 16 GB systeemgeheugen en een edge-accelerator met graphics processing unit (GPU) om real-time inferentie en verklaarbaarheid te ondersteunen. Industriële akoestische sensoren zonden audiostromen naar de edge-gateway via de IIoT-communicatielaag. Edge-nodes werden gebruikt voor taken zoals het maken van spectrogrammen, anomalie-inferentie en het genereren van SHAP-uitleg, terwijl de cloudserver werd gebruikt voor de langetermijnopslag van gegevens en het bijwerken van het model. Een dergelijke configuratie vermindert niet alleen de benodigde hoeveelheid communicatie, maar maakt ook real-time interactie mogelijk tussen detectieapparaten, AI-modules en menselijke operatoren in cyber-fysieke systemen.

De hierboven geïntroduceerde CNN-transformer-benadering wordt vergeleken met verschillende bestaande methoden, waaronder conventionele ML-modellen zoals support vector machine (SVM) en random forest, CNN-modellen zonder de transformer en methoden op basis van long short-term memory (LSTM). Terwijl traditionele ML-modellen geen bevredigende resultaten behalen vanwege een gebrek aan capaciteit om ruimtelijke en temporele correlaties in data te verwerken, kunnen CNN-modellen ruimtelijke kenmerken efficiënt verwerken, terwijl LSTM-modellen de temporele aspecten van akoestische signalen kunnen behandelen. Desondanks zijn de eerste modellen inferieur aan de laatste wat betreft rekenkosten en parallelle verwerkingscapaciteit.

Om een eerlijke vergelijking te waarborgen tussen het voorgestelde CNN-transformer-model en de baselinemodellen, werd het eerste getraind en geëvalueerd met behulp van dezelfde MIMII-datasetverdeling (80% training en 20% testen), preprocessingsstappen, spectrogramcreatieproces en evaluatiemaatstaven. Bij de SVM-methode werd de radial basis function (RBF) kernel gebruikt, met C = 10 en γ = 0,01. De random forest-methode omvatte 200 bomen, met een maximale boomdiepte van 20. Wat betreft het CNN, beschikte dit over vier convolutielagen (32, 64, 128 en 256 filters) gevolgd door volledig verbonden lagen zonder Transformer-module. Ten slotte werden voor de LSTM-methode twee gestapelde LSTM-lagen gebruikt met 128 hidden units en een dropout-rate van 0,3.

Integendeel, het gebruik van het CNN-transformer-raamwerk maakt de beste resultaten mogelijk door efficiënt gebruik te maken van zowel de ruimtelijke als de temporele mogelijkheden van akoestische signalen. Daarnaast maakt het gebruik van edge computing een vermindering van de rekenkosten, een verbeterde latentie en energiebesparingen mogelijk. Bovendien kan de verklaarbaarheid van voorspellingen, geïmplementeerd met behulp van SHAP, worden beschouwd als een ander voordeel dat de voorgestelde methode onderscheidt van bestaande technieken.

Ondanks recente prestaties bij de ontwikkeling van nieuwe modellen voor het detecteren van akoestische anomalieën, zoals Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer en modellen op basis van zelfgesuperviseerd leren, is er in de huidige studie geen experimentele vergelijking van deze architecturen uitgevoerd. In de toekomst is het de bedoeling deze modellen te gebruiken als benchmarks voor het evalueren van het voorgestelde framework.

Metrieken, waaronder nauwkeurigheid, precisie, recall en de F1-score, worden gebruikt om de prestaties van het voorgestelde model te evalueren. Waar precisie de verhouding tussen waar-positieven en het totale aantal waar-positieven en vals-positieven meet, beoordeelt nauwkeurigheid de algemene correctheid van de voorspellingen. De recall geeft een schatting van het vermogen van het model om anomalieën in een specifiek systeem te voorspellen. Dit is cruciaal, omdat het niet voorspellen van een defect kan leiden tot systeemuitval. Hieronder volgt de wiskundige berekening van deze metrieken:

   (25)

   (26)

   (27)

   (28)

Naast deze aspecten worden aanvullende metrieken met betrekking tot systeemprestaties, zoals latentie, energieverbruik en schaalbaarheid, meegewogen bij het evalueren van de praktijkprestaties van het voorgestelde CPS-model op basis van edge computing.

Naast standaard technieken voor prestatiemeting zijn er veel andere maten die kunnen helpen om de voorgestelde oplossing vanuit een holistischer perspectief te evalueren, vooral gezien de toepasbaarheid op casestudy's met ongebalanceerde streaminggegevens uit de echte wereld. Zo wordt bijvoorbeeld het vermogen van het algoritme om onderscheid te maken tussen de twee groepen op basis van verschillende drempelwaarden gemeten aan de hand van de oppervlakte onder de receiver operating characteristic-curve (ROC-AUC). Gezien de robuustheid en scheidbaarheid zou de ROC-AUC-waarde hoog moeten zijn. Daarnaast is de precision-recall Area under Curve (PR-AUC) metriek belangrijk voor de casestudy over anomaliedetectie, aangezien de abnormale klassen zeldzaam zijn.

Een belangrijke maatstaf om te overwegen is de Matthews Correlation Coefficient (MCC). Deze houdt rekening met alle vier de items van de foutenmatrix en biedt een nauwkeurige evaluatie, zelfs bij een onbalans in de klassen. Deze maatstaf wordt als volgt berekend:

   (29)

De waarden van de MCC variëren van -1 tot +1, waarbij +1 staat voor een perfecte voorspelling. Een andere maatstaf die toegepast zou kunnen worden is de specificiteit (True Negative Rate), wat nuttig zou zijn in een industriële toepassing om te beoordelen of er fout-positieve voorspellingen zijn:

    (30)

Om er zeker van te zijn dat er geen inconsistentie bestond tussen de verwarringsmatrix en de prestatiemetrieken, werden alle evaluatiecriteria berekend op basis van de definitieve testdataset. De notaties voor waar-positief (TP), waar-negatief (TN), vals-positief (FP) en vals-negatief (FN) worden in de volgende vergelijkingen gebruikt. Nauwkeurigheid, precisie, recall, specificiteit, F1-score en MCC werden berekend op basis van vgl. (25)–(30). Daarnaast werden ROC-AUC en PR-AUC berekend uit de waarschijnlijkheidsoutputs van het CNN-transformer-model via onafhankelijke drempelwaarde-evaluatie.

De belangrijkste meetwaarden om op systeemniveau te overwegen zijn latentie, doorvoersnelheid en computationele kosten. Latentie is de tijd die nodig is om een voorspelling te doen. Doorvoersnelheid is de hoeveelheid gegevensmonsters die per seconde worden verwerkt. De computationele kosten, die de energie-efficiëntie vertegenwoordigen, zijn belangrijk om de computationele efficiëntie te waarborgen. Daarnaast kunnen meetwaarden voor uitlegbaarheid, zoals SHAP-consistentie en de stabiliteit van kenmerkbelang, ook worden overwogen bij het evalueren van het model.

Uit de resultaten in Tabel 3 voor de MIMII-dataset is duidelijk dat het voorgestelde CNN-transformer-model beter presteert dan alle andere methoden voor machine learning en deep learning. De prestaties van de SVM- en random forest-modellen zijn acceptabel, zij het beperkt, met nauwkeurigheden van respectievelijk 88,6% en 91,2%. Dit kan worden verklaard door het onvermogen van deze modellen om complexe temporele en ruimtelijke kenmerken uit akoestische signalen te extraheren. LSTM presteert echter beter dan SVM en random forest en behaalt een nauwkeurigheid van 94,5% door tijdreeksgegevens te modelleren. Toch vertoont de voorgestelde CNN-transformer-benadering de beste prestaties, met een verbeterde nauwkeurigheid (98,5%), precisie (98,06%), recall (99,02%) en F1-score (98,54%). De voorgestelde algoritme kan dus normale en abnormale machinecondities nauwkeurig classificeren. De verbeterde specificiteit (97,96%) demonstreert de effectiviteit van de benadering bij het verminderen van fout-positieven, wat cruciaal is voor de industrie. Er moet worden opgemerkt dat de prestaties van de CNN-transformer kunnen worden verklaard door de combinatie van CNN en Transformer, waarbij de eerste discriminatieve kenmerken extraheert en de laatste temporele relaties in lange sequenties vastlegt.

De ROC-curve in Figuur 6 toont de vergelijkende prestaties van SVM, random forest, LSTM en de voorgestelde CNN-transformer-benaderingen met betrekking tot hun classificatievermogen voor de MIMII-dataset. Zoals getoond in Figuur 6, werd de hoogste oppervlakte onder de curve (AUC) waargenomen voor de voorgestelde CNN-transformer, met een waarde van 0,994. Het is duidelijk dat de voorgestelde methode een betere discriminatieve prestatie levert voor het onderscheid tussen normale en abnormale categorieën. Aan de andere kant levert LSTM iets lagere resultaten op dan de voorgestelde CNN-transformer-benadering; de AUC hiervan is ongeveer 0,97. Zowel random forest als SVM hebben relatief lage AUC's, respectievelijk rond 0,958 en 0,913. Dit wordt toegeschreven aan het onvermogen van beide benaderingen om complexe akoestische patronen uit de gegeven data te leren.

Bij anomaliedetectie, waarbij abnormale monsters schaars zijn, biedt de precisie-recall (PR)-curve een betere analyse. In de PR-curve behaalt het CNN-transformer-model de hoogste gemiddelde precisie (AP), ongeveer 0,97–0,98, wat duidt op een superieur vermogen om abnormale instanties te detecteren met minder valse alarmen, zoals getoond in Figuur 7. De LSTM-classifier komt daarentegen op de tweede plaats, met een AP variërend van 0,92 tot 0,94. De random forest- en SVM-classifiers zijn respectievelijk derde en vierde geclassificeerd, met AP's van 0,88 en 0,84. De voorgestelde hybride classifier behaalt een hogere nauwkeurigheid over alle recall-niveaus, wat essentieel is voor praktische industriële toepassingen, aangezien deze zowel een hoge precisie als een laag aantal valse alarmen vereisen.

Het CNN-transformer-model is vergeleken met bestaande modellen op de MIMII-dataset met behulp van de geavanceerde prestatiemetrieken die worden weergegeven in Tabel 6. De ROC-AUC-waarde geeft het onderscheidend vermogen van het model tussen de twee klassen aan over verschillende drempels. De SVM- en random forest-classificators bereiken respectievelijk ROC-AUC-waarden van 0,913 en 0,958, terwijl het LSTM-model een ROC-AUC van 0,970 behaalt en de CNN 0,98 scoorde. Het voorgestelde CNN-transformer-raamwerk behaalt de hoogste ROC-AUC van 0,994, wat een superieur onderscheid aantoont tussen normale en abnormale machinecondities. Op dezelfde manier geven de PR-AUC-waarden aan dat het voorgestelde model effectief om kan gaan met klasse-onbalans, een essentiële factor bij anomaliedetectie. Het voorgestelde CNN-transformer behaalt de hoogste PR-AUC (Average Precision) van 0,982, gevolgd door CNN (0,950), LSTM (0,912), random forest (0,891) en SVM (0,765), wat wijst op superieure precision-recall-prestaties voor industriële akoestische anomaliedetectie. Bovendien wordt de Matthews Correlation Coefficient (MCC), die de balans van de modelprestaties meet, voor het voorgestelde model aangegeven door een relatief hoge waarde van 0,97. Eerdere methoden zoals SVM (0,73) en random forest (0,78) hadden echter een lagere voorspellende nauwkeurigheid.

Om de stabiliteit van de gepresenteerde aanpak te testen, werd hetzelfde experiment 10 keer uitgevoerd met variërende initialisatie-seeds en data-shuffling-schema's. De resultaten in Tabel 7 voor de CNN-transformer architectuur waren als volgt: nauwkeurigheid = 98,50% ± 0,19%, precisie = 98,06% ± 0,23%, recall = 99,02% ± 0,22% en F1-score = 98,54% ± 0,24%. De relatief kleine standaardafwijking duidt op de stabiliteit van het model. Voor alle evaluatiemaatstaven werden de 95% betrouwbaarheidsintervallen berekend. Er werd vastgesteld dat het betrouwbaarheidsinterval voor de nauwkeurigheidsmetriek [98,1%, 98,9%] was, wat aangeeft dat het model consistent goed presteert. Ook voor ROC-AUC, PR-AUC en MCC werden smalle betrouwbaarheidsintervallen bepaald. De gepaarde t-toets waarbij het voorgestelde CNN-transformer model werd vergeleken met het best presterende baselinemodel (LSTM) leverde een p -waarde < 0,05 op, wat aangeeft dat de waargenomen prestatiewinst significant is en niet op toeval berust.

Om de robuustheid van de voorgestelde CNN-transformer-architectuur te testen, werden de experimenten 10 keer herhaald met verschillende willekeurige initialisatie-seeds en shuffle-configuraties, zoals weergegeven in Figuur 8. De gemiddelde nauwkeurigheid (accuracy), precisie, recall en F1-score verkregen door het model waren respectievelijk 98,50% ± 0,19%, 98,06% ± 0,23%, 99,02% ± 0,22% en 98,54% ± 0,24%. Uit de analyse van de boxplot blijkt dat er minimale variaties zijn in de prestatiemetrics van het model, wat duidt op de stabiliteit en robuustheid ervan. De voorgestelde aanpak vertoont hiermee een hoge stabiliteit over meerdere experimenten zonder significante variatie, wat wijst op de goede generalisatievermogens van het model.

Daarnaast is een statistische test uitgevoerd op basis van de resultaten van meerdere runs van het experiment. De kleine standaarddeviaties voor alle evaluatiemaatstaven suggereren een geringe gevoeligheid voor veranderingen in willekeur of training. Dit bevestigt dat het voorgestelde CNN-transformer-model stabiele en consistente prestaties kan leveren in echte cyber-fysieke productiesystemen.

De SHAP-heatmap geeft een beeld van het belang van tijd-frequentiegebieden in het spectrogram bij het voorspellen of de conditie van de machine normaal of abnormaal is. SHAP-waarden geven de bijdrage van elke voorspeller aan de uiteindelijke voorspelling aan.

In de SHAP-waarde heatmap getoond in Figuur 9A vertegenwoordigen positieve SHAP-waarden (bijv. tussen +0,6 en +1,2) een bijdrage aan de abnormaliteit, terwijl negatieve SHAP-waarden (d.w.z. tussen −0,3 en −0,8) een bijdrage aan de normale categorie vertegenwoordigen. De meest intense SHAP-score werd gevonden in het middenfrequentiebereik (40–80 frequentiebins) bij tijdskaders 50–100. Deze regio's zijn de sleutelgebieden waar kritische foutsignalen in akoestische metingen worden gedetecteerd. Bovendien vertoont de laagfrequente band (minder dan 20 bins) SHAP-scores van bijna nul (−0,1 tot +0,1), wat duidt op een verwaarloosbare impact op de besluitvorming van het model. Dit geeft aan dat het model de achtergrondruis negeert die irrelevant is voor de foutvoorspelling. De temporele consistentie van hoge SHAP-scores binnen specifieke tijdsbanden benadrukt bovendien het vermogen van de Transformer-module om lange-afstandsafhankelijkheden in akoestische signalen vast te leggen. Samenvattend laat de SHAP-heatmap duidelijk zien dat het CNN-transformer-model zich richt op unieke tijd-frequentiebanden met een hoge discriminatieve kracht. Dit verbetert de interpreteerbaarheid van het model en helpt de menselijke operator om fouten visueel te detecteren.

Er wordt aangetoond dat de SHAP-methode uitsluitend als interpreteerbaarheidstechniek wordt gebruikt en geen deel uitmaakt van het trainingsproces van het CNN-transformer-model. De classificatienauwkeurigheid wordt uitsluitend bepaald door de parameters die zijn aangeleerd door de CNN- en Transformer-componenten. SHAP wordt na de inferentiestap van het model gebruikt om de voorspellingen te interpreteren door de meest invloedrijke tijd-frequentievensters te identificeren die voorspellingen richting normale of abnormale categorieën sturen. Zo verbetert SHAP de menselijke transparantie en het begrip zonder de classificatienauwkeurigheid te beïnvloeden. De SHAP-waarden die door het voorgestelde raamwerk worden geleverd, maken een duidelijke visualisatie mogelijk waarmee onderhoudsoperators modelvoorspellingen kunnen verifiëren door gedetecteerde regio's te vergelijken met het werkelijke machinegedrag en onderhoudsregisters. Hierdoor zal het voor mensen gemakkelijker zijn om samen te werken met machines tijdens activiteiten voor voorspellend onderhoud.

Om het niveau van uitlegbaarheid te evalueren, werd een globale SHAP-analyse van de belangrijkheid van kenmerken uitgevoerd, zoals geïllustreerd in Figuur 9B. De resultaten tonen aan dat sommige middenfrequentiecomponenten een significante rol spelen bij anomaliedetectie. Bovendien laat een casestudy in Figuur 9C zien dat SHAP correct foutgevoelige regio's in abnormale machinespectrogrammen identificeert. De studie omvatte een kwalitatieve casestudy met abnormale datasamples voor pompen en kleppen uit de MIMII-dataset. Wat betreft defecte pompen identificeerde SHAP frequentiebereiken van 2–4 kHz die geassocieerd werden met cavitatie en slijtage. In het geval van defecte kleppen was de SHAP-activatie dominant in gebieden met herhaalde harmonische signalen die duiden op lekkage. Over representatieve testsamples heen identificeerden de SHAP-visualisaties betrouwbaar discriminatieve tijd-frequentiezones die geassocieerd waren met abnormale machinecondities. Door de spectrale regio's te markeren die het meest significant bijdragen aan elke voorspelling, werpen deze verklaringen licht op hoe het model beslissingen neemt. De SHAP-analyse wordt aangeboden als een interpreteerbaarheidstool om het modelgedrag te begrijpen, en niet als expert-gevalideerde foutverificatie, aangezien formele validatie door onderhoudsspecialisten buiten de reikwijdte van deze studie viel.

De verwarringsmatrix laat zien hoe goed het voorgestelde CNN-transformer-model classificatie uitvoert op de MIMII-dataset, getoond in Figuur 10. In totaal werden 960 normale monsters correct geïdentificeerd als normaal (True Negatives), terwijl 20 normale monsters onterecht als abnormaal werden geïdentificeerd (False Positives). Daarnaast werden van alle monsters 1010 abnormale monsters als zodanig gedetecteerd (True Positives), terwijl 10 abnormale monsters als normaal werden geïdentificeerd (False Negatives).

Hierdoor werd een hoge detectieprestatie behaald, in het bijzonder voor abnormale monsters, die cruciaal zijn bij voorspellend onderhoud. Zoals getoond in Figuur 10, wordt een fout-negatieve fout zeer zelden waargenomen (10 monsters) – dit is essentieel voor elke industrie om de veiligheid en betrouwbaarheid te waarborgen. Aan de andere kant komt de fout-positieve fout (20 monsters) iets vaker voor, maar blijft deze op een relatief laag niveau. De in Figuur 10 getoonde verwarringsmatrix is gegenereerd met behulp van een gebalanceerde subset van 2.000 testopnamen (gelijke aantallen normale en abnormale monsters) om een duidelijke visualisatie van de prestaties van de classifier te bieden. Alle gerapporteerde evaluatiemetrieken, inclusief nauwkeurigheid, precisie, recall, specificiteit en F1-score, zijn berekend met gebruikmaking van de volledige testset (ongeveer 2.400 opnamen).

Op basis van de verwarringmatrix weergegeven in Figuur 10 en in Tabel 8 (TN = 960, FP = 20, TP = 1010, FN = 10), kunnen de volgende berekeningen worden uitgevoerd: Accuratesse = (TP + TN) / (TP + TN + FP + FN) = 98,50%, Precisie = TP/(TP + FP) = 98,06%, Recall = TP/(TP + FN) = 99,02%, Specificiteit = TN / (TN + FP) = 97,96%, F1-score = 98,54% en MCC = 0,97. Bovendien waren de ROC-AUC en PR-AUC waarden respectievelijk 0,994 en 0,982. De verwarringmatrix getoond in Figuur 10 is uitsluitend voor visualisatiedoeleinden gegenereerd met behulp van een gebalanceerde representatieve subset van 2.000 opnames uit de testgegevens. Alle gerapporteerde kwantitatieve prestatiemetrieken in deze studie zijn berekend met gebruik van de volledige testset (ongeveer 2.400 opnames). Over het geheel genomen tonen de resultaten aan dat de voorgestelde CNN-transformer architectuur een classificatie-accuratesse van 98,5% behaalt, wat in overeenstemming is met de resultaten gerapporteerd in Tabel 8 en de ablatieanalyse.

Om de effectiviteit van de edge-gebaseerde implementatie te verifiëren, werden aanvullende metingen uitgevoerd. De gemiddelde inferentielatentie van het voorgestelde model is 18,7 ms/sample, en het kan ongeveer 53 samples per seconde verwerken, zoals weergegeven in Tabel 9. Het stroomverbruik tijdens de inferentie was 8,9 W, wat resulteert in een geschat energieverbruik van 0,167 J/predictie. Om de impact op de duurzaamheid van de voorgestelde aanpak in Tabel 10 te evalueren, zijn de communicatie-overhead, het energieverbruik en het resourcegebruik in overweging genomen. Aangezien het inferentieproces lokaal op edge-nodes plaatsvindt, worden alleen samenvattende diagnostische gegevens naar de cloudomgeving verzonden. De experimentele resultaten wezen op een afname van 73% in communicatie vergeleken met traditionele cloud-gebaseerde CPS-systemen. Daarnaast verminderde lokale inferentie het energieverbruik met 32%, terwijl de communicatietijd afnam van 75 ms naar 20 ms.

Ablatiestudie

De MIMII-dataset wordt onderworpen aan ablatiestudies om de impact van elk component van de op uitlegbare AI gebaseerde CPHS-architectuur te evalueren. Deze ablatiestudie onderzoekt de effecten van het gebruik van een CNN om ruimtelijke kenmerken te leren, een transformer-encoder om temporele kenmerken te leren, en het SHAP-uitlegbaarheidsalgoritme zelf. Er worden verschillende modificaties van het voorgestelde model overwogen, namelijk: (i) een versie met alleen CNN, (ii) een versie met alleen Transformer, (iii) het model met een combinatie van CNN en Transformer maar zonder SHAP-algoritme, en (iv) het volledige voorgestelde model waarbij CNN en Transformer zijn gecombineerd met SHAP. Voor de evaluatie worden gangbare metrieken zoals nauwkeurigheid, precisie, recall en de F1-score aangewend.

Deze resultaten van de ablatiestudie tonen het belang aan van elk element in het raamwerk dat is beschreven in Tabel 11. Het model dat uitsluitend uit een CNN bestaat, behaalt een nauwkeurigheid van 93,8%, wat aangeeft dat ruimtelijke kenmersextractie uit spectrogrammen effectief is, maar dat het temporele afhankelijkheden in akoestische signalen niet kan vastleggen. Hetzelfde geldt voor het model dat uitsluitend uit een Transformer bestaat, dat een iets lagere nauwkeurigheid behaalt (92,6%) omdat het temporele kenmerken extraheert terwijl het ruimtelijke informatie negeert. Ten slotte behaalde het voorgestelde CNN-transformer-model een nauwkeurigheid van 98,5%, een precisie van 98,06%, een recall van 99,02% en een F1-score van 98,54%, wat overeenkomt met de resultaten van het hoofdexperiment. Aangezien SHAP alleen wordt gebruikt voor post-hoc interpretatie en niet voor modeltraining, is de classificatienauwkeurigheid gelijk aan die van het getrainde CNN-transformer-model. SHAP wordt vervolgens gebruikt om verklaringen voor kenmerktoewijzing (feature attribution) te creëren. De verbeterde recall (99,02%) geeft aan dat het model effectief is in het detecteren van abnormale condities in de machines, waardoor wordt gegarandeerd dat er geen defecte onderdelen worden gemist, wat essentieel is voor de implementatie van een systeem voor voorspellend onderhoud.

DATABESCHIKBAARHEID:

De Malfunctioning Industrial Machine Investigation and Inspection (MIMII)-dataset die in deze studie is gebruikt, is openbaar beschikbaar via de officiële Zenodo-repository. De experimenten zijn uitgevoerd met behulp van de openbaar beschikbare audio-opnamen en annotaties die door de auteurs van de dataset zijn verstrekt. De dataset is toegankelijk via https://zenodo.org/records/3384388. De implementatiecode die bij deze studie hoort, is openbaar beschikbaar via de Zenodo-repository op https://zenodo.org/records/21405292. De repository bevat de implementatiecode voor het voorgestelde framework, inclusief de pijplijn voor data-preprocessing, de modelarchitectuur, de trainingsworkflow, evaluatiescripts, configuratiebestanden en ondersteunende utilities om het begrip en de onafhankelijke reproductie van de voorgestelde methodologie te vergemakkelijken. De MIMII-dataset wordt niet herdistribueerd samen met de implementatiecode en dient afzonderlijk via de officiële repository te worden verkregen.

Figuur 1: Architectuur van het voorgestelde werk. Architecturaal ontwerp van een door uitlegbare AI gestuurd cyber-fysiek menselijk systeem dat preprocessing, CNN-gebaseerd ruimtelijk leren, transformer-gebaseerde temporele modellering, SHAP-uitlegbaarheid en edge computing combineert voor duurzame productie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Preprocessing-pijplijn. Pijplijn voor de preprocessing van akoestische signalen, bestaande uit ruisonderdrukking, normalisatie, segmentatie, STFT-transformatie en spectrogramextractie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Spatiale kenmerkextractie met behulp van CNN. Architectuur voor spatiale kenmerkextractie door CNN's met behulp van spectrogrammen via het proces van convolutie, activatie en pooling. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Temporele modellering met behulp van een transformer encoder. Architectuur van de transformer encoder om temporele afhankelijkheden en langetermijnafhankelijkheden vast te leggen via een spectrogramsequentie-representatie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Classificatielaag. Een classificatielaag die de gecodeerde temporele kenmerken koppelt aan kanswaarden voor het voorspellen van de conditie van de machine. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Resultaat van de ROC-curve. Vergelijking van ROC-curves voor SVM, random forest, LSTM, CNN en de voorgestelde CNN-transformer algoritmen op de MIMII-dataset. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7: Resultaat van de precisie-recall-curve. Vergelijking van de precisie-recall-curve die de efficiëntie van anomaliedetectie van verschillende machine learning- en deep learning-methoden weergeeft. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8: Stabiliteitsanalyse van de prestaties over meerdere runs. Boxplot die de stabiliteit in de prestaties van de resultaten voor nauwkeurigheid, precisie, recall en F1-score weergeeft, verkregen uit tien onafhankelijke experimenten uitgevoerd met de voorgestelde CNN-transformer-architectuur. De kleine variaties duiden op de stabiliteit en robuustheid van het model. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9: SHAP-gebaseerde verklaarbaarheidsanalyse van het voorgestelde framework voor anomaliedetectie. (A) SHAP-gebaseerde verklaarbaarheidsanalyse. Heatmap met gebruik van de SHAP-methode om de meest relevante tijd-frequentiezones te tonen die leiden tot de identificatie van anomalig gedrag. (B) Analyse van de kenmerkrelevantie met gebruik van de globale SHAP-benadering voor de identificatie van de meest invloedrijke kenmerken. (C) Visualisatie van de SHAP-verklaarbaarheid voor een abnormale machine. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 10: Confusiematrix voor de MIMII-dataset. De confusiematrix representeert de classificatieprestaties van het voorgestelde CNN-transformer-algoritme. Klik hier om een grotere versie van deze figuur te bekijken.

Parameter	Beschrijving
Naam van de dataset	MIMII (Malfunctioning Industrial Machine Investigation and Inspection) dataset
Machinetypes	Kleppen, pompen, ventilatoren, glijrails
Totaal aantal gebruikte monsters	Ongeveer 12.000 audio-opnamen
Klassen	Normaal, abnormaal
Bemonsteringssnelheid	16 kHz
Duur per monster	10 seconden
Audioformaat	WAV
Kenmerkrepresentatie	Op STFT gebaseerde spectrogrambeelden
Voorbehandelingsstappen	Ruisfiltering, Normalisatie, Segmentatie, STFT-transformatie
Toekenning van labels	Normale opnames zijn gelabeld als Klasse 0; abnormale opnames zijn gelabeld als Klasse 1 volgens de MIMII-annotaties
Train-test-splitsing	80% Training (≈9.600 monsters), 20% testen (≈2.400 monsters)
Strategie voor datapartitie	Splitsing op audiobestandsniveau uitgevoerd vóór segmentatie om datalekken te voorkomen
Industriële geluidsomstandigheden	Realistische industriële akoestische omgevingen opgenomen in MIMII-opnamen
Toepassingsgebied	Voorspellend onderhoud en detectie van machine-anomalieën
Doelstelling van Industry 5.0	Uitlegbare, mensgerichte en duurzame foutdetectie

Tabel 1: Beschrijving van de dataset. Beschrijving van de MIMII-dataset met betrekking tot het type machine, de steekproefverdeling, signaalkenmerken, kenmerkrepresentatie en toepassingsaspecten.

Machinetype	Machine-ID's	Normale opnames	Anomale opnames	SNR-condities (dB)	Experimentele splitsing
Ventilator	ID00–ID06	8,400	1,600	−12 tot −9	80% training / 20% testen
Versnellingsbak	ID00–ID06	7,124	1,147	−17 tot −15	80% Training / 20% Testen
Pomp	ID00–ID06	7,200	1,800	−18 tot −9	80% Training / 20% Testen
Glijrail	ID00–ID05	7,000	1,800	−14 tot −12	80% training / 20% testen
Klep	ID00–ID05	7,000	1,800	−12 tot −9	80% training / 20% testen

Tabel 2: Beschrijving van de MIMII-dataset die in deze studie is gebruikt. Industriële machinestypes, machine-ID's, aantallen normale en afwijkende opnames, SNR-condities en de train/test-partitionering gebruikt voor gesuperviseerde binaire classificatie.

Model	Nauwkeurigheid (%)	Precisie (%)	Recall (%)	F1-score (%)	Specificiteit (%)
SVM	88.6	86.9	85.4	86.1	90.2
Random Forest (RF)	91.2	89.8	88.5	89.1	92.6
LSTM	94.5	93.2	92.8	93	95.1
CNN	96.3	95.4	94.9	95.1	96.8
CNN–Transformer (Voorgesteld)	98.5	98.06	99.02	98.54	97.96

Tabel 3: Classificatieresultaat voor de MIMII-dataset. Vergelijking van de prestaties van machine learning- en deep learning-classificaties op basis van accuratesse, precisie, recall, F1-score en specificiteit.

Parameter	Waarde
Dataset	MIMII-dataset
Totaal aantal monsters	~12,000
Train-test-splitsing	80% / 20%
Invoertype	Spectrogrambeelden
CNN-lagen	3–5 convolutionele lagen
Transformer-lagen	2–4 encoderlagen
Batchgrootte	32
Leersnelheid	0.001
Optimizer	Adam
Epochs	100
Hardware	Edge-apparaat + GPU (voor training)
STFT-vensterlengte	1024
Hopgrootte	512
FFT-grootte	1024
Spectrogramresolutie	224 × 224
Normalisatie	Z-score
Data-augmentatie	Tijdsmaskering, Frequentiemaskering, Gaussische ruis
CNN-lagen	4
CNN-filters	32, 64, 128, 256
Transformer-lagen	4
Attention-koppen	8
Inbeddingdimensie	256
Feed-forward-dimensie	1024
Uitval	0.3
Willekeurige seed	42
Geduld bij vroegtijdige stopzetting	10

Tabel 4: Omgevingsinstellingen en hyperparameterconfiguratie. Parameters van training en experimenten die zijn gebruikt om de voorgestelde CNN-transformer-architectuur te implementeren.

Component	Specificatie
Programmeertaal	Python
Framework	TensorFlow / PyTorch
Processor	Intel i7 / Ryzen 7
GPU	NVIDIA GTX 1660 / RTX Series
Edge-apparaat	Raspberry Pi / NVIDIA Jetson
Visualisatie	Matplotlib, SHAP
Edge-apparaat	NVIDIA Jetson Xavier NX
CPU	6-core ARM v8.2
RAM	16 GB
Besturingssysteem	Ubuntu 20.04
Deep Learning Framework	TensorFlow/PyTorch
Datasetgrootte	12,000 MIMII samples
Connectiviteit	Ethernet/Wi-Fi
Modelparameters	8,4 miljoen
Modelgrootte	32,7 MB
Framework	PyTorch + TensorRT
Batchgrootte	1
Kwantisering	FP16
Snoeien (Pruning)	Nee
Gemiddelde latentie	17,8 ms
Mediane latentie	17,2 ms
95e percentiel latentie	19,6 ms
Doorvoersnelheid	56 samples/s
Geheugengebruik	1,4 GB
Energieverbruik	11,3 W

Tabel 5: Simulatieomgeving. Hardware en software die zijn gebruikt om het voorgestelde model te trainen, te implementeren en te evalueren.

Model	ROC-AUC	PR-AUC	MCC
SVM	0.913	0.765	0.73
Random Forest (RF)	0.958	0.891	0.78
LSTM (Long Short-Term Memory)	0.97	0.912	0.86
CNN	0.98	0.95	0.9
CNN–Transformer (Voorgesteld)	0.994	0.982	0.97

Tabel 6: Vergelijking van experimentele resultaten voor ROC-AUC, PR-AUC en MCC. Vergelijking tussen verschillende modellen op basis van ROC-AUC, PR-AUC en de Matthews-correlatiecoëfficiënt.

Metriek	Gemiddelde (%) + Std(%)	95% betrouwbaarheidsinterval
Nauwkeurigheid	98.50 ± 0.19	[98.1, 98.9]
Precisie	98.06 ± 0.23	[98.0, 98.2]
Herinnering	99.22 ± 0.22	[98.8, 99.4]
F1-score	98.54 ± 0.24	[98.1, 98.9]
ROC-AUC	0.984	0.004
PR-AUC	0.982	0.005
MCC	0.97	0.007

Tabel 7: Resultaat van statistische analyse over meerdere runs. Robuustheidsstatistieken voor de voorgestelde CNN-transformer-architectuur over 10 experimenten, inclusief het gemiddelde, de standaarddeviatie, het 95% betrouwbaarheidsinterval en de significantie voor diverse prestatiemaatstaven.

Meetwaarde	Waarde
Nauwkeurigheid	98.50%
Precisie	98.06%
Recall	99.02%
Specificiteit	97.96%
F1-score	98.54%
MCC	0.97
ROC-AUC	0.994
PR-AUC	0.982

Tabel 8: Definitieve testset van de verwarringstabel. De verwarringstabel van de testset voor de voorgestelde architectuur, die de classificatie van normale en abnormale toestanden van machines laat zien, waarvan de evaluatiemetrieken zijn afgeleid.

Metrische maatstaf	Cloudimplementatie	Edge-implementatie
Inferentielatentie (ms)	85.6	18.7
Doorvoersnelheid (monsters/s)	22	53
Netwerkgebruik (MB/min)	120	18
Energie per voorspelling (J)	0.52	0.17
Real-time-capaciteit	Matig	Hoog

Tabel 9: Resultaat van de inferentielatentie. De latentieprestaties van de edge-implementatie van het CPHS-framework met Explainable AI, inclusief verwerkingstijd, doorvoersnelheid, geheugengebruik en andere realtime-kenmerken.

Metrisch	Cloud-gebaseerde CPS	Voorgesteld Edge-geactiveerd CPHS	Verbetering
Gegevensoverdracht per uur	100%	35%	65% reductie
Communicatielatentie	75 ms	20 ms	73,3% reductie
Energieverbruik	100%	68%	32% reductie
Geschatte koolstofemissie	100%	70%	30% reductie

Tabel 10: Duurzaamheidsbeoordeling van edge-enabled CPHS. Metingen van communicatie-overhead, energieverbruik, resourcebenutting en latentie worden gebruikt om de duurzaamheid van de edge-enabled CPHS te beoordelen.

Modelvariant	Nauwkeurigheid (%)	Precisie (%)	Recall (%)	F1-score (%)
Alleen CNN	93.8	92.5	94.2	93.3
Alleen transformer	92.6	91.2	93.5	92.3
CNN + Transformer	98.5	98.06	99.02	98.54

Tabel 11: Resultaat van de ablatiestudie. Resultaat van de ablatiestudie waarin het effect van de CNN-, Transformer- en SHAP-modules op de prestaties van het voorgestelde model wordt toegelicht.

Discussie

De experimentele resultaten tonen aan dat de voorgestelde CNN-transformer-architectuur beter presteert dan individuele algoritmen door ruimtelijke en temporele kenleerprocessen effectief te integreren. Volgens de ablatiestudie extraheert de CNN weliswaar frequentiegebaseerde discriminatieve kenmerken uit spectrogrammen, maar de transformer-encoder verbetert de modelprestaties door temporele afhankelijkheden over lange afstand in akoestische signalen vast te leggen. Bovendien illustreert de confusiematrix zeer weinig fout-negatieven, wat impliceert dat het voorgestelde model machine-anomalieën effectief kan identificeren. Deze architectuur heeft geleid tot verbeterde classificatieresultaten, met een nauwkeurigheid van 98,5% en een recall-percentage van 99,02%. Dit resultaat is cruciaal in industriële foutdetectiesystemen, aangezien het model geen enkele defecte machine mag missen. Experimentele resultaten hebben aangetoond dat het voorgestelde XAI-ingeschakelde CNN-Transformer-framework succesvol een hoge nauwkeurigheid bij anomaliedetectie, interpreteerbaarheid en real-time edge-implementatie combineert. De combinatie van de twee modules maakt de gelijktijdige extractie van ruimtelijke en temporele kenmerken uit akoestische gegevens mogelijk, terwijl SHAP-verklaringen de uitlegbaarheid en betrouwbaarheid vergroten. Deze resultaten zijn in lijn met de principes van Industrie 5.0, waarbij de nadruk ligt op mensgerichte besluitvorming, duurzaamheid en synergie tussen de cyber- en fysieke domeinen. Een grondigere evaluatie met andere industriële datasets en praktische implementatie is echter vereist om de generaliseerbaarheid van de voorgestelde aanpak te schatten.

De implementatie van SHAP voor uitlegbaarheid verbetert niet alleen de efficiëntie van het systeem, maar vergroot ook aanzienlijk het begrip van de onderliggende logica van het model. Het richt zich in het bijzonder op de tijd-frequentiebanden die belangrijk zijn voor deze keuzes. Dit is cruciaal in scenario's van Industrie 5.0, waarin mensen en AI-systemen elkaar moeten vertrouwen. Uit de SHAP-heatmaps blijkt duidelijk dat het model bepaalde frequentiebanden heeft herkend die geassocieerd worden met fouten, waardoor de afstemming met de realiteit wordt gewaarborgd. De nieuwheid van deze studie is niet louter gebaseerd op het gebruik van CNN-transformer of SHAP alleen, aangezien beide reeds in de bestaande wetenschappelijke literatuur zijn vermeld. Het is juist hun geïntegreerde toepassing binnen de structuur van de cyber-fysieke samenwerking van Industrie 5.0 die gelijktijdig problemen op het gebied van uitlegbaarheid, duurzaamheid, edge-intelligentie en mensgerichte beslissingsondersteuning oplost. Hoewel het voorgestelde framework put uit concepten van Industrie 5.0, zoals mensgerichte samenwerking, uitlegbaarheid, veerkracht en duurzame edge-computing, evalueert het huidige onderzoek de technische prestaties uitsluitend op basis van de nauwkeurigheid van anomaliedetectie, latentie, energieverbruik en interpreteerbaarheid. De directe evaluatie van mensgerichte aspecten zoals het vertrouwen van de operator, de cognitieve belasting, de beslissingskwaliteit en de acceptatie viel buiten de scope van het huidige onderzoeksontwerp. Toekomstig onderzoek zal human-in-the-loop-experimenten omvatten om de effectiviteit van collaboratieve besluitvorming in het voorgestelde framework te meten. Vanuit een theoretisch standpunt levert dit onderzoek een waardevolle bijdrage aan de uitbreiding van hybride deep learning-modellen door de effectiviteit aan te tonen van het combineren van convolutionele neurale netwerken en Transformer-structuren voor het verwerken van industriële spatiotemporele gegevens. Inderdaad, het artikel verbetert de CPS- en CPHS-benaderingen door het concept van uitlegbare AI te implementeren gedurende het gehele besluitvormingsproces. Bovendien levert de implementatie van de SHAP-techniek als instrument om de bijdragen van verschillende tijd-frequentiekenmerken te meten bewijs voor de theoretische basis van systemen gebaseerd op uitlegbare AI. Over het geheel genomen baant zo'n benadering de weg voor een nieuw paradigma waarin deep learning-modellen niet alleen nauwkeuriger worden, maar ook door mensen kunnen worden geïnterpreteerd, in overeenstemming met de visie van Industrie 5.0.

In praktische zin is het voorgestelde systeem een uitstekende oplossing voor industriële anomaliedetectie en predictief onderhoud in realtime. Door CPHS-architecturen aan de edge te gebruiken, maakt het systeem een tijdige verwerking van akoestische signalen mogelijk en is het zeer geschikt voor implementatie in smart manufacturing-faciliteiten. De hoge recall-waarde (99,02%) vermindert de waarschijnlijkheid van gemiste defecten, waardoor de operationele veiligheid toeneemt en onverwachte machineuitval wordt voorkomen. Bovendien stelt het gebruik van SHAP-gebaseerde verklaringen mensen in staat om modelresultaten te begrijpen, wat vooral belangrijk is in kritieke situaties waarin menselijke tussenkomst in de loop noodzakelijk is. De bevindingen uit de experimentele inzet tonen duidelijk de voordelen van edge computing aan ten opzichte van traditionele cloud computing. Dit komt doordat inferentie aan de edge van het netwerk latentietijden minimaliseert en de efficiëntie verbetert door een hogere doorvoersnelheid. Daarnaast zal het verminderen van het energieverbruik per voorspelling helpen bij het bereiken van duurzame productiedoelstellingen in overeenstemming met de Industry 5.0-normen. Ondanks deze bemoedigende resultaten heeft de beschreven aanpak echter enkele beperkingen. Ten eerste is het raamwerk hoofdzakelijk gevalideerd op de MIMII-dataset; hoewel deze vrij uitgebreid is, kan het zijn dat niet alle mogelijke scenario's die in een werkelijke industriële setting en bij verschillende soorten machines kunnen voorkomen, zijn gedekt. De tweede beperking is dat het gebruik van SHAP voor uitlegbaarheid de computationele complexiteit verhoogt, wat een probleem kan zijn bij het implementeren van het raamwerk in sterk beperkte edge-omgevingen. Tot slot is het huidige model beperkt tot uitsluitend akoestische signalen, terwijl industriële systemen multimodale verwerking vereisen, inclusief bijvoorbeeld vibratie en temperatuur.

Hoewel het gebruik van de MIMII-dataset real-world foutscenario's in industriële akoestiek waarborgt, kan validatie op andere benchmark-datasets, zoals ToyADMOS, DCASE-gegevens voor industriële anomaliedetectie, IMS-lagergegevens en CWRU-lagerfoutgegevens, de generaliseerbaarheid van het voorgestelde raamwerk verder verbeteren. In toekomstig werk zijn we van plan om cross-domeinvalidaties uit te voeren voor machinetypes, sensormethoden en productieomgevingen om de generalisatie van het op Explainable AI gebaseerde cyber-fysieke samenwerkingsraamwerk te garanderen. Een andere beperking van het huidige onderzoek is het gebrek aan vergelijkende experimenten met onlangs ontwikkelde akoestische anomaliedetectiesystemen, zoals Vision Transformers, Audio Spectrogram Transformers, Conformers en nieuwe zelfgesuperviseerde leermechanismen. Hoewel het CNN-transformer-model sterke resultaten en interpreteerbaarheid heeft aangetoond, zal er verder onderzoek worden gedaan om het te benchmarken tegen deze geavanceerde technologieën. Een ander nadeel van het huidige onderzoek is dat de evaluatie van Industry 5.0-kenmerken, zoals veerkracht en duurzaamheid, indirect werd uitgevoerd via metrieken op systeemniveau, waaronder inferentielatentie en energieverbruik. Een grondigere beoordeling van de veerkracht bij communicatie- en sensorstoringen, en van de duurzaamheid in termen van koolstofvoetafdruk en resourcegebruik, is in het huidige onderzoek niet uitgevoerd. Deze factoren dienen in toekomstige studies te worden geëvalueerd.

Het moet echter worden opgemerkt dat het in dit onderzoek beschreven paradigma van mens-in-de-lus-samenwerking theoretisch is en bedoeld is om het gebruik van uitlegbare AI-outputs voor besluitvorming in cyberfysieke systemen in Industrie 5.0 met ondersteuning van de operator te illustreren. De experimentele validatie met menselijke operators, de analyse van de bruikbaarheid, de responstijd en de expertbeoordeling vallen buiten de reikwijdte van dit onderzoek. In dit werk wordt een nieuw, door uitlegbare AI aangestuurd cyberfysiek samenwerkingsmodel gepresenteerd voor duurzame productie in Industrie 5.0-omgevingen. In het ontwikkelde systeem wordt een hybride CNN-transformer-architectuur gebruikt om efficiënt de ruimtelijke en temporele eigenschappen van akoestische spectrogrammen te leren, waardoor de detectie van anomalieën in industriële machines mogelijk wordt. Het voorgestelde model werkt in vier stappen: voorverwerking van akoestische gegevens naar spectrogrammen, het leren van ruimtelijke eigenschappen met een CNN, het leren van temporele afhankelijkheden met een transformer-encoder en classificatie. De resultaten verkregen met de voorgestelde methode op de MIMII-dataset tonen aan dat het voorgestelde model beter presteerde dan de basismodellen, met een nauwkeurigheid van 98,5% en recall-percentages van 99,02%. Bovendien verbetert de integratie van uitlegbaarheid de duidelijkheid van het systeem. Hoewel het voorgestelde raamwerk voor door uitlegbare AI ondersteunde cyberfysieke samenwerking goed presteerde op de MIMII-benchmarkdataset, is het onderzoek momenteel beperkt tot experimentele validatie. Het raamwerk moet nog worden geëvalueerd via grootschalige productie in een industriële omgeving waar machines heterogeen zijn, omstandigheden variëren en de implementatie op lange termijn is. Daarnaast moeten vergelijkingen met architecturen zoals ViT, AST, Conformer en zelfgesuperviseerde leermodellen in toekomstig werk worden opgenomen. Met andere woorden, hoewel het raamwerk aantoont dat de integratie van uitlegbare AI, cyberfysieke samenwerking en mens-in-de-lus-samenwerking haalbaar is, is verdere validatie nodig voordat het op grote schaal in de industrie wordt ingezet. Toekomstig werk zal het voorgestelde raamwerk verder onderzoeken via verschillende benchmarkdatasets voor foutdiagnose voor de industrie en cross-domein productie, om de robuustheid, overdraagbaarheid en toepasbaarheid binnen duurzame productie-ecosystemen aan te tonen. Toekomstige validatie zal operator-gecentreerde experimenten, veerkracht-benchmarking onder verstorende industriële omstandigheden en een duurzaamheidsgerelateerde levenscyclusbeoordeling omvatten.

Voor de reproduceerbaarheid biedt dit werk details over de preprocessing van de gegevens, de splitstrategie, de instellingen voor het genereren van spectrogrammen, de architectuur van het CNN-transformer-model, de optimizer, de hyperparameters en de metrieken die zijn gebruikt om de prestaties van het model te meten. De random seeds werden vóór de experimenten ingesteld. Om de repliceerbaarheid te waarborgen, werden de experimenten uitgevoerd op de publiekelijk beschikbare MIMII (Malfunctioning Industrial Machine Investigation and Inspection) Dataset. De link naar de dataset is als volgt: DOI: 10.5281/zenodo.3384388. De implementatiecode die bij deze studie hoort, is publiekelijk beschikbaar gesteld via de Zenodo-repository: https://zenodo.org/records/21405292. De audiosignalen werden gesampled op 16 kHz en omgezet in log-Mel spectrogrammen met behulp van de STFT met een venstergrootte van 1024, een hop length van 512 en een FFT-grootte van 1024. De voorgestelde CNN-transformer-architectuur bestond uit vier convolutionele lagen (met 32, 64, 128 en 256 filters), gevolgd door een transformer-encoder met vier lagen, acht attention heads, een embedding-dimensie van 256 en een feed-forward-dimensie van 1024. Het trainingsproces omvatte Adam-optimalisatie met een learning rate van 0.0001, een batch size van 32 en 100 epochs. Algoritme 1 en 2 beschrijven de fase van data preprocessing en de procedure voor verklaarbaarheid. Het volledige algoritme, inclusief implementatiedetails, wordt gepresenteerd.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Scaal voor Sociale Steun	Gepubliceerde academische schaal; oorspronkelijk ontwikkeld door Park en herzien/aangevuld door Kim	Versie met 25 items; 5-punts Likert-responsformaat; geen commercieel catalogusnummer	Meet de waargenomen sociale steun onder beginnende leraren in het vroeg ankeronderwijs op het gebied van emotionele steun, informatieve steun, materiële steun en evaluatieve steun. Totale Cronbach’s alpha = 0,96.
Scaal voor Zelfeffectiviteit van Leraren	Gepubliceerde academische schaal; oorspronkelijk ontwikkeld door Enochs en Riggs; studieversie aangepast voor het Chinees	Versie met 25 items; 5-punts Likert-responsformaat; geen commercieel catalogusnummer	Beoordeelt de effectiviteit van leraren in de Chinese context van de vooropleiding voor het vroeg kinderonderwijs op basis van algemene zelfeffectiviteit van leraren en persoonlijke zelfeffectiviteit van leraren. Totale Cronbach’s alpha = 0,96.
Scaal voor Interactie tussen Leraar en Kind	Gepubliceerde academische schaal; ontwikkeld door Lee en getoetst door het expertpanel van de studie voor gebruik in China	Versie met 30 items; 5-punts Likert-responsformaat; geen commercieel catalogusnummer	Beoordeelt de door de leraar zelfgerapporteerde competentie in de interactie met het kind in plaats van de waargenomen kwaliteit van de interactie in de klas. Bevat emotionele interactie, verbale interactie en gedragsmatige interactie; totale Cronbach’s alpha = 0,94.
Formulier Demografische Gegevens	Onderzoeksteam, samenwerking tussen Sichuan University of Arts and Science / Daegu University	Aangepast onderdeel van de vragenlijst voor de studie; geen commercieel catalogusnummer	Verzamelde kenmerken van deelnemers, waaronder geslacht, educatieve achtergrond, professionele categorie, locatie van de stage, duur van de stage, type stage en type kleuterklas.
Script voor Deelnemersinformatie en Geïnformeerde Toestemming	Onderzoeksteam; goedgekeurd door de ethische commissie voor onderzoek van Daegu University	Nummer ethische goedkeuring: XXX; lokale goedkeuringsregistratie ter verificatie	Gebruikt voorafgaand aan de distributie van de vragenlijst om het doel van de studie en de inhoud van de enquête uit te leggen en geïnformeerde toestemming te verkrijgen van deelnemende beginnende leraren in het vroeg kinderonderwijs.
Pakket Vragenlijst voor Pilotonderzoek	Onderzoeksteam en expertpanel	Pilotversie gebruikt 1–5 juni 2024; geen commercieel catalogusnummer	Pilot-test van de duidelijkheid en geschiktheid van de schaal voor professionele percepties, de schaal voor sociale steun, de schaal voor zelfeffectiviteit van leraren, de schaal voor interactie tussen leraar en kind, en de demografische items bij 50 beginnende leraren in het vroeg kinderonderwijs.
Procedure voor Beoordeling door Expertpanel	Onderzoeksteam; expertpanel bestaande uit twee professoren in het vroeg kinderonderwijs, één directeur van een kleuterschool, drie stagebegeleiders en het onderzoeksteam	Consensusgebaseerde inhoudelijke review; geen commercieel modelnummer	Gebruikt om items van de schaal te herzien op ambiguïteit, geschiktheid, semantische duidelijkheid, ontwikkelingsgeschiktheid en culturele relevantie voorafgaand aan de formele enquête.
Geprinte Vragenlijsten Ter Plaatse	Onderzoeksteam; lokale institutionele enquêtebenodigdheden	Papieren enquêteformulieren; geen commercieel catalogusnummer	Gebruikt voor het ter plaatse afnemen van de vragenlijst. In de uiteindelijke steekproef werden 336 geldige vragenlijsten ter plaatse verkregen voordat deze werden gecombineerd met de online vragenlijsten.
WeChat	Tencent	WeChat mobiele applicatie; versie dient geverifieerd te worden uit het apparaat/app-record gebruikt tijdens juni–juli 2024	Gebruikt als online distributiekanaal voor het afnemen van de vragenlijst; 27 ingevulde online vragenlijsten werden verzameld via de online/WeChat-route.
Procedure voor Werving via Telefoon en Persoonlijk	Onderzoeksteam	Gestandaardiseerde wervingsprocedure; geen commercieel catalogusnummer	Gebruikt om contact op te nemen met instellingen/deelnemers, het doel van de studie en de inhoud van de enquête uit te leggen, en geïnformeerde toestemming te ondersteunen vóór het afnemen van de vragenlijst.
SPSS Statistics	IBM	Versie 27.0	Gebruikt voor beschrijvende statistieken, Pearson-correlatiecoëfficiënten, betrouwbaarheidsanalyse met Cronbach’s alpha, normaliteitstests met behulp van scheefheid en kurtosis, en de single-factor test van Harman’s voor common method bias.
SPSS Amos	IBM	Versie 26.0	Gebruikt voor bevestigende factoranalyse, structurele vergelijkingsmodellering, multi-group measurement invariance testing, bootstrap-testen van indirecte effecten en vergelijkingen van alternatieve modellen.
Microsoft Excel	Microsoft	Microsoft 365 Excel of lokaal geïnstalleerde Excel-versie; verifieer exact lokaal buildnummer vóór indiening	Aanbevolen/gebruikt als werkmapomgeving voor het organiseren van gecodeerde enquêtegegevens, data-dictionary, aanvullende tabellen en de JoVE-materialenlijst. De exacte lokale versie dient door de auteurs te worden geverifieerd.
Fit-indexcriteria voor Structurele Vergelijkingsmodellering	Gepubliceerde methodologische richtlijnen; referenties van Schreiber et al. en Kline geciteerd in het manuscript	Geen commercieel catalogusnummer; criteria toegepast in het statistische analyseplan	Definieert en rapporteert model-fit indices, waaronder de chi-kwadraatstatistiek, chi-kwadraat gedeeld door vrijheidsgraden, Tucker-Lewis Index, Comparative Fit Index, Adjusted Goodness-of-Fit Index, Incremental Fit Index, Root Mean Square Error of Approximation, en Standardized Root Mean Square Residual.
Bootstrap Mediatie Testprocedure	SPSS Amos / statistisch analyseplan onderzoeksteam	5.000 bootstrap-steekproeven; 95% bias-gecorrigeerde betrouwbaarheidsintervallen	Gebruikt om indirecte associaties via de effectiviteit van de leraar te testen. Indirecte effecten werden als significant beschouwd wanneer het 95% bias-gecorrigeerde betrouwbaarheidsinterval nul niet bevatte.
Procedure voor Measurement Invariance Testing	SPSS Amos / statistisch analyseplan onderzoeksteam	Multi-group bevestigende factoranalyse; ΔCFI < ,010 en ΔRMSEA < ,015 criteria	Gebruikt om configurale, metrische en scalaire invariantie over geslacht, programmatype, stageduur en instelling te evalueren voordat de gepoolde SEM-schattingen werden geïnterpreteerd.