Collaborazione cyber-fisica supportata da AI spiegabile per la produzione sostenibile nell'Industria 5.0

Sommario

Questo studio presenta un framework collaborativo cyber-fisico per l'Industria 5.0 basato sull'intelligenza artificiale spiegabile, che utilizza una CNN-transformer e SHAP per il rilevamento di anomalie acustiche industriali sul dataset MIMII. L'integrazione del calcolo edge supporta una manutenzione predittiva interpretabile e centrata sull'essere umano.

Abstract

In questo studio, presentiamo un approccio innovativo per la produzione sostenibile di componenti industriali, basato su un sistema collaborativo cyber-fisico con intelligenza artificiale spiegabile (XAI) per l'Industria 5.0. I sistemi cyber-fisici umani (CPHS) attuali risultano integrare l'intelligenza artificiale solo in misura limitata e spesso mancano di spiegabilità. Di conseguenza, vi è la necessità di migliorarne la scalabilità e la flessibilità, in linea con i principi dell'Industria 5.0: resilienza, sostenibilità a lungo termine e centralità dell'essere umano. Per affrontare queste carenze, introduciamo un'architettura che integra l'apprendimento profondo e l'intelligenza artificiale spiegabile nell'ecosistema del sistema cyber-fisico (CPS), abilitando decisioni intelligenti e interpretabili. In particolare, utilizziamo il dataset MIMII (Malfunctioning Industrial Machine Investigation and Inspection) per il rilevamento di guasti nelle macchine a partire da segnali acustici. I segnali audio subiscono una trasformazione spettrale per generare immagini di spettrogrammi, che vengono successivamente elaborate da una rete neurale convoluzionale (CNN) per l'estrazione di caratteristiche spaziali e da un codificatore transformer per le caratteristiche temporali. Per migliorare la trasparenza e facilitare la collaborazione uomo-nel-ciclo, l'approccio basato su spiegazioni additive di Shapley (SHAP) aiuta gli operatori a comprendere il processo decisionale del sistema evidenziando le caratteristiche in ingresso che influenzano le previsioni del modello. Inoltre, il framework viene applicato in un sistema cyber-fisico basato su elaborazione edge per ottenere una latenza ridotta e un basso consumo energetico, garantendo al contempo risposte tempestive e contribuendo così a un ambiente produttivo sostenibile. I risultati sperimentali mostrano che l'architettura proposta CNN-Transformer raggiunge un'accuratezza del 98,5% e supera le prestazioni dei sistemi CPHS esistenti mantenendo una latenza ridotta. L'uso dell'intelligenza artificiale spiegabile in un sistema di collaborazione cyber-fisico di questo tipo aumenta notevolmente la fiducia degli operatori e consente una collaborazione fluida tra uomo e macchina.

Introduzione

La transizione dall'Industria 4.0, che ha enfatizzato tecnologia, meccanizzazione e comunicazione, al nuovo modello dell'Industria 5.0, che combina progresso tecnologico con adattabilità, sviluppo sostenibile e centralità dell'essere umano, ha influenzato l'evoluzione dinamica dei sistemi industriali^1,2. La Commissione Europea definisce l'Industria 5.0 come un paradigma incentrato non solo su produttività ed efficienza, ma anche sui tre pilastri della centralità umana, della sostenibilità e della resilienza. È importante notare che ricerche recenti hanno evidenziato il ruolo dei sistemi di intelligenza artificiale, della cooperazione uomo-macchina e della produzione sostenibile come principali motori degli ambienti dell'Industria 5.0^3,4. I metodi tradizionali di manutenzione non sono più sufficienti in questo contesto industriale in evoluzione. Per garantire resilienza in contesti complessi e instabili, la manutenzione deve evolvere verso una forma più adattabile e sistemica⁵. Dal 2011, l'Industria 4.0 è stato il modello dominante per la trasformazione industriale in Europa, incoraggiando la trasformazione digitale delle imprese per migliorare le operazioni e massimizzare le risorse disponibili⁴. È quindi fondamentale aumentare l'efficienza senza eliminare il lavoro umano nella produzione, proteggendo al contempo la salute e la sicurezza dei lavoratori. Per questo motivo, aziende e accademici hanno iniziato a definire i principi del paradigma dell'Industria 5.0^5,6,7, in parte motivati dal concetto giapponese di Society 5.0^8,9,10,11. Nonostante l'attenzione crescente alla manutenzione sostenibile nella letteratura recente, la maggior parte delle valutazioni sistematiche esistenti rimane frammentata o specifica per settore, mancando di un quadro complessivo che integri resilienza, sostenibilità e intelligenza artificiale. Ad esempio, gli autori esaminano pratiche di manutenzione sostenibile per sistemi o strategie specifiche, tra cui la manutenzione produttiva totale sostenibile (STPM), mentre altri ricercatori parlano di integrazione di temi di sostenibilità nelle tecniche di manutenzione^12,13,14. L'autore ha condotto una valutazione completa dei criteri di adozione della sostenibilità, evidenziando i fattori tecnologici che permettono all'industria manifatturiera di avere un impatto sostenibile positivo¹⁵. Tuttavia, all'interno del paradigma dell'Industria 5.0, sostenibilità, resilienza e processo decisionale basato sull'intelligenza artificiale non sono pienamente integrati in nessuno di questi lavori. Di conseguenza, metodi di manutenzione separati affrontano spesso la sostenibilità in modo isolato. SHAP si distingue tra le altre tecniche di intelligenza artificiale interpretabile (XAI) grazie al suo metodo teoricamente solido di attribuzione delle caratteristiche^16,17,18.

L'adozione di decisioni basate sui dati è resa possibile dall'intelligenza artificiale, ma modelli accurati richiedono spesso grandi quantità di dati. Le tecniche convenzionali di apprendimento automatico (ML), come gli alberi decisionali, la regressione logistica e la regressione lineare, spesso hanno prestazioni scadenti in situazioni altamente non lineari poiché presuppongono distribuzioni dei dati relativamente semplici¹⁹. Attraverso l'apprendimento di rappresentazioni complesse delle caratteristiche a partire da grandi insiemi di dati, le reti neurali profonde (DNN) superano tali limitazioni²⁰. Studi indicano che reti più profonde spesso superano le architetture poco profonde in compiti decisionali complessi²¹, ma l'aumento della profondità e della complessità dei parametri rende il modello meno interpretabile²².

Un sistema cibernetico-fisico (CPS) è una tecnologia abilitante fondamentale per la produzione Industry 5.0 poiché combina intelligenza distribuita, computer integrati, processi fisici e comunicazione. Per consentire operazioni industriali flessibili, intelligenti e in tempo reale, i moderni CPS stanno integrando rapidamente il calcolo edge, l'intelligenza artificiale edge e l'Internet delle cose verde (G-IoT)^23,24. Negli ultimi studi su Maintenance 4.0 e manutenzione intelligente sono state evidenziate sostenibilità e resilienza. Mentre lavori precedenti hanno esaminato il ruolo della tecnologia Maintenance 4.0 nella produzione sostenibile e proposto framework di modellazione per la manutenzione sostenibile, studi bibliometrici e sistematici hanno valutato le tecnologie di manutenzione intelligente^25,26,27,28. Ulteriori ricerche hanno indagato l'integrazione della manutenzione sostenibile negli ambienti Industry 4.0 e nei sistemi produttivi orientati alla sostenibilità^29,30,31,32. Il concetto di Operator 4.0³³, i framework umano-centrici per Industry 5.0³⁴ e le prospettive socioeconomiche³⁵ hanno attirato notevole attenzione sulla manutenzione centrata sull'uomo. Inoltre, negli ultimi studi sono state sottolineate le innovazioni nella manutenzione digitale³⁶, nella manutenzione predittiva e prescrittiva^37,38 e nelle strategie di manutenzione sostenibile^39,40. Nonostante questi progressi, la ricerca rimane frammentata e pochi studi offrono un paradigma coerente che integri intelligenza artificiale spiegabile, sostenibilità, resilienza e cooperazione cibernetico-fisica centrata sull'uomo. I sistemi cibernetico-fisici (CPS) non hanno ancora raggiunto l'autonomia completa nonostante il loro crescente utilizzo, e il paradigma Industry 5.0 non lo favorisce. Industry 5.0, al contrario, pone maggiore enfasi sulla supervisione, cooperazione e presa di decisione umana. Integrando il pensiero e la cooperazione umana nei processi cibernetico-fisici, sistemi cibernetico-umani come i CPS con l'uomo nel ciclo (HiLCPSs)⁴¹, i CPS centrati sull'uomo (HCPSs)^42,43 e i sistemi cibernetico-fisici umani (CPHSs)⁴⁴ estendono i tradizionali CPS. Questa integrazione migliora adattabilità, trasparenza, sicurezza e resilienza, consentendo una collaborazione in tempo reale tra sistemi intelligenti e operatori umani^45,46.

Il rilevamento di anomalie audio industriali è stato notevolmente migliorato da nuove architetture, tra cui Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer e apprendimento auto-sorvegliato; tuttavia, la loro integrazione con sistemi cyber-fisici interpretabili per l'Industria 5.0 rimane limitata. Senza integrare interpretabilità, distribuzione sul bordo della rete (edge deployment) e supporto alle decisioni con coinvolgimento umano in un unico framework, la ricerca attuale si concentra principalmente sull'accuratezza nella classificazione o sull'interpretabilità post hoc basata su XAI. Questo studio propone una nuova architettura collaborativa cyber-fisica CNN-Transformer abilitata da intelligenza artificiale interpretabile (XAI), che combina elaborazione edge, modellazione delle dipendenze temporali, interpretabilità basata su SHAP, apprendimento delle caratteristiche spaziali e supporto decisionale centrato sull'essere umano, al fine di abilitare una produzione sostenibile nell'Industria 5.0 e superare tali limitazioni.

Pertanto, permane un notevole deficit di ricerca. Le attuali tecniche di rilevamento acustico di anomalie basate su CNN/Transformer privilegiano le prestazioni di classificazione ma mancano di cooperazione cibernetico-fisica e interpretabilità. Sebbene i framework Industry 5.0 offrano modelli concettuali centrati sull'essere umano, questi non integrano l'apprendimento profondo interpretabile, l'intelligenza periferica e il processo decisionale assistito dall'operatore in un unico sistema; le tecniche di manutenzione predittiva basate su XAI aumentano la trasparenza ma operano in modo indipendente dalle architetture CPHS. Di conseguenza, risulta ancora assente un singolo sistema cibernetico-fisico umano Industry 5.0 che integri un rilevamento preciso delle anomalie uditive, un'interpretabilità basata su SHAP, un'implementazione abilitata al perimetro di rete e una cooperazione con l'operatore nel ciclo decisionale.

Questo articolo propone un nuovo paradigma collaborativo cyber-fisico basato su intelligenza artificiale interpretabile (Explainable AI) che integra CNN e Transformer per l'Industria 5.0, al fine di superare tali limitazioni. L'architettura proposta combina l'implementazione del calcolo edge, l'estrazione di caratteristiche spaziali basata su CNN, l'apprendimento delle dipendenze temporali basato su Transformer, l'interpretabilità basata su SHAP e il supporto alle decisioni con coinvolgimento umano in un unico framework CPHS. A differenza dei metodi attuali, che affrontano questi aspetti in modo indipendente, il framework proposto offre una soluzione integrata che migliora contemporaneamente le prestazioni nel rilevamento delle anomalie, la trasparenza del modello, l'efficienza operativa e la collaborazione centrata sull'essere umano per una produzione sostenibile.

L'obiettivo principale di questo studio è creare un sistema cibernetico-fisico umano abilitato all'intelligenza artificiale spiegabile (CPHS) per una produzione sostenibile nell'Industria 5.0, combinando un approccio ibrido basato su CNN e Transformer per il rilevamento di anomalie acustiche con spiegabilità basata su SHAP, elaborazione edge e supporto alle decisioni con il coinvolgimento dell'operatore umano. In particolare, il framework proposto mira a migliorare l'accuratezza del rilevamento delle anomalie fornendo previsioni chiare e comprensibili, facilitando un'efficace implementazione edge e promuovendo un processo decisionale collaborativo tra sistemi intelligenti e operatori umani. Raggiungendo contemporaneamente elevate prestazioni di rilevamento, spiegabilità, funzionamento a bassa latenza e collaborazione cibernetico-fisica centrata sull'uomo, questa architettura integrata affronta le limitazioni dei correnti approcci per il rilevamento acustico di anomalie, la manutenzione predittiva basata su XAI e i framework CPHS.

L'architettura proposta presenta un sistema cibernetico-fisico umano (CPHS) unificato abilitato da un'intelligenza artificiale interpretabile per l'Industria 5.0, in contrasto con le attuali tecniche di rilevamento di anomalie acustiche, che si concentrano principalmente sull'accuratezza di classificazione. All'interno di un'unica architettura, combina l'estrazione di caratteristiche spaziali basata su CNN, la modellazione temporale basata su Transformer, l'interpretabilità basata su SHAP, il calcolo edge e il supporto decisionale con l'operatore nel ciclo. L'architettura proposta affronta questioni fondamentali relative a trasparenza, assistenza all'operatore e cooperazione cibernetico-fisica integrando un rilevamento preciso delle anomalie con un processo decisionale comprensibile e un'implementazione edge in tempo reale. Il principale contributo scientifico di questo lavoro è l'integrazione a livello di sistema, che distingue l'approccio proposto dalle ricerche precedenti incentrate singolarmente sul rilevamento di anomalie, sull'intelligenza artificiale interpretabile o sui framework per l'Industria 5.0.

Protocollo

La metodologia proposta utilizza un approccio basato su sistema Industry 5.0 Cyber-physical human system (CPHS) che combina un apprendimento profondo interpretabile con un framework di collaborazione cyber-fisica abilitato dal calcolo edge per supportare processi produttivi sostenibili. In primo luogo, il problema viene affrontato riconoscendo alcune limitazioni delle attuali soluzioni CPHS, come la mancanza di intelligenza basata sull'IA, interpretabilità e collaborazione centrata sull'uomo. Per affrontare queste sfide, la soluzione proposta sfrutta il dataset MIMII per il monitoraggio dello stato delle macchine industriali mediante elaborazione di segnali acustici.

Il framework proposto inizia inviando gli spettrogrammi generati a un modello CNN che estrae caratteristiche spaziali riconoscendo i pattern di frequenza significativi associati a diverse condizioni della macchina. Le caratteristiche spaziali estratte verranno convertite in sequenze e fornite a un modulo codificatore transformer per catturare le dipendenze temporali tramite l'auto-attenzione. La rappresentazione delle caratteristiche trasformata viene successivamente trasmessa a un modulo classificatore completamente connesso per classificare gli stati della macchina come normali o anomali. Inoltre, per garantire trasparenza e facilitare decisioni centrate sull'essere umano, viene impiegato l'approccio esplicativo SHAP per spiegare le previsioni selezionando le regioni tempo-frequenza significative nell'output del modello. Il modello progettato sarà implementato in un contesto CPS abilitato all'edge, consentendo inferenze in tempo reale con bassa latenza computazionale ed elevata efficienza energetica. In aggiunta, verrà integrato uno schema con interazione umana per consentire agli operatori di convalidare i risultati utilizzando le informazioni esplicative. Le prestazioni vengono validate mediante accuratezza, precisione, richiamo e punteggio F1, oltre ad altre metriche a livello di sistema come latenza ed efficienza energetica.

Il framework proposto è un meccanismo CPHS guidato da XAI per la produzione sostenibile nel contesto dell'Industria 5.0, e il suo flusso di lavoro è presentato come una pipeline che va dall'acquisizione dei dati alla decisione intelligente e all'esecuzione, come mostrato in Figura 1. Nella fase iniziale della procedura di acquisizione dei dati, segnali acustici vengono raccolti da macchinari industriali come motori, pompe e cuscinetti, utilizzando dataset tra cui MIMII. I segnali dati così ottenuti vengono inviati alla fase successiva, denominata preelaborazione dei dati, in cui subiscono filtraggio, normalizzazione e segmentazione. I segnali dati segmentati vengono infine convertiti in uno spettrogramma mediante la trasformata di Fourier a tempo breve (STFT) nel livello di rappresentazione delle caratteristiche.

Successivamente, il livello del modello di intelligenza artificiale utilizza le immagini spettrogramma per estrarre caratteristiche tramite il modulo CNN, identificando modelli spaziali e anomalie. Le caratteristiche estratte vengono quindi riorganizzate e inserite nell'encoder transformer, che apprende le dipendenze temporali e le relazioni a lungo raggio attraverso meccanismi di auto-attenzione. I vettori di caratteristiche risultanti vengono classificati come normali o anomali mediante il livello di classificazione. Per garantire trasparenza nel processo di previsione, il livello di spiegabilità utilizza SHAP per evidenziare le regioni tempo-frequenza significative nello spettrogramma.

Inoltre, è presente un processo con interazione umana in cui gli operatori interpretano e forniscono un feedback sui risultati del modello. Nel livello di distribuzione, il modello viene eseguito su un'infrastruttura CPHS basata su edge, garantendo un'inferenza rapida e un basso consumo energetico, mentre opzionalmente interagisce con sistemi cloud per esigenze di archiviazione o analisi avanzate. Nel complesso, il framework assicura un rilevamento preciso dei guasti, spiegabilità e un'operazione efficiente in tempo reale, in linea con i requisiti dell'Industria 5.0.

Definizione del problema e analisi dei requisiti

I sistemi cibernetico-fisici umani (CPHS) in contesti Industry 5.0 promettono intelligenza, sostenibilità e centralità dell'essere umano. Tuttavia, le attuali architetture per la realizzazione di CPHS sono ostacolate da una mancanza di capacità avanzate abilitate dall'IA, da una ridotta spiegabilità e da un supporto inadeguato alla collaborazione uomo-macchina. In effetti, i CPHS convenzionali si basano su modelli basati su regole o non interpretabili, che ostacolano l'adattamento a condizioni industriali in evoluzione e limitano la fiducia degli operatori nell'automazione. Inoltre, i CPHS convenzionali non riescono ad analizzare efficacemente dati altamente complessi, come i segnali acustici industriali contenenti componenti sia spaziali (ovvero, frequenza) sia dipendenti dal tempo, che sono importanti per la manutenzione predittiva. È quindi necessario creare un'architettura in grado di rilevare anomalie nelle macchine con elevata precisione, fornire spiegazioni e operare al bordo della rete (edge), abilitando così i sistemi cibernetico-fisici (CPS).

Qui x(t) è il segnale acustico in ingresso, S(f,t) è la rappresentazione spettrogramma del segnale,  è l'etichetta e θ è l'insieme dei parametri dell'architettura CNN-Transformer. I simboli utilizzati nelle equazioni successive vengono introdotti subito dopo la loro prima comparsa al fine di preservare la correttezza matematica.

Da un punto di vista matematico, il compito può essere formalizzato come un problema di apprendimento supervisionato. Sia il segnale acustico industriale indicato con x(t). La STFT di x(t) viene calcolata secondo la formula:

   (1)

dove ω(.) è la funzione finestra e f è la frequenza. Il sonogramma generato  funge da input per l'algoritmo di apprendimento profondo. L'obiettivo è addestrare la funzione di mappatura

    (2)

dove  è l'etichetta della classe (normale o anomala), e dove S è l'ingresso dello spettrogramma, y è l'etichetta predetta in uscita e θ è l'insieme dei parametri apprendibili dell'architettura CNN-Transformer. Il problema di ottimizzazione è formulato come la minimizzazione della perdita di classificazione:

  (3)

soggetto ai vincoli di latenza minima , efficienza energetica e interpretabilità, in cui l'explicazione ∅(SHAP) cattura l'importanza delle caratteristiche nel processo di previsione,

   (4)

dove  è il contributo di ciascuna singola caratteristica. In linea con quanto sopra, i requisiti di progettazione includono i seguenti: (i) rilevamento affidabile delle anomalie basato su apprendimento profondo ibrido, (ii) output interpretabili per l'intervento umano e (iii) implementazione in un framework CPS potenziato per dispositivi periferici.

Acquisizione e preelaborazione del set di dati

A questo riguardo, per valutare il framework CPHS basato sull'Intelligenza Artificiale Spiegabile proposto, è stato selezionato il MIMII Dataset¹³. Questo dataset è un termine di paragone ampiamente utilizzato per rilevare anomalie nelle macchine industriali mediante segnali acustici. Questa base di dati contiene registrazioni sonore di diverse macchine, come guide scorrevoli, ventilatori, pompe e valvole, in condizioni di funzionamento sia normali che difettose. Per ogni macchina, le registrazioni variano in base a diverse configurazioni e ambienti rumorosi. Ciò lo rende adatto per l'addestramento e la valutazione di modelli in condizioni industriali in tempo reale.

Mentre il dataset MIMII è ampiamente utilizzato negli studi di rilevamento di anomalie non supervisionato che si basano esclusivamente su campioni normali durante l'addestramento, esso include annotazioni esplicite sia di stati normali che anomali della macchina. Il problema è formulato come un'attività di classificazione binaria supervisionata per verificare la capacità dell'architettura proposta basata su CNN-Transformer con intelligenza artificiale interpretabile di distinguere tra stati sani e difettosi della macchina. In particolare, vengono utilizzate le etichette ufficiali MIMII, assegnando l'etichetta di classe 0 ai campioni normali e l'etichetta di classe 1 ai campioni anomali.

Tabella 1 mostra i dettagli descrittivi del dataset. Nella presente ricerca sono stati considerati circa 12.000 registrazioni di segnali acustici, comprendenti sia il funzionamento normale che difettoso delle macchine. Come richiesto, tutte le registrazioni di questo studio sono state acquisite a 16 kHz e hanno una durata di 10 s. Sebbene il dataset contenga circa 12.000 registrazioni, per visualizzare la matrice di confusione è stato selezionato un sottoinsieme bilanciato di 2.000 registrazioni di test. Tutte le metriche di prestazione riportate sono state calcolate utilizzando l'intero insieme di test (circa 2.400 registrazioni). Inoltre, i campioni di addestramento e di test sono stati separati in un rapporto 80:20 per l'addestramento del modello. Questo database è particolarmente adatto per applicazioni nell'Industria 5.0 poiché include condizioni di rumore in tempo reale. La distribuzione delle registrazioni utilizzata in questo studio è riportata in Tabella 2. Da questo dataset sono state selezionate circa 12.000 registrazioni, che coprono tutti i tipi di macchine e le condizioni di rapporto segnale-rumore (SNR), per esperimenti di classificazione binaria supervisionata, utilizzando una suddivisione 80:20 tra dati di addestramento e test; tale tabella mostra i tipi di macchine industriali, gli ID delle macchine corrispondenti, il numero totale di registrazioni acustiche normali e anomale, le condizioni di SNR e la suddivisione sperimentale addestramento/test impiegata per la classificazione binaria supervisionata.

L'esperimento è stato condotto utilizzando il dataset MIMII (Malfunctioning Industrial Machine Investigation and Inspection) versione 1.0, che comprende quattro tipi di macchine industriali: ventilatori, pompe, valvole e guide scorrevoli. I dati sono stati raccolti da diversi identificativi di macchina (ID00–ID06, a seconda del tipo di macchina) e in diverse condizioni. Il database MIMII comprende dati acquisiti a rapporti segnale-rumore (SNR) di −6 dB, 0 dB e +6 dB. I dati normali corrispondono allo stato sano della macchina industriale, mentre i dati anomali corrispondono a una condizione anomala. Le classi sono state etichettate in base all'annotazione del database, con i dati normali etichettati come classe 0 e i dati anomali etichettati come classe 1.

Una procedura di valutazione equa richiedeva che la suddivisione tra set di addestramento e set di test avvenisse a livello delle registrazioni audio originali, prima di qualsiasi suddivisione, aumento o creazione di spettrogrammi. Di conseguenza, segmenti audio provenienti dalla stessa registrazione non potevano comparire sia nel set di addestramento che in quello di test. Per l'esperimento di valutazione, sono state utilizzate registrazioni con diversi rapporti segnale-rumore (−6 dB, 0 dB e +6 dB), il che ha permesso di valutare il framework proposto in varie condizioni industriali.

Per evitare perdite di dati, la suddivisione in set di addestramento e di test è stata effettuata utilizzando il file audio originale come base, prima di qualsiasi segmentazione o generazione di spettrogrammi. I segmenti provenienti dalla stessa registrazione audio di 10 s sono stati assegnati esclusivamente o al set di addestramento o a quello di test, senza che alcun segmento fosse presente in entrambi i set. Successivamente, gli spettrogrammi sono stati generati e aumentati separatamente per ciascun dataset. In questo modo, si evita il problema della perdita di dati, prevenendo così una valutazione troppo ottimistica delle prestazioni.

Preelaborazione del set di dati

I segnali acustici non elaborati del dataset MIMII vengono quindi processati per migliorare la qualità del segnale e consentire un'efficace estrazione delle caratteristiche. Il segnale in ingresso è indicato con x(t), dove t rappresenta il tempo. Il primo processo è il filtraggio del rumore, mediante il quale i rumori di fondo vengono filtrati attraverso una funzione di filtraggio tale che:

   (5)

dove ∗ rappresenta il processo di convoluzione e h(t) è la risposta all'impulso del filtro. Questo processo migliora la chiarezza del segnale acustico e riduce al minimo gli effetti del rumore, spesso prevalente negli ambienti industriali. La normalizzazione del segnale viene utilizzata per garantire che le ampiezze di tutti i segnali audio siano confrontabili prima di essere inserite nel modello di apprendimento profondo. Il segnale normalizzato, indicato come x_n(t), viene calcolato come:

   (6)

dove  μ e  σ sono rispettivamente il valore medio e la deviazione standard del segnale in ingresso. Tutti i segnali in ingresso sono garantiti avere media nulla e varianza unitaria grazie a questa procedura. Infine, ai fini dell'elaborazione, il segnale in ingresso normalizzato viene suddiviso in più frammenti molto piccoli. Considerando che la lunghezza dell'intero segnale è T, esso viene suddiviso in N frame sovrapposti, ciascuno di lunghezza L, mediante una funzione finestra scorrevole:

   (7)

dove H è la dimensione del passo. Il spettrogramma può essere definito dalla formula seguente:

   (8)

Gli spettrogrammi ottenuti in questo modo vengono inseriti nel framework basato su CNN e trasformatore per estrarre caratteristiche spaziali e temporali finalizzate a un efficace rilevamento delle anomalie. Figura 2 mostra la pipeline di preelaborazione.

Figura 2 illustra una pipeline di preelaborazione verticale che può essere utilizzata per dati acustici acquisiti nell'industria. In primo luogo, i segnali audio grezzi vengono estratti dal dataset MIMII e inviati alla fase di rimozione del rumore per ridurre il rumore. Successivamente, il segnale viene normalizzato per eliminare le incongruenze di ampiezza, garantendo una coerenza del segnale. Il segnale viene poi suddiviso in sezioni più piccole e sovrapposte. Dopo la segmentazione, verranno applicate trasformate STFT ai dati per convertire i segnali nel dominio del tempo in segnali nel dominio tempo-frequenza. Quindi, lo spettro di potenza viene calcolato come parte della generazione del sonogramma del segnale. I sonogrammi preelaborati saranno pertanto l'output generato nel processo e verranno utilizzati nel modello proposto basato su CNN-transformer.

Generazione del spettrogramma

Dopo la normalizzazione e la segmentazione dei dati, i segnali acustici vengono convertiti in una rappresentazione tempo-frequenza mediante la trasformata di Fourier a breve termine (STFT). Il relativo spettrogramma fornisce una rappresentazione grafica delle variazioni nella composizione in frequenza nel periodo di analisi. In ambito industriale, i guasti delle macchine si manifestano solitamente come schemi di frequenza, rendendo gli spettrogrammi più utili per rilevare anomalie nei macchinari.

I dati elaborati risultanti vengono quindi convertiti in immagini di spettrogrammi per distinguere tra istanze normali e anomale all'interno delle macchine. I dati audio verranno convertiti in numerosi spettrogrammi per consentire al modello di apprendimento di analizzare le componenti frequenziali locali e le variazioni temporali nel processo della macchina. Queste immagini vengono utilizzate come dati di ingresso per il modello CNN-transformer, in cui la CNN gestisce i modelli spaziali (frequenziali) mentre i Transformer gestiscono le relazioni temporali.

Algoritmo 1: Generazione di spettrogrammi da segnali acustici

Input: segnale audio grezzo x(t)

Output: Spettrogramma S(t, f)

Passaggio 1: Caricare il segnale audio  x(t)

Passaggio 2: Applicare il filtraggio del rumore

Passaggio 3: Normalizzare il segnale x_n(t)

Passaggio 4: Suddividere il segnale in frame:

per k = 1 a N eseguire

fine per

Passaggio 5: Applicare una finestra temporale w(t) a ciascun segmento

Passaggio 6: Calcola la STFT:

  (9)

Passaggio 7: Calcolare l'ampiezza:

   (10)

Passaggio 8: Archiviare lo spettrogramma S(t, f)

Passaggio 9: Restituire il set di dati del spettrogramma 

Il processo di generazione dei spettrogrammi inizia con l'acquisizione del segnale audio originale, seguito da passaggi di pre-elaborazione come la riduzione del rumore e la normalizzazione del segnale per garantire l'integrità e la qualità del segnale. Successivamente, l'audio normalizzato viene suddiviso in diverse finestre sovrapposte per catturare le caratteristiche temporali sia di periodi brevi che lunghi. Per evitare il leakage spettrale, ciascuna delle suddivisioni viene moltiplicata per una funzione finestra prima di essere elaborata tramite la Trasformata di Fourier a Tempo Ridotto. In seguito, il segnale trasformato è rappresentato come una funzione a valori complessi nel dominio della frequenza, e i suoi moduli vengono elevati al quadrato. In questo modo, l'energia delle frequenze nel periodo temporale considerato è rappresentata dai spettrogrammi. Infine, questi vengono memorizzati come dati simili a immagini ed elaborati dalla rete neurale per l'addestramento.

Estrazione di caratteristiche spaziali mediante CNN

Dopo il processo di creazione dei sonogrammi, le immagini tempo-frequenza risultanti vengono utilizzate come ingressi e fornite a una rete neurale convoluzionale (CNN). Supponendo che il sonogramma in ingresso sia , dove H rappresenta il dominio della frequenza e W il dominio del tempo. L'obiettivo dell'uso della CNN in questo contesto è apprendere caratteristiche spaziali discriminanti dal sonogramma in ingresso. Queste caratteristiche spaziali discriminanti permetteranno di distinguere tra un comportamento normale e anomalo della macchina in un ambiente industriale.

Un'operazione fondamentale eseguita dalla rete neurale convoluzionale (CNN) è la convoluzione. La convoluzione con un filtro dato  è definita come:

   (11)

L'operazione descritta sopra consente alla rete neurale di identificare caratteristiche spaziali locali, come bordi, frequenze e contenuto armonico, nello spettrogramma. Questo avviene attraverso numerose operazioni di filtraggio che generano diverse rappresentazioni delle caratteristiche, producendo diverse mappe di caratteristiche. Alla convoluzione segue una funzione di attivazione non lineare, come mostrato di seguito:

  (12)

Questa non linearità consente alla rete di catturare e rappresentare relazioni complesse tra le variabili. La fase successiva in una rete neurale convoluzionale prevede l'applicazione di operazioni di pooling. La tecnica comune del max pooling è espressa matematicamente come segue:

   (13)

dove Ω indica la finestra di pooling. Il pooling contribuisce a ottenere l'invarianza rispetto alla traslazione e a mantenere solo le informazioni rilevanti, eliminando le ridondanze. A partire da variabili di basso livello, come le frequenze, fino a comportamenti complessi della macchina, caratteristiche di livello superiore possono essere estratte in modo gerarchico mediante una rete neurale convoluzionale. Di conseguenza, le mappe delle caratteristiche possono essere utilizzate per rappresentare l'output finale della rete:

   (14)

dove rappresenta i parametri apprendibili della CNN. Le mappe delle caratteristiche contengono informazioni spaziali ricche e vengono trasformate in sequenze per fungere da input per l'encoder transformer nella fase successiva. Il processo di estrazione delle caratteristiche spaziali sopra descritto è fondamentale per consentire al modello di rilevare anomalie minime nei segnali acustici industriali.

Figura 3 illustra come le caratteristiche spaziali vengano estratte orizzontalmente dall'ingresso del sonogramma utilizzando un modello CNN. Il processo inizia con il sonogramma in ingresso, che codifica le proprietà tempo-frequenza del segnale audio in forma pittorica. Il sonogramma in ingresso viene quindi elaborato attraverso un livello convoluzionale, nel quale diversi tipi di filtri estraggono caratteristiche spaziali come bande di frequenza, bordi e texture, producendo così delle mappe delle caratteristiche. Successivamente, le mappe delle caratteristiche estratte vengono sottoposte a una funzione di attivazione non lineare, detta unità lineare rettificata (ReLU), che permette alla rete neurale di rilevare dipendenze nei dati in ingresso. Le mappe delle caratteristiche vengono quindi trasmesse a un livello di pooling, nel quale le dimensioni della mappa vengono ridotte mantenendone le caratteristiche più importanti. Questo processo di livelli convoluzionali, di attivazione e di pooling si ripete più volte, creando una gerarchia di rappresentazione delle caratteristiche che inizia con caratteristiche semplici ed evolve verso caratteristiche più sofisticate relative alle operazioni della macchina.

Modellizzazione temporale mediante l'uso di un codificatore transformer

Una volta estratte le caratteristiche spaziali mediante la CNN, il passo successivo consiste nel ricavare mappe di caratteristiche ad alto livello che catturino i modelli basati sulla frequenza appresi dallo spettrogramma. Le mappe di caratteristiche risultanti vengono quindi appiattite e riorganizzate in sequenze per catturare l'informazione temporale nel segnale acustico. Assumendo che le mappe di caratteristiche siano rappresentate da , dove H', W', e C indicano rispettivamente altezza, larghezza e canali, si ottiene la seguente sequenza:

    (15)

dove T rappresenta la lunghezza della sequenza e d è la dimensione della caratteristica. Il Transformer utilizza quindi la sequenza sopra descritta per modellare dipendenze a lungo termine mediante un meccanismo di auto-attenzione. A differenza dei modelli ricorrenti convenzionali, il modello Transformer elabora ogni elemento della sequenza in parallelo e utilizza pesi di attenzione per determinare la rilevanza relativa di ciascun elemento. Il funzionamento del meccanismo di attenzione si basa sull'uso di vettori Query Q, Key K e Value V generati per ogni ingresso x_t secondo la seguente relazione:

   (16)

dove W_Q, W_K, W_V sono pesi addestrabili. Le somiglianze tra gli elementi sono determinate mediante:

   (17)

d_k è la dimensione importante dei vettori. Questa procedura facilita l'apprendimento da parte del modello delle dipendenze provenienti da passi temporali distanti nel segnale e permette di concentrarsi solo sui segmenti temporali pertinenti. Per aumentare la capacità di apprendimento della rete, si utilizza l'attenzione multi-testa, che indica il processo mediante il quale più testine di attenzione apprendono in parallelo dall'ingresso:

  (18)

Ogni testa presta attenzione a caratteristiche distinte della sequenza temporale in ingresso. A ciò seguono reti neurali feed-forward e connessioni residue:

   (19)

La sequenza codificata risultante cattura sia le caratteristiche spaziali che temporali dell'input. Questa sequenza viene inviata al livello classificatore per rilevare anomalie.

Figura 4 mostra il processo complessivo di modellazione temporale mediante un encoder basato su trasformatori applicato a caratteristiche estratte da una CNN. In primo luogo, vengono utilizzate le mappe di caratteristiche estratte dalla CNN, che contengono informazioni spaziali dallo spettrogramma. Le mappe di caratteristiche vengono appiattite in una sequenza, in cui ogni elemento corrisponde a un istante temporale. Successivamente, la sequenza passa attraverso una trasformazione lineare che mappa i dati in vettori di una dimensione specifica. Poiché i modelli basati su trasformatori non sono in grado di catturare autonomamente le dipendenze temporali, viene aggiunta anche una codifica posizionale ai vettori incorporati (embedding) per preservare la struttura temporale della sequenza. Infine, la sequenza attraversa un encoder basato su trasformatori, costituito da un insieme di strati sovrapposti, all'interno dei quali viene impiegato un meccanismo di auto-attenzione multi-testa che consente al modello di apprendere le relazioni tra gli istanti temporali nella sequenza. Una rete neurale feed-forward migliora ulteriormente questi embedding, mentre i collegamenti residui garantiscono una propagazione efficiente dei gradienti. Il processo viene ripetuto attraverso gli strati sovrapposti dell'encoder basato su trasformatori, che catturano interazioni temporali via via più complesse. Alla fine, gli embedding della sequenza vengono combinati in una rappresentazione di lunghezza fissa mediante un'operazione di pooling (ad esempio, average pooling o il token di classificazione (CLS)), ottenendo così una rappresentazione globale delle caratteristiche temporali.

Livello di classificazione

Dopo la codifica temporale effettuata dal codificatore transformer, gli output saranno una sequenza di vettori codificati, ciascuno con caratteristiche relative sia agli aspetti spaziali che temporali del segnale in ingresso. Il primo passo verso la classificazione a partire dagli output codificati consiste nell'aggregare tutte queste caratteristiche in un singolo vettore. Questo risultato si ottiene applicando un'operazione di media (mean pooling) sulla sequenza dei vettori di caratteristiche oppure utilizzando il cosiddetto «token di classificazione». Supponiamo che l'output del Transformer sia , dove ciascun . La caratteristica aggregata h viene calcolata come:

   (20)

Successivamente, il vettore caratteristico aggregato h rappresenta l'ingresso in forma compatta e funge da input per il classificatore. La parte di classificazione comprende uno o più strati densi, che trasformano la rappresentazione appresa nello spazio di uscita. Uno strato denso implementa una trasformazione definita come segue:

   (21)

dove o è l'output (logits), b è il vettore di bias e W è la matrice dei pesi. Questi ultimi rappresentano i punteggi delle classi in forma non normalizzata. Per introdurre non linearità nel modello, si utilizzano spesso funzioni di attivazione come ReLU. Infine, viene applicata una funzione di attivazione softmax ai logits per ottenere una probabilità per ciascuna classe:

   (22)

dove C rappresenta il numero di classi (C = 2; normale e anomalo). La previsione della classe sarà basata sul valore di probabilità massimo. Durante l'addestramento, i valori ottimali dei parametri del modello vengono ottenuti minimizzando la perdita di entropia incrociata tra le etichette effettive e quelle previste, consentendo così una classificazione accurata degli stati della macchina. In sintesi, il livello di classificazione svolge una funzione essenziale nel trasformare le caratteristiche temporali estratte mediante l'architettura Transformer in decisioni pratiche. Attraverso una corretta discriminazione tra stati sani e difettosi della macchina, la rilevazione delle anomalie e il processo decisionale intelligente diventano possibili nel paradigma Industry 5.0.

Figura 5 mostra il funzionamento del livello di classificazione, che segue l'Encoder Transformer. Il processo inizia con l'output della sequenza codificata, in cui ogni vettore contiene informazioni temporali apprese dall'input. Questi vettori vengono combinati in un singolo vettore, noto come vettore delle caratteristiche globali. Il passo successivo consiste nel far passare il vettore delle caratteristiche globali attraverso diversi strati di reti neurali dense. In ogni strato denso vengono eseguite operazioni di moltiplicazione matriciale per creare combinazioni lineari degli input. Successivamente, può essere applicata una funzione di attivazione non lineare, come ReLU, per aumentare la flessibilità nell'apprendimento dei confini decisionali. Alla fine dell'ultimo strato denso, sono presenti punteggi logit per ogni classe. Questi punteggi logit possono essere utilizzati nella funzione Softmax per calcolare i punteggi di probabilità per ciascuna classe. Tali punteggi di probabilità vengono impiegati per determinare se l'input appartiene alla Classe 0 (Normale) o alla Classe 1 (Anomalo).

Spiegabilità mediante SHAP

Dopo che il modello classifica i segnali in ingresso, vengono generate previsioni in base al funzionamento normale o anomalo della macchina. Tuttavia, nell'ambiente Industry 5.0, produrre semplicemente previsioni non è sufficiente; il sistema deve inoltre garantire trasparenza e interpretabilità per supportare il processo decisionale umano. Il framework seguente utilizza SHAP, un modello basato sulla teoria dei giochi che quantifica l'importanza di ciascuna caratteristica nel determinare la previsione. In questo modo, SHAP assegna pesi alle caratteristiche, consentendo di valutare l'importanza relativa delle diverse sezioni del segnale spettrale in ingresso rispetto alla previsione complessiva.

La formulazione matematica di SHAP si basa su una decomposizione del modello f(x):

   (23)

dove ∅₀ è il valore di base (output medio del modello), ∅_i è l'effetto della i-esima caratteristica e M è il numero di caratteristiche in ingresso. Ai fini di questo studio, le caratteristiche sono i bin temporali e frequenziali dello spettrogramma. I valori SHAP sono positivi se contribuiscono alla probabilità dello stato anomalo e negativi in caso contrario. Questa formulazione garantisce una spiegazione univoca e localmente coerente per ogni previsione. Il metodo SHAP può essere applicato a un modello CNN-transformer addestrato per fornire una spiegazione basata sull'importanza delle caratteristiche. La rappresentazione visiva mostrerà i bin temporali e frequenziali più importanti nello spettrogramma che influenzano il processo decisionale. Ad esempio, un comportamento anomalo dell'equipaggiamento può generare determinate bande di frequenza ad alta energia che il framework SHAP identifica come contributi significativi al processo decisionale.

Inoltre, SHAP può favorire la collaborazione tra persone e macchine in un contesto cibernetico-fisico. Ciò avviene perché le previsioni possono essere spiegate mediante visualizzazioni intuitive, consentendo agli operatori e ai sistemi decisionali di verificarle, analizzare il problema e intraprendere le azioni opportune. Questo non aumenta soltanto la fiducia, ma rende anche i processi produttivi basati sull'intelligenza artificiale affidabili e responsabili. Integrando algoritmi di apprendimento profondo che soddisfano gli attuali standard prestazionali con SHAP, che fornisce spiegabilità, l'architettura proposta soddisfa i requisiti dell'Industria 5.0.

Algoritmo 2: Spiegabilità basata su SHAP per la previsione del modello

Input: modello addestrato f(x), spettrogramma in ingresso S

Output: valori SHAP  e mappa esplicativa

Passaggio 1: Inserire lo spettrogramma S in un modello addestrato

Passaggio 2: Calcola la previsione: y = f(S)

Passaggio 3: Inizializzare un'analisi SHAP orientata al deep learning

Passaggio 4: Calcolare i valori SHAP:

Passaggio 5: Per ogni caratteristica i in S:

Calcola il contributo 

Passaggio 6: Generare la mappa esplicativa:

Evidenziare le regioni con alta 

Passaggio 7: Visualizzare l'importanza delle caratteristiche (mappa termica)

Passaggio 8: Restituire i valori SHAP e la mappa esplicativa

L'algoritmo di spiegabilità basato su SHAP inizia ottenendo un'immagine di spettrogramma preelaborata come input e la immette nell'architettura CNN-transformer addestrata per effettuare previsioni (ad esempio, condizione normale o anomala della macchina). Dopo aver effettuato le previsioni utilizzando l'architettura addestrata, il metodo SHAP viene utilizzato per interpretare il modello. In particolare, i valori SHAP (ϕ) vengono calcolati per ogni caratteristica in ingresso al fine di determinare quali componenti tempo-frequenza dell'input contribuiscono maggiormente alla previsione. Per calcolare questi valori, è necessario confrontare le uscite del modello per input con e senza determinate caratteristiche.

Dopo aver calcolato i valori SHAP per ogni caratteristica, la sua influenza sulla previsione può essere valutata in base al segno e all'entità del valore SHAP. Ad esempio, le caratteristiche con valori SHAP più elevati hanno maggiori probabilità di influenzare il risultato, e un segno positivo o negativo indica rispettivamente che la caratteristica spinge la previsione verso la classe normale o anomala. Sulla base dei risultati, può essere creato un mappa esplicativa sotto forma di mappa termica.

Infine, l'algoritmo produce sia i valori SHAP sia le visualizzazioni, fornendo informazioni su come gli esseri umani possono analizzare la decisione del modello. La tecnica rende il processo più trasparente e consente agli esseri umani di partecipare al processo decisionale, assicurando così che nell'industria basata sull'intelligenza artificiale si raggiungano sia le previsioni dell'algoritmo sia la sua affidabilità. Sono stati selezionati campioni rappresentativi dai casi anomali diagnosticati correttamente in vari tipi di macchine, al fine di migliorare l'affidabilità dell'analisi dell'interpretabilità. Mentre l'analisi globale dell'importanza delle caratteristiche tramite SHAP è stata eseguita aggregando i valori SHAP su tutto il set di dati di test per identificare le posizioni nel dominio tempo-frequenza costantemente influenti, sono state generate spiegazioni SHAP locali per questi casi rappresentativi. Senza richiedere annotazioni da esperti, questa analisi integrata locale e globale offre un'interpretazione affidabile delle previsioni del modello.

Integrazione CPS abilitata al bordo

Questa soluzione proposta viene utilizzata all'interno di sistemi ciber-fisici abilitati al bordo (edge-enabled CPS), che mirano a raggiungere efficienza, sostenibilità e operazioni industriali in tempo reale. Una volta che il modello è stato addestrato, la rete CNN-transformer verrà distribuita mediante un approccio di edge computing. Il livello di edge computing in questione si trova vicino ai dispositivi dell'Internet industriale delle cose (IIoT), inclusi sensori e macchinari. Invece di trasmettere tutti i dati raccolti al cloud, il dispositivo edge esegue l'inferenza sul segnale acustico in arrivo senza trasferirlo preventivamente. Pertanto, il sistema può rilevare anomalie nei macchinari quasi istantaneamente e intraprendere le azioni necessarie prima che la situazione peggiori ulteriormente. Un altro vantaggio di questo approccio abilitato al bordo è una minore latenza e una maggiore efficienza, poiché i dati vengono analizzati vicino al punto in cui vengono generati. In altre parole, a differenza dell'approccio basato su cloud, dove il tempo di inferenza T_inf

   (24)

La latenza, in generale, sarà notevolmente ridotta grazie a una diminuzione di T_{communication}. Un altro vantaggio è la riduzione del consumo di larghezza di banda e dell'energia spesa durante la trasmissione continua dei dati. Questo sistema è quindi scalabile e sostenibile per impianti industriali di grandi dimensioni con numerosi dispositivi connessi. Inoltre, il CPS consente l'interazione con il livello fisico (macchine), l'IA (livello computazionale) e il livello umano.

Collaborazione con la partecipazione umana

Un componente fondamentale del CPS proposto per l'Industria 5.0, che prevede operatori umani attivamente coinvolti nel processo decisionale insieme a modelli di intelligenza artificiale, è la collaborazione con l'essere umano nel ciclo. In particolare, secondo il framework progettato, il sistema non diventa una scatola nera autonoma, ma consente agli operatori di interagire con esso e di osservare risultati predittivi spiegabili sotto forma di spiegazioni SHAP. Le predizioni in questione si riferiscono agli esiti (normale/anomalo), accompagnati da visualizzazioni di parti degli spettrogrammi utilizzati per effettuarle.

Un'interazione di questo tipo aiuta gli operatori a comprendere meglio come viene formulata la previsione e quali fattori contribuiscono a essa. La partecipazione umana implica la verifica dei risultati del sistema e consente agli operatori di annullarli quando necessario, in base al loro giudizio professionale. La collaborazione con gli operatori umani rende il sistema più affidabile, efficiente, sicuro e robusto, contribuendo a prevenire errori.

Risultati

Il sistema di collaborazione cibernetico-fisico integrato con intelligenza artificiale interpretabile presentato è stato testato sperimentalmente su circa 12.000 registrazioni audio del MIMII Dataset, che contiene sia condizioni normali che anomale delle macchine. Il dataset di addestramento era composto da circa 9.600 record di dati, mentre il dataset di test includeva circa 2.400 campioni audio. Sulla base dei risultati, il modello proposto basato su CNN e trasformatore ha raggiunto un'accuratezza di classificazione del 98,5% sul dataset di test, con un valore compreso tra 0,97 e 0,98. Tale risultato è correlato ai dati riportati nella Tabella 3, alla matrice di confusione e all'analisi della stabilità statistica. L'integrazione dell'encoder trasformatore potenzia le capacità del modello di modellare le dipendenze temporali, mentre la CNN estrae caratteristiche spaziali discriminative dallo spettrogramma in ingresso.

Oltre alle prestazioni di classificazione, sono state valutate altre caratteristiche relative al sistema. In primo luogo, la latenza di inferenza per un'implementazione basata su edge non ha superato i 20 ms, consentendo una rilevazione in tempo reale delle anomalie. In secondo luogo, il sistema presentato ha contribuito a migliorare l'efficienza energetica riducendo i requisiti di comunicazione. Infine, il framework proposto di Intelligenza Artificiale Spiegabile fornisce interpretabilità SHAP, rendendo il modello più facile da analizzare dal punto di vista di un esperto del dominio. I dati MIMII sono stati convertiti in spettrogrammi mediante la Trasformata di Fourier a Tempo Breve (STFT), utilizzando una dimensione della finestra di 1024, una dimensione del passo di 512 e una dimensione della Trasformata di Fourier Veloce (FFT) di 1024. Gli spettrogrammi log Mel risultanti sono stati ridimensionati a 224 × 224 pixel e successivamente normalizzati con z-score. Sono stati utilizzati metodi di aumento dei dati, tra cui mascheratura temporale, mascheratura in frequenza e aggiunta di rumore gaussiano, per aumentare la robustezza del modello addestrato. L'architettura della CNN era composta da quattro strati convoluzionali con rispettivamente 32, 64, 128 e 256 filtri, e includeva strati di normalizzazione del batch, ReLU e max pooling. Le mappe delle caratteristiche estratte sono state trasformate in sequenze e utilizzate come ingressi per l'encoder transformer, composto da quattro strati encoder, otto testine di attenzione, un'incorporazione di 256 dimensioni e una dimensione feed-forward di 1024 dimensioni. È stata applicata una probabilità di dropout pari a 0,3 per ridurre al minimo l'overfitting. Per l'addestramento è stato utilizzato l'ottimizzatore Adam con un tasso di apprendimento di 0,0001 e un decadimento del peso di 1 x 10⁻⁵. Il numero di epoche e la dimensione del batch durante l'addestramento erano rispettivamente 100 e 32. Il seme casuale è stato impostato a 42 per garantire la riproducibilità dell'esperimento. Per verificare la validità statistica dei risultati sono stati utilizzati i seguenti metodi: tutti gli esperimenti sono stati eseguiti indipendentemente 10 volte con diversi semi casuali e riordinamenti dei dati. Sono stati calcolati i valori medi e le deviazioni standard di Accuratezza, Precisione, Richiamo (Recall), F1-score, area sotto la curva caratteristica operativa del ricevitore (ROC-AUC) e area sotto la curva precisione-richiamo (PR-AUC). Inoltre, sono stati calcolati gli intervalli di confidenza al 95% per stimare l'incertezza delle prestazioni. Infine, è stato effettuato un test t appaiato per confrontare i risultati del nostro approccio CNN-transformer con quelli del modello baseline con le migliori prestazioni. È stato applicato il metodo di arresto anticipato (early stopping) utilizzando 10 epoche come parametro di tolleranza. Tabella 4 presenta l'ambiente operativo e la configurazione degli iperparametri, mentre Tabella 5 fornisce i dettagli dell'ambiente di simulazione.

L'esperimento di valutazione del presente lavoro è stato condotto utilizzando il dataset MIMII, che comprende diverse condizioni operative delle macchine e scenari acustici di guasto. Sebbene i risultati del framework proposto confermino il modello, è necessaria un'ulteriore validazione su vari dataset industriali e ambienti produttivi.

Il framework proposto è stato implementato su una piattaforma di edge computing dotata di un processore multicore, 16 GB di memoria di sistema e un acceleratore edge abilitato per l'unità di elaborazione grafica (GPU), per supportare l'inferenza in tempo reale e la spiegabilità. Sensori acustici industriali trasmettevano flussi audio al gateway edge attraverso il livello di comunicazione IIoT. I nodi edge venivano utilizzati per eseguire compiti come la creazione di spettrogrammi, l'inferenza di anomalie e la generazione di spiegazioni SHAP, mentre il server cloud era impiegato per archiviare dati a lungo termine e aggiornare il modello. Una tale configurazione riduce non solo la quantità di comunicazione necessaria, ma permette anche un'interazione in tempo reale tra dispositivi di rilevamento, moduli di intelligenza artificiale e operatori umani nei sistemi cyber-fisici.

L'approccio CNN-transformer introdotto in precedenza viene confrontato con diversi metodi esistenti, inclusi modelli convenzionali di apprendimento automatico (ML) come la macchina a vettori di supporto (SVM) e la foresta casuale, modelli CNN senza il trasformatore e metodi basati sulla memoria a lungo breve termine (LSTM). Mentre i modelli ML tradizionali non raggiungono risultati soddisfacenti a causa della mancanza di capacità di elaborare le correlazioni spaziali e temporali nei dati, i modelli CNN possono gestire in modo efficiente le caratteristiche spaziali, mentre i modelli LSTM possono gestire gli aspetti temporali dei segnali acustici. Tuttavia, i primi sono inferiori ai secondi in termini di costo computazionale e capacità di elaborazione parallela.

Per garantire un confronto equo tra il modello proposto CNN-transformer e i modelli di riferimento, il primo è stato addestrato e valutato utilizzando la stessa suddivisione del dataset MIMII (80% per l'addestramento e 20% per i test), gli stessi passaggi di preelaborazione, il processo di creazione degli spettrogrammi e le stesse misure di valutazione. Nel metodo SVM, è stato utilizzato un kernel a funzione base radiale (RBF), con C = 10 e γ = 0,01. Il metodo della foresta casuale includeva 200 alberi, con una profondità massima di 20. Per quanto riguarda la CNN, questa disponeva di quattro strati di convoluzione (32, 64, 128 e 256 filtri), seguiti da strati completamente connessi senza modulo Transformer. Infine, per il metodo LSTM, sono stati utilizzati due strati LSTM sovrapposti con 128 unità nascoste e una percentuale di dropout pari a 0,3.

Al contrario, l'utilizzo del framework CNN-transformer consente i migliori risultati sfruttando in modo efficiente sia le capacità spaziali che temporali dei segnali acustici. Inoltre, l'uso del computing edge permette di ridurre i costi computazionali, migliorare la latenza e risparmiare energia. A ciò si aggiunge che la spiegabilità delle previsioni implementata mediante SHAP può essere considerata un ulteriore vantaggio che distingue il metodo proposto dalle tecniche esistenti.

Nonostante i recenti progressi nello sviluppo di nuovi modelli per il rilevamento di anomalie acustiche, come Vision Transformer (ViT), Audio Spectrogram Transformer (AST), Conformer e modelli basati su apprendimento auto-sorvegliato, nel presente studio non è stata condotta una comparazione sperimentale di queste architetture. In futuro, questi modelli sono programmati come punti di riferimento per la valutazione del framework proposto.

Le metriche, tra cui accuratezza, precisione, richiamo e punteggio F1, vengono utilizzate per valutare le prestazioni del modello proposto. Mentre la precisione misura il rapporto tra veri positivi e il numero totale di veri positivi e falsi positivi, l'accuratezza valuta la correttezza complessiva delle previsioni. Il richiamo fornisce una stima della capacità del modello di prevedere anomalie in un determinato sistema. Questo è fondamentale perché il mancato rilevamento di un difetto potrebbe portare a guasti del sistema. Di seguito è riportato il modo in cui queste metriche vengono calcolate matematicamente:

   (25)

   (26)

   (27)

   (28)

Oltre a questi, vengono considerate ulteriori metriche relative alle prestazioni del sistema, come latenza, utilizzo dell'energia e scalabilità, durante la valutazione delle prestazioni nel mondo reale del modello CPS proposto basato sul computing edge.

Oltre alle tecniche standard di misurazione delle prestazioni, esistono molte altre misure che possono aiutare a valutare la soluzione proposta da una prospettiva più completa, soprattutto considerando la sua applicabilità a studi di caso reali con dati sbilanciati e in streaming. Ad esempio, la capacità dell'algoritmo di distinguere tra i due gruppi in base a diverse soglie viene misurata dall'area sotto la curva caratteristica operativa del ricevitore (ROC-AUC). Data la sua robustezza e separabilità, il valore ROC-AUC dovrebbe essere elevato. Inoltre, la metrica area sotto la curva precisione-richiamo (PR-AUC) è importante per lo studio di caso sul rilevamento di anomalie, poiché le classi anomale sono rare.

Una misura importante da considerare è il coefficiente di correlazione di Matthews (MCC). Questo indice tiene conto di tutti e quattro gli elementi della matrice di confusione e fornisce una valutazione accurata, anche in presenza di squilibrio tra le classi. Questa misura viene calcolata come segue:

   (29)

I valori di MCC variano da -1 a +1, dove +1 indica una previsione perfetta. L'altra metrica applicabile è la Specificità (Tasso di Veri Negativi), che sarebbe utile in un'applicazione industriale per valutare la presenza di eventuali previsioni false positive:

    (30)

Per assicurarsi che non ci fossero incongruenze tra la matrice di confusione e le metriche di prestazione, tutti i criteri di valutazione sono stati calcolati in base al set di dati del test finale. Le notazioni di vero positivo (TP), vero negativo (TN), falso positivo (FP) e falso negativo (FN) sono utilizzate in tutte le equazioni seguenti. Accuratezza, Precisione, Richiamo, Specificità, punteggio F1 e MCC sono stati calcolati in base alle equazioni (25)–(30). Inoltre, ROC-AUC e PR-AUC sono stati calcolati a partire dagli output di probabilità del modello CNN-transformer mediante valutazione indipendente della soglia.

Le metriche chiave da considerare a livello di sistema includono latenza, velocità di elaborazione e costo computazionale. La latenza è il tempo necessario per effettuare una previsione. La velocità di elaborazione indica la quantità di campioni di dati elaborati per secondo. Il costo computazionale, che rappresenta l'efficienza energetica, è importante per garantire l'efficienza computazionale. Inoltre, possono essere prese in considerazione anche metriche di interpretabilità, come la coerenza SHAP e la stabilità dell'importanza delle caratteristiche, durante la valutazione del modello.

È chiaro dai risultati riportati nella Tabella 3 per il dataset MIMII che il modello proposto basato su CNN e Transformer supera tutti gli altri metodi di apprendimento automatico e di apprendimento profondo. Le prestazioni dei modelli SVM e random forest sono accettabili, sebbene limitate, con accuratezze rispettivamente dell'88,6% e del 91,2%. Ciò potrebbe essere spiegato dall'incapacità di questi modelli di estrarre caratteristiche temporali e spaziali complesse dai segnali acustici. Tuttavia, l'LSTM supera SVM e random forest, raggiungendo un'accuratezza del 94,5% grazie alla modellazione dei dati in serie temporale. Nondimeno, l'approccio proposto basato su CNN e Transformer mostra le migliori prestazioni, con un'accuratezza migliorata (98,5%), precisione (98,06%), richiamo (99,02%) e punteggio F1 (98,54%). Pertanto, l'algoritmo proposto è in grado di classificare con precisione le condizioni normali e anomale delle macchine. La specificità migliorata (97,96%) dimostra l'efficacia dell'approccio nel ridurre i falsi positivi, aspetto cruciale per il settore industriale. Va notato che le prestazioni della CNN-Transformer possono essere spiegate dalla combinazione di CNN e Transformer, in cui la prima estrae caratteristiche discriminanti e il secondo cattura le relazioni temporali in sequenze lunghe.

La curva ROC in Figura 6 mostra le prestazioni comparative delle metodologie SVM, foresta casuale, LSTM e della CNN-transformer proposta in relazione alla loro capacità di classificazione riguardo al dataset MIMII. Come mostrato in Figura 6, l'Area Sottesa alla Curva (AUC) più elevata è stata osservata per la CNN-transformer proposta, che ha raggiunto un valore di 0,994. È evidente che il metodo proposto offre prestazioni discriminatorie migliori nella distinzione tra categorie normali e anomale. D'altro canto, l'LSTM produce risultati leggermente inferiori rispetto all'approccio CNN-transformer proposto; pertanto, il suo AUC è circa 0,97. Sia la foresta casuale che l'SVM presentano AUC relativamente basse, rispettivamente di circa 0,958 e 0,913. Ciò è attribuibile all'incapacità di entrambi gli approcci di apprendere modelli acustici complessi dai dati forniti.

Nel rilevamento di anomalie, dove i campioni anomali sono pochi, la curva precisione-richiamo (PR) fornisce un'analisi migliore. Nella curva PR, il modello CNN-transformer raggiunge la Precisione Media (AP) più alta, circa 0,97–0,98, indicando una capacità superiore nel rilevare istanze anomale con meno falsi allarmi, come mostrato in Figura 7. Al contrario, il classificatore LSTM si colloca al secondo posto, con un AP compreso tra 0,92 e 0,94. D'altro canto, i classificatori random forest e SVM si posizionano rispettivamente al terzo e quarto posto, con AP di 0,88 e 0,84. Il classificatore ibrido proposto raggiunge un'accuratezza maggiore a tutti i livelli di richiamo, il che è importante per applicazioni industriali pratiche, poiché richiedono sia alta precisione sia bassi tassi di falsi allarmi.

Il modello CNN-transformer è stato confrontato con modelli esistenti sul set di dati MIMII utilizzando le metriche avanzate di prestazione mostrate nella Tabella 6. Il valore ROC-AUC indica la capacità discriminante del modello tra le due classi a diversi valori di soglia. I classificatori SVM e random forest raggiungono valori di ROC-AUC rispettivamente pari a 0,913 e 0,958, mentre il modello LSTM ottiene un ROC-AUC di 0,970 e la CNN raggiunge 0,98. L'architettura proposta CNN-transformer ottiene il valore più alto di ROC-AUC, pari a 0,994, dimostrando una capacità superiore di discriminazione tra condizioni normali e anomale della macchina. Analogamente, i valori di PR-AUC indicano che il modello proposto è in grado di gestire efficacemente lo sbilanciamento tra le classi, un fattore essenziale nel rilevamento di anomalie. Il modello CNN-transformer proposto ottiene il valore più alto di PR-AUC (Precisione Media) pari a 0,982, seguito dalla CNN (0,950), LSTM (0,912), random forest (0,891) e SVM (0,765), indicando prestazioni superiori in termini di precisione e richiamo per il rilevamento di anomalie acustiche industriali. Inoltre, il coefficiente di correlazione di Matthews (MCC), che misura l'equilibrio delle prestazioni del modello, presenta un valore relativamente alto pari a 0,97 per il modello proposto. Tuttavia, metodi precedenti come SVM (0,73) e random forest (0,78) hanno mostrato un'accuratezza predittiva inferiore.

Per testare la stabilità dell'approccio presentato, lo stesso esperimento è stato condotto 10 volte con diversi seed di inizializzazione e schemi di mescolamento dei dati. I risultati riportati nella Tabella 7 per l'architettura CNN-transformer sono stati i seguenti: accuratezza = 98,50% ± 0,19%, precisione = 98,06% ± 0,23%, richiamo = 99,02% ± 0,22% e punteggio F1 = 98,54% ± 0,24%. La deviazione standard relativamente piccola indica la stabilità del modello. Sono stati calcolati gli intervalli di confidenza al 95% per tutte le misure di valutazione. È stato determinato che l'intervallo di confidenza per la metrica di accuratezza era [98,1%, 98,9%], indicando che il modello presenta prestazioni costantemente elevate. Intervalli di confidenza stretti sono stati inoltre determinati per ROC-AUC, PR-AUC e MCC. Il test t per campioni appaiati che confronta il modello proposto CNN-transformer con il modello baseline con le migliori prestazioni (LSTM) ha prodotto un valore p < 0,05, indicando che il miglioramento delle prestazioni osservato è significativo e non dovuto al caso.

Per verificare la robustezza dell'architettura proposta basata su CNN e trasformatore, gli esperimenti sono stati ripetuti 10 volte con diversi valori iniziali casuali e configurazioni di mescolamento, come mostrato in Figura 8. L'accuratezza media, la precisione, il richiamo e il punteggio F1 ottenuti dal modello sono stati rispettivamente del 98,50% ± 0,19%, 98,06% ± 0,23%, 99,02% ± 0,22% e 98,54% ± 0,24%. Dall'analisi del grafico a scatola, si osservano variazioni minime nelle metriche di prestazione del modello, indicandone la stabilità e la robustezza. Pertanto, l'approccio proposto mostra un'elevata stabilità attraverso numerosi esperimenti, senza variazioni significative, indicando così buone capacità di generalizzazione del modello.

Inoltre, è stato eseguito un test statistico basato sui risultati di più esecuzioni dell'esperimento. Le piccole deviazioni standard in tutte le misure di valutazione indicano una scarsa suscettibilità ai cambiamenti casuali o all'addestramento. Ciò conferma che il modello proposto basato su CNN e trasformatore può fornire prestazioni stabili e coerenti in sistemi di produzione cyber-fisici reali.

La mappa termica SHAP fornisce un'indicazione dell'importanza delle regioni tempo-frequenza nel spettrogramma per prevedere se lo stato della macchina è normale o anomalo. I valori SHAP indicano il contributo di ogni predittore alla previsione finale.

Nella mappa termica dei valori SHAP mostrata nella Figura 9A, i valori SHAP positivi (ad esempio, compresi tra +0,6 e +1,2) indicano un contributo verso l’anormalità, mentre i valori SHAP negativi (cioè, compresi tra −0,3 e −0,8) indicano un contributo verso la categoria normale. Il punteggio SHAP più intenso è stato osservato nella gamma di frequenze intermedie (40–80 intervalli di frequenza) nei fotogrammi temporali 50–100. Queste regioni rappresentano le aree chiave in cui vengono rilevati segnali critici di guasto nelle misurazioni acustiche. Inoltre, la banda a bassa frequenza (meno di 20 intervalli) mostra punteggi SHAP quasi nulli (da −0,1 a +0,1), indicando un impatto trascurabile sul processo decisionale del modello. Ciò indica che il modello ignora il rumore di fondo irrilevante per la previsione dei guasti. La coerenza temporale dei punteggi SHAP elevati all’interno di specifiche bande temporali evidenzia inoltre la capacità del modulo Transformer di catturare dipendenze a lungo raggio nei segnali acustici. In sintesi, la mappa termica SHAP mostra chiaramente che il modello CNN-Transformer si concentra su bande tempo-frequenza specifiche dotate di elevato potere discriminante. Ciò migliora l’interpretabilità del modello e aiuta l’operatore umano a rilevare visivamente i guasti.

È dimostrato che il metodo SHAP viene utilizzato esclusivamente come tecnica di interpretazione e non fa parte del processo di addestramento del modello CNN-transformer. L'accuratezza della classificazione è determinata unicamente dai parametri appresi dai componenti CNN e Transformer. SHAP viene applicato dopo il passaggio di inferenza del modello per interpretare le previsioni, identificando le finestre tempo-frequenza più influenti che orientano le previsioni verso categorie normali o anomale. Pertanto, SHAP migliora la trasparenza e la comprensione da parte dell'essere umano senza influire sull'accuratezza della classificazione. I valori SHAP forniti dal framework proposto consentono una visualizzazione chiara che aiuterà gli operatori di manutenzione a verificare le previsioni del modello confrontando le regioni rilevate con il comportamento effettivo della macchina e con i relativi registri di manutenzione. In questo modo, sarà più semplice per le persone collaborare con le macchine durante le attività di manutenzione predittiva.

Per valutare il livello di spiegabilità, è stata condotta un'analisi globale SHAP sull'importanza delle caratteristiche, come illustrato in Figura 9B. I risultati mostrano che alcune componenti a media frequenza svolgono un ruolo significativo nel rilevamento delle anomalie. Inoltre, uno studio di caso illustrato in Figura 9C dimostra che SHAP identifica correttamente le regioni rilevanti per i guasti nei spettrogrammi anomali delle macchine. Lo studio ha coinvolto un'analisi qualitativa basata su campioni di dati anomali relativi a pompe e valvole del dataset MIMII. Per quanto riguarda le pompe difettose, SHAP ha identificato intervalli di frequenza compresi tra 2–4 kHz associati a cavitazione e usura. Nel caso delle valvole difettose, l'attivazione di SHAP è risultata predominante nelle aree con segnali armonici ripetuti indicativi di perdite. Nei campioni rappresentativi sottoposti a test, le visualizzazioni SHAP hanno identificato in modo affidabile zone tempo-frequenza discriminanti associate a condizioni anomale delle macchine. Evidenziando le regioni spettrali che contribuiscono maggiormente a ciascuna previsione, queste spiegazioni chiariscono il processo decisionale del modello. L'analisi SHAP è proposta come strumento di interpretabilità per comprendere il comportamento del modello, piuttosto che come verifica del guasto convalidata da esperti, poiché una convalida formale da parte di tecnici della manutenzione era al di fuori dell'ambito di questo studio.

La matrice di confusione evidenzia quanto bene il modello proposto basato su CNN e trasformatore esegue la classificazione sul dataset MIMII mostrato in Figura 10. Nel complesso, 960 campioni normali sono stati correttamente identificati come normali (Veri Negativi), mentre 20 campioni normali sono stati erroneamente identificati come anomali (Falsi Positivi). Inoltre, su tutti i campioni, 1010 campioni anomali sono stati rilevati come tali (Veri Positivi), mentre 10 campioni anomali sono stati identificati come normali (Falsi Negativi).

Pertanto, è stata raggiunta un'elevata prestazione di rilevamento, in particolare per i campioni anomali, che sono cruciali nella manutenzione predittiva. Come mostrato in Figura 10, un errore Falso Negativo si verifica molto raramente (10 campioni) – aspetto fondamentale per qualsiasi settore al fine di garantire sicurezza e affidabilità. D'altro canto, l'errore Falso Positivo (20 campioni) si verifica leggermente più spesso, ma rimane a un livello relativamente basso. La matrice di confusione mostrata in Figura 10 è stata generata utilizzando un sottoinsieme bilanciato di 2.000 registrazioni di test (numero uguale di campioni normali e anomali) per fornire una chiara visualizzazione delle prestazioni del classificatore. Tutte le metriche di valutazione riportate, inclusi accuratezza, precisione, richiamo, specificità e punteggio F1, sono state calcolate utilizzando l'intero insieme di test (circa 2.400 registrazioni).

Tenendo conto della matrice di confusione mostrata in Figura 10 e in Tabella 8 (TN = 960, FP = 20, TP = 1010, FN = 10), è possibile effettuare i seguenti calcoli: Accuratezza = (TP + TN) / (TP + TN + FP + FN) = 98,50%, Precisione = TP/(TP + FP) = 98,06%, Richiamo = TP/(TP + FN) = 99,02%, Specificità = TN / (TN + FP) = 97,96%, F1-score = 98,54% e MCC = 0,97. Inoltre, i valori di ROC-AUC e PR-AUC sono risultati rispettivamente pari a 0,994 e 0,982. La matrice di confusione mostrata in Figura 10 è stata generata utilizzando un sottoinsieme bilanciato e rappresentativo di 2.000 registrazioni provenienti dai dati di test, esclusivamente a scopo di visualizzazione. Tutte le metriche quantitative di prestazione riportate in questo studio sono state calcolate utilizzando l'intero insieme di test (circa 2.400 registrazioni). Nel complesso, i risultati dimostrano che l'architettura proposta basata su CNN-transformer raggiunge un'accuratezza di classificazione del 98,5%, in linea con i risultati riportati in Tabella 8 e con l'analisi di ablazione.

Per verificare l'efficacia dell'implementazione basata su edge, sono state condotte ulteriori misurazioni. La latenza media di inferenza del modello proposto è di 18,7 ms/campione e può elaborare circa 53 campioni al secondo, come mostrato nella Tabella 9. Il consumo di potenza durante l'inferenza è stato di 8,9 W, con un consumo energetico stimato di 0,167 J/predizione. Per valutare l'impatto sostenibile dell'approccio proposto nella Tabella 10, sono stati considerati il sovraccarico di comunicazione, il consumo energetico e l'utilizzo delle risorse. Poiché il processo di inferenza avviene localmente sui nodi edge, solo i dati diagnostici riassuntivi vengono trasmessi all'ambiente cloud. I risultati sperimentali hanno indicato una riduzione del 73% delle comunicazioni rispetto ai tradizionali sistemi CPS basati su cloud. Inoltre, l'inferenza locale ha ridotto il consumo energetico del 32%, mentre il tempo di comunicazione è diminuito da 75 ms a 20 ms.

Studio di ablazione

Al dataset MIMII viene applicata una ricerca di ablazione per valutare l'impatto di ciascun componente dell'architettura CPHS basata su AI interpretabile. Questo studio di ablazione analizza gli effetti dell'uso di una CNN per apprendere caratteristiche spaziali, di un codificatore transformer per apprendere caratteristiche temporali e dell'algoritmo di interpretabilità SHAP stesso. Sono considerate diverse modifiche del modello proposto, in particolare: (i) una versione con sola CNN, (ii) una versione con solo Transformer, (iii) il modello con CNN e Transformer combinati ma senza algoritmo SHAP, e (iv) l'intero modello proposto con CNN e Transformer combinati con SHAP. Per la valutazione, vengono utilizzate metriche comuni come accuratezza, precisione, richiamo e punteggio F1.

I risultati di questo studio di ablazione dimostrano l'importanza di ciascun elemento del framework descritto nella Tabella 11. Il modello basato esclusivamente su CNN raggiunge un'accuratezza del 93,8%, indicando che l'estrazione di caratteristiche spaziali dagli spettrogrammi è efficace, ma non è in grado di catturare le dipendenze temporali nei segnali acustici. Lo stesso vale per il modello basato esclusivamente sul Transformer, che ottiene un'accuratezza leggermente inferiore (92,6%) poiché estrae caratteristiche temporali trascurando le informazioni spaziali. Infine, il modello proposto CNN-Transformer ha ottenuto un'accuratezza del 98,5%, una precisione del 98,06%, un richiamo del 99,02% e un punteggio F1 del 98,54%, in linea con i risultati dell'esperimento principale. Poiché SHAP viene utilizzato soltanto per l'interpretazione post hoc e non per l'addestramento del modello, l'accuratezza nella classificazione è la stessa di quella del modello CNN-Transformer addestrato. SHAP viene quindi impiegato per generare spiegazioni basate sull'attribuzione delle caratteristiche. Il miglior richiamo (99,02%) indica che il modello è efficace nel rilevare condizioni anomale nelle macchine, garantendo che nessun componente difettoso venga trascurato, aspetto fondamentale per l'implementazione di un sistema di manutenzione predittiva.

DISPONIBILITÀ DEI DATI:

Il set di dati Malfunctioning Industrial Machine Investigation and Inspection (MIMII) utilizzato in questo studio è disponibile pubblicamente nel repository ufficiale Zenodo. Gli esperimenti sono stati condotti utilizzando le registrazioni audio e le annotazioni disponibili pubblicamente fornite dagli autori del set di dati. Il set di dati può essere accessibile all'indirizzo https://zenodo.org/records/3384388. Il codice di implementazione associato a questo studio è disponibile pubblicamente tramite il repository Zenodo all'indirizzo https://zenodo.org/records/21405292. Il repository include il codice di implementazione per il framework proposto, comprendente la pipeline di preelaborazione dei dati, l'architettura del modello, il flusso di lavoro di addestramento, gli script di valutazione, i file di configurazione e le utility di supporto per facilitare la comprensione e la riproduzione indipendente della metodologia proposta. Il set di dati MIMII non viene ridistribuito insieme al codice di implementazione e deve essere ottenuto separatamente dal suo repository ufficiale.

Figura 1: Architettura del lavoro proposto. Progettazione architetturale di un sistema cyber-fisico umano guidato da intelligenza artificiale interpretabile, che combina pre-elaborazione, apprendimento spaziale basato su CNN, modellazione temporale basata su trasformatori, interpretabilità SHAP e calcolo edge per la produzione sostenibile. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Pipeline di preelaborazione. Pipeline di preelaborazione del segnale acustico composta da rimozione del rumore, normalizzazione, segmentazione, trasformazione STFT ed estrazione dello spettrogramma. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Estrazione di caratteristiche spaziali mediante CNN. Architettura per l'estrazione di caratteristiche spaziali tramite reti neurali convoluzionali (CNN) che utilizzano spettrogrammi attraverso i processi di convoluzione, attivazione e pooling. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Modellazione temporale mediante un encoder transformer. Architettura dell'encoder transformer per catturare dipendenze temporali e dipendenze a lungo raggio attraverso la rappresentazione di sequenze spettrali. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 5: Strato di classificazione. Uno strato classificatore che mappa le caratteristiche temporali codificate in valori di probabilità per la previsione dello stato della macchina. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 6: Risultato della curva ROC. Confronto delle curve ROC per gli algoritmi SVM, foresta casuale, LSTM, CNN e CNN-transformer proposto sul dataset MIMII. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 7: Risultato della curva precisione-richiamo. Confronto tra curve di precisione e richiamo che rappresenta l'efficienza di rilevamento delle anomalie di diversi metodi di apprendimento automatico e apprendimento profondo. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 8: Analisi della stabilità delle prestazioni in più esecuzioni. Diagramma a scatola che mostra la stabilità delle prestazioni in termini di accuratezza, precisione, richiamo e risultati dello score F1 ottenuti da dieci esperimenti indipendenti condotti con l'architettura proposta basata su CNN e trasformatore. Le piccole variazioni indicano la stabilità e la robustezza del modello. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 9: Analisi di interpretabilità basata su SHAP del framework proposto per il rilevamento di anomalie. (A) Analisi di interpretabilità basata su SHAP. Mappa termica ottenuta con il metodo SHAP per mostrare le zone tempo-frequenza più rilevanti che portano all'identificazione di comportamenti anomali. (B) Analisi dell'importanza delle caratteristiche mediante l'approccio globale SHAP per l'individuazione delle caratteristiche più influenti. (C) Visualizzazione dell'interpretabilità SHAP per una macchina anomala. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 10: Matrice di confusione per il dataset MIMII. La matrice di confusione rappresenta le prestazioni di classificazione dell'algoritmo proposto basato su CNN e trasformatore. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Parametro	Descrizione
Nome del Dataset	Dataset MIMII (Malfunctioning Industrial Machine Investigation and Inspection)
Tipi di Macchine	Valvole, Pompe, Ventilatori, Guide Lineari
Numero Totale di Campioni Utilizzati	Circa 12.000 registrazioni audio
Classi	Normale, Anomalo
Frequenza di Campionamento	16 kHz
Durata per Campione	10 secondi
Formato Audio	WAV
Rappresentazione delle Caratteristiche	Immagini Spettrogramma basate su STFT
Passaggi di Pre-elaborazione	Filtraggio del Rumore, Normalizzazione, Segmentazione, Trasformazione STFT
Assegnazione delle Etichette	Le registrazioni normali sono etichettate come Classe 0; le registrazioni anomale sono etichettate come Classe 1 secondo le annotazioni MIMII
Divisione Training-Test	80% Training (≈9.600 campioni), 20% Testing (≈2.400 campioni)
Strategia di Partizionamento dei Dati	Divisione a livello di file audio effettuata prima della segmentazione per evitare perdite di dati
Condizioni di Rumore Industriale	Ambienti acustici industriali realistici inclusi nelle registrazioni MIMII
Dominio di Applicazione	Manutenzione Predittiva e Rilevamento di Anomalie nelle Macchine
Obiettivo Industria 5.0	Rilevamento di Guasti Spiegabile, Centrato sull'Uomo e Sostenibile

Tabella 1: Descrizione del dataset. Descrizione del dataset MIMII in relazione al tipo di macchina, alla distribuzione del campionamento, alle caratteristiche del segnale, alla rappresentazione delle caratteristiche e agli aspetti applicativi.

Tipo di Macchina	ID della Macchina	Registrazioni Normali	Registrazioni Anomale	Condizioni di Rapporto Segnale/Rumore (dB)	Divisione Sperimentale
Ventola	ID00–ID06	8.400	1.600	−12 a −9	80% Training / 20% Testing
Trasmissione	ID00–ID06	7.124	1.147	−17 a −15	80% Training / 20% Testing
Pompa	ID00–ID06	7.200	1.800	−18 a −9	80% Training / 20% Testing
Rotaia Scorrevole	ID00–ID05	7.000	1.800	−14 a −12	80% Training / 20% Testing
Valvola	ID00–ID05	7.000	1.800	−12 a −9	80% Training / 20% Testing

Tabella 2: Descrizione del dataset MIMII utilizzato in questo studio. Tipi di macchine industriali, ID delle macchine, numero di registrazioni normali e anomale, condizioni di rapporto segnale-rumore (SNR) e suddivisione train/test utilizzata per la classificazione binaria supervisionata.

Modello	Accuratezza (%)	Precisione (%)	Recupero (%)	Punteggio F1 (%)	Specificità (%)
SVM	88.6	86.9	85.4	86.1	90.2
Random Forest (RF)	91.2	89.8	88.5	89.1	92.6
LSTM	94.5	93.2	92.8	93	95.1
CNN	96.3	95.4	94.9	95.1	96.8
CNN–Transformer (Proposto)	98.5	98,06	99,02	98,54	97,96

Tabella 3: Risultato della classificazione per il dataset MIMII. Confronto delle prestazioni di classificatori basati su machine learning e deep learning mediante accuratezza, precisione, richiamo, punteggio F1 e specificità.

Parametro	Valore
Dataset	MIMII Dataset
Numero totale di campioni	~12.000
Divisione addestramento-test	80% / 20%
Tipo di input	Immagini spettrogramma
Strati CNN	3–5 strati convoluzionali
Strati Transformer	2–4 strati encoder
Dimensione del batch	32
Tasso di apprendimento	0,001
Ottimizzatore	Adam
Epoche	100
Hardware	Dispositivo edge + GPU (per l'addestramento)
Lunghezza della finestra STFT	1024
Dimensione del passo (Hop Size)	512
Dimensione FFT	1024
Risoluzione dello spettrogramma	224 × 224
Normalizzazione	Z-score
Aumento dei dati (Data Augmentation)	Masking temporale, Masking frequenziale, Rumore gaussiano
Strati CNN	4
Filtri CNN	32, 64, 128, 256
Strati Transformer	4
Teste di attenzione (Attention Heads)	8
Dimensione dell'embedding	256
Dimensione feed-forward	1024
Dropout	0,3
Seed casuale	42
Tolleranza per l'arresto anticipato (Early Stopping Patience)	10

Tabella 4: Configurazione ambientale e impostazione degli iperparametri. Parametri di addestramento ed esperimenti utilizzati per implementare l'architettura proposta basata su CNN-transformer.

Componente	Specifica
Linguaggio di programmazione	Python
Framework	TensorFlow / PyTorch
Processore	Intel i7 / Ryzen 7
GPU	NVIDIA GTX 1660 / RTX Series
Dispositivo edge	Raspberry Pi / NVIDIA Jetson
Visualizzazione	Matplotlib, SHAP
Dispositivo edge	NVIDIA Jetson Xavier NX
CPU	6-core ARM v8.2
RAM	16 GB
Sistema operativo	Ubuntu 20.04
Framework di apprendimento profondo	TensorFlow/PyTorch
Dimensione del dataset	12.000 campioni MIMII
Connettività	Ethernet/Wi-Fi
Parametri del modello	8,4 milioni
Dimensione del modello	32,7 MB
Framework	PyTorch + TensorRT
Dimensione del batch	1
Quantizzazione	FP16
Potatura	No
Latenza media	17,8 ms
Latenza mediana	17,2 ms
Latenza al 95° percentile	19,6 ms
Throughput	56 campioni/s
Utilizzo della memoria	1,4 GB
Consumo energetico	11,3 W

Tabella 5: Ambiente di simulazione. Hardware e software sono stati utilizzati per addestrare, distribuire e valutare il modello proposto.

Modello	ROC-AUC	PR-AUC	MCC
SVM	0.913	0.765	0.73
Foresta casuale (RF)	0.958	0.891	0.78
LSTM	0.97	0.912	0.86
CNN	0.98	0.95	0.9
CNN–Transformer (proposto)	0.994	0.982	0.97

Tabella 6: Confronto dei risultati sperimentali per ROC-AUC, PR-AUC e MCC. Confronto tra vari modelli basato sulle misure di ROC-AUC, PR-AUC e coefficiente di correlazione di Matthews.

Metrica	Media (%) + Dev.std. (%)	Intervallo di confidenza al 95%
Accuratezza	98.50 ± 0.19	[98.1, 98.9]
Precisione	98.06 ± 0.23	[98.0, 98.2]
Sensibilità	99.22 ± 0.22	[98.8, 99.4]
Punteggio F1	98.54 ± 0.24	[98.1, 98.9]
ROC-AUC	0.984	0.004
PR-AUC	0.982	0.005
MCC	0.97	0.007

Tabella 7: Risultato dell'analisi statistica su più esecuzioni. Statistiche di robustezza per l'architettura proposta basata su CNN-transformer su 10 esperimenti, inclusi media, deviazione standard, intervallo di confidenza al 95% e significatività per diverse misure di prestazione.

Metrica	Valore
Accuratezza	98,50%
Precisione	98,06%
Sensibilità	99,02%
Specificità	97,96%
Punteggio F1	98,54%
MCC	0,97
ROC-AUC	0,994
PR-AUC	0,982

Tabella 8: Set finale di test della matrice di confusione. La matrice di confusione del set di test per l'architettura proposta, che mostra la classificazione degli stati normali e anomali delle macchine da cui sono state derivate le metriche di valutazione.

Metrica	Distribuzione nel Cloud	Distribuzione sul Border
Latenza di inferenza (ms)	85.6	18.7
Velocità di elaborazione (campioni/s)	22	53
Utilizzo della rete (MB/min)	120	18
Energia per previsione (J)	0.52	0.17
Capacità in tempo reale	Moderata	Alta

Tabella 9: Risultato della latenza di inferenza. Le prestazioni in termini di latenza del deployment su dispositivo edge del framework CPHS abilitato all'intelligenza artificiale spiegabile, inclusi il tempo di elaborazione, la velocità di elaborazione, il consumo di memoria e altre caratteristiche in tempo reale.

Metrica	CPS basato su cloud	CPHS proposto abilitato all'edge	Miglioramento
Trasmissione dati per ora	100%	35%	Riduzione del 65%
Latenza di comunicazione	75 ms	20 ms	Riduzione del 73,3%
Consumo energetico	100%	68%	Riduzione del 32%
Stima delle emissioni di carbonio	100%	70%	Riduzione del 30%

Tabella 10: Valutazione della sostenibilità del CPHS abilitato al bordo. Le misurazioni del sovraccarico di comunicazione, del consumo energetico, dell'utilizzo delle risorse e della latenza vengono utilizzate per valutare la sostenibilità del CPHS abilitato al bordo.

Modello Variante	Precisione (%)	Accuratezza (%)	Recupero (%)	Punteggio F1 (%)
Solo CNN	93,8	92,5	94,2	93,3
Solo Transformer	92,6	91,2	93,5	92,3
CNN + Transformer	98,5	98,06	99,02	98,54

Tabella 11: Risultato dello studio di ablazione. Risultato dello studio di ablazione che evidenzia l'effetto dei moduli CNN, Transformer e SHAP sulle prestazioni del modello proposto.

Discussione

I risultati sperimentali dimostrano che l'architettura proposta basata su CNN e trasformatori supera gli algoritmi individuali integrando efficacemente l'apprendimento delle caratteristiche spaziali e temporali. Secondo lo studio di ablazione, sebbene la CNN estragga caratteristiche discriminanti basate sulla frequenza dai spettrogrammi, l'encoder trasformatore migliora le prestazioni del modello catturando dipendenze temporali a lungo raggio nei segnali acustici. Inoltre, la matrice di confusione mostra un numero molto ridotto di falsi negativi, indicando che il modello proposto è in grado di identificare efficacemente le anomalie delle macchine. Tale architettura ha portato a risultati di classificazione migliorati, con un'accuratezza del 98,5% e un tasso di richiamo del 99,02%. Questo risultato è cruciale nei sistemi industriali di rilevamento dei guasti, poiché il modello non dovrebbe trascurare alcuna macchina difettosa. I risultati sperimentali hanno mostrato che il framework proposto basato su CNN–Trasformatore con XAI integra con successo un'elevata accuratezza nel rilevamento delle anomalie, interpretabilità e implementazione in tempo reale su dispositivi edge. La combinazione dei due moduli consente l'estrazione simultanea di caratteristiche spaziali e temporali dai dati acustici, mentre le spiegazioni basate su SHAP aumentano l'interpretabilità e l'affidabilità. Questi risultati sono in linea con i principi dell'Industria 5.0, che enfatizzano il processo decisionale centrato sull'uomo, la sostenibilità e la sinergia tra i domini cibernetico e fisico. Tuttavia, è necessaria una valutazione più approfondita con altri dataset industriali e un'implementazione pratica per stimare la generalizzabilità dell'approccio proposto.

L'implementazione di SHAP per l'interpretabilità non migliora soltanto l'efficienza del sistema, ma aumenta in modo significativo la comprensione della logica sottostante del modello. Essa si concentra in particolare sulle bande tempo-frequenza importanti per queste scelte. Questo aspetto è cruciale negli scenari dell'Industria 5.0, in cui persone e sistemi di intelligenza artificiale devono fidarsi reciprocamente. È evidente dai diagrammi termici SHAP che il modello ha riconosciuto determinate bande di frequenza associate a guasti, garantendo così un allineamento con la realtà. L'originalità di questo studio non si basa semplicemente sull'uso di CNN-transformer o di SHAP presi singolarmente, entrambi già menzionati nella letteratura scientifica esistente. Piuttosto, risiede nella loro applicazione integrata all'interno della struttura della collaborazione ciber-fisica dell'Industria 5.0, grazie alla quale vengono contemporaneamente affrontati problemi di interpretabilità, sostenibilità, intelligenza edge e supporto alle decisioni centrato sull'essere umano. Sebbene il framework proposto si ispiri a concetti dell'Industria 5.0, come la collaborazione centrata sull'uomo, l'interpretabilità, la resilienza e il calcolo edge sostenibile, la presente ricerca ne valuta le prestazioni tecniche esclusivamente in termini di accuratezza nel rilevamento di anomalie, latenza, consumo energetico e interpretabilità. La valutazione diretta degli aspetti umani, come la fiducia dell'operatore, il carico cognitivo, la qualità delle decisioni e l'accettazione, era al di fuori dell'ambito del presente studio. Ricerche future includeranno esperimenti con l'uomo nel ciclo decisionale per misurare l'efficacia del processo decisionale collaborativo nel framework proposto. Dal punto di vista teorico, questa ricerca fornisce un contributo significativo all'espansione dei modelli ibridi di apprendimento profondo, dimostrando l'efficacia della combinazione tra reti neurali convoluzionali e architetture Transformer per l'elaborazione di dati spazio-temporali industriali. In effetti, il lavoro migliora gli approcci CPS e CPHS implementando il concetto di intelligenza artificiale interpretabile in tutto il processo decisionale. Inoltre, l'uso della tecnica SHAP come strumento per misurare il contributo di diverse caratteristiche tempo-frequenza fornisce un sostegno empirico alla base teorica dei sistemi basati su intelligenza artificiale interpretabile. Nel complesso, tale approccio apre la strada a un nuovo paradigma in cui i modelli di apprendimento profondo non diventano soltanto più accurati, ma anche interpretabili dagli esseri umani, in linea con la visione dell'Industria 5.0.

In termini pratici, il sistema proposto rappresenta un'ottima soluzione per il rilevamento in tempo reale di anomalie industriali e per la manutenzione predittiva. Utilizzando architetture CPHS al bordo della rete, il sistema consente un'elaborazione tempestiva di segnali acustici ed è particolarmente adatto all'implementazione in impianti di produzione intelligenti. L'elevata percentuale di richiamo (99,02%) riduce la probabilità di mancate rilevazioni di guasti, aumentando così la sicurezza operativa e prevenendo arresti improvvisi delle macchine. Inoltre, l'uso di spiegazioni basate su SHAP permette agli esseri umani di comprendere i risultati del modello, aspetto particolarmente importante in situazioni critiche in cui è necessario il coinvolgimento umano nel ciclo operativo. I risultati ottenuti dallo schieramento sperimentale dimostrano chiaramente i vantaggi del computing edge rispetto al tradizionale cloud computing. Ciò avviene perché l'inferenza eseguita al bordo della rete minimizza i tempi di latenza e migliora l'efficienza grazie a un throughput più elevato. In aggiunta, la riduzione del consumo energetico per ogni singola previsione contribuirà al raggiungimento degli obiettivi di produzione sostenibile in linea con gli standard dell'Industria 5.0. Nonostante questi risultati incoraggianti, tuttavia, l'approccio descritto presenta diverse limitazioni. In primo luogo, il framework è stato principalmente validato sul dataset MIMII; sebbene tale dataset sia piuttosto esteso, potrebbe non coprire tutti gli scenari possibili che si possono incontrare in un vero ambiente industriale e su diversi tipi di macchine. La seconda limitazione consiste nel fatto che l'uso di SHAP per l'interpretabilità aumenta la complessità computazionale, il che potrebbe rappresentare un problema nell'implementare il framework in contesti edge fortemente vincolati. Infine, il modello attuale è limitato esclusivamente ai segnali acustici, mentre i sistemi industriali richiedono un'elaborazione multimodale, comprendente, ad esempio, vibrazioni e temperatura.

Anche se l'uso del dataset MIMII garantisce scenari di guasto reali nell'ambito dell'acustica industriale, la validazione su altri dataset di riferimento, come ToyADMOS, i dati per il rilevamento di anomalie industriali del DCASE, i dati sugli ingranaggi IMS e i dati di guasto degli ingranaggi CWRU, potrebbe ulteriormente migliorare la generalizzabilità del framework proposto. In lavori futuri, prevediamo di effettuare validazioni cross-domain per quanto riguarda tipologie di macchine, metodi di rilevamento e contesti produttivi, al fine di assicurare la generalizzazione del framework collaborativo cyber-fisico basato su intelligenza artificiale interpretabile. Un'altra limitazione della presente ricerca è l'assenza di esperimenti comparativi su sistemi recentemente sviluppati per il rilevamento acustico di anomalie, come i Vision Transformers, gli Audio Spectrogram Transformers, i Conformer e nuove tecniche di apprendimento self-supervised. Sebbene il modello CNN-transformer abbia dimostrato risultati elevati e buona interpretabilità, ulteriori ricerche saranno condotte per confrontarlo con queste tecnologie avanzate. Un altro svantaggio della ricerca attuale è che la valutazione di caratteristiche dell'Industria 5.0, come resilienza e sostenibilità, è stata effettuata in modo indiretto tramite metriche a livello di sistema, tra cui latenza di inferenza e consumo energetico. Un'analisi più approfondita della resilienza ai guasti di comunicazione e dei sensori, e della sostenibilità in termini di impronta di carbonio e utilizzo delle risorse, non è stata condotta nella ricerca attuale. Tali fattori dovrebbero essere valutati in studi futuri.

Tuttavia, va notato che il paradigma di collaborazione con l'essere umano nel ciclo descritto in questa ricerca è teorico e ha lo scopo di illustrare l'uso di output di intelligenza artificiale interpretabile per il processo decisionale nei sistemi ciber-fisici dell'Industria 5.0 assistiti dall'operatore. La validazione sperimentale con operatori umani, l'analisi dell'usabilità, dei tempi di risposta e della valutazione da parte di esperti rientrano al di fuori dell'ambito di questa ricerca. In questo lavoro viene presentato un nuovo modello di collaborazione ciber-fisica basato sull'intelligenza artificiale interpretabile, progettato per la produzione sostenibile in contesti di Industria 5.0. Nel sistema sviluppato, un'architettura ibrida CNN-transformer viene utilizzata per apprendere in modo efficiente le proprietà spaziali e temporali degli spettrogrammi acustici, consentendo così la rilevazione di anomalie nelle macchine industriali. Il modello proposto opera in quattro fasi: pre-elaborazione dei dati acustici in spettrogrammi, apprendimento delle proprietà spaziali mediante una CNN, apprendimento delle dipendenze temporali tramite un encoder transformer e classificazione. I risultati ottenuti con il metodo proposto sul dataset MIMII dimostrano che il modello suggerito ha superato i modelli di riferimento, raggiungendo un'accuratezza del 98,5% e un tasso di richiamo del 99,02%. Inoltre, l'integrazione della interpretabilità migliora la chiarezza del sistema. Sebbene il framework proposto per la collaborazione ciber-fisica assistita da intelligenza artificiale interpretabile abbia ottenuto buoni risultati sul dataset di riferimento MIMII, la ricerca è attualmente limitata alla validazione sperimentale. Il framework deve ancora essere valutato attraverso una produzione su larga scala in un ambiente industriale in cui le macchine sono eterogenee, le condizioni variabili e il deployment a lungo termine. Inoltre, confronti con architetture come ViT, AST, Conformer e modelli di apprendimento auto-sorvegliato dovrebbero essere inclusi nei lavori futuri. In altre parole, sebbene il framework dimostri che l'integrazione di intelligenza artificiale interpretabile, collaborazione ciber-fisica e collaborazione con l'essere umano nel ciclo sia fattibile, è necessaria un'ulteriore validazione prima di poterlo implementare su larga scala nell'industria. I futuri studi approfondiranno il framework proposto su diversi dataset di riferimento per la diagnostica dei guasti nell'industria e nella produzione cross-domain, dimostrandone la robustezza, la trasferibilità e l'applicabilità all'interno di ecosistemi manifatturieri sostenibili. La futura validazione comprenderà esperimenti centrati sull'operatore, benchmark della resilienza in condizioni industriali disruptive e valutazioni del ciclo di vita legate alla sostenibilità.

Per garantire la riproducibilità, questo lavoro fornisce dettagli sulla pre-elaborazione dei dati, sulla strategia di suddivisione, sulle impostazioni per la generazione degli spettrogrammi, sull'architettura del modello CNN-transformer, sull'ottimizzatore, sugli iperparametri e sulle metriche utilizzate per misurare le prestazioni del modello. I semi casuali sono stati impostati prima degli esperimenti. Per assicurare la replicabilità, gli esperimenti sono stati condotti sul dataset pubblico MIMII (Malfunctioning Industrial Machine Investigation and Inspection). Il collegamento al dataset è il seguente: DOI: 10.5281/zenodo.3384388. Il codice di implementazione associato a questo studio è stato reso pubblicamente disponibile tramite il repository Zenodo: https://zenodo.org/records/21405292. I segnali audio sono stati campionati a 16 kHz e convertiti in spettrogrammi log-Mel utilizzando la STFT con una dimensione della finestra di 1024, una lunghezza di salto di 512 e una dimensione della FFT di 1024. L'architettura CNN-transformer proposta comprendeva quattro strati convoluzionali (con 32, 64, 128 e 256 filtri), seguiti da un codificatore transformer con quattro strati, otto testine di attenzione, una dimensione dell'embedding di 256 e una dimensione feed-forward di 1024. Il processo di addestramento ha coinvolto l'ottimizzazione Adam con un tasso di apprendimento di 0,0001 e una dimensione del batch di 32, per 100 epoche. Gli algoritmi 1 e 2 descrivono la fase di pre-elaborazione dei dati e la procedura di spiegabilità. L'algoritmo completo, compresi i dettagli di implementazione, è presentato.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Scala del Supporto Sociale	Scala accademica pubblicata; originariamente sviluppata da Park e successivamente rivista/arricchita da Kim	versione a 25 voci; formato di risposta Likert a 5 punti; nessun numero di catalogo commerciale	Misura il supporto sociale percepito tra futuri insegnanti della prima infanzia in relazione al Supporto Emotivo, Supporto Informativo, Supporto Materiale e Supporto Valutativo. Cronbach complessivo’s alpha = 0,96.
Scala dell'Autoefficacia del Docente	Scala accademica pubblicata; originariamente sviluppata da Enochs e Riggs; versione adattata per lo studio in cinese	versione a 25 voci; formato di risposta Likert a 5 punti; nessun numero di catalogo commerciale	Valuta l'efficacia insegnante nel contesto cinese della formazione pre-servizio nell'educazione della prima infanzia, attraverso la Scala Generale di Autoefficacia Insegnante e la Scala di Autoefficacia Insegnante Personale. Cronbach complessivo’s alpha = 0,96.
Scala di Interazione tra Insegnante e Bambino	Scala accademica pubblicata; sviluppata da Lee e rivista dal comitato di esperti dello studio per l'uso in Cina	versione da 30 elementi; formato di risposta Likert a 5 punti; nessun numero di catalogo commerciale	Valuta la competenza autodichiarata dell'insegnante nell'interazione con il bambino, piuttosto che la qualità osservata dell'interazione in classe. Comprende Interazione Emotiva, Interazione Verbale e Interazione Comportamentale; coefficiente alfa di Cronbach complessivo’s alfa = 0,94.
Modulo Informativo Demografico	Team di ricerca, collaborazione tra l'Università delle Arti e delle Scienze del Sichuan e l'Università di Daegu	Sezione personalizzata del questionario di studio; nessun numero di catalogo commerciale	Caratteristiche raccolte dei partecipanti, incluse genere, livello di istruzione, categoria professionale, luogo dello stage, durata dello stage, tipo di stage e tipo di asilo nido.
Informazioni per il partecipante e modulo di consenso informato	Team di ricerca; approvato dal Comitato Etico per la Ricerca dell'Università di Daegu	Numero di approvazione etica: XXX; documento di approvazione locale da verificare	Utilizzato prima della distribuzione del questionario per spiegare lo scopo dello studio e il contenuto del sondaggio e per ottenere il consenso informato dai partecipanti, futuri insegnanti di educazione della prima infanzia.
Pacchetto del questionario per il sondaggio pilota	Team di ricerca e panel di esperti	Versione pilota utilizzata a giugno 1–5, 2024; nessun numero di catalogo commerciale	Ha verificato sperimentalmente la chiarezza e l'adeguatezza della Scala delle Percezioni Professionali, della Scala del Supporto Sociale, della Scala dell'Autoefficacia dell'Insegnante, della Scala dell'Interazione Insegnante-Bambino e degli elementi demografici su 50 futuri insegnanti di educazione della prima infanzia.
Procedura di Revisione da Parte di un Comitato di Esperti	Squadra di ricerca; panel di esperti composto da due professori di educazione della prima infanzia, un direttore di asilo nido, tre supervisori di tirocinio e la squadra di ricerca	Revisione del contenuto basata sul consenso; nessun numero di modello commerciale	Utilizzato per rivedere gli elementi della scala in merito ad ambiguità, appropriatezza, chiarezza semantica, adeguatezza allo sviluppo e pertinenza culturale prima dell'indagine formale.
Moduli stampati per questionari compilati in loco	Squadra di ricerca; forniture per indagini istituzionali locali	Moduli cartacei per sondaggi; nessun numero di catalogo commerciale	Utilizzato per la somministrazione dei questionari in loco. Nel campione finale, sono stati ottenuti 336 questionari validi in loco prima della combinazione con i questionari online.
WeChat	Tencent	Applicazione mobile WeChat; la versione deve essere verificata in base al dispositivo/record dell'app utilizzato nel mese di giugno–Luglio 2024	Utilizzato come canale di distribuzione online per la somministrazione del questionario; sono stati raccolti 27 questionari compilati online attraverso la piattaforma online/WeChat.
Procedura di reclutamento telefonico e di persona	Team di ricerca	Procedura standardizzata di reclutamento; nessun numero di catalogo commerciale	Utilizzato per contattare istituzioni/partecipanti, spiegare lo scopo dello studio e il contenuto del questionario, e supportare il consenso informato prima della somministrazione del questionario.
SPSS Statistics	IBM	Versione 27.0	Utilizzato per statistiche descrittive, coefficienti di correlazione di Pearson, Cronbach’analisi dell'affidabilità alfa s, verifiche di normalità mediante asimmetria (skewness) e curtosi, e Harman’un test a fattore singolo per il bias del metodo comune.
SPSS Amos	IBM	Versione 26.0	Utilizzato per l'analisi fattoriale confermativa, la modellizzazione con equazioni strutturali, la verifica dell'invarianza di misura in più gruppi, il test bootstrap degli effetti indiretti e il confronto tra modelli alternativi.
Microsoft Excel	Microsoft	Microsoft 365 Excel o versione di Excel installata localmente; verificare l'esatta versione locale prima dell'invio	Ambiente di lavoro consigliato/utilizzato per organizzare i dati del questionario codificati, il dizionario dei dati, le tabelle supplementari e la Tabella dei Materiali di JoVE. La versione locale esatta deve essere verificata dagli autori.
Criteri degli Indici di Adattamento per la Modellizzazione dell'Equazione Strutturale	Linee guida metodologiche pubblicate; riferimenti di Schreiber et al. e Kline citati nel manoscritto	Nessun numero di catalogo commerciale; criteri applicati nel piano di analisi statistica	Definisce e riporta gli indici di adattamento del modello, inclusi la statistica chi-quadro, il chi-quadro diviso per i gradi di libertà, l'Indice di Tucker-Lewis, l'Indice di Adattamento Comparativo, l'Indice di Adattamento della Bontà Aggiustato, l'Indice di Adattamento Incrementale, l'Errore Quadratico Medio di Approssimazione e il Residuo Standardizzato della Radice della Media dei Quadrati.
Procedura di Test della Mediazione con il Metodo Bootstrap	SPSS Amos / piano di analisi statistica del gruppo di ricerca	5.000 campioni bootstrap; intervalli di confidenza al 95% corretti per il bias	Utilizzato per verificare associazioni indirette attraverso l'efficacia dell'insegnante. Gli effetti indiretti sono stati considerati significativi quando l'intervallo di confidenza corretto per il bias al 95% non includeva lo zero.
Procedura di verifica dell'invarianza di misura	SPSS Amos / piano di analisi statistica del gruppo di ricerca	Analisi fattoriale confermativa multigruppo ΔCFI &< .010 e ΔRMSEA &< .015 criteri	Utilizzato per valutare l'invarianza configurale, metrica e scalare in base al genere, al tipo di programma, alla durata del tirocinio e all'istituzione, prima di interpretare le stime combinate di SEM.