La metodologia proposta utilizza un approccio basato su sistema Industry 5.0 Cyber-physical human system (CPHS) che combina un apprendimento profondo interpretabile con un framework di collaborazione cyber-fisica abilitato dal calcolo edge per supportare processi produttivi sostenibili. In primo luogo, il problema viene affrontato riconoscendo alcune limitazioni delle attuali soluzioni CPHS, come la mancanza di intelligenza basata sull'IA, interpretabilità e collaborazione centrata sull'uomo. Per affrontare queste sfide, la soluzione proposta sfrutta il dataset MIMII per il monitoraggio dello stato delle macchine industriali mediante elaborazione di segnali acustici.
Il framework proposto inizia inviando gli spettrogrammi generati a un modello CNN che estrae caratteristiche spaziali riconoscendo i pattern di frequenza significativi associati a diverse condizioni della macchina. Le caratteristiche spaziali estratte verranno convertite in sequenze e fornite a un modulo codificatore transformer per catturare le dipendenze temporali tramite l'auto-attenzione. La rappresentazione delle caratteristiche trasformata viene successivamente trasmessa a un modulo classificatore completamente connesso per classificare gli stati della macchina come normali o anomali. Inoltre, per garantire trasparenza e facilitare decisioni centrate sull'essere umano, viene impiegato l'approccio esplicativo SHAP per spiegare le previsioni selezionando le regioni tempo-frequenza significative nell'output del modello. Il modello progettato sarà implementato in un contesto CPS abilitato all'edge, consentendo inferenze in tempo reale con bassa latenza computazionale ed elevata efficienza energetica. In aggiunta, verrà integrato uno schema con interazione umana per consentire agli operatori di convalidare i risultati utilizzando le informazioni esplicative. Le prestazioni vengono validate mediante accuratezza, precisione, richiamo e punteggio F1, oltre ad altre metriche a livello di sistema come latenza ed efficienza energetica.
Il framework proposto è un meccanismo CPHS guidato da XAI per la produzione sostenibile nel contesto dell'Industria 5.0, e il suo flusso di lavoro è presentato come una pipeline che va dall'acquisizione dei dati alla decisione intelligente e all'esecuzione, come mostrato in Figura 1. Nella fase iniziale della procedura di acquisizione dei dati, segnali acustici vengono raccolti da macchinari industriali come motori, pompe e cuscinetti, utilizzando dataset tra cui MIMII. I segnali dati così ottenuti vengono inviati alla fase successiva, denominata preelaborazione dei dati, in cui subiscono filtraggio, normalizzazione e segmentazione. I segnali dati segmentati vengono infine convertiti in uno spettrogramma mediante la trasformata di Fourier a tempo breve (STFT) nel livello di rappresentazione delle caratteristiche.
Successivamente, il livello del modello di intelligenza artificiale utilizza le immagini spettrogramma per estrarre caratteristiche tramite il modulo CNN, identificando modelli spaziali e anomalie. Le caratteristiche estratte vengono quindi riorganizzate e inserite nell'encoder transformer, che apprende le dipendenze temporali e le relazioni a lungo raggio attraverso meccanismi di auto-attenzione. I vettori di caratteristiche risultanti vengono classificati come normali o anomali mediante il livello di classificazione. Per garantire trasparenza nel processo di previsione, il livello di spiegabilità utilizza SHAP per evidenziare le regioni tempo-frequenza significative nello spettrogramma.
Inoltre, è presente un processo con interazione umana in cui gli operatori interpretano e forniscono un feedback sui risultati del modello. Nel livello di distribuzione, il modello viene eseguito su un'infrastruttura CPHS basata su edge, garantendo un'inferenza rapida e un basso consumo energetico, mentre opzionalmente interagisce con sistemi cloud per esigenze di archiviazione o analisi avanzate. Nel complesso, il framework assicura un rilevamento preciso dei guasti, spiegabilità e un'operazione efficiente in tempo reale, in linea con i requisiti dell'Industria 5.0.
Definizione del problema e analisi dei requisiti
I sistemi cibernetico-fisici umani (CPHS) in contesti Industry 5.0 promettono intelligenza, sostenibilità e centralità dell'essere umano. Tuttavia, le attuali architetture per la realizzazione di CPHS sono ostacolate da una mancanza di capacità avanzate abilitate dall'IA, da una ridotta spiegabilità e da un supporto inadeguato alla collaborazione uomo-macchina. In effetti, i CPHS convenzionali si basano su modelli basati su regole o non interpretabili, che ostacolano l'adattamento a condizioni industriali in evoluzione e limitano la fiducia degli operatori nell'automazione. Inoltre, i CPHS convenzionali non riescono ad analizzare efficacemente dati altamente complessi, come i segnali acustici industriali contenenti componenti sia spaziali (ovvero, frequenza) sia dipendenti dal tempo, che sono importanti per la manutenzione predittiva. È quindi necessario creare un'architettura in grado di rilevare anomalie nelle macchine con elevata precisione, fornire spiegazioni e operare al bordo della rete (edge), abilitando così i sistemi cibernetico-fisici (CPS).
Qui x(t) è il segnale acustico in ingresso, S(f,t) è la rappresentazione spettrogramma del segnale,
è l'etichetta e θ è l'insieme dei parametri dell'architettura CNN-Transformer. I simboli utilizzati nelle equazioni successive vengono introdotti subito dopo la loro prima comparsa al fine di preservare la correttezza matematica.
Da un punto di vista matematico, il compito può essere formalizzato come un problema di apprendimento supervisionato. Sia il segnale acustico industriale indicato con x(t). La STFT di x(t) viene calcolata secondo la formula:
(1)
dove ω(.) è la funzione finestra e f è la frequenza. Il sonogramma generato
funge da input per l'algoritmo di apprendimento profondo. L'obiettivo è addestrare la funzione di mappatura
(2)
dove
è l'etichetta della classe (normale o anomala), e dove S è l'ingresso dello spettrogramma, y è l'etichetta predetta in uscita e θ è l'insieme dei parametri apprendibili dell'architettura CNN-Transformer. Il problema di ottimizzazione è formulato come la minimizzazione della perdita di classificazione:
(3)
soggetto ai vincoli di latenza minima
, efficienza energetica
e interpretabilità, in cui l'explicazione ∅(SHAP) cattura l'importanza delle caratteristiche nel processo di previsione,
(4)
dove
è il contributo di ciascuna singola caratteristica. In linea con quanto sopra, i requisiti di progettazione includono i seguenti: (i) rilevamento affidabile delle anomalie basato su apprendimento profondo ibrido, (ii) output interpretabili per l'intervento umano e (iii) implementazione in un framework CPS potenziato per dispositivi periferici.
Acquisizione e preelaborazione del set di dati
A questo riguardo, per valutare il framework CPHS basato sull'Intelligenza Artificiale Spiegabile proposto, è stato selezionato il MIMII Dataset13. Questo dataset è un termine di paragone ampiamente utilizzato per rilevare anomalie nelle macchine industriali mediante segnali acustici. Questa base di dati contiene registrazioni sonore di diverse macchine, come guide scorrevoli, ventilatori, pompe e valvole, in condizioni di funzionamento sia normali che difettose. Per ogni macchina, le registrazioni variano in base a diverse configurazioni e ambienti rumorosi. Ciò lo rende adatto per l'addestramento e la valutazione di modelli in condizioni industriali in tempo reale.
Mentre il dataset MIMII è ampiamente utilizzato negli studi di rilevamento di anomalie non supervisionato che si basano esclusivamente su campioni normali durante l'addestramento, esso include annotazioni esplicite sia di stati normali che anomali della macchina. Il problema è formulato come un'attività di classificazione binaria supervisionata per verificare la capacità dell'architettura proposta basata su CNN-Transformer con intelligenza artificiale interpretabile di distinguere tra stati sani e difettosi della macchina. In particolare, vengono utilizzate le etichette ufficiali MIMII, assegnando l'etichetta di classe 0 ai campioni normali e l'etichetta di classe 1 ai campioni anomali.
Tabella 1 mostra i dettagli descrittivi del dataset. Nella presente ricerca sono stati considerati circa 12.000 registrazioni di segnali acustici, comprendenti sia il funzionamento normale che difettoso delle macchine. Come richiesto, tutte le registrazioni di questo studio sono state acquisite a 16 kHz e hanno una durata di 10 s. Sebbene il dataset contenga circa 12.000 registrazioni, per visualizzare la matrice di confusione è stato selezionato un sottoinsieme bilanciato di 2.000 registrazioni di test. Tutte le metriche di prestazione riportate sono state calcolate utilizzando l'intero insieme di test (circa 2.400 registrazioni). Inoltre, i campioni di addestramento e di test sono stati separati in un rapporto 80:20 per l'addestramento del modello. Questo database è particolarmente adatto per applicazioni nell'Industria 5.0 poiché include condizioni di rumore in tempo reale. La distribuzione delle registrazioni utilizzata in questo studio è riportata in Tabella 2. Da questo dataset sono state selezionate circa 12.000 registrazioni, che coprono tutti i tipi di macchine e le condizioni di rapporto segnale-rumore (SNR), per esperimenti di classificazione binaria supervisionata, utilizzando una suddivisione 80:20 tra dati di addestramento e test; tale tabella mostra i tipi di macchine industriali, gli ID delle macchine corrispondenti, il numero totale di registrazioni acustiche normali e anomale, le condizioni di SNR e la suddivisione sperimentale addestramento/test impiegata per la classificazione binaria supervisionata.
L'esperimento è stato condotto utilizzando il dataset MIMII (Malfunctioning Industrial Machine Investigation and Inspection) versione 1.0, che comprende quattro tipi di macchine industriali: ventilatori, pompe, valvole e guide scorrevoli. I dati sono stati raccolti da diversi identificativi di macchina (ID00–ID06, a seconda del tipo di macchina) e in diverse condizioni. Il database MIMII comprende dati acquisiti a rapporti segnale-rumore (SNR) di −6 dB, 0 dB e +6 dB. I dati normali corrispondono allo stato sano della macchina industriale, mentre i dati anomali corrispondono a una condizione anomala. Le classi sono state etichettate in base all'annotazione del database, con i dati normali etichettati come classe 0 e i dati anomali etichettati come classe 1.
Una procedura di valutazione equa richiedeva che la suddivisione tra set di addestramento e set di test avvenisse a livello delle registrazioni audio originali, prima di qualsiasi suddivisione, aumento o creazione di spettrogrammi. Di conseguenza, segmenti audio provenienti dalla stessa registrazione non potevano comparire sia nel set di addestramento che in quello di test. Per l'esperimento di valutazione, sono state utilizzate registrazioni con diversi rapporti segnale-rumore (−6 dB, 0 dB e +6 dB), il che ha permesso di valutare il framework proposto in varie condizioni industriali.
Per evitare perdite di dati, la suddivisione in set di addestramento e di test è stata effettuata utilizzando il file audio originale come base, prima di qualsiasi segmentazione o generazione di spettrogrammi. I segmenti provenienti dalla stessa registrazione audio di 10 s sono stati assegnati esclusivamente o al set di addestramento o a quello di test, senza che alcun segmento fosse presente in entrambi i set. Successivamente, gli spettrogrammi sono stati generati e aumentati separatamente per ciascun dataset. In questo modo, si evita il problema della perdita di dati, prevenendo così una valutazione troppo ottimistica delle prestazioni.
Preelaborazione del set di dati
I segnali acustici non elaborati del dataset MIMII vengono quindi processati per migliorare la qualità del segnale e consentire un'efficace estrazione delle caratteristiche. Il segnale in ingresso è indicato con x(t), dove t rappresenta il tempo. Il primo processo è il filtraggio del rumore, mediante il quale i rumori di fondo vengono filtrati attraverso una funzione di filtraggio tale che:
(5)
dove ∗ rappresenta il processo di convoluzione e h(t) è la risposta all'impulso del filtro. Questo processo migliora la chiarezza del segnale acustico e riduce al minimo gli effetti del rumore, spesso prevalente negli ambienti industriali. La normalizzazione del segnale viene utilizzata per garantire che le ampiezze di tutti i segnali audio siano confrontabili prima di essere inserite nel modello di apprendimento profondo. Il segnale normalizzato, indicato come xn(t), viene calcolato come:
(6)
dove μ e σ sono rispettivamente il valore medio e la deviazione standard del segnale in ingresso. Tutti i segnali in ingresso sono garantiti avere media nulla e varianza unitaria grazie a questa procedura. Infine, ai fini dell'elaborazione, il segnale in ingresso normalizzato viene suddiviso in più frammenti molto piccoli. Considerando che la lunghezza dell'intero segnale è T, esso viene suddiviso in N frame sovrapposti, ciascuno di lunghezza L, mediante una funzione finestra scorrevole:
(7)
dove H è la dimensione del passo. Il spettrogramma può essere definito dalla formula seguente:
(8)
Gli spettrogrammi ottenuti in questo modo vengono inseriti nel framework basato su CNN e trasformatore per estrarre caratteristiche spaziali e temporali finalizzate a un efficace rilevamento delle anomalie. Figura 2 mostra la pipeline di preelaborazione.
Figura 2 illustra una pipeline di preelaborazione verticale che può essere utilizzata per dati acustici acquisiti nell'industria. In primo luogo, i segnali audio grezzi vengono estratti dal dataset MIMII e inviati alla fase di rimozione del rumore per ridurre il rumore. Successivamente, il segnale viene normalizzato per eliminare le incongruenze di ampiezza, garantendo una coerenza del segnale. Il segnale viene poi suddiviso in sezioni più piccole e sovrapposte. Dopo la segmentazione, verranno applicate trasformate STFT ai dati per convertire i segnali nel dominio del tempo in segnali nel dominio tempo-frequenza. Quindi, lo spettro di potenza viene calcolato come parte della generazione del sonogramma del segnale. I sonogrammi preelaborati saranno pertanto l'output generato nel processo e verranno utilizzati nel modello proposto basato su CNN-transformer.
Generazione del spettrogramma
Dopo la normalizzazione e la segmentazione dei dati, i segnali acustici vengono convertiti in una rappresentazione tempo-frequenza mediante la trasformata di Fourier a breve termine (STFT). Il relativo spettrogramma fornisce una rappresentazione grafica delle variazioni nella composizione in frequenza nel periodo di analisi. In ambito industriale, i guasti delle macchine si manifestano solitamente come schemi di frequenza, rendendo gli spettrogrammi più utili per rilevare anomalie nei macchinari.
I dati elaborati risultanti vengono quindi convertiti in immagini di spettrogrammi per distinguere tra istanze normali e anomale all'interno delle macchine. I dati audio verranno convertiti in numerosi spettrogrammi per consentire al modello di apprendimento di analizzare le componenti frequenziali locali e le variazioni temporali nel processo della macchina. Queste immagini vengono utilizzate come dati di ingresso per il modello CNN-transformer, in cui la CNN gestisce i modelli spaziali (frequenziali) mentre i Transformer gestiscono le relazioni temporali.
Algoritmo 1: Generazione di spettrogrammi da segnali acustici
Input: segnale audio grezzo x(t)
Output: Spettrogramma S(t, f)
Passaggio 1: Caricare il segnale audio x(t)
Passaggio 2: Applicare il filtraggio del rumore
Passaggio 3: Normalizzare il segnale xn(t)
Passaggio 4: Suddividere il segnale in frame:
per k = 1 a N eseguire

fine per
Passaggio 5: Applicare una finestra temporale w(t) a ciascun segmento
Passaggio 6: Calcola la STFT:
(9)
Passaggio 7: Calcolare l'ampiezza:
(10)
Passaggio 8: Archiviare lo spettrogramma S(t, f)
Passaggio 9: Restituire il set di dati del spettrogramma
Il processo di generazione dei spettrogrammi inizia con l'acquisizione del segnale audio originale, seguito da passaggi di pre-elaborazione come la riduzione del rumore e la normalizzazione del segnale per garantire l'integrità e la qualità del segnale. Successivamente, l'audio normalizzato viene suddiviso in diverse finestre sovrapposte per catturare le caratteristiche temporali sia di periodi brevi che lunghi. Per evitare il leakage spettrale, ciascuna delle suddivisioni viene moltiplicata per una funzione finestra prima di essere elaborata tramite la Trasformata di Fourier a Tempo Ridotto. In seguito, il segnale trasformato è rappresentato come una funzione a valori complessi nel dominio della frequenza, e i suoi moduli vengono elevati al quadrato. In questo modo, l'energia delle frequenze nel periodo temporale considerato è rappresentata dai spettrogrammi. Infine, questi vengono memorizzati come dati simili a immagini ed elaborati dalla rete neurale per l'addestramento.
Estrazione di caratteristiche spaziali mediante CNN
Dopo il processo di creazione dei sonogrammi, le immagini tempo-frequenza risultanti vengono utilizzate come ingressi e fornite a una rete neurale convoluzionale (CNN). Supponendo che il sonogramma in ingresso sia
, dove H rappresenta il dominio della frequenza e W il dominio del tempo. L'obiettivo dell'uso della CNN in questo contesto è apprendere caratteristiche spaziali discriminanti dal sonogramma in ingresso. Queste caratteristiche spaziali discriminanti permetteranno di distinguere tra un comportamento normale e anomalo della macchina in un ambiente industriale.
Un'operazione fondamentale eseguita dalla rete neurale convoluzionale (CNN) è la convoluzione. La convoluzione con un filtro dato
è definita come:
(11)
L'operazione descritta sopra consente alla rete neurale di identificare caratteristiche spaziali locali, come bordi, frequenze e contenuto armonico, nello spettrogramma. Questo avviene attraverso numerose operazioni di filtraggio che generano diverse rappresentazioni delle caratteristiche, producendo diverse mappe di caratteristiche. Alla convoluzione segue una funzione di attivazione non lineare, come mostrato di seguito:
(12)
Questa non linearità consente alla rete di catturare e rappresentare relazioni complesse tra le variabili. La fase successiva in una rete neurale convoluzionale prevede l'applicazione di operazioni di pooling. La tecnica comune del max pooling è espressa matematicamente come segue:
(13)
dove Ω indica la finestra di pooling. Il pooling contribuisce a ottenere l'invarianza rispetto alla traslazione e a mantenere solo le informazioni rilevanti, eliminando le ridondanze. A partire da variabili di basso livello, come le frequenze, fino a comportamenti complessi della macchina, caratteristiche di livello superiore possono essere estratte in modo gerarchico mediante una rete neurale convoluzionale. Di conseguenza, le mappe delle caratteristiche possono essere utilizzate per rappresentare l'output finale della rete:
(14)
dove rappresenta i parametri apprendibili della CNN. Le mappe delle caratteristiche contengono informazioni spaziali ricche e vengono trasformate in sequenze per fungere da input per l'encoder transformer nella fase successiva. Il processo di estrazione delle caratteristiche spaziali sopra descritto è fondamentale per consentire al modello di rilevare anomalie minime nei segnali acustici industriali.
Figura 3 illustra come le caratteristiche spaziali vengano estratte orizzontalmente dall'ingresso del sonogramma utilizzando un modello CNN. Il processo inizia con il sonogramma in ingresso, che codifica le proprietà tempo-frequenza del segnale audio in forma pittorica. Il sonogramma in ingresso viene quindi elaborato attraverso un livello convoluzionale, nel quale diversi tipi di filtri estraggono caratteristiche spaziali come bande di frequenza, bordi e texture, producendo così delle mappe delle caratteristiche. Successivamente, le mappe delle caratteristiche estratte vengono sottoposte a una funzione di attivazione non lineare, detta unità lineare rettificata (ReLU), che permette alla rete neurale di rilevare dipendenze nei dati in ingresso. Le mappe delle caratteristiche vengono quindi trasmesse a un livello di pooling, nel quale le dimensioni della mappa vengono ridotte mantenendone le caratteristiche più importanti. Questo processo di livelli convoluzionali, di attivazione e di pooling si ripete più volte, creando una gerarchia di rappresentazione delle caratteristiche che inizia con caratteristiche semplici ed evolve verso caratteristiche più sofisticate relative alle operazioni della macchina.
Modellizzazione temporale mediante l'uso di un codificatore transformer
Una volta estratte le caratteristiche spaziali mediante la CNN, il passo successivo consiste nel ricavare mappe di caratteristiche ad alto livello che catturino i modelli basati sulla frequenza appresi dallo spettrogramma. Le mappe di caratteristiche risultanti vengono quindi appiattite e riorganizzate in sequenze per catturare l'informazione temporale nel segnale acustico. Assumendo che le mappe di caratteristiche siano rappresentate da
, dove H', W', e C indicano rispettivamente altezza, larghezza e canali, si ottiene la seguente sequenza:
(15)
dove T rappresenta la lunghezza della sequenza e d è la dimensione della caratteristica. Il Transformer utilizza quindi la sequenza sopra descritta per modellare dipendenze a lungo termine mediante un meccanismo di auto-attenzione. A differenza dei modelli ricorrenti convenzionali, il modello Transformer elabora ogni elemento della sequenza in parallelo e utilizza pesi di attenzione per determinare la rilevanza relativa di ciascun elemento. Il funzionamento del meccanismo di attenzione si basa sull'uso di vettori Query Q, Key K e Value V generati per ogni ingresso xt secondo la seguente relazione:
(16)
dove WQ, WK, WV sono pesi addestrabili. Le somiglianze tra gli elementi sono determinate mediante:
(17)
dk è la dimensione importante dei vettori. Questa procedura facilita l'apprendimento da parte del modello delle dipendenze provenienti da passi temporali distanti nel segnale e permette di concentrarsi solo sui segmenti temporali pertinenti. Per aumentare la capacità di apprendimento della rete, si utilizza l'attenzione multi-testa, che indica il processo mediante il quale più testine di attenzione apprendono in parallelo dall'ingresso:
(18)
Ogni testa presta attenzione a caratteristiche distinte della sequenza temporale in ingresso. A ciò seguono reti neurali feed-forward e connessioni residue:
(19)
La sequenza codificata risultante cattura sia le caratteristiche spaziali che temporali dell'input. Questa sequenza viene inviata al livello classificatore per rilevare anomalie.
Figura 4 mostra il processo complessivo di modellazione temporale mediante un encoder basato su trasformatori applicato a caratteristiche estratte da una CNN. In primo luogo, vengono utilizzate le mappe di caratteristiche estratte dalla CNN, che contengono informazioni spaziali dallo spettrogramma. Le mappe di caratteristiche vengono appiattite in una sequenza, in cui ogni elemento corrisponde a un istante temporale. Successivamente, la sequenza passa attraverso una trasformazione lineare che mappa i dati in vettori di una dimensione specifica. Poiché i modelli basati su trasformatori non sono in grado di catturare autonomamente le dipendenze temporali, viene aggiunta anche una codifica posizionale ai vettori incorporati (embedding) per preservare la struttura temporale della sequenza. Infine, la sequenza attraversa un encoder basato su trasformatori, costituito da un insieme di strati sovrapposti, all'interno dei quali viene impiegato un meccanismo di auto-attenzione multi-testa che consente al modello di apprendere le relazioni tra gli istanti temporali nella sequenza. Una rete neurale feed-forward migliora ulteriormente questi embedding, mentre i collegamenti residui garantiscono una propagazione efficiente dei gradienti. Il processo viene ripetuto attraverso gli strati sovrapposti dell'encoder basato su trasformatori, che catturano interazioni temporali via via più complesse. Alla fine, gli embedding della sequenza vengono combinati in una rappresentazione di lunghezza fissa mediante un'operazione di pooling (ad esempio, average pooling o il token di classificazione (CLS)), ottenendo così una rappresentazione globale delle caratteristiche temporali.
Livello di classificazione
Dopo la codifica temporale effettuata dal codificatore transformer, gli output saranno una sequenza di vettori codificati, ciascuno con caratteristiche relative sia agli aspetti spaziali che temporali del segnale in ingresso. Il primo passo verso la classificazione a partire dagli output codificati consiste nell'aggregare tutte queste caratteristiche in un singolo vettore. Questo risultato si ottiene applicando un'operazione di media (mean pooling) sulla sequenza dei vettori di caratteristiche oppure utilizzando il cosiddetto «token di classificazione». Supponiamo che l'output del Transformer sia
, dove ciascun
. La caratteristica aggregata h viene calcolata come:
(20)
Successivamente, il vettore caratteristico aggregato h rappresenta l'ingresso in forma compatta e funge da input per il classificatore. La parte di classificazione comprende uno o più strati densi, che trasformano la rappresentazione appresa nello spazio di uscita. Uno strato denso implementa una trasformazione definita come segue:
(21)
dove o è l'output (logits), b è il vettore di bias e W è la matrice dei pesi. Questi ultimi rappresentano i punteggi delle classi in forma non normalizzata. Per introdurre non linearità nel modello, si utilizzano spesso funzioni di attivazione come ReLU. Infine, viene applicata una funzione di attivazione softmax ai logits per ottenere una probabilità per ciascuna classe:
(22)
dove C rappresenta il numero di classi (C = 2; normale e anomalo). La previsione della classe sarà basata sul valore di probabilità massimo. Durante l'addestramento, i valori ottimali dei parametri del modello vengono ottenuti minimizzando la perdita di entropia incrociata tra le etichette effettive e quelle previste, consentendo così una classificazione accurata degli stati della macchina. In sintesi, il livello di classificazione svolge una funzione essenziale nel trasformare le caratteristiche temporali estratte mediante l'architettura Transformer in decisioni pratiche. Attraverso una corretta discriminazione tra stati sani e difettosi della macchina, la rilevazione delle anomalie e il processo decisionale intelligente diventano possibili nel paradigma Industry 5.0.
Figura 5 mostra il funzionamento del livello di classificazione, che segue l'Encoder Transformer. Il processo inizia con l'output della sequenza codificata, in cui ogni vettore contiene informazioni temporali apprese dall'input. Questi vettori vengono combinati in un singolo vettore, noto come vettore delle caratteristiche globali. Il passo successivo consiste nel far passare il vettore delle caratteristiche globali attraverso diversi strati di reti neurali dense. In ogni strato denso vengono eseguite operazioni di moltiplicazione matriciale per creare combinazioni lineari degli input. Successivamente, può essere applicata una funzione di attivazione non lineare, come ReLU, per aumentare la flessibilità nell'apprendimento dei confini decisionali. Alla fine dell'ultimo strato denso, sono presenti punteggi logit per ogni classe. Questi punteggi logit possono essere utilizzati nella funzione Softmax per calcolare i punteggi di probabilità per ciascuna classe. Tali punteggi di probabilità vengono impiegati per determinare se l'input appartiene alla Classe 0 (Normale) o alla Classe 1 (Anomalo).
Spiegabilità mediante SHAP
Dopo che il modello classifica i segnali in ingresso, vengono generate previsioni in base al funzionamento normale o anomalo della macchina. Tuttavia, nell'ambiente Industry 5.0, produrre semplicemente previsioni non è sufficiente; il sistema deve inoltre garantire trasparenza e interpretabilità per supportare il processo decisionale umano. Il framework seguente utilizza SHAP, un modello basato sulla teoria dei giochi che quantifica l'importanza di ciascuna caratteristica nel determinare la previsione. In questo modo, SHAP assegna pesi alle caratteristiche, consentendo di valutare l'importanza relativa delle diverse sezioni del segnale spettrale in ingresso rispetto alla previsione complessiva.
La formulazione matematica di SHAP si basa su una decomposizione del modello f(x):
(23)
dove ∅0 è il valore di base (output medio del modello), ∅i è l'effetto della i-esima caratteristica e M è il numero di caratteristiche in ingresso. Ai fini di questo studio, le caratteristiche sono i bin temporali e frequenziali dello spettrogramma. I valori SHAP sono positivi se contribuiscono alla probabilità dello stato anomalo e negativi in caso contrario. Questa formulazione garantisce una spiegazione univoca e localmente coerente per ogni previsione. Il metodo SHAP può essere applicato a un modello CNN-transformer addestrato per fornire una spiegazione basata sull'importanza delle caratteristiche. La rappresentazione visiva mostrerà i bin temporali e frequenziali più importanti nello spettrogramma che influenzano il processo decisionale. Ad esempio, un comportamento anomalo dell'equipaggiamento può generare determinate bande di frequenza ad alta energia che il framework SHAP identifica come contributi significativi al processo decisionale.
Inoltre, SHAP può favorire la collaborazione tra persone e macchine in un contesto cibernetico-fisico. Ciò avviene perché le previsioni possono essere spiegate mediante visualizzazioni intuitive, consentendo agli operatori e ai sistemi decisionali di verificarle, analizzare il problema e intraprendere le azioni opportune. Questo non aumenta soltanto la fiducia, ma rende anche i processi produttivi basati sull'intelligenza artificiale affidabili e responsabili. Integrando algoritmi di apprendimento profondo che soddisfano gli attuali standard prestazionali con SHAP, che fornisce spiegabilità, l'architettura proposta soddisfa i requisiti dell'Industria 5.0.
Algoritmo 2: Spiegabilità basata su SHAP per la previsione del modello
Input: modello addestrato f(x), spettrogramma in ingresso S
Output: valori SHAP
e mappa esplicativa
Passaggio 1: Inserire lo spettrogramma S in un modello addestrato
Passaggio 2: Calcola la previsione: y = f(S)
Passaggio 3: Inizializzare un'analisi SHAP orientata al deep learning
Passaggio 4: Calcolare i valori SHAP:

Passaggio 5: Per ogni caratteristica i in S:
Calcola il contributo 
Passaggio 6: Generare la mappa esplicativa:
Evidenziare le regioni con alta 
Passaggio 7: Visualizzare l'importanza delle caratteristiche (mappa termica)
Passaggio 8: Restituire i valori SHAP e la mappa esplicativa
L'algoritmo di spiegabilità basato su SHAP inizia ottenendo un'immagine di spettrogramma preelaborata come input e la immette nell'architettura CNN-transformer addestrata per effettuare previsioni (ad esempio, condizione normale o anomala della macchina). Dopo aver effettuato le previsioni utilizzando l'architettura addestrata, il metodo SHAP viene utilizzato per interpretare il modello. In particolare, i valori SHAP (ϕ) vengono calcolati per ogni caratteristica in ingresso al fine di determinare quali componenti tempo-frequenza dell'input contribuiscono maggiormente alla previsione. Per calcolare questi valori, è necessario confrontare le uscite del modello per input con e senza determinate caratteristiche.
Dopo aver calcolato i valori SHAP per ogni caratteristica, la sua influenza sulla previsione può essere valutata in base al segno e all'entità del valore SHAP. Ad esempio, le caratteristiche con valori SHAP più elevati hanno maggiori probabilità di influenzare il risultato, e un segno positivo o negativo indica rispettivamente che la caratteristica spinge la previsione verso la classe normale o anomala. Sulla base dei risultati, può essere creato un mappa esplicativa sotto forma di mappa termica.
Infine, l'algoritmo produce sia i valori SHAP sia le visualizzazioni, fornendo informazioni su come gli esseri umani possono analizzare la decisione del modello. La tecnica rende il processo più trasparente e consente agli esseri umani di partecipare al processo decisionale, assicurando così che nell'industria basata sull'intelligenza artificiale si raggiungano sia le previsioni dell'algoritmo sia la sua affidabilità. Sono stati selezionati campioni rappresentativi dai casi anomali diagnosticati correttamente in vari tipi di macchine, al fine di migliorare l'affidabilità dell'analisi dell'interpretabilità. Mentre l'analisi globale dell'importanza delle caratteristiche tramite SHAP è stata eseguita aggregando i valori SHAP su tutto il set di dati di test per identificare le posizioni nel dominio tempo-frequenza costantemente influenti, sono state generate spiegazioni SHAP locali per questi casi rappresentativi. Senza richiedere annotazioni da esperti, questa analisi integrata locale e globale offre un'interpretazione affidabile delle previsioni del modello.
Integrazione CPS abilitata al bordo
Questa soluzione proposta viene utilizzata all'interno di sistemi ciber-fisici abilitati al bordo (edge-enabled CPS), che mirano a raggiungere efficienza, sostenibilità e operazioni industriali in tempo reale. Una volta che il modello è stato addestrato, la rete CNN-transformer verrà distribuita mediante un approccio di edge computing. Il livello di edge computing in questione si trova vicino ai dispositivi dell'Internet industriale delle cose (IIoT), inclusi sensori e macchinari. Invece di trasmettere tutti i dati raccolti al cloud, il dispositivo edge esegue l'inferenza sul segnale acustico in arrivo senza trasferirlo preventivamente. Pertanto, il sistema può rilevare anomalie nei macchinari quasi istantaneamente e intraprendere le azioni necessarie prima che la situazione peggiori ulteriormente. Un altro vantaggio di questo approccio abilitato al bordo è una minore latenza e una maggiore efficienza, poiché i dati vengono analizzati vicino al punto in cui vengono generati. In altre parole, a differenza dell'approccio basato su cloud, dove il tempo di inferenza Tinf
(24)
La latenza, in generale, sarà notevolmente ridotta grazie a una diminuzione di Tcommunication. Un altro vantaggio è la riduzione del consumo di larghezza di banda e dell'energia spesa durante la trasmissione continua dei dati. Questo sistema è quindi scalabile e sostenibile per impianti industriali di grandi dimensioni con numerosi dispositivi connessi. Inoltre, il CPS consente l'interazione con il livello fisico (macchine), l'IA (livello computazionale) e il livello umano.
Collaborazione con la partecipazione umana
Un componente fondamentale del CPS proposto per l'Industria 5.0, che prevede operatori umani attivamente coinvolti nel processo decisionale insieme a modelli di intelligenza artificiale, è la collaborazione con l'essere umano nel ciclo. In particolare, secondo il framework progettato, il sistema non diventa una scatola nera autonoma, ma consente agli operatori di interagire con esso e di osservare risultati predittivi spiegabili sotto forma di spiegazioni SHAP. Le predizioni in questione si riferiscono agli esiti (normale/anomalo), accompagnati da visualizzazioni di parti degli spettrogrammi utilizzati per effettuarle.
Un'interazione di questo tipo aiuta gli operatori a comprendere meglio come viene formulata la previsione e quali fattori contribuiscono a essa. La partecipazione umana implica la verifica dei risultati del sistema e consente agli operatori di annullarli quando necessario, in base al loro giudizio professionale. La collaborazione con gli operatori umani rende il sistema più affidabile, efficiente, sicuro e robusto, contribuendo a prevenire errori.