Mappatura visiva delle caratteristiche emotive multimodali per la progettazione di interazioni intelligenti

Wanbao Ge; Zhenhua Yang; Zhenhu Liu; Qi Liu; Quan Wen; Suraiyati Binti Rahman

doi:10.3791/71171

Articolo di ricerca

Mappatura visiva delle caratteristiche emotive multimodali per la progettazione di interazioni intelligenti

96 visualizzazioni

⸱

DOI:

10.3791/71171

⸱

21 agosto 2026

Wanbao Ge¹^,² , Zhenhua Yang¹^,² , Zhenhu Liu³ , Qi Liu¹ , Quan Wen¹ , Suraiyati Binti Rahman¹

¹School of Housing, Building and Planning, Universiti Sains Malaysia, ²School of Design Art, Changsha University of Science & Technology, ³Xiamen Academy of Arts and Design, Fuzhou University

In questo articolo

Sommario

Lo studio propone un framework end-to-end per l'analisi multimodale delle emozioni che sfrutta codificatori transformer, rappresentazioni delle emozioni disincagliate e un'attenzione intermodale basata su grafi con mappatura visiva, al fine di migliorare l'accuratezza del riconoscimento delle emozioni su due dataset.

Abstract

Rendendo possibile alle macchine comprendere, interpretare e reagire agli stati affettivi umani, la mappatura visiva dei tratti emozionali multimodali risulta fondamentale per la progettazione di interfacce intelligenti. Tuttavia, gli attuali algoritmi di rilevamento delle emozioni multimodali si concentrano principalmente sulle prestazioni predittive, offrendo scarse informazioni riguardo all'interpretabilità, alla consapevolezza delle interazioni o alle interazioni incrociate tra modalità a livello di caratteristiche. Questo studio introduce un framework per la mappatura visiva degli aspetti emotivi multimodali che combina visualizzazione orientata all'interazione, apprendimento interpretabile di rappresentazioni e previsione delle emozioni. Senza ricorrere a caratteristiche create manualmente, encoder basati su trasformatori sono stati utilizzati per estrarre embedding emotivi ad alto livello dalle modalità testuale, audio e visiva. Per migliorare la robustezza, le informazioni specifiche per l'emozione e quelle specifiche per la modalità sono state separate mediante una tecnica di apprendimento di rappresentazioni disinnescate. Inoltre, è stata sviluppata una rete grafica di attenzione multimodale per simulare, attraverso un pesatura adattiva dell'attenzione, le relazioni emotive sottili tra le diverse modalità. È stato creato un modulo di mappatura visiva multivista per rappresentare traiettorie temporali delle emozioni, distribuzioni di attenzione incrociata tra modalità e embedding latenti delle emozioni, al fine di aumentare la trasparenza. Il framework proposto è stato valutato utilizzando il dataset Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) e il Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS). I risultati sperimentali indicano che il framework proposto offre una maggiore interpretabilità a livello di caratteristiche e una visualizzazione consapevole delle interazioni, superando costantemente le tecniche di riferimento rappresentative in termini di accuratezza, F1-score, correlazione ed errore assoluto medio. Inoltre, il modulo di mappatura visiva ha facilitato l'interpretazione qualitativa delle rappresentazioni emotive multimodali, delle interazioni incrociate tra modalità e della dinamica temporale delle emozioni, sostenendo la visualizzazione e l'analisi consapevole dell'interazione.

Introduzione

La capacità di identificare correttamente e comprendere il sentimento umano è diventata fondamentale per migliorare l'interazione tra esseri umani e macchine. Oltre a essere essenziale per migliorare l'interazione uomo-computer, l'analisi delle emozioni ha il potenziale di rivoluzionare diversi settori, tra cui la diagnosi medica pre-diagnostica¹, l'analisi del comportamento in ambito scolastico², il monitoraggio psicologico dei pazienti³, l'identificazione della fatica nei veicoli⁴ e la gestione intelligente negli ambienti domestici intelligenti⁵. I recenti sviluppi nel campo del computing affettivo e dell'apprendimento profondo⁶ hanno accresciuto l'interesse verso la creazione di sistemi in tempo reale in grado di cogliere la complessità delle emozioni umane.

Molti metodi attuali si basano principalmente su dati unimodali, come segni testuali, grafici o auditivi⁷^,⁸^,⁹. Questi approcci non riescono ripetutamente a rilevare segnali raffinati come l'ironia o le sfumature specifiche del contesto. La ricerca si è spostata verso una valutazione multimodale delle emozioni, che integra dati complementari provenienti da più fonti per superare tali limitazioni¹⁰^,¹¹^,¹²I vantaggi della fusione di più modalità sono stati dimostrati da modelli di base come l'early fusion-long short-term memory (EF-LSTM)13 e le reti neurali profonde leggere e FM (LF-DNN)¹⁴, reti di fusione tensoriale (TFN) e approcci di fusione multimodale a rango ridotto. Tuttavia, la maggior parte di questi approcci si basa sulla generazione offline di caratteristiche e non è adatta a situazioni dinamiche e reali.

Per tenere conto degli stati emotivi, negli ultimi dieci anni la ricerca e le applicazioni nel campo dell'identificazione multimodale delle emozioni sono notevolmente cresciute¹⁵. Uno degli ambiti di ricerca più complessi e significativi al giorno d'oggi è il monitoraggio continuo degli stati emotivi mediante l'utilizzo di diverse fonti di dati¹⁶. L'idea di multimodalità è emersa in modo del tutto naturale con lo sviluppo di un sistema così variegato di conoscenze, portando a numerosi progressi nell'applicazione delle emozioni in settori come il calcolo emotivo, l'interazione uomo-macchina (HCI), l'apprendimento, i videogiochi, il servizio al consumatore, l'assistenza medica, la valutazione dell'esperienza utente (UX), ecc. Tuttavia, non è sempre stato semplice applicare le tecniche di riconoscimento delle emozioni nella valutazione dell'esperienza utente.

Uno dei motivi principali per cui è preferibile concentrarsi sul riconoscimento multimodale piuttosto che sui metodi unimodali risiede negli svantaggi intrinseci del dipendere da un'unica fonte informativa. I sistemi di rilevamento delle emozioni unimodali possono presentare un'accuratezza inferiore a causa di dati mancanti o poco chiari, mentre gli schemi di riconoscimento multimodale (MER) risultano più affidabili e offrono una comprensione più completa e articolata degli stati espressivi integrando più fonti di dati¹⁷. Ad esempio, il linguaggio facciale da solo potrebbe non essere sufficiente per classificare con precisione le emozioni, specialmente quando i gesti sono complessi o ambigui. Tuttavia, combinando le espressioni facciali con altre forme di comunicazione, come il linguaggio verbale o i segnali fisici, è possibile aumentare l'accuratezza nel riconoscimento delle emozioni.

Sono state condotte numerose ricerche sul riconoscimento delle emozioni in diverse modalità. Gli studi iniziali si sono concentrati sull'identificazione di caratteristiche distintive provenienti da modalità differenti, come input grafici, acustici o basati su testo. Tuttavia, sta diventando sempre più evidente che l'integrazione di diverse modalità può fornire informazioni emotive bilanciate, portando a un rilevamento del sentiment più affidabile e preciso. Questo segmento esamina i principali progressi nell'analisi emotiva unimodale e multimodale, concentrandosi sugli approcci di base, sui loro limiti e sulla giustificazione del nostro metodo.

Lo studio iniziale sul riconoscimento delle emozioni si è concentrato principalmente su una singola modalità. Nell'ambito visivo, ricerche pionieristiche hanno portato alla categorizzazione dei movimenti facciali prototipici²⁰. Successivi progressi hanno incluso tecniche per catturare la dinamica temporale, come il movimento visivo²¹ e i modelli markoviani nascosti²², mentre le risposte facciali sono state suddivise in unità d'azione mediante il Facial Action Coding System (FACS)²³. Le reti neurali ricorrenti a lunga memoria a breve termine (LSTM) e le reti neurali convoluzionali (CNN) sono state utilizzate con successo per estrarre caratteristiche significative direttamente da segnali audio grezzi; le metodologie per l'identificazione delle emozioni basate sull'audio sono evolute dal tradizionale processamento del segnale all'apprendimento profondo²⁴. L'estrazione di segnali di sentimento contestuale nell'analisi delle emozioni basata sul testo è stata notevolmente potenziata da reti neurali ricorrenti (RNN) dotate di meccanismi di attenzione e, più recentemente, da modelli basati su trasformatori. Nonostante i loro risultati, le tecniche unimodali sono intrinsecamente incapaci di rappresentare con precisione le complessità vissute dalle persone, poiché mancano delle informazioni supplementari presenti in altre modalità.

Alcuni modelli basati su meccanismi di attenzione, come il modello DialogXL25, sono stati proposti nel 2021 per raccogliere dati ambientali a lungo termine nel campo dell'identificazione del sentiment nelle conversazioni. Kim et al.²⁶ hanno introdotto il modello EmoBERTa nel 2021 per aumentare l'accuratezza dell'ERC. Questo modello utilizza dati relativi ai parlanti per migliorare le caratteristiche dei parlanti nelle conversazioni e le loro interazioni reciproche. Nel 2022, Li et al.²⁷ ha presentato il metodo CoG-BART. L'organizzazione utilizza un apprendimento contrastivo supervisionato per migliorare la capacità del modello di interpretare dati rilevanti. Va notato che l'apprendimento supervisionato richiede una quantità sostanziale di dati etichettati.

Un esempio tipico di tali lavori è il framework Multimodal Interaction-Aware Representation (MIAR)²⁸, che utilizza token di interazione delle caratteristiche e allineamento contrastivo per migliorare la generalizzazione tra le diverse modalità. MIAR migliora l'allineamento delle modalità e raggiunge prestazioni elevate su più dataset; tuttavia, si concentra principalmente sull'accuratezza predittiva senza affrontare il mapping visivo. Analogamente, il modello di fusione audio-visiva con attenzione incrociata²⁹ cattura efficacemente interazioni audio-visive finemente dettagliate per la previsione di valenza ed eccitamento, ma è limitato a due sole modalità e non dispone di capacità di visualizzazione. Gli approcci di modellazione temporale basati su reti LSTM e fusione con autoencoder riescono a catturare con successo la dinamica temporale delle emozioni, ma offrono informazioni limitate sulle interazioni tra modalità e sulle rappresentazioni emotive apprese. Più di recente, metodi basati su trasformatori come la Transformer-based Multimodal Fusion Network (TMFN)³⁰ hanno dimostrato ottime prestazioni su CMU-MOSI e CMU-MOSEI grazie a una fusione multimodale avanzata e all'apprendimento contrastivo. Tuttavia, questi approcci rimangono principalmente orientati alle prestazioni e offrono un supporto limitato per la spiegabilità, l'interpretazione a livello di caratteristiche e la visualizzazione orientata alle interazioni.

Per migliorare l'integrazione di dati testuali, acustici e visivi, sono state proposte diverse tecniche di riconoscimento delle emozioni multimodali. Sebbene non siano riuscite a catturare interazioni intricate tra i diversi modi, tecniche di fusione precoce come EF-LSTM e LF-DNN hanno dimostrato i vantaggi dell'uso di informazioni multimodali per l'analisi del sentiment e delle emozioni. Sebbene il TFN abbia migliorato le prestazioni su dataset di riferimento come CMU-MOSI e CMU-MOSEI e abbia introdotto una modellizzazione esplicita delle interazioni inter-modali, la sua limitata interpretabilità e la complessità computazionale elevata ne hanno ostacolato l'utilità. Per migliorare l'allineamento modale e la fusione dinamica delle caratteristiche, tecniche più recenti come MIAR, modelli di fusione con attenzione incrociata, TMFN e trasformatori multimodali adattivi hanno utilizzato topologie basate sui trasformatori e meccanismi di attenzione. Questi metodi si sono concentrati principalmente sulle prestazioni predittive, offrendo poche informazioni sulle rappresentazioni emotive a livello di caratteristiche e sulle dipendenze inter-modali, nonostante abbiano ottenuto risultati competitivi su metriche di valutazione comuni come accuratezza, F1-score ed errore assoluto medio. Inoltre, pochi studi hanno sviluppato tecniche di visualizzazione in grado di rivelare embedding latenti delle emozioni, distribuzioni dell'attenzione e dinamiche temporali delle emozioni, oppure hanno integrato modellizzazioni basate su grafi per le interazioni inter-modali. L'approccio proposto integra mappatura visiva multi-vista, fusione con attenzione inter-modale basata su grafi e apprendimento di rappresentazioni disaccoppiate per superare questi limiti e migliorare le prestazioni nel riconoscimento delle emozioni multimodali.

Allo stesso modo, l'Adaptive Multimodal Transformer³² propone una fusione basata sullo scambio per attenuare in modo adattivo informazioni modali rumorose o mancanti, migliorando così le prestazioni nella classificazione del sentiment. Sebbene questo approccio possa affrontare efficacemente le discrepanze nella distribuzione delle informazioni modali, la sua progettazione è specifica per l'analisi del sentiment e fornisce informazioni limitate sulle rappresentazioni emotive apprese. Un altro contributo significativo è il Multimodal Fusion Model³³, che integra CNN, LSTM moltiplicativi e meccanismi di attenzione basati su transformer per il riconoscimento multimodale delle emozioni in tempo reale. Il modello esegue una fusione completa delle modalità video, audio e testo e mostra prestazioni robuste nella riconoscibilità. Tuttavia, come altri modelli esistenti, si concentra principalmente sull'accuratezza predittiva e presenta caratteristiche esplicite limitate per la visualizzazione e l'interpretabilità orientata all'interazione.

In conclusione, sebbene gli attuali approcci all'avanguardia per il riconoscimento multimodale delle emozioni abbiano ottenuto notevoli successi nel catturare le interazioni cross-modalità e nel migliorare l'accuratezza delle previsioni, la maggior parte di essi si concentra su compiti guidati dal riconoscimento. Aree come l'interpretabilità a livello di caratteristiche, la visualizzazione delle rappresentazioni emotive nello spazio dell'immagine e l'integrazione del framework proposto per la progettazione di interazioni intelligenti hanno ricevuto poca attenzione. È proprio tenendo presenti queste sfide che viene introdotto il framework proposto.

La maggior parte dei metodi attuali si concentra principalmente sul miglioramento delle prestazioni predittive, offrendo tuttavia scarsa interpretabilità delle rappresentazioni emotive apprese e delle interazioni cross-modali, nonostante i notevoli progressi nel riconoscimento multimodale delle emozioni²⁸^,²⁹. Le interazioni complesse tra le modalità testuale, acustica e visiva risultano spesso difficili da modellare per le attuali strategie di fusione, specialmente in presenza di discrepanze tra le modalità e carenze informative ²⁸^,³¹. Sebbene le architetture basate sui transformer e i meccanismi di attenzione abbiano migliorato l'apprendimento delle rappresentazioni, la loro trasparenza e interpretabilità risultano spesso ridotte dall'assenza di una separazione esplicita tra informazioni specifiche dell'emozione e informazioni specifiche della modalità³¹^,³²^,³³. Inoltre, solo un numero limitato di studi ha esplorato la modellazione basata su grafi delle interazioni intermodali o sviluppato framework di visualizzazione in grado di rivelare la dinamica temporale delle emozioni, le distribuzioni dell'attenzione e gli embedding emotivi. Questi limiti evidenziano la necessità di un framework multimodale interpretabile per l'interazione intelligente uomo-macchina, che unisca un mappatura visiva orientata all'interazione con un apprendimento cross-modale robusto.

Questo lavoro presenta un framework interpretabile per la mappatura visiva di aspetti emotivi multimodali nella progettazione di interfacce intelligenti. Senza la necessità di caratteristiche create manualmente, il sistema utilizza un apprendimento profondo end-to-end per estrarre rappresentazioni emotive di alto livello da modalità testuale, audio e visiva. Le interazioni emotive cross-modalità sono modellate mediante un meccanismo di fusione basato sull'attenzione grafica che separa informazioni specifiche dell'emozione e informazioni specifiche della modalità, consentendo un apprendimento di rappresentazioni disgiunte e migliorando l'interpretabilità e la robustezza. Inoltre, viene creato un modulo di visualizzazione multivista per mostrare la dinamica temporale delle emozioni, i pattern di attenzione cross-modali e gli embedding emotivi. L'efficacia e l'idoneità del framework proposto nei sistemi di interazione uomo-macchina intelligenti viene valutata attraverso la validazione su dataset di riferimento per il riconoscimento emotivo multimodale.

Questo studio propone un framework innovativo per la mappatura visiva degli aspetti multimodali delle emozioni, superando gli approcci tradizionali orientati alla previsione e affrontando le limitazioni legate alla scarsa modellizzazione delle interazioni cross-modali e all’interpretabilità ridotta nei sistemi attuali di riconoscimento delle emozioni multimodali. All’interno di un’unica architettura, l’approccio proposto integra l’apprendimento della rappresentazione multimodale basato su transformer, la modellizzazione di caratteristiche disincagliate sensibili alle emozioni, la fusione dell’attenzione cross-modale basata su grafi e una visualizzazione orientata alle interazioni. A differenza degli approcci attuali, focalizzati principalmente sulle prestazioni di classificazione, il framework separa chiaramente le rappresentazioni specifiche dell’emozione da quelle specifiche della modalità, migliorando così interpretabilità, robustezza e coerenza cross-modale. Inoltre, viene introdotto un meccanismo di attenzione basato su grafi per consentire una modellizzazione adattativa delle interazioni inter-modali, catturando le interdipendenze emotive finemente dettagliate tra le modalità testuale, audio e visiva. Viene sviluppato un modulo di mappatura visiva multivista per aumentare la trasparenza, rivelando traiettorie temporali delle emozioni, schemi di attenzione cross-modale e incorporamenti latenti delle emozioni, fornendo così informazioni intuitive sul processo decisionale del modello. Oltre a offrire una visualizzazione e un’interpretabilità migliorate della dinamica emotiva multimodale, la valutazione sperimentale sui dataset di riferimento CH-SIMS e CMU-MOSEI ha mostrato prestazioni competitive in termini di accuratezza, punteggio F1, errore assoluto medio e correlazione.

Protocollo

Il lavoro proposto mira a migliorare la progettazione dell'interazione intelligente offrendo un framework interpretabile per la mappatura visiva delle caratteristiche emotive multimodali. I database CH-SIMS e CMU-MOSEI, accessibili al pubblico, sono stati utilizzati in questo lavoro. Entrambi i dataset sono stati ottenuti dalle loro fonti ufficiali e impiegati nel rispetto delle linee guida d'uso, degli standard di ricerca e dei termini di licenza stabiliti dai rispettivi creatori. Il contenuto multimodale dei dataset, comprensivo di dati testuali, audio e video, è stato inizialmente raccolto e annotato dai fornitori dei dataset secondo le autorizzazioni rilasciate dai partecipanti e i protocolli di raccolta dati. Non è stata prevista alcuna interazione diretta con esseri umani, né il reclutamento di nuovi partecipanti, né la raccolta di informazioni personalmente identificabili in questo studio. Tutte le analisi sono state condotte utilizzando dataset di ricerca pubblicamente disponibili. Di conseguenza, la nostra analisi secondaria dei dati non ha richiesto ulteriore approvazione etica né revisione da parte di un comitato etico istituzionale (IRB). Lo studio è stato condotto nel rispetto delle norme istituzionali appropriate che regolano l'uso di dataset pubblicamente disponibili, le procedure di ricerca etica e le politiche applicabili in materia di utilizzo dei dati.

È stato impiegato un meccanismo di attenzione cross-modale basato su grafi per apprendere caratterizzazioni emotive tra diverse modalità, utilizzando caratteristiche specifiche per l'emozione o per la modalità al fine di migliorare la comprensione. Un componente di mappatura visiva multivista viene utilizzato per potenziare la progettazione interattiva in tempo reale sensibile alle emozioni, e la sua efficienza viene stimata per il riconoscimento delle emozioni. I risultati mostrano che il metodo proposto migliora sia l'interpretabilità che l'efficienza delle interfacce utente intelligenti sensibili alle emozioni nel mondo reale. Figura 1 mostra il flusso architetturale del lavoro proposto. Figura 1 illustra l'intero flusso di lavoro del framework di mappatura visiva suggerito per l'apprendimento delle caratteristiche emotive multimodali nel contesto dei sistemi di interazione intelligente. Il flusso inizia con tre modalità di ingresso sincronizzate, ovvero testo, audio e video, che acquisiscono informazioni emotive complementari rispettivamente dalle modalità linguistica, prosodica ed espressione facciale. Un codificatore transformer specifico per ciascuna modalità elabora ogni modalità per ottenere rappresentazioni ad alto livello dei dati grezzi in ingresso. Le rappresentazioni vengono quindi inviate a un modulo di apprendimento delle rappresentazioni disinnescate, in cui gli embedding specifici per l'emozione vengono separati dalle caratteristiche specifiche della modalità, garantendo coerenza nelle emozioni apprese provenienti da fonti di dati eterogenee. Gli embedding specifici per l'emozione di ciascuna modalità vengono quindi aggregati da una rete di attenzione cross-modale basata su grafi, che modella le dipendenze emotive inter-modalità e assegna pesi dinamici di importanza a ciascuna modalità in base al contesto d'interazione. Infine, il framework fornisce sia output di classificazione emotiva sia informazioni sull'interazione, facilitando decisioni trasparenti sensibili alle emozioni e una progettazione adattiva dell'interazione intelligente.

Acquisizione di dati multimodali

I dataset CH-SIMS e CMU-MOSEI sono due dataset multimodali esistenti di pubblico dominio che hanno raccolto informazioni multimodali, come video, audio e testo sincronizzati. Il dataset CH-SIMS comprende esami multimodali di persone di lingua cinese, inclusi 2.281 segmenti video, derivati da numerosi segmenti tratti da film, serie televisive e programmi di varietà. L'aggiunta di audio e testo corrispondenti a questi segmenti video rende gli studi sull'analisi multimodale delle emozioni più interessanti e fattibili. Tuttavia, uno dei più grandi dataset multimodali per l'esame di opinioni, sentimenti ed emozioni è il dataset CMU-MOSEI, raccolto da oltre 23.000 clip video di frasi pronunciate da più di 1.000 oratori su una varietà di argomenti. Il dataset è stato suddiviso casualmente in sottoinsiemi di training (70%), validazione (15%) e test (15%), mantenendo invariata la distribuzione delle classi.

Trascrizioni testuali, segnali audio e fotogrammi video vengono acquisiti e allineati temporalmente in modo da corrispondere a un livello temporale fine. L'integrazione a livello di fotogramma garantisce che i meccanismi proposti di apprendimento della rappresentazione e di fusione basata su grafi possano modellare e sfruttare congiuntamente il contenuto emotivo derivante da espressioni visive, toni vocali e contenuti linguistici. L'estrazione efficace delle dinamiche emotive intermodali è resa possibile da questa tipologia di tecnica di acquisizione multimodale, fondamentale per la progettazione di interazioni intelligenti e per una mappatura visiva comprensibile.

Tabella 1 presenta le strutture principali dei dataset multimodali sulle emozioni utilizzati nel metodo proposto. Per ottenere un ampio spettro di sentimenti correlati, come parole parlate, intonazioni vocali ed espressioni facciali, CH-SIMS e CMU-MOSEI integrano modalità video, audio e testo provenienti da questi dataset. Inoltre, il numero di campioni disponibili in CH-SIMS è limitato, consentendo un'analisi approfondita delle interazioni tra le modalità e delle variazioni emotive in ambito cinese. D'altra parte, il dataset CMU-MOSEI riveste un'importanza maggiore per la valutazione della robustezza degli algoritmi di apprendimento delle rappresentazioni e della visualizzazione qui trattati, poiché comprende una grande quantità di dati in diverse lingue, soggetti e livelli emotivi annotati. Inoltre, rispetto alle ricerche precedenti, riduce le difficoltà nella selezione delle informazioni durante i test dei modelli.

Preelaborazione e sincronizzazione multimodale

Le annotazioni temporali dei dataset CH-SIMS e CMU-MOSEI sono state utilizzate per sincronizzare le modalità testuale, uditiva e visiva, garantendo un apprendimento coerente della rappresentazione multimodale. Ogni enunciato fungeva da unità fondamentale di analisi ed era associato a segmenti audio e video corrispondenti all'interno dello stesso intervallo temporale. L'allineamento è stato effettuato a livello di enunciato. La trascrizione è stata suddivisa in segmenti in base ai timestamp di inizio e fine di ciascun enunciato. La corrispondenza tra trascrizione, audio e video è stata stabilita estraendo i fotogrammi video e i segnali audio corrispondenti che rientravano nello stesso intervallo temporale. Mentre i segmenti audio sono stati elaborati utilizzando Wav2Vec 2.0 per produrre rappresentazioni acustiche, i fotogrammi visivi del segmento video sono stati campionati a una frequenza predeterminata e codificati utilizzando il Vision Transformer (ViT). L'encoder RoBERTa è stato utilizzato per creare embedding testuali a partire dalle trascrizioni degli enunciati. La sincronizzazione temporale è stata ottenuta allineando tutte le caratteristiche delle modalità a un singolo confine dell'enunciato, poiché le tre modalità producevano sequenze di caratteristiche di lunghezza variabile. È stato utilizzato un formato di lunghezza fissa per normalizzare le sequenze di lunghezza variabile. Le sequenze più lunghe sono state accorciate alla lunghezza massima consentita, mentre quelle più brevi sono state completate con zeri. Durante l'addestramento, sono state utilizzate maschere di attenzione per separare gli elementi aggiunti tramite padding dalle posizioni legittime delle caratteristiche. Gli embedding specifici per ciascuna modalità sono stati proiettati in uno spazio latente comune prima della fusione, al fine di superare le diverse lunghezze delle sequenze tra le modalità. Ciò ha garantito coerenza dimensionale e ha permesso al meccanismo di attenzione basato su grafi di facilitare un efficace apprendimento dell'interazione cross-modale. Per preservare la qualità dei dati e l'integrità della sincronizzazione, sono stati esclusi dagli studi i campioni con file corrotti, annotazioni mancanti o informazioni incomplete sulle modalità.

Estrazione di caratteristiche basata su Transformer

Un metodo di apprendimento profondo viene utilizzato per apprendere rappresentazioni di caratteristiche di alto livello consapevoli delle emozioni a partire da informazioni provenienti da più modalità, come visione, audio e testo, in modo end-to-end, dopo l'allineamento dei dati multimodali e ogni preelaborazione necessaria. Utilizzando un codificatore transformer per apprendere rappresentazioni di caratteristiche intrinsecamente discriminative a partire da dati multimodali grezzi, il metodo proposto elimina la necessità di ingegnerizzazione delle caratteristiche. Per favorire la coerenza tra i diversi dataset utilizzati nell'approccio proposto, viene appresa un'incorporazione (embedding) di dimensione fissa per ciascuna modalità. Ad esempio, vengono apprese incorporazioni di caratteristiche di 768 dimensioni per ciascuna delle singole modalità, inclusa l'immagine, l'audio e il testo, formando collettivamente uno spazio unificato di caratteristiche utilizzato in tutto l'approccio, in particolare un approccio di estrazione delle caratteristiche applicato al dataset CH-SIMS proposto e al dataset CMU-MOSEI per apprendere caratteristiche di alto livello da dati di dimensioni variabili.

Modalità visiva: Vision transformer per incorporamenti di frame consapevoli delle emozioni

È stato utilizzato un modello Vision Transformer (ViT-Base) per estrarre informazioni visive dai fotogrammi video al fine di ottenere rappresentazioni spaziali rilevanti per le emozioni. Prima dell'estrazione delle caratteristiche, i fotogrammi di ciascun segmento video sono stati ridimensionati a (224 × 224) pixel e campionati a intervalli temporali regolari. Utilizzando una dimensione di patch di 16 × 16 pixel, l'architettura ViT-Base produce una serie di token visivi che vengono elaborati da 12 strati encoder transformer. Le rappresentazioni a livello di fotogramma recuperate sono state proiettate in uno spazio di embedding a 768 dimensioni mediante un modello ViT preaddestrato utilizzato come backbone visivo. Gli embedding a livello di fotogramma sono stati aggregati mediante media pooling per creare la rappresentazione visiva finale per ciascun segmento. Durante l'addestramento, sono state applicate normalizzazione delle immagini e comuni tecniche di aumento, come il ritaglio casuale e il ribaltamento orizzontale, per migliorare la capacità di generalizzazione. Successivamente, il framework proposto di fusione multimodale è stato utilizzato per combinare questi embedding visivi con rappresentazioni testuali e uditive.

Per mantenere la dinamica temporale delle emozioni, i campioni video dei dataset CH-SIMS e CMU-MOSEI verranno sottoposti a campionamento uniforme per la modalità visiva. I fotogrammi di ciascun video, $Formula della rappresentazione vettoriale matematica, $x_v \in \mathbb{R}^{H \times W \times C}$, equazioni.$ , possono essere suddivisi in N sezioni di dimensione fissa, che vengono quindi appiattite e trasformate inversamente in uno spazio di incorporamento latente con dimensione $Equazione che rappresenta un'assegnazione di variabile: $ d_v = 768 $.$ . Viene creata una serie aggiungendo incorporamenti posizionali e un token di raggruppamento addestrabile:

Equazione che rappresenta una sommatoria di componenti pesati; analisi matematica; metodologia della ricerca. (1)

dove Equazione E_pos, concetto di equilibrio statico, formula educativa per l'analisi della ricerca in fisica rappresenta la codifica posizionale e $Formula matematica che mostra la rappresentazione dello spazio vettoriale: $ E \in \mathbb{R}^{(P^2C) \times 768} $.$ è la matrice di incorporamento delle porzioni.

Vengono utilizzati strati di encoder transformer impilati, composti da reti feed-forward e da auto-attenzione multi-testa, per elaborare la sequenza di patch incorporata. La trasformazione allo strato l è descritta come:

Equazione del modello matematico iterativo che utilizza le funzioni MSA e LNO, rappresentazione simbolica. (2)

Equazione di normalizzazione stratificata e rete feedforward nel calcolo neurale. (3)

Per ottenere il vettore di caratteristiche visive consapevole delle emozioni, l'output equivalente al token di classe viene estratto come vettore di caratteristiche $Equazione dello spazio vettoriale $ f_v \in \mathbb{R}^{768} $, concetto matematico, notazione, algebra.$ . Per affrontare rappresentazioni visive delle emozioni coerenti nonostante le differenze linguistiche e di contenuto tra i diversi dataset, gli embedding a livello di fotogramma di ciascun segmento video vengono combinati per catturare le espressioni facciali e l'evoluzione delle emozioni.

Modalità audio utilizzando Wav2Vec 2.0 per embedding acustici prosodici e semantici Gli embedding vocali contestualizzati sono stati prodotti utilizzando un codificatore Wav2Vec 2.0 preaddestrato come base acustica. Un vettore di caratteristiche acustiche di lunghezza fissa per ogni frase è stato ottenuto aggregando le rappresentazioni nascoste in uscita mediante media pooling. Il modello Wav2Vec 2.0 è stato utilizzato per estrarre rappresentazioni acustiche dai segnali audio al fine di catturare caratteristiche vocali contestuali e rilevanti per l'emozione. Prima dell'estrazione delle caratteristiche, le registrazioni audio sono state normalizzate e ricampionate a 16 kHz. Per garantire la sincronizzazione tra le modalità testuale e visiva, ogni segmento audio a livello di enunciato è stato isolato utilizzando i limiti temporali forniti dalle annotazioni del dataset. Il codificatore acustico preaddestrato è stato adattato durante l'addestramento del modello per migliorare l'adattamento specifico al compito, consentendo alle rappresentazioni derivate di rappresentare in modo più accurato gli aspetti emotivi dei segnali vocali. Successivamente, è stata eseguita la fusione dell'attenzione multimodale basata su grafi e l'apprendimento di rappresentazioni disincagliate utilizzando gli embedding audio finali.

Nella modalità audio, Wav2Vec-2.0 viene utilizzato per modellare i segnali vocali derivati dalle informazioni vocali iniziali nei dataset CH-SIMS e CMU-MOSEI, estraendo direttamente caratteristiche audio relative all'emozione. Esiste una codifica delle caratteristiche convoluzionali per ogni segnale vocale in ingresso $Espressione matematica, simbolo: $ x_a \in \mathbb{R}^T $, che implica un elemento nello spazio vettoriale reale.$ :

Equazione matematica, funzione di convoluzione, diagramma di trasformazione lineare, analisi della ricerca. (4)

dove Z indica tratti prosodici di basso livello come melodia, tono ed energia. Una rete contestuale basata su transformer è utile per le strutture sopra menzionate, in quanto rappresenta dipendenze temporali a lungo raggio:

C uguale trasformata di Fourier di Z; equazione matematica per l'analisi di elaborazione del segnale. (5)

I dati acustici prosodici e semantici, essenziali per esprimere le emozioni, sono inclusi in queste rappresentazioni acustiche contestuali. Un'incorporazione audio di lunghezza specifica viene creata eseguendo una procedura di pooling temporale:

Espressione matematica per l'operazione di pooling nel modello computazionale, equazione fa=Pool(C),fa∈ℝ⁷⁶⁸. (6)

La progettazione evita l'uso di caratteristiche acustiche come gli MFCC e raggiunge robustezza estraendo semplicemente rappresentazioni dalle forme d'onda, utilizzando dati vocali in inglese da CMU-MOSEI e dati vocali in cinese da CH-SIMS.

Modalità testuale utilizzando RoBERTa per incorporamenti contestuali delle emozioni

Per la modalità testuale, il trasformatore bidirezionale profondo RoBERTa viene applicato alle trascrizioni vocali dei due set di dati per generare semantica contestuale e significato affettivo. Gli encoder trasformatori basati su RoBERTa sono stati utilizzati per estrarre rappresentazioni testuali dai dati delle trascrizioni al fine di catturare informazioni semantiche contestuali ed emozionali. È stato utilizzato un modello RoBERTa preaddestrato per il dataset CMU-MOSEI in lingua inglese, mentre per il dataset cinese CH-SIMS è stata impiegata una variante cinese di RoBERTa, per tenere meglio conto delle caratteristiche linguistiche specifiche della lingua. La pre-elaborazione del testo ha incluso la tokenizzazione mediante il tokenizer RoBERTa appropriato per ciascuna lingua e la normalizzazione del testo. Per garantire un'elaborazione coerente per batch, le sequenze di input sono state convertite in embedding di token e successivamente riempite o tagliate fino a una lunghezza massima predeterminata. In conformità al formato di input di RoBERTa, sono stati introdotti token speciali di classificazione e di separazione. Un embedding testuale di lunghezza fissa è stato ottenuto aggregando le rappresentazioni contestualizzate dei token prodotte dall'encoder trasformatore, utilizzando la rappresentazione finale della frase equivalente al [CLS]. Per adattare le rappresentazioni apprese al compito di riconoscimento delle emozioni, gli encoder RoBERTa preaddestrati sono stati perfezionati attraverso un addestramento multimodale. Successivamente, il framework proposto di fusione multimodale è stato utilizzato per unire gli embedding testuali con le caratteristiche audio e visive.

Gli embedding dei token e le codifiche posizionali possono essere combinati per ogni input tokenizzato, Analisi del sistema dinamico, equazione: xt={w1,w2,...,wn}, formula matematica per le variabili di stato. , al fine di creare la rappresentazione dell'input nella tecnica di trasformazione bidirezionale profonda nota come

$Equazione di Hamilton, $H_0 = E_{tok}(x_t) + E_{pos}$; rappresentazione della formula di meccanica quantistica.$ (7)

Questa forma è rappresentata attraverso i livelli del trasformatore L, che utilizza l'auto-attenzione per scoprire le dipendenze contestuali tra le parole:

Equazione dei livelli del trasformatore nelle reti neurali L, formula matematica. (8)

L'incorporamento contestuale dell'emozione si ottiene utilizzando lo stato nascosto finale del token di classificazione:

Equazione che illustra la trasformazione del vettore, fₜ = Hᴸ[CLS], fₜ ∈ ℝ⁷⁶⁸, relativa all'analisi dei dati. (9)

La polarità del sentiment, le emozioni intense e le implicazioni associate sono esempi di caratteristiche linguistiche relative alle emozioni che verranno rappresentate da questo embedding. RoBERTa semplifica la modellizzazione indipendente dal linguaggio. Ciò consente al sistema di utilizzare la stessa dimensione dell'embedding sia per i testi in inglese del dataset CMU-MOSEI che per i testi in cinese del dataset CH-SIMS.

Tre vettori caratteristici specifici per modalità, ciascuno di 768 dimensioni, relativi alle modalità visiva f_v, audio f_a e testuale f_t, vengono estratti tramite il passaggio proposto di apprendimento della rappresentazione delle caratteristiche profonde. Nella progettazione dell'interazione intelligente, queste rappresentazioni apprese creano uno spazio unificato di caratteristiche multimodali che costituisce la base per il mapping visivo a livello di caratteristiche, la fusione incrociata multimodale basata su grafi e l'apprendimento di rappresentazioni disaccoppiate.

Apprendimento della rappresentazione disaccoppiata

Dopo aver appreso una rappresentazione di caratteristiche profonde, un'ulteriore elaborazione dei vettori di caratteristiche multimodali provenienti dalle modalità visiva, uditiva e testuale può produrre una descrizione emotiva disgiunta. Se gli embedding di caratteristiche specifiche per modalità delle modalità uditiva, visiva e testuale utilizzate nel passaggio precedente sono rappresentati da f_v, f_a e f_t, rispettivamente, in modo tale che $Simbolo matematico, formula dello spazio vettoriale, $f_m \in \mathbb{R}^{768}$, per la dimensionalità dei dati.$ e Equazioni per elementi della teoria degli insiemi; m ∈ {v, a, t}; notazione matematica, uso didattico. , l'obiettivo di questo passaggio è fattorizzare tutte le caratteristiche modali in due rappresentazioni latenti distinte, che includono le rappresentazioni emotive tenendo conto della semantica precedente di ciascuna delle diverse modalità.

Ciò viene ottenuto alimentando ogni caratteristica modale, f_m, in due reti di proiezione parallele: un codificatore emotivo Equazione di equilibrio statico, E_e(.), che rappresenta la dinamica del bilancio energetico nel diagramma del sistema. e un codificatore modale Simbolo della funzione Em; notazione matematica; utilizzata in equazioni a scopo educativo. , dove vengono prodotte le due codifiche.

Equazioni matematiche che descrivono la meccanica statistica; le variabili mostrano un processo di equilibrio. (10)

Dove $Equazione, $ z^e_m \in \mathbb{R}^{d_e} $, rappresentazione simbolica matematica.$ rappresenta la caratteristica latente associata all'emozione e Concetto matematico; zm ∈ ℝdm simbolo; spazio vettoriale; analisi della dimensionalità; equazione. rappresenta una caratteristica latente specifica per una modalità. Ciò consente agli embedding specifici per l'emozione di comunicare ripetutamente con uno spazio comune attraverso più input, tra cui audio, video e testo, mantenendo al contempo i dati strutturali unici associati a ciascuna modalità.

Una separazione efficace è ottenuta ricostruendo con vincoli di indipendenza. La ricostruzione della caratteristica dell'originale modalità è data da:

Equazione per un processo dinamico; formula: f̂ₘ = D(zₘᵉ, zₘᵐ); diagramma concettuale; contesto di ricerca. (11)

dove $Processo statistico; formula $ D(.) $; equazione matematica per l'analisi dei dati.$ è una rete decodificatrice. La perdita di ricostruzione preserva i seguenti dati:

Formula della perdita di ricostruzione, equazione matematica per l'analisi del processamento del segnale, Σm||fm-f̂m||². (12)

Inoltre, l'ortogonalità, o decorrelazione, tra emozione e rappresentazioni specifiche della modalità limita spesso la sovrapposizione di informazioni:

Equazione di equilibrio statico Σm||(ze^T)zm||2, formula matematica, uso didattico. (13)

Raggiungendo questi obiettivi, il modello potrebbe apprendere rappresentazioni delle emozioni affidabili, comprensibili e resistenti alla variabilità delle modalità sensoriali. Successive fusioni multimodali basate su grafi e caratteristiche di mappatura visiva, in particolare per la progettazione di interazioni intelligenti, dipendono fortemente da rappresentazioni emotive interpretabili e strutturate.

Coincidenza delle emozioni tra diverse modalità

L'aggiunta della coerenza emotiva migliora chiaramente l'efficacia della fusione tra le diverse modalità. Questo perché le strategie di fusione non devono tenere conto di ampie differenze tra le due rappresentazioni, poiché gli embedding emotivi specifici per modalità condividono uno spazio latente. L'illustrazione combinata delle due emozioni è descritta come segue Equazioni di equilibrio chimico simboli Zve, Zae, Zte. . La fusione pesata sarà più stabile quando le rappresentazioni specifiche per emozione sono coerenti, poiché le variazioni tra i segnali provenienti da diverse modalità non influenzeranno più il risultato.

Equazione per la perdita contrastiva, formula matematica, che mostra sommatoria e indici delle variabili. (14)

Imponendo l'allineamento semantico delle informazioni emotive, questo obiettivo riduce al minimo le discrepanze tra le diverse modalità e garantisce che la percezione delle emozioni rimanga coerente indipendentemente dalla modalità utilizzata per esprimerla. Di conseguenza, uno spazio rappresentativo coeso e affettivo viene creato proiettando gli indizi emotivi ottenuti dai segnali vocali, dalle espressioni facciali e dal contenuto linguistico.

Impatto sulla fusione multimodale

La fusione multimodale diventa più efficace quando viene introdotta una coerenza emotiva tra le diverse modalità. I meccanismi di fusione non devono più compensare ampie differenze nelle rappresentazioni inter-modali, poiché gli embedding specifici per l'emozione sono allineati in uno spazio latente comune. La rappresentazione emotiva fusa è definita come segue:

Equazione di equilibrio statico Σm∈{v,a,t}amzem diagramma per l'analisi della fusione nella ricerca educativa. (15)

Dove α_m rappresenta il peso dell'attenzione assegnato alla modalità m. La fusione pesata diventa più stabile e comprensibile quando le rappresentazioni specifiche per l'emozione sono coerenti, poiché il risultato della fusione mostra evidenze emotive complementari piuttosto che segnali di modalità contraddittori.

Matematicamente, ridurre Equazione di equilibrio statico, ΣFx=0, meccanica vettoriale, formula didattica. varianza tra diversi tipi di rappresentazione specifici per emozione in relazione a è equivalente a:

Formula per il calcolo della varianza, Var(z^e), espressione matematica, equazione di analisi statistica. (16)

dove simbolo Z^-e, equazione chimica, pertinente agli studi sulla carica ionica, rappresentazione della formula rappresenta l'espressione emotiva media. Una varianza ridotta fa sì che le modalità di ingresso vengano ponderate in base al loro preciso significato emotivo piuttosto che al rumore della modalità, garantendo una migliore convergenza della rete e una valutazione dell'attenzione più accurata.

L'obiettivo finale dell'apprendimento delle visualizzazioni emotive disincagliate è combinare frammentazione, ricostruzione e uniformità emotiva:

Formula matematica, L_total = L_rec + λ1L_dis + λ2L_con, diagramma dell'equazione, ottimizzazione. (17)

in cui due iperparametri, λ₁ e λ₂, controllano la relazione tra affidabilità emotiva multimodale e dissociazione. Il modello proposto acquisisce rappresentazioni emotive invarianti rispetto alla modalità, interpretabili e fusibili per raggiungere questo obiettivo, con un'enfasi particolare nel fornire una base solida per la successiva fusione basata su grafi e per la rappresentazione a livello di caratteristiche nella progettazione di interfacce intelligenti.

Fusione dell'attenzione multimodale basata su grafi

È stato utilizzato un network grafico con attenzione cross-modale per simulare relazioni emotive finemente dettagliate tra le diverse modalità. Per facilitare il flusso di informazioni tra le modalità, è stato costruito un grafo multimodale completamente connesso, in cui ogni embedding specifico per modalità (testo, audio e video) è rappresentato come un nodo del grafo. Le relazioni tra le modalità sono state utilizzate per definire la matrice di adiacenza del grafo, successivamente migliorata mediante un metodo di attenzione apprendibile. Uno spazio latente condiviso è stato creato concatenando e proiettando gli output di diversi head di attenzione. Una rappresentazione unificata dell'emozione multimodale è stata quindi prodotta aggregando le rappresentazioni dei nodi attraverso un pooling pesato sull'attenzione. Tale rappresentazione fusa è stata poi fornita ai moduli di previsione e visualizzazione per l'analisi consapevole delle interazioni e il riconoscimento delle emozioni. Il modulo di fusione basato sul grafo aveva una dimensione della rappresentazione nascosta pari a 256 e due livelli di attenzione grafica, ciascuno con otto head di attenzione. Per determinare l'importanza relativa delle modalità adiacenti, i coefficienti di attenzione tra nodi connessi sono stati calcolati e normalizzati utilizzando la funzione softmax. Ogni livello di attenzione grafica era seguito da una normalizzazione del livello, connessioni residue e un tasso di dropout pari a 0,2, al fine di aumentare la stabilità dell'addestramento e ridurre l'overfitting. Dopo aver concatenato e proiettato gli output di diversi head di attenzione in uno spazio latente comune, le rappresentazioni dei nodi sono state combinate in un unico embedding emotivo multimodale mediante pooling pesato sull'attenzione. Successivamente, la rappresentazione fusa è stata utilizzata per la mappatura visiva multi-vista e la previsione delle emozioni.

Diverse interazioni multimodali sono state catturate utilizzando un'attenzione grafica multi-testa. La funzione softmax è stata utilizzata per normalizzare i coefficienti di attenzione tra i nodi connessi per ogni nodo. Per aumentare la stabilità dell'addestramento ed evitare l'overfitting, ai livelli di attenzione grafica sovrapposti nel modulo di fusione grafica sono state aggiunte connessioni residue, normalizzazione del livello e regolarizzazione con dropout.

I termini Equazione 32 rappresentano singolarmente le rappresentazioni corrispondenti alle emozioni specifiche raccolte attraverso le modalità visiva, audio e testuale; ogni componente risiede nello spazio latente condiviso Equazione 42 . I modelli per i nodi delle modalità utilizzano una notazione per il grafo Equazione 43 , con i nodi dell'insieme Equazione 44 corrispondenti ai tre nodi delle modalità stesse, al fine di rafforzare esplicitamente le dipendenze emotive condivise tra le diverse rappresentazioni delle modalità.

Dopo aver assegnato un vettore di caratteristiche specifico per l'emozione a ciascun nodo nel grafo, abbiamo:

$Equazione di equilibrio statico $H=[Z_v^e, Z_a^e, Z_t^e]^T \in \mathbb{R}^{3 \times a_e}$.$ (18)

A differenza dei metodi tradizionali di fusione, che utilizzano pesi fissi o predeterminati, il metodo proposto apprende pesi adattivi per i collegamenti in base alla loro rilevanza e interdipendenze, sia tra canali che tra situazioni emotive.

Una rete di attenzione basata sui grafi (GAT) viene utilizzata per la fusione multimodale. Un coefficiente di attenzione viene calcolato per ciascun nodo i e per i suoi nodi adiacenti, ovvero il nodo j:

Equazione di attivazione della rete neurale: LeakyReLU; formula; espressione di apprendimento automatico. (19)

L'effetto emotivo del passaggio dalla modalità j alla modalità i è misurato dai pesi normalizzati α_ij.

Successivamente, l'aspetto fuso di ciascun nodo modale viene calcolato come un raggruppamento pesato dei suoi vicini:

$Formula della rete neurale grafica, $ h'_i = \sigma(\sum_{{j \in N(i)}} \alpha_{ij} W z_j^e) $.$ (20)

dove la funzione di attivazione Simbolo della funzione sigma (σ), notazione matematica. è non lineare. Infine, le caratteristiche aggiornate di ogni nodo vengono combinate per ottenere una rappresentazione globale fusa dell'emozione:

Equazione per il processo di fusione dei dati, z_fusione = 1/|v| Σ h'_i, formula matematica. (21)

È una tecnica utile per la modellazione interpretabile delle emozioni e la successiva mappatura visiva poiché cattura informazioni complementari da diverse modalità preservando al contempo complesse relazioni inter-modalità.

L'algoritmo 1 (File Supplementare 1) fornisce lo schema generale per eseguire la fusione cross-modale basata su grafi. Inizialmente, viene creato un grafo con le caratteristiche specifiche dell'emozione associate a ciascuna delle modalità visiva, audio e testuale. Successivamente, vengono calcolati i punteggi di attenzione per ogni coppia di nodi del grafo, che rappresentano la combinazione delle dipendenze emotive. I punteggi di attenzione vengono quindi normalizzati per indicare il contributo relativo di ciascuna modalità al contesto emotivo specificato, consentendo l'apprendimento dei pesi di attenzione. L'embedding generale dell'emozione viene prodotto nell'ultima fase aggregando le caratteristiche associate ai nodi del grafo. In questo senso, la fusione generale dell'algoritmo delle caratteristiche multimodali legate alle emozioni specificate mostra potenzialità in termini di adattabilità, interpretabilità e intelligenza contestuale.

Figura 2 mostra la struttura e il funzionamento della rete proposta con attenzione cross-modale per la fusione del sentiment multimodale. Gli embedding specifici per l'emozione, derivati in modo indipendente per le modalità testuale, uditiva e video, vengono inizialmente elaborati da meccanismi di attenzione a livello modale che apprendono l'importanza relativa delle informazioni linguistiche, vocali e facciali in un dato contesto emotivo. Le rappresentazioni pesate mediante attenzione delle modalità vengono quindi combinate per formare un embedding emotivo unificato, nel quale la matrice di attenzione cattura le dipendenze inter-modalità e l'intensità delle interazioni. La matrice di attenzione appresa dalla rete modula dinamicamente il contributo delle modalità, consentendole di concentrarsi sulla modalità più informativa mentre ignora quelle rumorose o meno significative. La rappresentazione emotiva fusa permette un riconoscimento accurato delle emozioni e un'analisi fine degli stati emotivi, come neutro, abbraccio e preoccupazione.

Modulo di mappatura visiva

Con l'ausilio della sezione di mappatura visiva, creata appositamente per questo scopo, un progettista intelligente di interazioni può convertire la rappresentazione unificata dello stato emotivo in una forma visiva comprensibile e facilmente fruibile dopo il processo di fusione multimodale, in base al grafico.

Per facilitare la comprensione delle rappresentazioni emotive latenti, sono state utilizzate tecniche di riduzione della dimensionalità per visualizzare gli embedding multimodali delle emozioni appresi. Dopo aver ridotto la dimensionalità delle caratteristiche mantenendo la maggior parte della varianza mediante l'analisi delle componenti principali (PCA), gli embedding sono stati proiettati in uno spazio bidimensionale per la visualizzazione, usando l'incorporamento stocastico di vicini distribuiti in modo t (t-SNE). Per t-SNE sono stati utilizzati un valore di perplessità pari a 30, una velocità di apprendimento di 200 e 1.000 iterazioni di ottimizzazione. I cluster specifici per emozione e le relazioni tra modalità sono stati visualizzati mediante le proiezioni ottenute. I pesi normalizzati dell'attenzione incrociata ottenuti dalla rete attentiva basata su grafi sono stati utilizzati per creare mappe termiche di attenzione. Queste mappe termiche mostrano i contributi relativi delle modalità testuale, audio e visiva durante la previsione dell'emozione. I coefficienti di attenzione appresi sono stati utilizzati come pesi degli archi per creare grafi di interazione multimodale, consentendo l'analisi visiva delle relazioni intermodali e del flusso informativo all'interno del framework di fusione. Sono stati creati grafici delle traiettorie emotive monitorando l'evoluzione degli embedding emotivi latenti attraverso utterance successive, per esaminare la dinamica emotiva temporale. Queste traiettorie forniscono informazioni su come gli stati emotivi e i contributi delle modalità evolvono nel tempo. Tutte le visualizzazioni sono state create utilizzando pacchetti Python come Matplotlib e Scikit-learn. Per valutare l'interpretabilità, la formazione dei cluster, i contributi delle modalità e la dinamica temporale delle emozioni, sono state condotte analisi qualitative delle visualizzazioni degli embedding, dei grafi di interazione e delle mappe termiche di attenzione.

Sia la variabile equazione z_fusion nello spazio vettoriale ℝ, formulazione matematica, analisi teorica. a rappresentare la rappresentazione fusa dello stato emotivo ottenuta tramite la funzione della rete di attenzione su grafi. A differenza della visualizzazione a livello di output dei grafici dello stato emotivo, l'obiettivo principale del modulo è trasformare le rappresentazioni dello stato emotivo e i pesi corrispondenti del meccanismo di attenzione in una forma visiva comprensibile.

Utilizzando i valori di α_ji appresi, viene creata una mappa termica di attenzione per esaminare visivamente il contributo di ciascuna modalità. I pesi di attenzione in ingresso vengono quindi sommati per determinare un punteggio composito di importanza per ogni modalità:

$Equilibrio statico; $ s_i = \frac{1}{|v|} \sum_{j \in v} a_{ji} $; diagramma della formula matematica.$ (22)

dove s_i rappresenta il contributo emotivo relativo della modalità I. Per facilitare la creazione di una mappa termica dell'attenzione, i valori ottenuti vengono normalizzati e associati a una mappa di colori che consente all'utente di identificare facilmente la modalità predominante in diversi passaggi temporali o stati interattivi. Attraverso varie modalità di input visive, uditive o testuali, un'interfaccia di questo tipo aiuta l'utente a comprendere il funzionamento del meccanismo di attenzione del sistema.

Il grafo appreso è modellato specificamente come un "grafo di interazione pesato" per rappresentare la dipendenza multimodale delle emozioni umane. Ogni modalità è rappresentata da un nodo nel grafo, mentre l'intensità delle interazioni relative alle emozioni umane è rappresentata dai pesi sotto forma di α_ji sui collegamenti che li uniscono. Il grafo pesato sopra illustra l'intensità delle interazioni emotive umane. La definizione di i e j è:

Equazione che illustra la formula delle medie ponderate; concetto matematico per l'analisi dei dati. (23)

Lo spessore o la trasparenza delle linee nella visualizzazione del grafico viene mostrato correttamente grazie a questi pesi. Ciò facilita la comprensione delle interazioni tra le diverse modalità. Il progettista può comprendere meglio come gli indicatori emotivi interagiscono durante il processo di fusione, grazie ai grafici di interazione intermodale.

Gli embedding emotivi fusi Equazione che mostra la variabile relativa alla fusione Ztfusion in un contesto matematico. in diversi passi temporali vengono ridotti a uno spazio di dimensione inferiore mediante un algoritmo di riduzione della dimensionalità, come PCA o t-SNE, al fine di visualizzare l'evoluzione delle emozioni nel tempo:

Equazione matematica che mostra yt come funzione della fusione di Zt nel contesto degli spazi vettoriali. (24)

dove la funzione di proiezione è rappresentata da simbolo della funzione Φ, concetto statistico, rappresentazione dell'equazione . L'emergere di traiettorie emotive 2D/3D, che mostrano transizioni emotive, intensità e stabilità nelle interazioni, può essere interpretato come una rappresentazione intuitiva dell'evoluzione degli stati emotivi nel tempo. Questi aspetti possono essere utilizzati per interazioni intelligenti, processi decisionali e monitoraggio in tempo reale.

A differenza dei sistemi convenzionali di riconoscimento delle emozioni, che si limitano a fornire corrispondenze a determinate classi o punteggi, questo sistema si concentra sulla dimostrazione di come le emozioni umane si formano al suo interno. Rivela il proprio processo decisionale offrendo visualizzazioni delle caratteristiche intermedie, inclusi i fattori di ponderazione, le interazioni tra modelli e i relativi percorsi. Ciò consente all'utente di comprendere come ciascun fattore—visivo, vocale o linguistico—influisca sulla generazione delle risposte alle emozioni umane.

La rappresentazione visiva delle emozioni in forme comprensibili può pertanto colmare il divario tra l'analisi delle emozioni mediante metodi di apprendimento profondo e la loro integrazione nella progettazione di interfacce intelligenti. I dati raccolti da entrambi gli approcci possono quindi essere utilizzati per creare interfacce utente più precise. Di conseguenza, l'approccio proposto può fornire ai progettisti di interazioni informazioni fondamentali per sviluppare interfacce utente più accurate. In altri termini, la comprensione delle emozioni diventa una componente estremamente attiva della progettazione delle interazioni. L'accuratezza può aumentare soltanto quando la comprensione delle emozioni viene integrata attivamente nella progettazione delle interazioni.

Il modulo di mappatura visiva rende possibile la spiegabilità in diversi modi interconnessi ma distinti: la spiegabilità a livello di caratteristica rivela le rappresentazioni sottostanti delle emozioni create dalla rete neurale profonda (DNN), permettendoci di comprendere la semantica utilizzata per descrivere ogni caratteristica relativa all'emozione; la spiegabilità a livello di modalità utilizza dati provenienti dai grafi di interazione e dalle mappe termiche dell'attenzione visiva per descrivere come ciascuna modalità — visiva, audio o testuale — contribuisca alle decisioni prese per esprimere le emozioni; infine, le traiettorie risultanti dall'incorporamento emotivo ci permettono di comprendere come ciascuna modalità visiva e testuale cambi nel tempo da una prospettiva di interazione dinamica. Si rimanda all'Algoritmo 2 (Supplementary File 1).

Le caratteristiche emotive multimodali fuse vengono mappate in rappresentazioni visivamente significative per la progettazione di interazioni intelligenti, utilizzando l'algoritmo di mappatura visiva proposto, Algoritmo 2. I pesi dell'attenzione multimodale basati su grafi vengono utilizzati per quantificare le differenze tra gli elementi visivi, audio e testuali in ingresso a ogni passo temporale. Queste differenze vengono quindi mappate in rappresentazioni visive per evidenziare le principali fonti che influenzano le emozioni, mediante elementi visivi a mappa di calore. Per fornire una visione approfondita dell'interazione tra gli elementi in ingresso e trasmettere l'evoluzione emotiva generata dagli elementi in ingresso multimodali, vengono quindi calcolate le intensità di interazione a coppie al fine di creare i pesi di interazione multimodali. Nel frattempo, viene creata una rappresentazione dell'evoluzione emotiva mappando gli elementi emotivi fusi raccolti nel tempo in uno spazio a bassa dimensionalità, producendo così un'evoluzione continua degli elementi emotivi.

Previsione delle emozioni e feedback dell'interazione

L'esito della rappresentazione emotiva fusa, rappresentato come equazione z_fusion nello spazio vettoriale ℝ, formulazione matematica, analisi teorica , viene quindi utilizzato come funzione sia per il feedback dell'interazione che per la previsione emotiva. Inoltre, la previsione emotiva è descritta come un modello multitask costituito da un compito di regressione per il riconoscimento dell'intensità emotiva continua e da un compito di classificazione per il riconoscimento emotivo discreto. Il seguente modello di classificazione basato su softmax viene utilizzato per il riconoscimento emotivo discreto:

Equazione Softmax per la previsione dell'output della rete neurale; formula: ŷ = softmax(W_cz^fusion + b_c). (25)

dove $Previsione, equazione di regressione, $\hat{y}$; grafico; analisi dati; valutazione modello predittivo$ rappresenta le probabilità attese delle classi emotive e W_c e b_c sono vincoli apprendibili. La perdita di entropia incrociata viene utilizzata per migliorare l'obiettivo di classificazione:

Formula della perdita di classificazione, Lcls=-ΣKk=1 yk log(ŷk), equazione matematica. (26)

dove y_k è l'etichetta reale e K è il numero di classi emotive. Un ramo di regressione viene utilizzato per stimare l'intensità emotiva in parallelo, producendo una previsione di diversi attributi affettivi continui, inclusi valenza ed attivazione. Assegnagli la seguente definizione:

Equazione per l'equilibrio statico, formula Ŝ = WrZ^fusion + br, contenuto educativo. (27)

dove il punteggio previsto dell'intensità emotiva è indicato da diagramma di spettroscopia; formula ΣFx=0; esperimento di analisi del DNA; studio di eccitazione ottica. . Viene utilizzata la perdita del quadrato medio degli errori per migliorare il compito di regressione:

Formula di regolarizzazione: Lreg = ||s - ŝ||²₂, equazione per l'ottimizzazione della funzione di perdita. (28)

In generale, le due attività sono combinate nell'obiettivo di previsione:

Equazione della funzione di perdita: Lpred = Lcls + λLreg, che illustra classificazione e regressione. (29)

dove gli obiettivi della regressione e della classificazione sono bilanciati da λ. Si propone una modifica dinamica del modulo di visualizzazione in base allo stato emotivo identificato, al fine di consentire un feedback consapevole dell'interazione. Il contesto di interazione al tempo t è rappresentato da c_t. La risposta del modulo di visualizzazione è fornita da:

$Equazione per la trasformazione di fusione, $V_t = \Psi(z_t^{fusion}, \hat{y}_t, \hat{s}_t, c_t)$.$ (30)

dove la funzione di adattamento della visualizzazione è rappresentata da Simbolo della funzione d'onda quantistica Ψ(x) in un'equazione matematica, pertinente allo studio della fisica delle particelle . Ciò rende possibile regolare in tempo reale le mappe termiche di modalità, i grafici di interazione e le traiettorie emotive in base ai cambiamenti e alle emozioni previsti. Ciò indica che il sistema fornisce un sostegno significativo per il feedback, oltre a prestarsi bene nella previsione dello stato emotivo.

Risultati

Questo studio convalida il framework proposto di mappatura visiva per le caratteristiche emotive multimodali in termini sia di interpretabilità consapevole dell'interazione sia di prestazioni predittive, utilizzando due dataset di riferimento, CH-SIMS e CMU-MOSEI. Secondo i risultati sperimentali, l'approccio suggerito ottiene prestazioni costantemente superiori rispetto alle attuali tecniche di riconoscimento emotivo multimodale in una varietà di metriche, tra cui correlazione, accuratezza, punteggio F1 e errore assoluto medio (MAE). La rappresentazione emotiva disincagliata, il meccanismo di fusione intermodale basato su grafi e la strategia di apprendimento end-to-end della rappresentazione profonda contribuiscono tutti a questo miglioramento, consentendo una modellizzazione emotiva più stabile e semanticamente allineata. L'approccio proposto fornisce informazioni più ricche a livello di caratteristiche attraverso la mappatura visiva, andando oltre i guadagni quantitativi e facilitando la comprensione dei contributi delle modalità e della dinamica emotiva. Nonostante le variazioni nella lingua, nell'espressione culturale e nelle dimensioni del dataset, il suddetto miglioramento delle prestazioni viene osservato costantemente in entrambi i dataset, dimostrando la notevole capacità di generalizzazione del framework proposto.

Nei lavori proposti vengono utilizzati i dataset pubblici CH-SIMS e CMU-MOSEI per l'analisi dell'emozione multimodale. Il dataset CH-SIMS comprende 2.281 clip video tratti da film, serie televisive e programmi di varietà. In CH-SIMS sono disponibili dati testuali, audio e visivi sincronizzati. Le etichette di sentiment unimodali e multimodali sono classificate in categorie positive, neutre e negative. Il grande dataset multimodale in lingua inglese noto come CMU-MOSEI contiene circa 23.453 clip video annotate con oltre 1.000 speaker che discutono su una vasta gamma di argomenti. Questo dataset include sia annotazioni continue dell'intensità emotiva, come valenza e arousal, sia etichette categoriali delle emozioni. Sperimentando su questi due dataset mediante il framework proposto, si rafforza la robustezza e l'affidabilità, grazie al supporto di diverse condizioni linguistiche, culturali ed emotive. Tabella 2 mostra i dettagli dell'ambiente di simulazione.

I principali parametri sperimentali e di implementazione utilizzati per valutare il framework proposto sono riassunti in questo ambiente di simulazione. Per garantire una dimensionalità uniforme delle caratteristiche attraverso le modalità testuale, audio e visiva, vengono applicati in modo uniforme degli encoder basati su transformer. Il sistema impiega un meccanismo di attenzione basato su grafi per la fusione multimodale, consentendo un apprendimento adattivo delle dipendenze intermodali in relazione agli stati emotivi.

Il framework proposto estrae rappresentazioni testuali, uditive e visive utilizzando codificatori modali basati su transformer. Strati completamente connessi con attivazione ReLU proiettano gli embedding specifici per ogni modalità in uno spazio latente condiviso. Vengono quindi utilizzati codificatori separati per emozione e per modalità, ciascuno composto da due strati completamente connessi con attivazione non lineare e normalizzazione, per apprendere rappresentazioni disgiunte. Le rappresentazioni latenti vengono proiettate in uno spazio caratteristico di 256 dimensioni, in cui le informazioni per ciascuna modalità ed emozione vengono apprese separatamente. Per mantenere le informazioni relative alla modalità e favorire una disgiunzione efficiente, vengono impiegati decodificatori di ricostruzione. Prima della fusione multimodale e della previsione, il modulo di attenzione incrociata basato su grafi modella le dipendenze emotive tra le modalità utilizzando le rappresentazioni latenti. La rete è stata addestrata utilizzando l'ottimizzatore Adam con un tasso di apprendimento iniziale di 1 × 10⁻⁴ e una dimensione del batch di 32. È stato applicato l'arresto anticipato in base alla perdita di validazione per evitare l'overfitting. La funzione obiettivo totale comprendeva perdite di classificazione, ricostruzione e coerenza delle rappresentazioni, ciascuna pesata da iperparametri regolabili. L'addestramento del modello è stato eseguito per un massimo di 100 epoche, e il modello con le migliori prestazioni sul set di validazione è stato mantenuto per i test.

Il framework proposto è stato valutato utilizzando metriche di classificazione, tra cui Accuratezza, Precisione, Richiamo e punteggio F1, insieme a metriche di regressione come l'Errore Assoluto Medio (MAE). Precisione, Richiamo e punteggio F1 sono stati calcolati utilizzando la media macro per tenere conto dello squilibrio tra le classi nelle categorie emotive. Per gli esperimenti di classificazione, le etichette predefinite di emozione/sentimento fornite dai dataset CH-SIMS e CMU-MOSEI sono state utilizzate come classi di riferimento. Per la previsione del sentiment basata sulla regressione, i punteggi continui di intensità del sentiment presenti nei dataset sono stati utilizzati come variabili obiettivo. Sono state generate matrici di confusione per analizzare le prestazioni di previsione per ogni classe e i modelli di errore di classificazione con un intervallo di confidenza del 95%. Per garantire robustezza, ogni esperimento è stato ripetuto 5 volte utilizzando diverse inizializzazioni casuali, e i risultati riportati corrispondono alla media ±± deviazione standard delle prestazioni ottenute in tutti i tentativi. La significatività statistica è stata valutata mediante opportuni test di ipotesi, e gli intervalli di confidenza sono stati calcolati laddove applicabili. Il tempo di addestramento è stato misurato come il tempo totale trascorso necessario per la convergenza del modello sulla piattaforma hardware specificata.

Un certo numero di modelli di base rappresentativi, tra cui l'early fusion e la late fusion, può essere confrontato con il metodo proposto. TFN, metodi basati su LSTM, modelli di fusione multimodale a basso rango, trasformatori multimodali adattivi e nuove architetture basate sull'attenzione intermodale. Questi modelli di base riflettono tecniche all'avanguardia che si concentrano principalmente sul miglioramento dell'accuratezza nel riconoscimento delle emozioni attraverso diversi metodi di fusione. L'apprendimento delle rappresentazioni disincagliate e la fusione basata su grafi del framework proposto migliorano l'interpretabilità e la consapevolezza delle interazioni, a differenza di questi metodi che si concentrano principalmente sulla predizione a livello di output. LSTM Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph e tecniche basate su trasformatori sono esempi di modelli di base implementati utilizzando i loro repository ufficiali o implementazioni di riferimento pubblicamente accessibili. Le impostazioni originali degli iperparametri degli autori sono state utilizzate quando disponibili. Tutti i modelli di base sono stati riesaminati utilizzando le stesse suddivisioni del dataset, tecniche di pre-elaborazione, parametri di ottimizzazione e criteri di valutazione per garantire un confronto equo. Le tabelle comparative identificano chiaramente i riferimenti pertinenti per i dati derivati direttamente da pubblicazioni precedenti.

Precisione

L'accuratezza della classificazione delle emozioni discrete viene misurata sia per CH-SIMS che per CMU-MOSEI; tuttavia, l'andamento dell'accuratezza differisce in base alle caratteristiche dei due dataset. Poiché CH-SIMS è un dataset di dimensioni medie con un numero equilibrato di categorie di sentiment e clip video accuratamente preelaborate, la sua accuratezza è elevata, suggerendo che il modello è in grado di cogliere informazioni emotive multimodali sottili con poco rumore. Tuttavia, la classificazione accurata delle emozioni risulta complessa poiché CMU-MOSEI è un dataset su larga scala con parlanti provenienti da contesti diversi. Pertanto, oltre alla capacità del modello di identificare il sentiment, l'accuratezza sul dataset CMU-MOSEI indica la sua capacità di generalizzare e resistere a una varietà di scenari di interazione. Il miglioramento dell'accuratezza nei due dataset mostra che l'approccio proposto generalizza bene attraverso dataset di lingue diverse, dimensioni diverse e livelli diversi di complessità emotiva.

Le precisioni di classificazione dell'approccio proposto e di altri baselines comuni sui dataset CH-SIMS e CMU-MOSEI sono mostrate nella Tabella 3. Come indicato nella Tabella 3, il framework proposto ha raggiunto la precisione più elevata su entrambi i dataset CH-SIMS e CMU-MOSEI, superando il baseline più forte (Adaptive-Graph) rispettivamente di circa 3,3% e 3,1 punti percentuali. Valori più bassi della deviazione standard indicano anche una maggiore stabilità attraverso ripetute esecuzioni sperimentali. Gli approcci tradizionali di fusione LSTM presentano una precisione inferiore a causa della loro limitata capacità di catturare relazioni incrociate complesse tra modalità diverse. TFN e LMF migliorano la precisione di classificazione modellando le relazioni cross-modali.

Punteggio F1

Nei problemi di classificazione delle emozioni, l'equilibrio tra richiamo e precisione è misurato utilizzando il punteggio F1. Per i dataset di classificazione delle emozioni multimodali, che probabilmente presentano un numero disuguale di classi, tale misura risulta quindi più adatta. Nei compiti di classificazione delle emozioni, l'equilibrio tra richiamo e precisione è misurato mediante il punteggio F1. Poiché ci si aspetta che i dataset di classificazione delle emozioni multimodali siano sbilanciati, il punteggio F1 è più appropriato. Maggiore è la capacità del modello di rilevare le classi emotive, più alto sarà il punteggio F1.

Figura 3 illustra la valutazione del punteggio F1 della tecnica proposta rispetto ai metodi di riferimento sul dataset CH-SIMS. Il punteggio F1 più basso rivela la limitata capacità del metodo di riferimento basato su LSTM di modellare relazioni emotive complesse tra modalità diverse. I punteggi F1 ottenuti dalle tecniche valutate sul dataset CH-SIMS sono confrontati in Figura 3. Come mostrato, strutture più sofisticate basate su grafi e su trasformatori superano regolarmente i metodi di fusione più tradizionali. Il modello LSTM ha ottenuto il punteggio F1 più basso (0,71), seguito da TFN (0,74) e LMF (0,76). Il punteggio F1 è stato ulteriormente aumentato a 0,79 utilizzando Adaptive-Graph, dimostrando il valore della modellazione delle connessioni inter-modali. Con un punteggio F1 di 0,82, il framework proposto ha superato Adaptive-Graph del 3,8%, LMF del 7,9%, TFN del 10,8% e LSTM del 15,5%. Questi risultati indicano che il meccanismo proposto di attenzione cross-modale basato su grafi e l'apprendimento di rappresentazioni disincagliate catturano in modo più efficace le informazioni emotive complementari tra le modalità testuale, audio e visiva, portando a prestazioni migliori nella classificazione.

Le tendenze relative sono coerenti, anche se tutti i metodi mostrano un lieve calo del punteggio F1 rispetto al CH-SIMS, come mostrato in Figura 4. I risultati mostrano un miglioramento costante delle prestazioni passando dai metodi tradizionali di fusione alle strategie di apprendimento multimodale basate su grafi. I modelli con il punteggio F1 più basso sono stati LSTM (0.69), TFN (0.72) e LMF (0.74). Le prestazioni del modello Adaptive-Graph sono aumentate fino a 0.77, dimostrando l'efficacia con cui possono essere modellate le connessioni intermodali. Il framework proposto ha superato tutti gli altri approcci, raggiungendo il punteggio F1 più alto di 0.80. Il miglioramento rispetto al baseline più forte, Adaptive-Graph, dimostra il contributo dell'apprendimento della rappresentazione emotiva disincagliata e del meccanismo di attenzione intermodale basato su grafi nel catturare segnali emotivi complementari attraverso le modalità testuale, acustica e visiva. Questi risultati mostrano che il framework proposto per il riconoscimento delle emozioni multimodale è affidabile ed efficiente. L'approccio proposto dimostra un miglioramento significativo sia rispetto all'approccio basato su grafi sia rispetto al metodo tradizionale di fusione, confermando ulteriormente la forte capacità di generalizzazione del metodo. Il miglioramento del punteggio F1 sul dataset CMU-MOSEI dimostra che l'approccio proposto può raggiungere prestazioni bilanciate nella classificazione delle emozioni anche in ambienti rumorosi e diversificati.

Precisione

Nei sistemi di comunicazione intelligenti, la precisione è fondamentale perché un segnale emotivo errato può degradare l'esperienza dell'utente. Il rapporto tra il numero di istanze di una specifica emozione correttamente anticipate e il numero totale di casi previsti come appartenenti a tale emozione è definito precisione. Poiché le rappresentazioni delle emozioni disaccoppiate sono meno rumorose e meno soggette a errori di classificazione nella modalità, il modello proposto supera i modelli di riferimento nel dataset CH-SIMS in Figura 5.

L'accuratezza raggiunta da diverse tecniche di riconoscimento multimodale delle emozioni sui dataset CH-SIMS e CMU-MOSEI è confrontata in Figura 5. Man mano che i modelli passano da tecniche tradizionali basate sulla fusione a architetture più sofisticate basate su grafi, la precisione aumenta costantemente. Il framework proposto ha raggiunto la precisione massima di 0,82 sul dataset CH-SIMS, con un aumento della precisione da 0,71 per LSTM a 0,74, 0,76 e 0,79 rispettivamente per TFN, LMF e Adaptive-Graph. Sul dataset CMU-MOSEI, la precisione è aumentata da 0,69 per LSTM a 0,72, 0,74 e 0,77 rispettivamente per TFN, LMF e Adaptive-Graph. L'approccio proposto ha raggiunto la precisione più alta pari a 0,80. Il framework proposto ha aumentato la precisione di circa il 3,8% su CH-SIMS e del 3,9% su CMU-MOSEI rispetto al baseline migliore (Adaptive-Graph). Questi risultati dimostrano che, catturando informazioni emotive complementari tra le modalità testuale, acustica e visiva, il meccanismo proposto di apprendimento di rappresentazioni disaccoppiate e di attenzione multimodale basata su grafi riduce efficacemente le predizioni di falsi positivi. L'attenzione multimodale basata su grafi attenua ulteriormente l'impatto della modalità irrilevante. La maggiore diversità di parlanti e di espressioni linguistiche presente nel corpus CMU-MOSEI provoca un lieve calo della precisione per tutti i modelli.

Ripresa

Nei compiti di riconoscimento delle emozioni, il richiamo, una misura della capacità di un modello di classificare correttamente le istanze emotive appartenenti a una classe specifica, è fondamentale poiché la mancanza di informazioni emotive può influire negativamente sulla qualità dell'interazione. Un valore più elevato di richiamo indica che il modello identifica meno falsi negativi e un numero maggiore di espressioni emotive effettive. Il richiamo può essere considerato una misura dell'efficienza con cui le informazioni emotive vengono estratte da modalità testuali, audio e visive nel contesto dell'analisi multimodale delle emozioni.

Il vantaggio della tecnica proposta rispetto agli approcci di base sui dataset CH-SIMS e CMU-MOSEI è mostrato nel confronto del richiamo in Figura 6. Man mano che i modelli evolvono da metodi convenzionali basati sulla fusione a strutture multimodali più sofisticate basate su grafi, i risultati mostrano costantemente incrementi nel richiamo. Il richiamo sul dataset CH-SIMS è aumentato da 0,70 per LSTM a 0,73, 0,75 e 0,78 rispettivamente per TFN, LMF e Adaptive-Graph; il richiamo massimo di 0,82 è stato raggiunto dal framework proposto. L'approccio proposto ha ottenuto il miglior valore di richiamo pari a 0,80 sul dataset CMU-MOSEI, dove il richiamo è aumentato da 0,68 per LSTM a 0,71, 0,73 e 0,76 rispettivamente per TFN, LMF e Adaptive-Graph. Il framework proposto ha prodotto miglioramenti relativi di circa il 5,1% su CH-SIMS e del 5,3% su CMU-MOSEI rispetto al baseline migliore (Adaptive-Graph). Questi risultati dimostrano che, catturando segnali emotivi complementari tra le modalità testuale, acustica e visiva, l'apprendimento della rappresentazione disaccoppiata proposto e il meccanismo di attenzione intermodale basato su grafi riducono efficacemente le predizioni di falsi negativi, migliorando così l'identificazione delle classi emotive su entrambi i dataset. Poiché i metodi tradizionali hanno capacità limitata di modellare relazioni intermodali complesse, tendono ad avere valori di richiamo più bassi. Modellando in modo più esplicito le relazioni tra le modalità, TFN e LMF ottengono miglioramenti moderati. Simulando le relazioni strutturate tra le modalità, il metodo Adaptive-Graph ha ulteriormente migliorato il richiamo. Per entrambi i dataset, il metodo proposto raggiunge il valore più alto di richiamo, indicando la sua maggiore capacità di rilevare istanze emotive in diversi scenari di interazione. Il miglioramento è più evidente nel dataset di grandi dimensioni CMU-MOSEI, dimostrando la robustezza e la capacità di generalizzazione del framework proposto.

Errore assoluto medio (MAE)

L'Errore Assoluto Medio (MAE) viene utilizzato per valutare le prestazioni di compiti di previsione continua dell'intensità emotiva, come la previsione di valenza o di attivazione. A differenza dell'accuratezza, il MAE riflette meglio la vicinanza tra l'intensità emotiva prevista e lo stato emotivo reale. Per questo motivo, il MAE è più adatto per dataset come CH-SIMS e CMU-MOSEI, che presentano etichette affettive continue. Un valore di MAE più basso indica una maggiore accuratezza nella previsione dell'intensità emotiva.

Il confronto tra il framework proposto e gli approcci di base in termini di MAE sui dataset CH-SIMS e CMU-MOSEI è mostrato nella Tabella 4. I tradizionali metodi di fusione basati su LSTM tendono ad avere valori di MAE più elevati a causa della loro limitata capacità di modellare complesse dipendenze emotive multimodali. Il TFN e il LMF possono ridurre l'MAE modellando le interazioni multimodali, e l'approccio Adaptive-Graph lo riduce ulteriormente apprendendo le relazioni tra i grafi delle modalità. Il framework proposto raggiunge l'MAE più basso su entrambi i dataset, indicando una stima più accurata dell'intensità emotiva. Vale la pena notare che il miglioramento è più significativo sul dataset CMU-MOSEI, dove la variabilità su larga scala dei dati e le condizioni dei parlanti rendono il compito di previsione più complesso.

Matrice di confusione per il set di dati CH-SIMS

I metodi di base di LSTM con fusione precoce e TFN mostrano una notevole confusione tra le classi di emozioni neutre e positive, come indicato dalle matrici di confusione per il dataset CH-SIMS. Ciò suggerisce che questi metodi non sono molto efficaci nell'identificare espressioni emotive multimodali sottili. D'altra parte, il metodo proposto mostra chiaramente una forte predominanza diagonale, con pochissimi elementi fuori dalla diagonale, migliorando così la separabilità delle classi. Il meccanismo di apprendimento emotivo disincrociato del metodo proposto garantisce una rappresentazione coerente delle emozioni attraverso le diverse modalità, mentre il suo approccio di fusione basato su grafi migliora la discriminazione tra classi di sentimenti strettamente correlate. Figura 7A–E mostra la matrice di confusione per il dataset CH-SIMS con diversi metodi di base.

Matrice di confusione per il dataset CMU-MOSEI

Il framework proposto utilizza embedding emotivi invarianti rispetto alla modalità e pesi attentivi adattivi per ridurre in modo significativo il tasso di classificazione errata, in particolare per input emotivamente ambigui. Ciò conferma che il framework proposto funziona bene in una varietà di scenari di interazione multimodali su larga scala. A causa delle dimensioni del dataset, della variabilità tra parlanti e della natura continua delle etichette del sentiment, le matrici di confusione del CMU-MOSEI mostrano un tasso di errore complessivo più elevato. I metodi di base mostrano un notevole grado di confusione tra diverse categorie emotive. Figura 8A–E mostra la matrice di confusione per il dataset CMU-MOSEI con diversi metodi di base.

Tempo di addestramento per epoca

I compromessi computazionali delle avanzate tecniche di fusione multimodale sono evidenziati dal confronto del tempo di addestramento per epoca. A causa degli encoder basati su trasformatori e dei meccanismi di attenzione sui grafi, il modello proposto richiede un tempo di addestramento leggermente superiore rispetto agli approcci di fusione semplici, ma tale incremento non è irrealizzabile. Il framework proposto ha dimostrato prestazioni elevate su dataset di riferimento per l'analisi delle emozioni multimodali e mostra potenzialità per l'integrazione in sistemi intelligenti di interazione uomo-macchina. Tuttavia, l'idoneità per il deployment in tempo reale non è stata valutata nel presente studio e richiede ulteriori indagini attraverso analisi di latenza, throughput, memoria e modalità di implementazione. In particolare, la maggiore stabilità di convergenza e le prestazioni superiori in termini di predittività e interpretabilità giustificano il costo computazionale aggiuntivo. Figura 9 mostra il risultato del tempo di addestramento per epoca relativo al metodo proposto.

Studio di ablazione

Per determinare l'influenza di ciascun elemento importante nel framework proposto, come il modulo di mappatura visiva, la fusione cross-modale basata su grafi e la rappresentazione disincagliata delle emozioni, è stato condotto uno studio di ablazione. Per comprendere l'impatto, ogni elemento è stato eliminato uno alla volta. Secondo i risultati sperimentali, la strategia di fusione basata su grafi migliora la modellazione della dipendenza cross-modale, e il contributo della rappresentazione disincagliata delle emozioni è il più importante per la stabilità delle prestazioni. Il ruolo ausiliario del modulo di mappatura visiva è confermato dal lieve impatto che la sua rimozione ha sulle prestazioni. I risultati dello studio di ablazione nelle stesse condizioni di addestramento e valutazione sono mostrati nella Tabella 5. Il peggioramento delle prestazioni maggiore è stato osservato dopo la rimozione del modulo di attenzione cross-modale basato su grafi, che ha ridotto l'accuratezza dall'81,72% al 77,88% e il punteggio F1 da 0,823 a 0,776. Ciò sottolinea l'importanza di modellare interazioni inter-modali complesse. Il ruolo del modulo di apprendimento della rappresentazione disincagliata nell'apprendimento di rappresentazioni robuste specifiche per l'emozione è dimostrato dal fatto che la sua rimozione ha ridotto l'accuratezza di 2,78 punti percentuali e il punteggio F1 di 0,032. Il principale vantaggio del modulo di mappatura visiva è l'interpretabilità piuttosto che l'accuratezza di classificazione, come evidenziato dal declino leggermente inferiore nelle prestazioni predittive dopo la sua rimozione. La configurazione di fusione di base ha ottenuto le prestazioni peggiori, dimostrando che per raggiungere le migliori prestazioni nel riconoscimento multimodale delle emozioni è necessaria l'influenza combinata di tutti i moduli proposti.

DISPONIBILITÀ DEI DATI:

I set di dati utilizzati in questo studio sono dataset di riferimento disponibili pubblicamente. Il dataset CMU-MOSEI è fornito dal Carnegie Mellon University Multimodal SDK e descritto in Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), accessibile all'indirizzo https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Il dataset CH-SIMS è descritto in Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) ed è disponibile pubblicamente attraverso risorse fornite dagli autori, inclusa l'URL https://github.com/thuiar/MMSA. Tutti gli esperimenti sono stati condotti utilizzando le versioni ufficiali di questi dataset. I dati grezzi estratti, i file di dati processati, gli output del pre-elaborazione, le partizioni di training/convalida/test, le rappresentazioni delle caratteristiche derivate e i dettagli di implementazione a supporto dei risultati di questo studio sono disponibili pubblicamente nel repository Zenodo all'indirizzo https://doi.org/10.5281/zenodo.21124921.

Diagramma di apprendimento multimodale; classificazione delle emozioni mediante testo, audio, video tramite rete attentiva.
Figura 1: Diagramma schematico del framework proposto per la mappatura visiva delle caratteristiche emotive multimodali. Illustrazione concettuale dell'architettura generale, che mostra l'estrazione delle caratteristiche multimodali, l'apprendimento di rappresentazioni disaccoppiate, la fusione multimodale basata su grafi con attenzione e i componenti di mappatura visiva per l'analisi interpretabile delle emozioni multimodali. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Diagramma di analisi emotiva multimodale con testo, audio, video; matrice di attenzione; incorporamenti emotivi.
Figura 2: Diagramma schematizzato del protocollo computazionale proposto.
Rappresentazione concettuale della pipeline di elaborazione end-to-end, inclusi acquisizione del dataset, pre-elaborazione, estrazione di caratteristiche specifiche per ogni modalità, fusione multimodale, visualizzazione e fasi di previsione emotiva Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafico di confronto del punteggio F1 dei metodi: LSTM, TFN, LMF, Adaptive-Graph, Proposed con barre di errore.
Figura 3: Confronto delle prestazioni in termini di punteggio F1 sul dataset CH-SIMS. Valori medi del punteggio F1 ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Le barre di errore rappresentano ±± una deviazione standard (SD). Valori più elevati del punteggio F1 indicano prestazioni migliori nella classificazione delle emozioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafico di confronto del punteggio F1 dei metodi (LSTM, TFN, LMF) che mostra le prestazioni più elevate del metodo proposto.
Figura 4: Confronto delle prestazioni in termini di punteggio F1 sul dataset CMU-MOSEI. Valori medi del punteggio F1 ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Le barre di errore rappresentano ±± una deviazione standard (SD), e i corrispondenti valori di media ±± DS sono riportati sopra ciascun punto dati. Valori più elevati del punteggio F1 indicano migliori prestazioni nella classificazione delle emozioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafico del confronto della precisione per CH-SIMS, CMU-MOSEI utilizzando i metodi LSTM, TFN, LMF, Adaptive-Graph.
Figura 5: Confronto della precisione sui dataset CH-SIMS e CMU-MOSEI. Punteggi medi di precisione ottenuti da LSTM, TFN, LMF, Adaptive-Graph e dal framework proposto in cinque esecuzioni sperimentali indipendenti (n = 5). I barretti di errore rappresentano ±± una deviazione standard (SD) calcolata da esecuzioni ripetute con diverse inizializzazioni del seme casuale. Il framework proposto raggiunge la precisione più elevata su entrambi i dataset, dimostrando una migliore discriminazione delle classi emotive grazie a un apprendimento efficace delle caratteristiche multimodali e a una fusione intersensoriale basata su grafi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Confronto dei tassi di richiamo per CH-SIMS e CMU-MOSEI tra i diversi metodi nell'analisi a barre.
Figura 6: Confronto del richiamo sui dataset CH-SIMS e CMU-MOSEI. Punteggi medi di richiamo ottenuti da LSTM, TFN, LMF, Adaptive-Graph e dal framework proposto in cinque esecuzioni sperimentali indipendenti (n = 5). Le barre di errore indicano ±± una deviazione standard (SD) derivata da esperimenti ripetuti. Il framework proposto raggiunge costantemente il richiamo più alto su entrambi i dataset, indicando una capacità superiore nel catturare informazioni emotive multimodali e nel ridurre le predizioni di falsi negativi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafici di matrice di confusione per l'accuratezza della classificazione; etichette previste negative, neutrali, positive.
Figura 7: Matrice di confusione per il dataset CH-SIMS con diversi metodi di base. Le righe corrispondono alle classi emotive reali, mentre le colonne corrispondono alle classi previste. I valori delle celle rappresentano la percentuale di campioni normalizzati rispetto a ciascuna classe reale. La matrice di confusione è stata calcolata utilizzando la partizione di test esclusa di CH-SIMS. Percentuali più elevate sulla diagonale indicano una migliore accuratezza di riconoscimento per la corrispondente categoria emotiva. Matrici di confusione di (A) LSTM con fusione precoce, (B) TFN, (C) LMF, (D) Grafo adattivo e (E) Metodo proposto sul dataset CH-SIMS. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafici di matrice di confusione che mostrano le etichette previste rispetto a quelle reali per modelli di classificazione.
Figura 8: Matrice di confusione per il dataset CMU-MOSEI con diversi metodi di base. Le righe rappresentano le etichette emotive effettive e le colonne rappresentano le etichette previste. I valori sono riportati come percentuali normalizzate per classe sul test set di CMU-MOSEI. La matrice illustra sia i campioni correttamente classificati (elementi sulla diagonale) sia le confusioni tra categorie emotive (elementi fuori diagonale). Matrice di confusione su CMU-MOSEI (A) LSTM con fusione precoce, (B) TFN, (C) LMF, (D) Grafo adattivo e (E) Metodo proposto sul dataset CMU-MOSEI. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafico del confronto del tempo di addestramento per i dataset CH-SIMS e CMU-MOSEI su 10 epoche.
Figura 9. Confronto del tempo di addestramento per epoca su dataset multimodali di riferimento per l'analisi delle emozioni.
Tempo medio di addestramento per epoca ottenuto da cinque esecuzioni sperimentali indipendenti (n = 5) per i dataset CH-SIMS e CMU-MOSEI in condizioni hardware e software identiche. Le barre di errore rappresentano ±± una deviazione standard (SD) calcolata da esperimenti ripetuti utilizzando diversi valori iniziali casuali. Valori più bassi indicano una maggiore efficienza computazionale, mentre tempi di addestramento stabili tra le diverse esecuzioni indicano una migliore riproducibilità e coerenza dell'addestramento. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Dataset	Modalità	Numero di campioni	Lingua	Etichette di emozione/sentimento
CH-SIMS³⁴	Video, Audio, Testo	2.281 segmenti video	Cinese	Etichette di sentimento multimodali e unimodali (negativo, neutro, positivo)
CMU-MOSEI³⁵	Video, Audio, Testo	~23.453 clip annotate	Inglese	Etichette di intensità di sentimento ed emozione (continue e categoriali)

Tabella 1: Descrizione del dataset. Sintesi dei dataset utilizzati in questo studio, modalità, numero di campioni, lingua, etichette di emozione/sentimento per i dataset CH-SIMS e CMU-MOSEI.

Componente	Specifica
Framework di programmazione	Python con PyTorch
Estrattore di caratteristiche visive	Vision Transformer (ViT)
Estrattore di caratteristiche audio	Wav2Vec 2.0
Estrattore di caratteristiche testuali	RoBERTa
Strategia di fusione	Rete di attenzione multimodale basata su grafi
Dimensione delle caratteristiche	768 per modalità
Ottimizzatore per l'addestramento	Adam
Tasso di apprendimento	1.00E-04
Dimensione del batch	16
Hardware	GPU NVIDIA (ad esempio, serie RTX)
Dataset di valutazione	CH-SIMS, CMU-MOSEI
Dimensione latente	2.56E+02
Dimensione dell'embedding	768
Funzione di attivazione	ReLU
Ottimizzatore	Adam
Tasso di apprendimento	1.00E-04
Dimensione del batch	32
Epoche	100
Arresto anticipato	Abilitato
Funzione di perdita	Classificazione + Ricostruzione + Coerenza

Tabella 2: Ambiente di simulazione. Configurazione sperimentale e dettagli di implementazione dell'ambiente di simulazione, come specifiche del modello, caratteristiche, ottimizzatore e hardware utilizzato.

Metodo	Accuratezza CH-SIMS (%)	Accuratezza CMU-MOSEI (%)
LSTM (Fusione precoce/ritardata)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
Metodo proposto	81.72 ± 0.61	79.94 ± 0.69

Tabella 3: Valutazione dell'accuratezza del metodo proposto rispetto alle tecniche di base sui dataset CH-SIMS e CMU-MOSEI. I risultati sono riportati come media ±± deviazione standard ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Tutti i metodi sono stati valutati utilizzando partizioni identiche di training, validazione e test dei rispettivi dataset per garantire un confronto equo.

Metodo	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Fusione Iniziale/Tardiva)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Metodo Proposto	0.298 ± 0.007	0.341 ± 0.008

Tabella 4: Risultato dell'errore assoluto medio. I risultati sono riportati come media ±± deviazione standard, ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Tutti i metodi sono stati valutati utilizzando partizioni identiche di training, validazione e test dei rispettivi dataset per garantire un confronto equo. Confronto dell'MAE per la previsione dell'intensità continua delle emozioni utilizzando il framework proposto e approcci di base su entrambi i dataset.

Varianti del modello	Precisione (%)	Punteggio F1
Modello completo	81.72 ± 0.61	0.823 ± 0.008
Senza disaccoppiamento	78.94 ± 0.74	0.791 ± 0.010
Senza fusione del grafo	77.88 ± 0.81	0.776 ± 0.011
Senza mappatura visiva	80.11 ± 0.66	0.807 ± 0.009
Fusione di base	74.91 ± 0.98	0.742 ± 0.013

Tabella 5: Risultato dello studio di ablazione con metodi di base. I risultati sono riportati come media ±± deviazione standard ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diverse inizializzazioni del seme casuale. Tutti i metodi sono stati valutati utilizzando partizioni identiche di addestramento, convalida e test dei rispettivi dataset per garantire un confronto equo. Confronto delle prestazioni tra le varianti del modello, che indica l'efficacia dell'apprendimento da rappresentazioni disincagliate, della fusione basata su grafi e del modulo di mappatura visiva.

File Supplementare 1: Algoritmo 1 e Algoritmo 2.Cliccare qui per scaricare il file.

Discussione

I risultati sperimentali dimostrano che, nei dataset CH-SIMS e CMU-MOSEI, il framework proposto per il mapping visivo delle caratteristiche emotive multimodali supera le attuali tecniche di riconoscimento delle emozioni multimodali. Rispetto ai modelli a fusione precoce e tardiva, come EF-LSTM e TFN, la tecnica proposta raggiunge una maggiore accuratezza e punteggi F1, dimostrando la sua robustezza nel gestire informazioni emotive diverse. Il miglioramento del metodo è attribuibile alla rappresentazione disincagliata delle emozioni, che sopprime il rumore specifico della modalità e garantisce coerenza emotiva tra le modalità visiva, audio e testuale³⁶.

Recentemente, modelli multimodali basati su transformer come Adaptive Multimodal Transformers³⁷ e MIAR³⁸ hanno dimostrato risultati impressionanti nella modellizzazione delle dipendenze intermodali. Tuttavia, questi modelli si concentrano principalmente sulla previsione e mancano di meccanismi che supportino l'interpretabilità a livello di caratteristiche. Al contrario, il sistema proposto combina un'attenzione intermodale basata su grafi con un modulo di mappatura visiva, consentendo un'analisi trasparente delle interazioni tra modalità ed emozioni. Questo rappresenta un aspetto fondamentale attualmente assente nella letteratura, in cui l'inferenza emotiva è trattata come un processo a scatola nera.

Il framework proposto ha dimostrato prestazioni costanti sui dataset di riferimento CH-SIMS e CMU-MOSEI. Sebbene il framework possa avere potenziali applicazioni nell'interazione intelligente uomo-macchina, nel monitoraggio sanitario, negli ambienti di apprendimento adattivi e in altri sistemi sensibili alle emozioni, lo studio attuale ha valutato il metodo soltanto in condizioni di benchmark controllate. Non è stata condotta alcuna implementazione nel mondo reale, valutazione dell'interfaccia utente, studio sull'usabilità o valutazione con soggetti umani. Pertanto, l'efficacia pratica del framework in ambienti operativi resta da indagare. I futuri sviluppi si concentreranno su valutazioni orientate all'implementazione, studi centrati sull'utente, analisi della latenza, valutazione del consumo di memoria e prestazioni nell'interazione in tempo reale.

Inoltre, i miglioramenti nelle prestazioni su diversi dataset culturalmente e linguisticamente diversificati dimostrano la validità del framework proposto. A differenza dei lavori precedenti validati su un singolo dataset o su uno scenario di interazione specifico, il framework proposto dimostra prestazioni robuste attraverso lingue, parlanti ed espressioni emotive. Pertanto, il framework proposto è particolarmente adatto per sistemi pratici di interazione intelligente che richiedono un riconoscimento accurato delle emozioni e un processo decisionale interpretabile.

L'interpretabilità del framework proposto è stata valutata attraverso un'analisi basata sulla visualizzazione delle rappresentazioni multimodali apprese. In particolare, sono stati esaminati gli embedding latenti delle emozioni, le mappe di attenzione intermodale, i grafici delle interazioni tra le modalità e le traiettorie temporali delle emozioni, al fine di ottenere informazioni sul processo decisionale del modello e sul contributo delle diverse modalità. L'obiettivo del modulo di mappatura visiva è quello di aumentare la trasparenza, consentendo l'osservazione delle interazioni a livello di caratteristiche e della dinamica emotiva. Tuttavia, nel presente lavoro non sono stati inclusi metriche formali di interpretabilità, valutazioni della fedeltà dell'attenzione né studi con utenti. Pertanto, i benefici di interpretabilità riportati devono essere considerati come evidenze basate sulla visualizzazione, piuttosto che come misure di spiegabilità quantitativamente validate.

Dal punto di vista teorico, questa ricerca apporta i seguenti contributi al calcolo affettivo multimodale: propone un approccio sistematico alla modellazione delle emozioni che distingue chiaramente tra rappresentazioni specifiche dell'emozione e rappresentazioni specifiche della modalità. Garantendo coerenza emotiva tra le diverse modalità in uno spazio latente comune, il framework proposto fa così avanzare la teoria dell'apprendimento delle rappresentazioni nei sistemi multimodali. L'integrazione di meccanismi di attenzione basati su grafi formalizza ulteriormente le dipendenze tra le diverse modalità nell'espressione delle emozioni.

Da un punto di vista pratico, il framework proposto è molto vantaggioso per la progettazione di interazioni intelligenti e per le interfacce utente sensibili alle emozioni. Il modulo di mappatura visiva nel framework proposto consente ai progettisti di sistemi di comprendere l'effetto delle diverse modalità sulla previsione delle emozioni, il che è molto importante per i progettisti di sistemi. Il framework proposto è molto utile per applicazioni come agenti conversazionali affettivi, sistemi di apprendimento adattivi, interfacce per il monitoraggio sanitario e piattaforme di valutazione dell'esperienza utente.

Tuttavia, il framework proposto presenta alcune limitazioni. L'uso di meccanismi di attenzione basati su grafi e di encoder di tipo transformer aumenta la complessità, il che potrebbe risultare problematico per dispositivi con capacità limitate. Inoltre, lo studio attuale trascura altri segnali fisiologici, come l'EEG e il tracciamento oculare, preferendo concentrarsi sulle modalità visiva, audio e testuale. L'efficienza computazionale del framework suggerito per un impiego in tempo reale non è stata valutata specificamente, nonostante abbia raggiunto prestazioni competitive nella previsione e una capacità migliorata di visualizzazione. Ricerche future esamineranno le prestazioni di implementazione in contesti reali di interazione intelligente, il ritardo di inferenza, il throughput, il consumo di memoria e le tecniche di compressione del modello. Per migliorare ulteriormente l'accuratezza della modellazione delle emozioni e la reattività dell'interazione, studi futuri si concentreranno sullo sviluppo di modelli leggeri, tecniche di ottimizzazione in tempo reale e sull'integrazione di ulteriori modalità. Le prestazioni in tempo reale non sono state valutate, e l'inclusione di encoder di tipo transformer e metodi di attenzione basati su grafi aumenta la complessità computazionale. Per la validazione della metodologia sono stati utilizzati soltanto i dataset di riferimento CH-SIMS e CMU-MOSEI, il che potrebbe introdurre bias specifici del dataset e limitare la generalizzabilità ad altri domini, lingue e popolazioni di utenti. Inoltre, lo studio attuale non include segnali fisiologici come dati EEG o di tracciamento oculare, ma si concentra invece sulle modalità visiva, audio e testuale. Sebbene descrizioni dettagliate dell'implementazione e dell'ambiente di simulazione abbiano migliorato la riproducibilità, attualmente il codice sorgente e i modelli preaddestrati non sono resi pubblicamente disponibili.

In questo lavoro viene utilizzato un nuovo framework di mappatura visiva per l'apprendimento di caratteristiche emotive multimodali nell'ambito della progettazione di interazioni intelligenti. Il metodo proposto integra un apprendimento rappresentazionale basato su trasformatori end-to-end, una modellazione delle emozioni disincagliata e un'attenzione multimodale basata su grafi, raggiungendo un'elevata accuratezza predittiva e interpretabilità. Esperimenti condotti sui dataset CH-SIMS e CMU-MOSEI dimostrano che il framework proposto supera i modelli all'avanguardia di riconoscimento emotivo multimodale in termini di accuratezza e punteggio F1. Ancor più importante, la soluzione di mappatura visiva proposta colma il divario tra il riconoscimento delle emozioni e la strategia di interazione, offrendo una nuova direzione per la progettazione di sistemi informatici affettivi multimodali interpretabili e consapevoli dell'interazione.

Per facilitare la progettazione di interazioni interpretabili e intelligenti, questo studio ha introdotto un nuovo framework visivo di mappatura per l'apprendimento di caratteristiche emotive multimodali. Il sistema proposto integra con successo la rilevazione emotiva e l'interpretabilità all'interno di un'unica architettura, combinando l'estrazione di caratteristiche multimodali basata su transformer, l'apprendimento di rappresentazioni emotive disincagliate, la fusione dell'attenzione multimodale basata su grafi e metodi di mappatura visiva. Oltre a fornire rappresentazioni visive chiare dei contributi delle singole modalità, delle interazioni cross-modali e della dinamica temporale delle emozioni, la valutazione sperimentale sui dataset di riferimento CH-SIMS e CMU-MOSEI ha mostrato un miglioramento delle prestazioni rispetto ai metodi di riferimento rappresentativi su diverse metriche, tra cui Accuratezza, Precisione, Richiamo, F1-score ed Errore Assoluto Medio (MAE). Tuttavia, questo studio non include studi di implementazione nel mondo reale, valutazioni centrate sull'utente, valutazioni quantitative dell'interpretabilità e l'integrazione di modalità fisiologiche, essendo limitato a valutazioni su due dataset di riferimento. Inoltre, ambienti con risorse limitate potrebbero incontrare difficoltà a causa del costo computazionale degli encoder transformer e dei processi di attenzione basati su grafi. Sebbene i lavori futuri si concentreranno su una validazione più ampia su diversi dataset, sull'integrazione di ulteriori modalità, su studi di usabilità, sulla pubblicazione di risorse riproducibili e sull'ottimizzazione per scenari di implementazione in tempo reale, il framework proposto mostra complessivamente il potenziale dell'analisi emotiva multimodale interpretabile per le applicazioni di informatica affettiva e interazione intelligente.

Dichiarazioni

Gli autori non hanno conflitti di interessi.

Ringraziamenti

Gli autori desiderano riconoscere il supporto fornito dalla School of Housing, Building and Planning, Universiti Sains Malaysia, Penang, Malaysia, e dalla School of Design Art, Changsha University of Science & Technology, Changsha, Cina. Gli autori esprimono inoltre il loro apprezzamento all'Xiamen Academy of Arts and Design, Fuzhou University, Xiamen, Cina, per il supporto accademico e di ricerca durante tutto questo lavoro.

Materiali

Elenco dei materiali utilizzati in questo articolo
Nome	Azienda	Numero di catalogo	Commenti
Adam	Libreria di ottimizzatori PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (Learning Rate = 1 × 10^-4)	Ottimizzazione dei parametri durante l'addestramento del modello
CH-SIMS	Archivio del dataset originale	Ultima versione pubblica	Dataset di riferimento per l'analisi multimodale del sentiment/emozione in cinese
CMU-MOSEI	Archivio CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Ultima versione pubblica)	Dataset di riferimento per il riconoscimento multimodale del sentiment e delle emozioni
Disentangled Emotion Encoder	Implementazione personalizzata	https://pytorch-geometric.readthedocs.io/en/latest/(Architettura a doppio codificatore)	Separazione delle rappresentazioni latenti specifiche per l'emozione e specifiche per la modalità
Graph Attention Network (GAT)	PyTorch Geometric	GAT multi-testa (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellizzazione delle relazioni emotive cross-modali e fusione adattiva delle caratteristiche
Graph-Based Cross-Modal Attention Layer	Implementazione personalizzata	Fusione con attenzione multi-testa	Apprendimento di dipendenze emotive finemente dettagliate tra le modalità
Matplotlib	Progetto Matplotlib	3.7+	Generazione di grafici e analisi visive
NetworkX	Progetto NetworkX	3.0+	Costruzione e visualizzazione di grafi di interazione cross-modale
NVIDIA GPU	NVIDIA Corporation	GPU abilitata CUDA	Accelerazione dell'addestramento di transformer e reti neurali grafiche
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	Riduzione iniziale degli embedding emotivi ad alta dimensionalità
Python	Python Software Foundation	3.8+	Linguaggio di programmazione principale per l'implementazione del framework di analisi emotiva multimodale
PyTorch	PyTorch Foundation	2.0+	Sviluppo, addestramento e ottimizzazione di reti neurali profonde
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, embedding 768-dim)	Estrazione di rappresentazioni linguistiche e semantiche contestuali delle emozioni
Seaborn	Progetto Seaborn	0.12+	Generazione di heatmap di attenzione e visualizzazioni statistiche
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (Perplessità = 30, Iterazioni = 1000)	Visualizzazione di cluster e traiettorie emotive latenti
Ubuntu Linux	Canonical Ubuntu	20.04 LTS o successiva	Ambiente sperimentale di esecuzione
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, embedding 768-dim	Estrazione di rappresentazioni visive consapevoli dell'emozione dai fotogrammi video
Wav2Vec 2.0	Meta AI Research	Modello base, embedding 768-dim	Estrazione di caratteristiche acustiche e vocali contestuali delle emozioni

Riferimenti

Zhu X, et al. EMVAS: End-to-end multimodal emotion visualization analysis system. Complex Intell Syst. 2025;11:1-15.
Zhu X, et al. A client-server based recognition system: Non-contact single/multiple emotional and behavioral state assessment methods. Comput Methods Programs Biomed. 2025;260:108564.
Lasri I, Riadsolh A, Elbelkacemi M. Facial emotion recognition of deaf and hard-of-hearing students for engagement detection using deep learning. Educ Inf Technol. 2023;28:4069-4092.
Saibene A, Assale M, Giltri M. Expert systems: Definitions, advantages and issues in medical field applications. Expert Syst Appl. 2021;177:114900.
Poria S, Cambria E, Bajpai R, Hussain A. A review of affective computing: From unimodal analysis to multimodal fusion. Inf Fusion. 2017;37:98-125.
Chatterjee R, et al. Real-time speech emotion analysis for smart home assistants. IEEE Trans Consum Electron. 2021;67(1):68-76.
Zhu X, Huang Y, Wang X, Wang R. Emotion recognition based on brain-like multimodal hierarchical perception. Multimed Tools Appl. 2024;83:56039-56057.
Khan M, El Saddik A, Alotaibi FS, Pham NT. AAD-Net: Advanced end-to-end signal processing system for human emotion detection and recognition using attention-based deep echo state network. Knowl Based Syst. 2023;270:110525.
Chaturvedi I, Chen Q, Cambria E, McConnell D. Landmark calibration for facial expressions and fish classification. Signal Image Video Process. 2022;16:377-384.
Li D, Liu J, Yang Z, Sun L, Wang Z. Speech emotion recognition using recurrent neural networks with directional self-attention. Expert Syst Appl. 2021;173:114683.
Zhu X, et al. A review of key technologies for emotion analysis using multimodal information. Cogn Comput. 2024;16:1504-1530.
Wang R, et al. Multimodal emotion recognition using tensor decomposition fusion and self-supervised multitasking. Int J Multimed Inf Retr. 2024;13:39.
Fan C, Lin J, Mao R, Cambria E. Fusing pairwise modalities for emotion recognition in conversations. Inf Fusion. 2024;106:102306.
Williams J, Kleinegesse S, Comanescu R, Radu O. Recognizing emotions in video using multimodal DNN feature fusion. Proceedings of Grand Challenge and Workshop on Human Multimodal Language. Melbourne, Australia. 2018;10.18653/v1/W18-3302.
Zhao Z, Wang Y, Wang Y. Multi-level fusion of Wav2Vec 2.0 and BERT for multimodal emotion recognition. arXiv. 2022;arXiv:2207.04697.
Middya AI, Nag B, Roy S. Deep learning based multimodal emotion recognition using model-level fusion of audio-visual modalities. Knowl Based Syst. 2022;244:108580.
Maithri M, et al. Automated emotion recognition: Current trends and future perspectives. Comput Methods Programs Biomed. 2022;215:106646.
Wu Y, Mi Q, Gao T. A comprehensive review of multimodal emotion recognition: Techniques, challenges, and future directions. Biomimetics. 2025;10(4):418.
Zheng S, Zhang X, Liu Y, Li Z. CMFF: A cross-modal multi-layer feature fusion network for multimodal sentiment analysis. Appl Soft Comput. 2025;184(Pt B):113868.
Yan L, Shi Y, Wei M, Wu Y. Multi-feature fusing local directional ternary pattern for facial expressions signal recognition based on video communication system. Alex Eng J. 2023;63:307-320.
Guo X, Zhang Y, Lu S, Lu Z. Facial expression recognition: A review. Multimed Tools Appl. 2024;83(8):23689-23735.
Liu ZT, Han MT, Wu BH, Rehman A. Audio emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multitask learning. Appl Acoust. 2023;202:109178.
Mirsamadi S, Barsoum E, Zhang C. Automatic audio emotion recognition using recurrent neural networks with local attention. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA, USA. 2017; 10.1109/ICASSP.2017.7952552.
Gu T, He Z, Zhao H, Li M, Ying D. Aspect-based sentiment analysis with multi-granularity information mining and sentiment hint. Expert Syst Appl. 2024;252:124104.
Shen W, Chen J, Quan X, Xie Z. DialogXL: All-in-one XLNet for multi-party conversation emotion recognition. Proc AAAI Conf Artif Intell. 2021;35(15):13789-13797.
Kim T, Vossen P. EmoBERTa: Speaker-aware emotion recognition in conversation with RoBERTa. arXiv. 2021;arXiv:2108.12009.
Li S, Yan H, Qiu X. Contrast and generation make BART a good dialogue emotion recognizer. Proc AAAI Conf Artif Intell. 2022;36(10):11002-11010.
Zhu J, Yu J. MIAR: Modality interaction and alignment representation fusion for multimodal emotion. arXiv. 2026;arXiv:2601.02414.
Praveen RG, Granger E, Cardinal P. Cross attentional audio-visual fusion for dimensional emotion recognition. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), Jodhpur, India. 2021;10.1109/FG52635.2021.9667055.
Salas-Cáceres J, López M, Martínez A, Rodríguez P. Multimodal emotion recognition based on a fusion of audio-visual information with temporal dynamics. Multimed Tools Appl. 2025;84:27327-27343.
Fu J, Zhang Y, Wang L, Chen H. TMFN: A text-based multimodal fusion network with multi-scale feature extraction and unsupervised contrastive learning for multimodal sentiment analysis. Complex Intell Syst. 2025;11:133.
Tuerhong G, Fu F, Wushouer M. Adaptive multimodal transformer based on exchanging for multimodal sentiment analysis. Sci Rep. 2025;15:27265.
Gupta C, Sharma R, Patel S, Verma A. A multimodal fusion model for real-time environment emotion recognition using audio-visual-textual features. J Big Data. 2025;12:256.
Yu W, Li X, Zhang H, Wang Z, Liu Z. CH-SIMS: A Chinese multimodal sentiment analysis dataset with fine-grained annotation of modality. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020; 10.18653/v1/2020.acl-main.343.
Zadeh A, et al. Multimodal language analysis in the wild: CMU-MOSEI dataset and interpretable dynamic fusion graph. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Melbourne, Australia. 2018; 10.18653/v1/P18-1208.
Zadeh A, Chen M, Poria S, Cambria E, Morency LP. Tensor fusion network for multimodal sentiment analysis. arXiv. 2017;arXiv:1707.07250.
Tsai YHH, Bai S, Yamada M, Morency LP, Salakhutdinov R. Multimodal transformer for unaligned multimodal language sequences. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy. 2019; 10.18653/v1/P19-1656.
Moreno M, Rioseco P, Van Den Bosch H. Spectrum of the linearized Vlasov–Poisson equation around steady states from galactic dynamics. arXiv. 2023;arXiv:2305.05749.

Ristampe e permessi

Tag

Predizione delle emozioni apprendimento di rappresentazioni attenzione cross modale encoder basati su transformer rappresentazione disaggregata traiettorie emotive temporali interpretabilit delle caratteristiche