Modellazione computazionale dell'esperienza utente affettiva utilizzando segnali fisiologici e comportamentali multimodali

Summary

Questo protocollo descrive un framework computazionale che modella l'esperienza dell'utente affettivo integrando segnali fisiologici e comportamentali in modo multimodale, utilizzando tecniche per l'apprendimento delle caratteristiche basato sulla correlazione e la fusione multimodale. Questo protocollo propone e testa un quadro per la modellazione affettiva multimodale sul dataset benchmark AMIGOS.

Abstract

Questo lavoro propone un protocollo computazionale riproducibile per la modellazione affettiva multimodale che utilizza segnali fisiologici. L'obiettivo del protocollo è abilitare il riconoscimento emotivo offline integrando più segnali biologici utilizzando un framework unificato di deep learning. Il lavoro proposto è composto da cinque fasi: raccolta dati, pre-elaborazione, allineamento delle caratteristiche, fusione multimodale e valutazione. Segnali EEG, ECG e GSR provenienti da dati AMIGOS accessibili al pubblico sono stati utilizzati come base sperimentale in questo lavoro. I segnali biologici sono stati pre-elaborati e normalizzati per estrarre caratteristiche specifiche per modalità. Gli spazi di caratteristiche eterogenei sono stati allineati tra le modalità utilizzando l'Analisi di Correlazione Canonica Profonda, seguiti da una rete di fusione multimodale per classificare uno stato affettivo. Il protocollo è stato valutato con esperimenti offline e confrontato con modelli convenzionali di fusione e classificazione utilizzando metriche standard di prestazione come accuratezza, precisione, richiamo, punteggio F1 e AUC. Questo studio si concentra sullo sviluppo e la validazione di un framework computazionale per la modellazione multimodale affettiva dell'esperienza utente, piuttosto che sulla distribuzione di un sistema interattivo in tempo reale. Con una precisione del 92,1% per la previsione dello stato affettivo UX e un punteggio F1 del 94,2% per la classificazione dell'attivazione di valenza, i risultati hanno costantemente superato i modelli di base sulle dimensioni emotive. Questi risultati hanno verificato l'efficacia del flusso di lavoro di fusione multimodale proposto per la modellazione affettiva computazionale tramite il benchmarking dei dati fisiologici.

Introduction

L'interazione complessa tra pensiero, sentimento e azione plasma il modo in cui le persone pensano e agiscono. Il calcolo affettivo studia queste relazioni sfruttando conoscenze interdisciplinari provenienti da neuroscienze, psicologia e intelligenza artificiale per costruire sistemi in grado di analizzare, comprendere e reagire alle emozioni umane. Questo ambito è stato applicato sempre più alla comunicazione uomo-tecnologia, incorporando la coscienza espressiva nelle strutture di IA reattive, facendo interagire la tecnologia non solo con le condizioni intellettuali ma anche con quelle emotive, portando a una conoscenza utente più individualizzata e consapevole delle emozioni. Un'emozione, un processo mentale complesso, è un riflesso delle percezioni umane e ha un ruolo sostanziale nelle interazioni^{umane 1}. Oggi esistono numerose applicazioni di interazione uomo-computer (HCI) che necessitano di ricerca sul riconoscimento delle^{emozioni 2}. L'ambiente di sistema HCI è dinamico e complesso. Nella maggior parte dei casi, deve sincronizzare le proprie funzionalità con quelle dei convenuti; Quindi, un contesto con intelligenza emotiva può adattarsi di più in questo tipo di atmosfera. Pertanto, in questo studio viene esplorata la modellazione computazionale dell'esperienza utente affettiva attraverso segnali fisiologici e comportamentali^{multimodali 3}. Invece di sviluppare o convalidare un sistema interattivo nella pratica, il lavoro è più incline a contribuire in metodologie legate all'integrazione multimodale del segnale o all'inferenza affettiva con contesti applicativi di contesti immersivi o espositivi. Per astenersi dall'ampiezza dei concetti, questo lavoro si concentra su due concetti principali: l'implementazione di un quadro di modellazione affettiva multimodale utilizzando approcci computazionali e le tecniche di fusione multimodale dei dati per la combinazione di dati fisiologici e comportamentali. Tutti gli altri argomenti che emergono nel manoscritto sono citati per contesto riguardo alla rilevanza dei modelli sviluppati.

Ogni modalità di emozione trasmette informazioni diverse sul sentimento di una persona che non possono essere ricamate da un altro sistema sensoriale. L'estrazione di emozioni dal movimento corporeo, che coinvolge un modello complessivo di movimento corporeo, ha il vantaggio di identificare i sentimenti non verbali di una^{persona 4}. Il linguaggio e l'aspetto facciale possono trasmettere materiale non disponibile nei movimenti corporei e nei segnali corporei umani. Gli esseri umani utilizzano varie modalità emotive in parallelo e in combinazione. Ogni modalità è limitata e ha i suoi punti di forza. Per rilevare correttamente una sensazione, i metodi multimodali di riconoscimento delle emozioni possono godere di una performance di riconoscimento superiore rispetto al riconoscimento emozioni unimodale. Tuttavia, in caso di cambiamento emotivo, i segnali di espressione facciale, segnali biologici/fisiologici e segnali del linguaggio tendono ad apparire prima di altri segnali. Pertanto, il rilevamento delle emozioni basato sulla visione artificiale si occupa principalmente dell'espressione emotiva^{facciale 5}.

Il calcolo affettivo è stato approfonditamente studiato nell'interazione bambino-robot (CRI); I sistemi consapevoli delle emozioni modificano la loro risposta in base ai segnali fisiologici e comportamentali degli utenti. Questi lavori illustrano la fattibilità della percezione biofisica delle emozioni e dell'interazione adattativa. Tuttavia, per lo più, i sistemi CRI progettati sono adatti solo a contesti strutturati, orientati al compito e ai partecipanti. Di conseguenza, i sistemi CRI hanno una generalizzazione limitata ad ambienti pubblici dinamici come le mostre interattive. Il loro lavoro indica che i robot consapevoli delle emozioni sono essenziali per aumentare la motivazione, oltre ad affrontare questioni come la personalizzazione. Il coinvolgimento è un elemento chiave nell'interazione affettiva bambino-robot, poiché i robot emotivamente reattivi offrono esperienze di apprendimento più ricche ed efficaci. ^{L'autore 6} presenta un quadro per rilevare il coinvolgimento degli utenti sulla base delle caratteristiche di compito e interazione sociale. Dimostrano attraverso i loro risultati che identificare segnali affettivi, inclusi espressioni facciali e comportamenti sociali, permette ai robot di adattare dinamicamente le loro risposte per migliorare l'interazione e il coinvolgimento degli utenti. L'adattamento affettivo nella CRI a lungo termine è una sfida continua. Gli autori del⁷ presentano le emozioni dei bambini durante un periodo di tempo, sottolineando il fatto che i robot devono adattarsi ai modelli personali di emozioni e stili di apprendimento.

Ha inoltre ottenuto ottime prestazioni con l'EEG grazie alla sua elevata risoluzione temporale e alla sensibilità agli stati affettivi. Lavori recenti ^8,9,10 che utilizzano approcci di deep learning hanno migliorato la robustezza tra i soggetti introducendo modellazione spaziotemporale e meccanismi di attenzione basati su grafi. Tuttavia, la maggior parte degli studi rimane unimodale e solo pochi tengono conto delle interazioni percezione-emozione attraverso più canali sensoriali; perciò sono meno applicabili negli scenari immersive^{UX 11, 12, 13}. Il modello è stato valutato sul dataset, che ha mostrato prestazioni migliori rispetto alle tecniche all'avanguardia attuali. L'algoritmo di selezione critica dipendente dall'emozione è stato proposto dagli^{autori nel 14}, e sono state esaminate la forza, il coefficiente di clustering e la centralità degli autovettori delle caratteristiche funzionali della rete di connettività EEG. Gli autori del¹⁵ hanno studiato una rete unitaria ricorrente profonda e semplice nel tentativo di acquisire le caratteristiche temporali dai segnali EEG, e i risultati sperimentali hanno superato i lavori correlati nella^{letteratura 16,17,18,19}. È quasi impossibile raccogliere un ampio dataset di segnali EEG, ma si possono provare altri approcci, come l'approccio cross-subject.

Studi recenti^20,21 hanno compiuto progressi significativi nell'uso di algoritmi di modellazione spaziotemporale estremamente avanzati per affrontare il problema della classificazione delle emozioni cross-subject basata sui segnali EEG. Questo include una rete ibrida spazio-temporale con un migliorato adattamento del dominio e un'attenzione dinamica ai grafi per gestire la variabilità inter-soggetto nella Classificazione Emozionale dai segnali^{EEG 22}. In particolare, grazie all'uso di meccanismi di modellazione temporale e di modellazione delle relazioni cerebrali spaziali con attenzione dinamica, hanno significativamente migliorato le prestazioni di classificazione delle emozioni indipendenti dal soggetto. Un altro sforzo di ricerca su questo problema include una rete di interazione tra regione intercerebrale isomorfa e^{spaziotemporale 23}. In questa ricerca, si pone maggiore enfasi sulla modellazione degli invarianti spazio-temporali per migliorare significativamente la robustezza inter-soggetto per la Classificazione delle Emozioni dai segnali EEG. Sebbene questi due contributi di ricerca abbiano documentato con successo prestazioni eccezionali nella Classificazione delle Emozioni a partire da segnali puramente neurali, sono limitati a segnali monomodali e mancano di esplorazione delle interazioni multimodali P-E. Al contrario, la ricerca attuale si orienta su modelli di segnale unimodali ampliati attraverso l'uso di soluzioni di deep learning che legano insieme più modalità P/E tramite deep correlazione learning, fornendo una soluzione di modellazione UX affettiva più ricca e ricca.

Sebbene le ricerche attuali, incluso il progetto sull'interfaccia bambino-robot espressivamente cosciente utilizzando informazioni biofisiche, abbiano validato il potenziale di attingere a segnali fisiologici multimodali per migliorare il riconoscimento degli affetti, esse sono comunque limitate da vincoli legati al dominio. In particolare, questi sistemi sono in gran parte ottimizzati per un'interazione strutturata e orientata al compito con i bambini e non sono generalizzabili ad ambienti più complessi e dinamici come le mostre interattive. Inoltre, le tecniche di fusione delle caratteristiche utilizzate nel lavoro di base non sono scalabili e tendono a attingere ad approcci di fusione superficiale, che non catturano efficacemente la complessa interazione percezione-emozione che esiste negli ambienti UX multisensoriali. Inoltre, l'articolo di base non utilizza tecniche di deep learning all'avanguardia che possano allineare e fondere flussi di dati multimodali ad alta dimensione, come EEG, espressioni facciali e eye-tracking, sotto diversi stimoli ambientali. Questo mette in luce una lacuna fondamentale di conoscenza nella creazione di un paradigma computazionale ad alte prestazioni che non solo accoglie diverse demografie del pubblico e i contesti stimolo, ma cattura anche l'interazione percezione-emozione attraverso una profonda analisi canonica di correlazione (DCCA) e architetture di rete a fusione multimodale (MMFN). Colmare questo divario può influenzare significativamente la comprensione dell'esperienza utente (UX).

L'obiettivo principale di questo lavoro è creare un sistema computazionale che faciliti un'esperienza utente emotivamente adattativa all'interno di contesti espositivi interattivi attraverso il sensoring biofisico e comportamentale multimodale. Basandosi sui principi fondamentali della modellazione emotiva derivanti dalla ricerca sull'interazione bambino-robot e dal calcolo affettivo, questo framework mira a modellare e registrare le interazioni percezione-emozione dell'utente basandosi su segnali fisiologici e comportamentali eterogenei come EEG, ECG, EDA, espressioni facciali e eye-tracking. Attraverso l'integrazione dell'analisi profonda di correlazione canonica (DCCA) con una rete di fusione multimodale (MMFN), il sistema cerca di apprendere le rappresentazioni emotive latenti comuni tra le modalità e di proiettare queste rappresentazioni sugli stati dell'esperienza utente affettiva (UX). L'architettura ha il compito di superare gli svantaggi della fusione superficiale delle caratteristiche e dei modelli emotivi a vincoli di età, supportando l'inferenza emotiva consapevole del contesto e l'integrazione multisensoriale in ambienti pubblici dinamici. Infine, questo lavoro mira a sviluppare sistemi espositivi intelligenti e affettivamente sensibili più avanzati che rispondano al feedback affettivo in tempo reale e alle modalità di interazione degli utenti, aumentando così ulteriormente il coinvolgimento, la soddisfazione e la risonanza cognitivo-emotiva nelle esperienze culturali digitali.

Questo articolo contribuisce alla letteratura nei seguenti modi: Un quadro computazionale per la modellazione affettiva multimodale che considera sia dati fisiologici che comportamentali. Un approccio di fusione multimodale che facilita un apprendimento efficace della percezione e della rappresentazione delle emozioni da più fonti di dati. Questo lavoro suggerito introduce un nuovo paradigma computazionale per migliorare l'esperienza utente affettiva (UX) attraverso il sensoring multimodale basato sull'IA e la modellazione della pipeline di integrazione multisensoriale dell'interazione percezione-emozione. Il contributo principale è la fusione di DCCA con MMFN per facilitare un forte allineamento delle caratteristiche e un apprendimento di rappresentazione ad alto livello attraverso modalità eterogenee come EEG, ECG, EDA, espressione facciale e eye-tracking. Questo permette di modellare una mappatura accurata e offline della percezione sensoriale agli stati emotivi come interesse, coinvolgimento, sorpresa o noia. La validazione sperimentale con il dataset AMIGOS pubblicamente disponibile mostra che il modello DCCA+MMFN sviluppato ottiene risultati migliori rispetto ai modelli di base (ad esempio, 1D-CNN, CNN-ResNet e LSTM-CNN) con una precisione media di classificazione dell'89,4% per gli stati emotivi valenza-attivazione e dell'87,1% per le classi emotive discrete.

A differenza di studi precedenti che hanno sottolineato i partecipanti, hanno focalizzato su situazioni incentrate sul compito o hanno utilizzato tecniche di fusione di funzionalità a livello superficiale, l'approccio proposto offre un quadro di deep learning specificamente progettato per ambienti espositivi dinamici nel mondo reale. Attraverso l'integrazione di DCCA e MMFN, questo lavoro fornisce un metodo espandibile e robusto al rumore, capace di comprendere i continui cambiamenti percezione–emozione in gruppi di utenti eterogenei. Questa chiara fusione di segnali fisiologici, comportamentali e ambientali ad alta dimensione è un'innovazione primaria per la modellazione UX affettiva. Questo articolo presenta un quadro guidato dall'IA per modellare le esperienze affettive dell'utente in mostre interattive utilizzando sensori multimodali e integrazione multisensoriale. Il framework proposto raggiunge un allineamento robusto e la fusione di modalità eterogenee come EEG, ECG, EDA, espressioni facciali e eye-tracking combinando DCCA con MMFN. A differenza degli studi precedenti, limitati a contesti utente o incentrati sul compito, l'approccio proposto supporta la modellazione continua percezione-emozione in ambienti pubblici dinamici, rappresentando così un passo chiave nella ricerca UX affettiva.

La creazione di un approccio computazionale multimodale sistematico e ripetibile per la modellazione fisiologica dell'affetto, che gestisce metodicamente l'allineamento eterogeneo delle caratteristiche prima della fusione, è la principale novità di questo lavoro. Il quadro suggerito impone l'apprendimento correlato della rappresentazione tra EEG, ECG e segnali GSR introducendo uno stadio intermedio di allineamento latente cross-modale tramite DCCA, in contrasto con gli studi tradizionali multimodali di riconoscimento delle emozioni che si basano su concatenazione diretta delle caratteristiche o fusione a livello decisionale. Garantendo la coerenza delle modalità prima della classificazione, questo approccio di fusione guidato dall'allineamento aumenta la generalizzazione e la robustezza tra le dimensioni affettive. Il contributo è un flusso di lavoro end-to-end orientato a benchmark che standardizza la preelaborazione, l'allineamento delle rappresentazioni, la fusione multimodale e la valutazione all'interno di un'unica architettura di deep learning, permettendo una modellazione fisiologica delle emozioni ripetibile e indipendente dal compito, invece di suggerire un singolo cambiamento algoritmico. Il quadro proposto in questo studio è definito come una dimostrazione di fattibilità e concettuale della modellazione affettiva multimodale per esperienze simili a quelle espositivi. Invece di cercare di modellare direttamente ambienti reali di esposizione multisensoriale, il dataset AMIGOS viene utilizzato come proxy di benchmark per convalidare l'approccio di modellazione in un ambiente controllato.

Protocol

Il dataset AMIGOS utilizzato in questo studio è pubblicamente disponibile ed è stato raccolto con l'approvazione preventiva del comitato di revisione istituzionale e il consenso informato, come riportato nella pubblicazione originale. Questo studio prevede solo un'analisi secondaria del dataset, senza alcuna approvazione etica aggiuntiva.

Il metodo attuale utilizza approcci di allineamento delle caratteristiche e fusione multimodale per gestire dati fisiologici e comportamentali multimodali al fine di descrivere le correlazioni percezione–emozione. Questo studio propone un modello computazionale per l'esperienza utente affettiva (UX) in mostre interattive, sfruttando la percezione biofisica multimodale e la modellazione emotiva basata su IA. Basandosi sulle informazioni biofisiche del documento di base, questa metodologia digitalizza la modellazione computazionale degli stati utente tramite EEG, ECG, EDA, eye-tracking, espressioni facciali e input ambientali. Il termine "modellizzazione spazio-temporale" nel manoscritto si riferisce alla rappresentazione fisiologica spaziale multicanale delle caratteristiche e all'allineamento di correlazione intermodale tramite DCCA. Temporale: codifica sequenziale tramite BiLSTM e preservazione delle dipendenze temporali all'interno di finestre segmentate. Questi segnali diversi sono inizialmente pre-elaborati e normalizzati per tenere conto delle correlazioni temporali e spaziali tra le modalità. I vettori di caratteristiche vengono appresi indipendentemente per ogni modalità, catturando schemi emotivi come eccitazione, attenzione e coinvolgimento. Per apprendere con successo da rappresentazioni emotive condivise attraverso flussi di dati eterogenei, si utilizza il DCCA. DCCA proietta ogni modalità in un sottospazio comune latente dove le caratteristiche correlate sono massimizate, mantenendo al contempo le informazioni specifiche per modalità attraverso un'aumentata rilevanza cross-modale. Questi embedding latenti allineati alla modalità vengono poi trasmessi a una Rete di Fusione Multimodale (MMFN) che combina informazioni temporali e contestuali tramite un ibrido di BiLSTM e strati attenzionali. Questa fusione consente al sistema di produrre stati affettivi di alto livello, che vengono tradotti in indicatori dell'esperienza utente (ad esempio, noia, interesse, disagio). Infine, un modulo di classificazione stima lo stato UX affettivo e fornisce feedback per l'adattamento alla mostra, ad esempio l'aggiustamento di stimoli visivi o audio nella modellazione computazionale. La Figura 1 mostra l'architettura del metodo proposto.

Figura 1: Architettura del metodo proposto. Struttura del framework proposto per la modellazione UX che fonde input multimodali, inclusi EEG, ECG, EDA, espressioni facciali e eye gaze, utilizzando DCCA e MMFN. Abbreviazioni; UX = Esperienza utente; EEG = Elettroencefalografia; ECG = Elettrocardiografia; EDA = Attività Elettrodermica; DCCA = Analisi Profonda di Correlazione Canonica; MMFN = Rete di Fusione Multimodale. Clicca qui per visualizzare una versione più grande di questa figura.

L'architettura proposta nella Figura 1 illustra un sistema di esperienza utente affettiva end-to-end che utilizza Deep Canonical Correlation Analysis (DCCA) e una Multimodal Fusion Network (MMFN) per la modellazione dell'interazione percezione-emozione in mostre interattive. Il sistema inizia ricevendo input multimodali grezzi come EEG, ECG ed EDA segnali fisiologici; espressioni facciali e segnali comportamentali dello sguardo oculare; e input contestuali come informazioni audiovisive e ambientali. Questi segnali vengono poi inseriti in un modulo di pre-elaborazione ed estrazione di caratteristiche, dove viene eseguito l'elaborazione specifica del segnale (ad esempio, rimozione del rumore, normalizzazione, calcolo delle caratteristiche) per produrre descrittori significativi per ogni modalità. In secondo luogo, il modulo DCCA proietta coppie di modalità in uno spazio latente comune e apprende embedding massimicamente correlati che codificano schemi emotivi intrinseci tra le modalità. Le caratteristiche ad alta correlazione di questi molteplici moduli DCCA vengono successivamente fuse dalla Multimodal Fusion Network (MMFN), che fonde gerarchicamente le caratteristiche apprese con strati di deep learning, possibilmente BiLSTM, meccanismi di attenzione o trasformatori per creare una rappresentazione affettiva compatta e di alto livello. Questa rappresentazione integrata viene poi inserita nello strato di classificazione degli stati emotivi e UX, in cui il modello prevede esiti affettivi come valenza, eccitazione o stati cognitivi/emotivi come coinvolgimento, noia o sovraccarico. Un ciclo di feedback UX adattivo è opzionalmente fornito alla terminazione della pipeline, permettendo al sistema di rispondere interattivamente agli stati dell'utente adattando stimoli o contenuti nel contesto della mostra. Questa architettura scalabile e modulare garantisce una forte modellazione delle emozioni tramite apprendimento delle rappresentazioni consapevole di correlazione e integrazione multimodale profonda, estremamente adatta per la modellazione computazionale del calcolo affettivo in ambienti interattivi o esperienziali.

La selezione della fusione tra DCCA e MMFN si basa sulle attuali limitazioni dei modelli standard unimodali e a fusione superficiale. Sebbene CNN-ResNet e LSTM-CNN estraggano caratteristiche temporali o spaziali, sono scarsi nel bilanciare modalità eterogenee come EEG, EDA ed espressioni facciali sotto diverse stimolazioni ambientali. DCCA massimizza la correlazione cross-modale per garantire rappresentazioni latenti condivise, mentre MMFN utilizza meccanismi di fusione gerarchica e attenzione per evidenziare dinamicamente i segnali più informativi. Quando combinati, questi moduli offrono un approccio di modellazione affettiva UX più affidabile, comprensibile e ampiamente applicabile per ambienti multisensoriali interattivi.

Acquisizione dati
Nel quadro modello suggerito per l'interazione percezione-emozione per mostre interattive, il dataset^{AMIGOS 24}, disponibile pubblicamente, viene utilizzato come base per dati affettivi multimodali. Il dataset AMIGOS fornisce una raccolta esaustiva di misure fisiologiche e comportamentali da partecipanti umani sottoposti a stimoli che evocano affetto come videoclip. Questi dati contengono segnali sincronizzati EEG, ECG e GSR, registrazioni video facciali e etichette emotive auto-riportate in forme discrete (ad esempio, felice, triste) e dimensionali (valenza/eccitazione). Queste modalità si allineano bene alle esigenze del sistema qui proposto, che mira a dedurre stati di esperienza utente affettiva (UX) durante interazioni immersive e multisensoriali in esposizione. Il dataset include registrazioni di 40 soggetti, ciascuno esposto sia a brevi (clip video <150 s) sia a lunghi (film >14 min) stimoli emotivi, in circostanze che simulano un coinvolgimento mediatico reale. Per l'ambito di questo lavoro suggerito, viene utilizzato un sottoinsieme pre-elaborato del dataset: registri di 30 soggetti con segnali EEG, ECG e GSR di alta qualità privi di artefatti, oltre a file video facciali e annotazioni completi. Questi sono i campioni scelti per imitare dinamiche emotive multimodali durante situazioni di esibizione. Il dataset appreso è una base di addestramento e benchmarking per la pipeline DCCA + Multimodal Fusion Network (MMFN), con stati affettivi come coinvolgimento, noia, confusione ed eccitazione esplorati come risposte a stimoli visivi, uditivi e spaziali in un ambiente di esibizione simulata. La Tabella 1 mostra la descrizione del dataset del metodo proposto.

Parametro	Dettagli
Nome del dataset	AMIGOS (Un dataset per la ricerca sull'affetto, la personalità e l'umore)
No. di Partecipanti	40 in totale (30 utilizzati in lavori proposti con dati multimodali completi)
Tipo di stimoli	Clip video brevi e lunghe (annotate emotivamente)
Canali EEG	Visore EEG Emotiv EPOC a 14 canali
ECG	Sensore di frequenza cardiaca (per HRV e eccitazione)
GSR	Sensore di conduttanza cutanea (misura dell'attività simpatica)
Video facciale	Video frontale ad alta risoluzione per l'analisi delle espressioni
Etichette Emotive	Valenza autovalutata, eccitazione, dominanza (scala 1–9), più etichette discrete
Frequenza di campionamento	EEG: 128Hz, ECG/GSR: 1000Hz
Formato dei dati	.mat e registri di timestamp sincronizzati
Sincronizzazione delle modalità	Sì – Sincronizzato su tutti i sensori e il video
Durata per sessione	Brevi clip (<150 s) e lunghi film (>14 min)
Adattamento alla candidatura	Modellazione UX affettiva, fusione multimodale, mappatura percezione-emozione in tempo reale

Tabella 1: Descrizione del dataset AMIGOS. Descrizione del dataset AMIGOS utilizzato nel quadro proposto, includendo informazioni sui partecipanti, modalità, tassi di campionamento e disegno sperimentale. Abbreviazioni; AMIGOS = Un dataset per la ricerca sull'affetto, la personalità e l'umore su individui e gruppi.

Il dataset AMIGOS disponibile pubblicamente applicato nel quadro suggerito consiste in dati comportamentali e fisiologici multimodali raccolti da 40 partecipanti, di cui 33 sono stati scelti per questo studio in base all'eccellenza e alla completezza delle registrazioni. Il set di dati registra le reazioni emotive a clip video brevi e lunghi, e presenta segnali come EEG (da un visore Emotive a 14 canali), ECG per la variabilità della frequenza cardiaca, GSR per la conduttanza cutanea e video facciale ad alta risoluzione per la misurazione delle espressioni. Gli stati emotivi sono auto-riportati sia in categorie dimensionali (valenza, eccitazione, dominanza) sia discrete. I dati sono ben allineati tra loro nelle modalità e sono adeguatamente campionati: 128Hz per EEG, 1000Hz per ECG e GSR. Tale configurazione rende il dataset ideale per modellare l'esperienza utente (UX) in esposizioni interattive, così che le interazioni percezione-emozione possano essere tracciate con precisione utilizzando il sensoring multimodale basato su IA.

Pre-elaborazione dei dati
Tutti i passaggi di pre-elaborazione, l'addestramento del modello e le valutazioni coinvolti sono stati implementati in script Python scritti su misura (Python 3.10, PyTorch 2.0) individualmente, con ogni modulo per la pre-elaborazione del segnale, l'allineamento basato su DCCA, l'addestramento MMFN e la valutazione delle prestazioni; l'impostazione dei parametri chiave e alcune configurazioni computazionali essenziali sono riassunte nella Tabella 1. Per elaborare il dataset AMIGOS pubblicamente disponibile per la modellazione UX affettiva dell'esibizione interattiva, è inizialmente implementato una pipeline sistematica di preprocessing dati su modalità fisiologiche e comportamentali come EEG, ECG, GSR e video facciale. Innanzitutto, standardizzare e sincronizzare ogni modalità, poi eseguire la pre-elaborazione specifica per modalità. Attualmente, le informazioni contestuali si ottengono solo da segnali audiovisivi intrinseci all'interno degli stimoli video, ad esempio espressioni facciali, schemi di movimento visivi e caratteristiche acustiche come la prosodia del parlato e l'audio di sottofondo.

Normalizzazione del segnale e ricampionamento
I segnali fisiologici grezzi x(t) di tutte le modalità vengono ricampionati a una frequenza comune fs=128 Hz per l'allineamento temporale tra le modalità:

(1)

Il ricampionamento veniva eseguito utilizzando una funzione standard di libreria di elaborazione del segnale invece di un algoritmo progettato su misura. In particolare, l'implementazione è stata effettuata utilizzando l'utilità di ricampionamento disponibile nell'ecosistema di elaborazione del segnale Python (SciPy), che applica l'interpolazione basata sul metodo di Fourier per convertire i segnali alla frequenza di campionamento bersaglio. La frequenza di campionamento target f_s è stata selezionata per garantire una risoluzione temporale uniforme tra le modalità prima della segmentazione e dell'estrazione delle caratteristiche. Ogni segnale viene successivamente normalizzato con punteggio z per eliminare la variabilità tra soggetti:

(2)

dove μ_x e σ_x sono la media della finestra di prova e la deviazione standard del segnale.

Pre-elaborazione EEG
I segnali EEG, catturati da 14 canali, sono filtrati passa-banda scegliendo tra 4 e 45 Hz per preservare le frequenze cognitive:

(3)

Lo spettro di potenza viene utilizzato per determinare i modelli di frequenza nei segnali, e questo può variare a seconda del tipo di emozione, nel caso del segnale cerebrale, e può fornire informazioni utili riguardo al segnale. La tecnica di Welch è una tecnica superiore dell'equazione 3 dei periodogrammi, che fornisce una stima della densità spettrale e può essere impiegata per ottenere spettrogrammi. La tecnica di Welch segmenta il segnale nel dominio temporale in intervalli discreti di tempo e costruisce le costruzioni. Uno spettrogramma per ogni segmento, poi tutti gli spettrogrammi vengono mediati come dimostrato nell'equazione 4. Questo processo è più fluido rispetto all'approccio FFT completo e quindi ottiene la massima potenza dai segnali. Infine, la Densità Spettrale di Potenza (PSD)¹⁹ viene calcolata utilizzando la tecnica di Welch per catturare le caratteristiche del dominio della frequenza:

(4)

Le caratteristiche PSD sono riassunte su cinque bande: Theta (4–8 Hz), Alpha (8–13 Hz), Beta (13–30 Hz), Low Gamma (30–45 Hz).

Caratteristiche facciali basate su video
Estraendo le Unità d'Azione Facciale (AU) e i vettori di sguardo oculare per ogni fotogramma video utilizzando un dataset multicanale EEG o software simile, questi vengono successivamente combinati come sequenze temporali:

(5)

Mappatura delle etichette emotive
Sia i punteggi di valenza-eccitazione che i tag emotivi discreti sono forniti da AMIGOS. Le valutazioni continue sono normalizzate a [0,1]:

(6)

Dove V è il valore effettivamente osservato prima della normalizzazione , V_min è il valore minimo della variabile nel dataset, V_max è il valore più grande della variabile nel dataset e V' è il valore normalizzato nell'intervallo da 0 a 1. Queste etichette vengono applicate come verità fondamentale per la modellazione dell'affetto supervisionata. Queste etichette vengono applicate come verità fondamentale per la modellazione dell'affetto supervisionata.

Sincronizzazione tra modalità
Tutte le modalità sono sincronizzate usando l'allineamento temporale o il time warping dinamico (DTW) quando necessario:

(7)

I dati preelaborati ricchi di funzionalità vengono poi inseriti nel modulo Deep Canonical Correlation Analysis (DCCA), che apprende rappresentazioni massimale correlate tra modalità.

Estrazione delle caratteristiche utilizzando DCCA
Nel quadro previsto della modellazione affettiva UX per mostre interattive, il DCCA viene utilizzato per apprendere le caratteristiche latenti connesse in modalità eterogenee come EEG, ECG, EDA, espressioni facciali e dati di eye-tracking. L'obiettivo è imparare uno spazio di rappresentazione comune in cui i segnali di varie modalità, seppur rumorosi o specifici per modalità, siano al massimo correlati e semanticamente coerenti in termini di stati emotivi percepiti. In questo lavoro, il DCCA è stato applicato alle seguenti coppie di modalità: i) EEG–ECG, ii) EEG–GSR e iii) rappresentazioni EEG–caratteristiche facciali. Queste coppie sono state selezionate per catturare correlazioni neuro-fisiologiche e neurali-comportamentali complementari rilevanti per l'impegno affettivo. Per estendere il DCCA a un contesto multimodale, sono stati calcolati e poi fusi gli embedding a coppie per coppie di modalità utilizzando il MMFN proposto, che consente un'integrazione efficiente di più di due modalità senza alterare la formulazione principale del DCCA.

Eseguendo un allineamento latente guidato dalla correlazione prima della fusione, il DCCA separa strutturalmente l'allineamento delle rappresentazioni dalla fusione decisionale, a differenza delle Reti di Attenzione Cross-Modale o Fusione Tensoriale, che agiscono direttamente su potenziali rappresentazioni disallineate. La ridondanza si riduce e la coerenza delle rappresentazioni migliora grazie a questa architettura a due stadi. Inoltre, il DCCA ottimizza direttamente la dipendenza statistica cross-modal invece di dipendere solo da funzioni di perdita condivise, cosa più appropriata per dati fisiologici eterogenei rispetto ai framework di apprendimento multi-tasking. Innanzitutto, DCCA²⁰ sono utilizzati per calcolare rappresentazioni di diverse modalità trattandole sequencialmente attraverso più strati impilati di trasformazioni non lineari. La Figura 2 illustra la costruzione del DCCA impiegato in questo lavoro di ricerca. Abbiamo utilizzato un metodo di ricerca a griglia per determinare gli iperparametri ottimali per progettare il modello di deep learning da utilizzare nell'approccio DCCA. Dopo un'analisi sperimentale approfondita, gli autori hanno selezionato un ottimizzatore stocastico per la discesa del gradiente, una perdita di entropia incrociata e un parametro regolatore di 1e5. Successivamente, gli autori hanno selezionato 15 passaggi di ottimizzazione usando il vettore bias come tutti zeri, il set di validazione come criteri di stop anticipato e l'inizializzatore Xavier come inizializzatore di peso. La Figura 2 mostra il processo di funzionamento del DCCA.

Figura 2: Processo di lavoro del DCCA. Flusso di lavoro di processo del DCCA, che mostra la mappatura delle caratteristiche di diverse modalità in uno spazio latente comune per massimizzare la correlazione.
Abbreviazioni; DCCA = Analisi Profonda di Correlazione Canonica. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 2 rappresenta visivamente il quadro interno di lavoro della Deep Canonical Correlation Analysis (DCCA) per l'apprendimento della rappresentazione condivisa tra due diverse modalità, EEG (Modalità A) ed EDA (Modalità B). Entrambe le modalità vengono inserite nelle rispettive reti profonde di estrazione di caratteristiche (Estratore di Caratteristiche A e B), che hanno diversi strati nascosti che aprendono caratteristiche astratte specifiche per modalità. Prima della fusione, l'allineamento latente cross-modale viene realizzato utilizzando l'Analisi di Correlazione Canonica Profonda (DCCA). Per ogni coppia di modalità sono costruite due reti parallele di proiezione profonda (EEG–ECG, EEG–EDA e EEG–Facciale). Utilizzando l'attivazione ReLU, ogni rete di proiezione è composta da tre strati completamente connessi con dimensioni [256, 128, 64]. Per lo spazio latente condiviso, 64 è la dimensione di immersione ultima. Con un coefficiente di regolarizzazione L2 di 1e-5 per garantire la stabilità numerica, la funzione obiettivo massimizza la correlazione canonica tra gli embedding di modalità proiettati. I vettori di bias vengono inizializzati a zero e i pesi vengono inizializzati tramite l'inizializzazione di Xavier. Per stabilizzare l'apprendimento dell'allineamento, i moduli DCCA vengono addestrati separatamente prima dell'addestramento MMFN. Per mantenere la coerenza dell'allineamento, non esiste una messa a punto end-to-end tra DCCA e MMFN. Queste pipeline di reti neurali accettano i flussi di dati in ingresso in parallelo ma isolati. L'output dell'estrattore di caratteristiche di ciascuna di esse viene poi proiettato nello spazio latente comune, dove le caratteristiche di entrambe le modalità vengono mappate per diventare comparabili nella struttura. Le proiezioni sono ottimizzate secondo l'obiettivo del DCCA, che è massimizzare la correlazione tra le corrispondenti rappresentazioni latenti di EEG ed EDA. Acquisendo questo sottospazio massimalmente correlato, DCCA garantisce che gli embeddings di output mantengano pattern complementari e semanticamente significativi di entrambe le modalità, essenziali per applicazioni a valle come il riconoscimento delle emozioni o il calcolo affettivo.

In questo lavoro, le funzionalità vengono convertite tramite DCCA e poi integrate per la categorizzazione. Il modello DCCA, mostrato nella Figura 2, utilizza un modello di deep learning per la trasformazione delle caratteristiche. Il livello CCA calcola la correlazione, che viene poi utilizzata per la combinazione e classificazione delle caratteristiche. Supponiamo che la matrice memorizzi prove della modalità EEG, e la matrice includa esperimenti sulla modalità video facciale. In questo caso, le dimensioni delle caratteristiche nelle prove EEG e nei video video facciali sono rappresentate rispettivamente da_{n 1} e n₂, mentre il numero totale di prove è indicato da MA. Per ogni modalità, gli autori hanno creato la seguente rete neurale profonda per riorganizzare le caratteristiche di input in modo non lineare:

(8)

dove i parametri della trasformazione non lineare sono rappresentati come HT₁ e HT₂; le caratteristiche successive di ogni rete neurale sono rappresentate come e e misurazione della caratteristica della DCCA come n. I parametri appris ricorsivamente HT₁ e HT₂, generati dalla DCCA, hanno aumentato la correlazione tra ON₁ e _{ON 2} al massimo possibile:

(9)

I parametri appresi reciprocamente come HT₁ e HT₂ venivano addestrati dall'algoritmo di retropropagazione. Per ottenere la risposta desiderata, i gradienti della funzione obiettivo venivano approssimati come suggerito. Le caratteristiche modificate ON1 e ON2 ∈ SP si trovano nella SP combinata dell'iperspazio dopo che le due reti neurali sono state addestrate. Gli autori di DCCA principalmente20 non hanno menzionato specificamente l'uso di caratteristiche alterate. Le funzionalità modificate possono essere utilizzate in modo che migliori l'applicazione dell'utente. In questo lavoro, gli autori hanno ottenuto le seguenti caratteristiche fuse da caratteristiche alterate:

(10)

dove α e β rappresentano pesi che mantengono α + β = 1. Le caratteristiche ON integrate tramite DCCA sono inserite nel classificatore SoftMax. I compiti di riconoscimento delle emozioni vengono utilizzati per addestrare il classificatore. Come già detto, costruire DCCA per la fusione dei dati su diversi formati ha alcuni vantaggi. Per osservare le caratteristiche e la correlazione delle trasformazioni centrate sulla modalità, ad esempio, DCCA ottiene esplicitamente ON1 e ON2 per ciascuna modalità nella fusione a livello di caratteristica. Inoltre, i dati basati sulle emozioni possono essere preservati controllando le funzioni di mappatura non lineari f1(·) e f2(·). Inoltre, gli autori utilizzano pesi equivalenti per ciascuna modalità nella fusione a somma pesata. Una Rete di Fusione Multimodale (MMFN) che prevede gli stati dell'esperienza utente riceve questo spazio combinato. Per l'allineamento multimodale, si utilizza un approccio gerarchico, in cui i segnali grezzi vengono prima allineati temporalmente con ricampionamento e allineamento temporale, e l'allineamento dei segnali semanticamente ricchi di diverse modalità viene ottenuto tramite Deep Canonical Correlation Analysis (DCCA). Questo garantisce che le rappresentazioni consapevoli della modalità vengano trasformate in uno spazio latente comune prima del processo di fusione basato sull'attenzione nel MMFN.

Rete di fusione multimodale (MMFN) per modellazione UX affettiva
Il MMFN codifica ogni modalità separatamente, poi le fonde utilizzando un cancello di fusione e un meccanismo di attenzione per produrre una rappresentazione integrata per la previsione delle emozioni.

Codifica specifica per modalità
Sia x⁽ⁱ⁾∈R^di il vettore caratteristico per la i-esima modalità (ad esempio, EEG, EDA). Ogni modalità è codificata con un codificatore neurale:

(11)

Meccanismo di fusione a gate
Per gestire il flusso di informazioni da ciascuna modalità, viene impiegato un porta di fusione:

(12)

(13)

σ è la funzione di attivazione sigmoide. ⊙caratterizza lo sviluppo elemento per elemento. Questo permette alla rete di ridurre il peso delle modalità rumorose o di aumentare il peso di funzionalità utili in modo dinamico.

Fusione di attenzione cross-modality
Uno strato di attenzione impara quanto peso attribuire alla rappresentazione di ciascuna modalità:

(14)

(15)

α(i) sono pesidi attenzione la rappresentazione finale fusa.

Previsione dello stato affettivo
Il vettore fuso viene inserito in uno strato di uscita per fare previsioni di valenza/attivazione o stati UX:

22(16)

Dove può essere usato per rappresentare: classe di emozioni discrete (felice, neutro, triste), scala continua (valenza/eccitazione) e categorie UX (impegnato, distratto, sovraccaricato).

Figura 3: Struttura del MMFN. Struttura del MMFN con codificatori specifici per modalità, fusione gated e integrazione basata sull'attenzione per la previsione dello stato affettivo.
Abbreviazioni; MMFN = Rete di Fusione Multimodale. Clicca qui per visualizzare una versione più grande di questa figura.

La Figura 3 è il processo di lavoro di una Rete a Fusione Multimodale (MMFN) impiegata in un framework di calcolo affettivo per la previsione delle emozioni e dell'esperienza utente (UX). Encoder specifici per modalità, strati di fusione con gate, un modulo di integrazione basato sull'attenzione e una testa finale di classificazione costituiscono l'architettura gerarchica di fusione del MMFN. Illustra come varie modalità di input eterogenee, come EEG (Modalità A), EDA (Modalità B) ed Espressioni facciali (Modalità C), vengano elaborate con le proprie reti di encoder specializzate (Encoder A, B e C). Un encoder indipendente composto da due strati completamente connessi con attivazione ReLU processa ciascuna modalità (EEG, ECG, EDA e caratteristiche facciali) prima che uno strato Bidirezionale Long Short-Term Memory (BiLSTM) catturi le dipendenze temporali. Ogni codificatore apprende una rappresentazione specifica di una caratteristica per modalità che trattiene caratteristiche emotive o fisiologiche significative dal corrispondente flusso di dati. Ogni direzione nel BiLSTM ha 128 unità nascoste, conferendo a ogni modalità un inserimento contestuale di 256 dimensioni. Per evitare l'overfitting, il dropout (velocità = 0,5) viene eseguito dopo lo strato BiLSTM. Un approccio di fusione a gate che utilizza l'attivazione sigmoide per controllare dinamicamente i contributi delle modalità viene poi applicato alle rappresentazioni delle modalità codificate. Uno strato di auto-attenzione calcola quindi i pesi di attenzione tra le diverse modalità per sopprimere i segnali rumorosi e evidenziare le informazioni rilevanti. Uno strato completamente connesso e un livello di output lineare per i compiti di regressione valence-auseal oppure un livello di output Softmax per i compiti di classificazione discreta proiettano la rappresentazione fusa. L'output di ciascun encoder viene quindi inserito in uno Strato di Fusione Multimodale, che concatena tutte le caratteristiche della modalità e applica un meccanismo di attenzione per evidenziare segnali più informativi e mascherare il rumore. Questa operazione produce una rappresentazione latente comune che integra segnali emotivi di tutte le modalità in un vettore denso ad alto livello.

Gli strati BiLSTM applicati agli embedding sequenziali specifici per modalità modellano direttamente la dinamica temporale. Il BiLSTM consente la modellazione contestuale degli stati affettivi in evoluzione catturando sia le dipendenze temporali in avanti che all'indietro all'interno di sequenze fisiologiche segmentate. Inoltre, la ponderazione adattiva delle caratteristiche informative nel tempo è resa possibile dallo strato di fusione basato sull'attenzione che segue, che funziona su rappresentazioni codificate temporalmente. Gli autori hanno recentemente aggiornato il testo per rendere più evidente come la costruzione di sequenze, la codifica ricorrente e il ponderamento dell'attenzione lavorino insieme per supportare la modellazione temporale.

Il pseudocodice proposto 1 mostra l'intero processo di modellazione affettiva dell'esperienza utente utilizzando DCCA-MMFN in una forma riproducibile. Per cominciare, segnali fisiologici e comportamentali multimodali vengono inseriti in un passaggio indipendente di preelaborazione che coinvolge la riduzione del rumore e la normalizzazione delle scale. Le caratteristiche vengono poi inserite nel DCCA, dove le caratteristiche correlate vengono apprese congiuntamente per specifiche coppie di modalità, puntando a un robusto allineamento cross-modale. Le caratteristiche allineate vengono successivamente combinate all'interno di un MMFN costituito da meccanismi a porta e di attenzione per modulazione specifica per modalità, volti a promuovere modalità informative e sopprimere il rumore. La rappresentazione finale combinata delle caratteristiche viene impiegata per addestrare un classificatore destinato alla stima dello stato affettivo e UX, e la valutazione complessiva delle prestazioni viene effettuata basandosi su metriche standard. La natura passo dopo passo di questo pseudocodice proposto garantisce trasparenza, fattibilità e facile riproduzione da parte degli altri per tutti gli individui tecnicamente informati interessati a questo protocollo.

Il framework proposto mira a prevedere lo stato dell'esperienza utente affettiva (UX) utilizzando segnali fisiologici e comportamentali multimodali dal dataset AMIGOS basandosi sui seguenti passaggi: Passo 1: I dati multimodali in input consistono in EEG, ECG, EDA, eye-gaze e segnali di espressione facciale. Inizialmente viene utilizzato il dataset multimodale AMIGOS e ogni modalità subisce preprocessing del segnale, inclusi il filtraggio del rumore e la normalizzazione per garantire la qualità e la coerenza dei dati. Passo 2: Per mantenere l'uniformità temporale tra le modalità, tutti i segnali vengono ricampionati a una frequenza standard. Successivamente, viene effettuata l'estrazione di caratteristiche specifiche per modalità per ottenere rappresentazioni distintive corrispondenti a ciascun tipo di segnale. Passo 3: Per catturare le relazioni cross-modali, le coppie di modalità selezionate (EEG–ECG, EEG–EDA e EEG–Faciale) vengono elaborate utilizzando l'Analisi Profonda di Correlazione Canonica (DCCA). Le reti DCCA sono addestrate ad apprendere rappresentazioni latenti correlate tra modalità accoppiate, risultando in embeddings di caratteristiche allineate per ogni coppia di modalità. Queste rappresentazioni allineate vengono poi combinate per formare uno spazio di caratteristiche multimodale unificato. Passo 4: Le caratteristiche aggregate allineate vengono fornite come input a una Rete di Fusione Multimodale (MMFN), dove vengono impiegate meccanismi di attenzione e strategie di fusione a gate per integrare efficacemente informazioni complementari tra le modalità. Questo processo di fusione genera una rappresentazione affettiva completa. Passo 5: La rappresentazione risultante viene successivamente utilizzata per addestrare un classificatore con dati emotivi etichettati per prevedere lo stato UX affettivo. Infine, le prestazioni del modello vengono valutate utilizzando metriche standard, tra cui Accuratezza, Precisione, Richiuro, F1-score e Area Sotto la Curva (AUC). Lo stato UX affettivo previsto viene restituito come output finale del framework.

Modellazione percezione-emozione utilizzando il framework proposto DCCA-MMFN
Nel quadro computazionale suggerito per l'esperienza dell'utente affettivo (UX) delle mostre interattive, il modulo Percezione–Modellazione Emotiva è il processo centrale che collega le reazioni percettive dell'utente agli stimoli ambientali con i loro stati emotivi multimodali derivati dalla biofisica. Questo modulo si basa sulle rappresentazioni comuni acquisite dal DCCA di modalità fisiologiche e comportamentali come EEG, EDA, ECG, espressioni facciali e movimenti oculari per registrare la dinamica affettiva dell'utente. Contemporaneamente, vengono utilizzati metadati sull'ambiente espositivo circostante – stimoli visivi, paesaggi sonori, schemi di interattività e caratteristiche ambientali – per codificare segnali percettivi. Utilizzando una Rete di Fusione Multimodale (MMFN) per combinare queste rappresentazioni multimodali, il modello acquisisce mappe dettagliate e non lineari da caratteristiche stimolanti percettive e etichette o dimensioni emotive (ad esempio, valenza, eccitazione, coinvolgimento). Questa mappatura permette al sistema di sapere costantemente come un utente reagisce emotivamente verso vari elementi della mostra e poi modificare il contenuto o l'interfaccia di conseguenza per aumentare il coinvolgimento, la soddisfazione o la risonanza cognitiva. Infine, la modellazione percezione-emozione facilita l'adattamento dell'interazione consapevole delle emozioni, che costituisce il nucleo della modellazione computazionale e dei sistemi di esposizione sensibili all'utente.

Innanzitutto, i moduli DCCA sono stati addestrati ad apprendere rappresentazioni latenti correlate per ogni coppia di modalità. L'embedding risultante funge da input per il MMFN, addestrato ulteriormente in sequenza per il compito di previsione affettiva. Non viene effettuata alcuna messa a punto end-to-end per mantenere la stabilità dell'addestramento.

Categoria	Parametro	Valore / Descrizione
Preprocessing del segnale	Filtro passa banda EEG	4–45 Hz
	Frequenza di ricampionamento	128 Hz
	Lunghezza della finestra	2 s
	Sovrapposizione delle finestre	50%
	Normalizzazione	Normalizzazione Z-score
Architettura DCCA	Numero di strati nascosti	3 strati per modalità
	Neuroni per strato	128–64–32
	Dimensione latente (n)	32
	Parametro di regolarizzazione	1 × 10⁻⁵
	Ottimizzatore	Adam
	Tasso di apprendimento	0.001
	Dimensione del lotto	32
	Epoche di massimo addestramento	150
	Pazienza che si ferma precocemente	15 epoche
Configurazione MMFN	Tipo di codificatore	BiLSTM
	Unità nascoste	64
	Tasso di abbandono	0.3
	Strategia di fusione	Fusione a gate con attenzione
	Tipo di attenzione	EEG, ECG, GSR, Video
Formazione e Valutazione	Funzione di perdita	Perdita di entropia incrociata
	Divisione treno-prova	Validazione incrociata a 5 volte
	Metriche di valutazione	Precisione, Precisione, Richiamo, F1-score, Cohen's Kappa, AUC–ROC
Checkpoint di riproducibilità	Forma tensoriale EEG in ingresso	Canali × campioni temporali (ad esempio, 14 × 256 per finestra)
	Rappresentazione dell'output DCCA	Independizione latente condivisa a 32 dimensioni
	Output MMFN	Probabilità di classe emotiva (classi valenza-attivazione o discrete)
	Prestazioni di validazione attese	Accuratezza della classificazione 85–90%

Tabella 2: Parametri dell'algoritmo proposto DCCA–MMFN. Riepilogo dei parametri di preprocessing, architettura, fusione, addestramento, valutazione e riproducibilità considerati nel framework proposto per la modellazione UX affettiva. Abbreviazioni; DCCA = Analisi Profonda di Correlazione Canonica; MMFN = Rete di Fusione Multimodale; UX = Esperienza utente.

Nella Tabella 2 è fornito l'intero insieme di parametri utilizzati nel framework proposto DCCA-MMFN, che tiene conto della preelaborazione del segnale, progettazione di architettura profonda, tecniche di fusione e condizioni di addestramento. I segnali fisiologici sono stati ricampionati e normalizzati uniformemente per sincronizzarli rispetto alle rispettive modalità. Il livello DCCA era configurato per utilizzare trasformazioni non lineari multilivello, che aiutavano nell'apprendimento di spazi latenti massimamente correlati, mentre il componente MMFN utilizzava reti encoder BiLSTM con meccanismi di attenzione a gate per ponderare dinamicamente il valore delle diverse modalità. I requisiti per la formazione e la valutazione sono esplicitamente definiti, garantendo un confronto equo con le opzioni esistenti.

Il quadro suggerito è pensato per servire come base computazionale per sistemi consapevoli dell'affetto che utilizzano informazioni comportamentali e fisiologiche in diverse dimensioni. L'architettura è concettualmente adattabile ad ambienti reali come spazi espositivi intelligenti, interfacce smart adattiva e sistemi di interazione umano-computer consapevoli dell'affetto, anche se lo studio attuale convalida il modello attraverso esperimenti offline controllati utilizzando il dataset AMIGOS disponibile pubblicamente. Il framework può funzionare come modulo fondamentale per applicazioni che necessitano di inferenza emotiva affidabile, offrendo tecniche di fusione unificate, allineamento cross-modal e preprocessing strutturato. Tuttavia, invece di essere sistemi dispiegati sperimentalmente, questi ambienti sono descritti in questo studio come possibili contesti di implementazione.

Results

Valutazione del sistema proposto
Per valutare il sistema proposto, ha condotto esperimenti sul dataset AMIGOS, disponibile pubblicamente, che fornisce misurazioni sincronizzate di EEG, ECG, GSR, video e audio di 40 utenti esposti a stimoli emotivamente coinvolgenti. Ai fini di questa ricerca, gli autori hanno utilizzato dati di 33 partecipanti (dopo pre-elaborazione e rimozione di studi incompleti), ottenendo 1.320 campioni validi sulle dimensioni di valenza e attivazione. La valutazione ha enfatizzat...

Discussion

I contesti di interazione spaziale, ambientale e fisica, come la disposizione spaziale, la densità di folla o le condizioni ambientali ambientali, non sono esplicitamente indicati nel dataset AMIGOS. Pertanto, tali fattori non sono direttamente modellati anche negli esperimenti attuali. Il framework computazionale suggerito per la modellazione dell'Esperienza Utente Affettiva (UX) va molto oltre i concetti fondamentali dell'articolo di base, che trattavano dell'interazione utente-compito...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dataset	Dataset AMIGOS	40 partecipanti; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), video facciale, etichette auto-segnalate per valenza/eccitazione	Dati di verità sul terreno multimodali per la modellazione dello stato affettivo
Sensori fisiologici	Visore EEG	Emotiv EPOC+ (14 canali, 128 Hz)	Cattura dell'attività cerebrale legata all'attenzione, all'eccitazione e al coinvolgimento
	Sensore ECG	Biopac MP150 o equivalente (1000 Hz)	Variabilità della frequenza cardiaca e eccitazione
	Sensore GSR/EDA	Shimmer GSR+ o equivalente (1000 Hz)	Conduttanza cutanea come misura dell'eccitazione
Sensori comportamentali	Dispositivo di tracciamento oculare	Tobii Pro X2-60 o equivalente	Registrazione della fissazione dello sguardo e delle saccadi
	Registrazione delle espressioni facciali	Videocamera ad alta risoluzione; analizzato con OpenFace (AU, vettori di sguardo)	Estrazione delle Unità d'Azione (AU) facciali e dei segnali dello sguardo
Input ambientali	Configurazione di registrazione audiovisiva	Microfono + Telecamera (sincronizzato con stimoli)	Cattura degli stimoli contestuali durante l'esposizione
Software / Kit di Attrezzi	OpenFace	Toolkit open-source per l'analisi del comportamento facciale	Estrazione delle Unità d'Azione (AU), direzione dello sguardo
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Preprocessing del segnale (ricampionamento, normalizzazione z-score, calcolo PSD)	Preprocessing dei dati ed estrazione delle feature
	TensorFlowv2.13 / PyTorchv2.0	Framework di deep learning per DCCA e MMFN	Implementazione e addestramento del modello
Algoritmi / Modelli	Analisi profonda della correlazione canonica (DCCA)	Metodo di allineamento delle caratteristiche non lineare	L'apprendimento correlava rappresentazioni latenti tra le modalità
	Rete di Fusione Multimodale (MMFN)	BiLSTM + Strati di fusione basati sull'attenzione	Fusione gerarchica di modalità eterogenee per la classificazione degli stati UX
Metriche di valutazione	Precisione, Precisione, Richiamo, F1-Score, Cohen' s Kappa, AUC-ROC, Matrice di Confusione	Implementato con le metriche scikit-learn / TensorFlow	Valutazione delle prestazioni del modello
Hardware informatico	Cluster workstation / GPU	NVIDIA RTX 3080 (10GB) o equivalente, 32 GB di RAM, processore Intel i9	Addestramento e simulazione del modello