Modellazione computazionale dell'esperienza utente affettiva utilizzando segnali fisiologici e comportamentali multimodali

Summary

Questo protocollo descrive un framework computazionale che modella l'esperienza dell'utente affettivo integrando segnali fisiologici e comportamentali in modo multimodale, utilizzando tecniche per l'apprendimento delle caratteristiche basato sulla correlazione e la fusione multimodale. Questo protocollo propone e testa un quadro per la modellazione affettiva multimodale sul dataset benchmark AMIGOS.

Abstract

Questo lavoro propone un protocollo computazionale riproducibile per la modellazione affettiva multimodale che utilizza segnali fisiologici. L'obiettivo del protocollo è abilitare il riconoscimento emotivo offline integrando più segnali biologici utilizzando un framework unificato di deep learning. Il lavoro proposto è composto da cinque fasi: raccolta dati, pre-elaborazione, allineamento delle caratteristiche, fusione multimodale e valutazione. Segnali EEG, ECG e GSR provenienti da dati AMIGOS accessibili al pubblico sono stati utilizzati come base sperimentale in questo lavoro. I segnali biologici sono stati pre-elaborati e normalizzati per estrarre caratteristiche specifiche per modalità. Gli spazi di caratteristiche eterogenei sono stati allineati tra le modalità utilizzando l'Analisi di Correlazione Canonica Profonda, seguiti da una rete di fusione multimodale per classificare uno stato affettivo. Il protocollo è stato valutato con esperimenti offline e confrontato con modelli convenzionali di fusione e classificazione utilizzando metriche standard di prestazione come accuratezza, precisione, richiamo, punteggio F1 e AUC. Questo studio si concentra sullo sviluppo e la validazione di un framework computazionale per la modellazione multimodale affettiva dell'esperienza utente, piuttosto che sulla distribuzione di un sistema interattivo in tempo reale. Con una precisione del 92,1% per la previsione dello stato affettivo UX e un punteggio F1 del 94,2% per la classificazione dell'attivazione di valenza, i risultati hanno costantemente superato i modelli di base sulle dimensioni emotive. Questi risultati hanno verificato l'efficacia del flusso di lavoro di fusione multimodale proposto per la modellazione affettiva computazionale tramite il benchmarking dei dati fisiologici.

Introduction

L'interazione complessa tra pensiero, sentimento e azione plasma il modo in cui le persone pensano e agiscono. Il calcolo affettivo studia queste relazioni sfruttando conoscenze interdisciplinari provenienti da neuroscienze, psicologia e intelligenza artificiale per costruire sistemi in grado di analizzare, comprendere e reagire alle emozioni umane. Questo ambito è stato applicato sempre più alla comunicazione uomo-tecnologia, incorporando la coscienza espressiva nelle strutture di IA reattive, facendo interagire la tecnologia non solo con le condizioni intellettuali ma anche con quelle emotive, portando a una conoscenza utente più in....

Protocol

Il dataset AMIGOS utilizzato in questo studio è pubblicamente disponibile ed è stato raccolto con l'approvazione preventiva del comitato di revisione istituzionale e il consenso informato, come riportato nella pubblicazione originale. Questo studio prevede solo un'analisi secondaria del dataset, senza alcuna approvazione etica aggiuntiva.

Il metodo attuale utilizza approcci di allineamento delle caratteristiche e fusione multimodale per gestire dati fisiologici e comportamentali multimodali al fine di descrivere le correlazioni percezione–emozione. Questo studio propone un modello computazionale per l'esperienza utente affettiva (UX) in mos....

Results

Valutazione del sistema proposto
Per valutare il sistema proposto, ha condotto esperimenti sul dataset AMIGOS, disponibile pubblicamente, che fornisce misurazioni sincronizzate di EEG, ECG, GSR, video e audio di 40 utenti esposti a stimoli emotivamente coinvolgenti. Ai fini di questa ricerca, gli autori hanno utilizzato dati di 33 partecipanti (dopo pre-elaborazione e rimozione di studi incompleti), ottenendo 1.320 campioni validi sulle dimensioni di valenza e attivazione. La valutazione ha enfatizzat.......

Discussion

I contesti di interazione spaziale, ambientale e fisica, come la disposizione spaziale, la densità di folla o le condizioni ambientali ambientali, non sono esplicitamente indicati nel dataset AMIGOS. Pertanto, tali fattori non sono direttamente modellati anche negli esperimenti attuali. Il framework computazionale suggerito per la modellazione dell'Esperienza Utente Affettiva (UX) va molto oltre i concetti fondamentali dell'articolo di base, che trattavano dell'interazione utente-compito.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dataset	Dataset AMIGOS	40 partecipanti; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), video facciale, etichette auto-segnalate per valenza/eccitazione	Dati di verità sul terreno multimodali per la modellazione dello stato affettivo
Sensori fisiologici	Visore EEG	Emotiv EPOC+ (14 canali, 128 Hz)	Cattura dell'attività cerebrale legata all'attenzione, all'eccitazione e al coinvolgimento
	Sensore ECG	Biopac MP150 o equivalente (1000 Hz)	Variabilità della frequenza cardiaca e eccitazione
	Sensore GSR/EDA	Shimmer GSR+ o equivalente (1000 Hz)	Conduttanza cutanea come misura dell'eccitazione
Sensori comportamentali	Dispositivo di tracciamento oculare	Tobii Pro X2-60 o equivalente	Registrazione della fissazione dello sguardo e delle saccadi
	Registrazione delle espressioni facciali	Videocamera ad alta risoluzione; analizzato con OpenFace (AU, vettori di sguardo)	Estrazione delle Unità d'Azione (AU) facciali e dei segnali dello sguardo
Input ambientali	Configurazione di registrazione audiovisiva	Microfono + Telecamera (sincronizzato con stimoli)	Cattura degli stimoli contestuali durante l'esposizione
Software / Kit di Attrezzi	OpenFace	Toolkit open-source per l'analisi del comportamento facciale	Estrazione delle Unità d'Azione (AU), direzione dello sguardo
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Preprocessing del segnale (ricampionamento, normalizzazione z-score, calcolo PSD)	Preprocessing dei dati ed estrazione delle feature
	TensorFlowv2.13 / PyTorchv2.0	Framework di deep learning per DCCA e MMFN	Implementazione e addestramento del modello
Algoritmi / Modelli	Analisi profonda della correlazione canonica (DCCA)	Metodo di allineamento delle caratteristiche non lineare	L'apprendimento correlava rappresentazioni latenti tra le modalità
	Rete di Fusione Multimodale (MMFN)	BiLSTM + Strati di fusione basati sull'attenzione	Fusione gerarchica di modalità eterogenee per la classificazione degli stati UX
Metriche di valutazione	Precisione, Precisione, Richiamo, F1-Score, Cohen' s Kappa, AUC-ROC, Matrice di Confusione	Implementato con le metriche scikit-learn / TensorFlow	Valutazione delle prestazioni del modello
Hardware informatico	Cluster workstation / GPU	NVIDIA RTX 3080 (10GB) o equivalente, 32 GB di RAM, processore Intel i9	Addestramento e simulazione del modello