Computationele modellering van affectieve gebruikerservaring met behulp van multimodale fysiologische en gedragssignalen

Summary

Dit protocol beschrijft een computationeel kader dat de affectieve gebruikerservaring modelleert door fysiologische en gedragssignalen multimodal te integreren, met technieken voor correlatie-gebaseerd feature learning en multimodale fusie. Dit protocol stelt een raamwerk voor en test een kader voor multimodale affectieve modellering op de AMIGOS-benchmarkdataset.

Abstract

Dit werk stelt een reproduceerbaar computationeel protocol voor multimodale affectieve modellering voor dat gebruikmaakt van fysiologische signalen. Het doel van het protocol is om offline emotherkenning mogelijk te maken door meerdere biosignalen te integreren met een uniform deep learning-framework. Het voorgestelde werk bestaat uit vijf stappen: gegevensverzameling, voorverwerking, feature-uitlijning, multimodale fusie en evaluatie. EEG-, ECG- en GSR-signalen uit publiek toegankelijke AMIGOS-gegevens werden als experimentele basis in dit werk gebruikt. Biosignalen werden vooraf verwerkt en genormaliseerd om modaliteitsspecifieke kenmerken te extraheren. Heterogene kenmerkruimtes werden over modaliteiten uitgelijnd met behulp van Deep Canonical Correlation Analysis, gevolgd door een multimodaal fusienetwerk voor het classificeren van een affectieve toestand. Het protocol is geëvalueerd met offline experimenten en vergeleken met conventionele fusie- en classificatiemodellen met behulp van standaard prestatiemetrics zoals nauwkeurigheid, precisie, recall, F1-score en AUC. Deze studie richt zich op de ontwikkeling en validatie van een computationeel kader voor multimodale affectieve gebruikerservaringsmodellering, in plaats van de implementatie van een realtime interactief systeem. Met 92,1% nauwkeurigheid voor UX-affectieve toestandvoorspelling en 94,2% F1-score voor valence-arousal classificatie, presteerden de resultaten consequent beter dan de basismodellen op emotionele dimensies. Deze bevindingen bevestigden de effectiviteit van de voorgestelde multimodale fusieworkflow voor computationele affectieve modellering door fysiologische data te benchmarken.

Introduction

De complexe wisselwerking van denken, voelen en handelen vormt hoe mensen denken en handelen. Affectief computeren bestudeert deze relaties door interdisciplinaire kennis uit neurowetenschap, psychologie en kunstmatige intelligentie te benutten om systemen te bouwen die in staat zijn menselijke emoties te analyseren, begrijpen en erop te reageren. Dit gebied wordt steeds vaker toegepast op mens-technologie communicatie door expressief bewustzijn te integreren in responsieve AI-structuren, waardoor technologie niet alleen met intellectuele, maar ook met emotionele omstandigheden kan interageren, wat resulteert in meer geïndividualiseer....

Protocol

De AMIGOS-dataset die in deze studie is gebruikt, is openbaar beschikbaar en is verzameld met eerdere goedkeuring van de institutionele beoordelingscommissie en geïnformeerde toestemming, zoals gerapporteerd in de oorspronkelijke publicatie. Deze studie omvat alleen secundaire analyse van de dataset en er was geen aanvullende ethische goedkeuring vereist.

De huidige methode maakt gebruik van feature-alignment en multimodale fusiebenaderingen om multimodale fysiologische en gedragsgegevens te verwerken en zo perceptie-emotie correlaties te beschrijven. Deze studie stelt een computationeel model voor affectie....

Results

Beoordeling van het voorgestelde systeem
Om het voorgestelde systeem te beoordelen, voerde het experimenten uit op de publiek beschikbare AMIGOS-dataset, die gesynchroniseerde metingen biedt van EEG, ECG, GSR, video en audio van 40 gebruikers die werden blootgesteld aan emotioneel stimulerende prikkels. Voor dit onderzoek gebruikten de auteurs gegevens van 33 deelnemers (na preprocessing en verwijdering van onvolledige onderzoeken), wat resulteerde in 1.320 geldige mo.......

Discussion

Ruimtelijke, omgevings- en fysieke interactiecontexten, zoals ruimtelijke indeling, drukdichtheid of omgevingsomstandigheden, worden expliciet niet gegeven in de AMIGOS-dataset. Dergelijke factoren worden dus ook niet direct gemodelleerd in de huidige experimenten. Het voorgestelde computationele kader voor Affective User Experience (UX)-modellering gaat veel verder dan de basisconcepten van het basisartikel die gingen over gebruikelijke, taakgerichte kind-robot interactie met behulp van.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dataset	AMIGOS dataset	40 participants; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), facial video, self-reported valence/arousal labels	Multimodal ground truth data for affective state modeling
Physiological Sensors	EEG headset	Emotiv EPOC+ (14 channels, 128 Hz)	Capturing brain activity related to attention, arousal, and engagement
	ECG sensor	Biopac MP150 or equivalent (1000 Hz)	Heart rate variability and arousal
	GSR/EDA sensor	Shimmer GSR+ or equivalent (1000 Hz)	Skin conductance as measure of arousal
Behavioral Sensors	Eye-tracking device	Tobii Pro X2-60 or equivalent	Recording gaze fixation and saccades
	Facial expression recording	High-resolution video camera; analyzed with OpenFace (AUs, gaze vectors)	Extracting facial Action Units (AUs) and gaze cues
Environmental Inputs	Audio-visual recording setup	Microphone + Camera (synchronized with stimuli)	Capturing contextual stimuli during exhibition
Software / Toolkits	OpenFace	Open-source facial behavior analysis toolkit	Extracting Action Units (AUs), gaze direction
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Signal preprocessing (resampling, z-score normalization, PSD computation)	Data preprocessing and feature extraction
	TensorFlowv2.13 / PyTorchv2.0	Deep learning framework for DCCA and MMFN	Model implementation and training
Algorithms / Models	Deep Canonical Correlation Analysis (DCCA)	Nonlinear feature alignment method	Learning correlated latent representations across modalities
	Multimodal Fusion Network (MMFN)	BiLSTM + Attention-based fusion layers	Hierarchical fusion of heterogeneous modalities for UX state classification
Evaluation Metrics	Accuracy, Precision, Recall, F1-Score, Cohen’s Kappa, AUC-ROC, Confusion Matrix	Implemented with scikit-learn / TensorFlow metrics	Model performance assessment
Computing Hardware	Workstation / GPU cluster	NVIDIA RTX 3080 (10GB) or equivalent, 32 GB RAM, Intel i9 processor	Model training and simulation