Computergestützte Modellierung der affektiven Nutzererfahrung unter Verwendung multimodaler physiologischer und verhaltensbezogener Signale

Summary

Dieses Protokoll beschreibt einen rechnergestützten Rahmen, der die affektive Nutzererfahrung modelliert, indem physiologische und verhaltensbezogene Signale multimodal integriert werden, wobei Techniken für korrelationsbasiertes Merkmalslernen und multimodale Fusion verwendet werden. Dieses Protokoll schlägt ein Framework für multimodale affektive Modellierung auf dem AMIGOS-Benchmark-Datensatz vor und testet es.

Abstract

Diese Arbeit schlägt ein reproduzierbares rechnergestütztes Protokoll für multimodale affektive Modellierung vor, das physiologische Signale nutzt. Ziel des Protokolls ist es, die Offline-Emotionserkennung zu ermöglichen, indem mehrere Biosignale mithilfe eines einheitlichen Deep-Learning-Frameworks integriert werden. Die vorgeschlagene Arbeit besteht aus fünf Schritten: Datenerhebung, Vorverarbeitung, Merkmalausrichtung, multimodale Fusion und Evaluation. EEG-, EKG- und GSR-Signale aus öffentlich zugänglichen AMIGOS-Daten wurden als experimentelle Basis in dieser Arbeit verwendet. Biosignale wurden vorverarbeitet und normalisiert, um modalitätsspezifische Merkmale zu extrahieren. Heterogene Merkmalsräume wurden mittels Deep Canonical Correlation Analysis über verschiedene Modalitäten ausgerichtet, gefolgt von einem multimodalen Fusionsnetzwerk zur Klassifikation eines affektiven Zustands. Das Protokoll wurde mit Offline-Experimenten evaluiert und mit herkömmlichen Fusions- und Klassifikationsmodellen unter Verwendung von Standardleistungsmetriken wie Genauigkeit, Präzision, Rückruf, F1-Score und AUC verglichen. Diese Studie konzentriert sich auf die Entwicklung und Validierung eines rechnergestützten Rahmens für multimodale affektive Nutzererfahrungsmodellierung, anstatt auf den Einsatz eines Echtzeit-interaktiven Systems. Mit 92,1 % Genauigkeit für die UX-affektive Zustandsvorhersage und 94,2 % F1-Wert für die Valenz-Erregungsklassifikation übertroffen die Ergebnisse konsequent die Basismodelle auf emotionalen Dimensionen. Diese Ergebnisse bestätigten die Wirksamkeit des vorgeschlagenen multimodalen Fusions-Workflows für die rechnergestützte affektive Modellierung durch Benchmarking physiologischer Daten.

Introduction

Das komplexe Zusammenspiel von Denken, Fühlen und Handeln prägt, wie Menschen denken und handeln. Affektives Rechnen ist die Untersuchung dieser Zusammenhänge, indem interdisziplinäres Wissen aus Neurowissenschaften, Psychologie und künstlicher Intelligenz genutzt wird, um Systeme zu entwickeln, die in der Lage sind, menschliche Emotionen zu analysieren, zu verstehen und darauf zu reagieren. Dieser Bereich wird zunehmend auf die Mensch-Technologie-Kommunikation angewandt, indem expressives Bewusstsein in reaktionsfähige KI-Strukturen integriert wird, wodurch Technologie nicht nur mit intellektuellen, sondern auch mit emotionalen Bedin....

Protocol

Der in dieser Studie verwendete AMIGOS-Datensatz ist öffentlich verfügbar und wurde mit vorheriger Genehmigung des Prüfungsausschusses und informierter Einwilligung erhoben, wie in der ursprünglichen Veröffentlichung berichtet. Diese Studie beinhaltet nur eine sekundäre Analyse des Datensatzes, und es war keine zusätzliche ethische Genehmigung erforderlich.

Die vorliegende Methode verwendet Feature-Alignment- und multimodale Fusionsansätze, um multimodale physiologische und Verhaltensdaten zu verarbeiten, um Wahrnehmungs-Emotions-Korrelationen zu beschreiben. Diese Studie schlägt ein rechnergestütztes Modell für die affektive Nutzererfahrun....

Results

Bewertung des vorgeschlagenen Systems
Zur Bewertung des vorgeschlagenen Systems führte es Experimente mit dem öffentlich verfügbaren AMIGOS-Datensatz durch, der synchronisierte Messungen von EEG, EKG, GSR, Video und Audio von 40 Nutzern liefert, die emotional anstrengenden Reizen ausgesetzt waren. Für diese Forschung verwendeten die Autoren Daten von 33 Teilnehmern (nach Vorbearbeitung und Entfernung unvollständiger Studien), was zu 1.320 gültigen Proben in den Dimensionen Valenz und Erregung führte. .......

Discussion

Räumliche, umweltbezogene und physische Interaktionskontexte, wie räumliche Anordnung, Menschenmengendichte oder Umweltbedingungen, sind im AMIGOS-Datensatz ausdrücklich nicht angegeben. Daher werden solche Faktoren in den aktuellen Experimenten ebenfalls nicht direkt modelliert. Der vorgeschlagene rechnergestützte Rahmen für die Modellierung der affektiven Nutzererfahrung (UX) geht weit über die grundlegenden Konzepte der Grundarbeit hinaus, die sich mit der benutzerorientierten Kind-Ro.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Datensatz	AMIGOS-Datensatz	40 Teilnehmer; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), Gesichtsvideo, selbstberichtete Valenz-/Erregungsetiketten	Multimodale Grundwahrheitsdaten für affektive Zustandsmodellierung
Physiologische Sensoren	EEG-Headset	Emotiv EPOC+ (14 Kanäle, 128 Hz)	Erfassen der Gehirnaktivität im Zusammenhang mit Aufmerksamkeit, Erregung und Engagement
	EKG-Sensor	Biopac MP150 oder äquivalent (1000 Hz)	Herzfrequenzvariabilität und Erregung
	GSR/EDA-Sensor	Shimmer GSR+ oder äquivalent (1000 Hz)	Hautleitfähigkeit als Maß für Erregung
Verhaltenssensoren	Augenverfolgungsgerät	Tobii Pro X2-60 oder gleichwertig	Aufzeichnung von Blickfixierung und Sakkaden
	Gesichtsausdrucksaufnahme	Hochauflösende Videokamera; analysiert mit OpenFace (AUs, Blickvektoren)	Extraktion von Gesichtsaktionseinheiten (AUs) und Blickhinweisen
Umwelteinflüsse	Audiovisuelle Aufnahmeeinrichtung	Mikrofon + Kamera (synchronisiert mit Reizen)	Erfassung kontextueller Reize während der Ausstellung
Software / Toolkits	OpenFace	Open-Source-Toolkit zur Analyse von Gesichtsverhalten	Extraktion von Einsatzeinheiten (AUs), Blickrichtung
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Signalvorverarbeitung (Resampling, Z-Score-Normalisierung, PSD-Berechnung)	Datenvorverarbeitung und Feature-Extraktion
	TensorFlowv2.13 / PyTorchv2.0	Deep-Learning-Framework für DCCA und MMFN	Modellimplementierung und Schulung
Algorithmen / Modelle	Tiefe Kanonische Korrelationsanalyse (DCCA)	Methode der nichtlinearen Merkmalsausrichtung	Lernen korrelierter latenter Repräsentationen über verschiedene Modalitäten hinweg
	Multimodales Fusionsnetzwerk (MMFN)	BiLSTM + Aufmerksamkeitsbasierte Fusionsschichten	Hierarchische Verschmelzung heterogener Modalitäten zur UX-Zustandsklassifikation
Bewertungsmetriken	Genauigkeit, Präzision, Rückruf, F1-Score, Cohen' s Kappa, AUC-ROC, Verwirrungsmatrix	Implementierung mit scikit-learn / TensorFlow-Metriken	Modellleistungsbewertung
Computing-Hardware	Workstation-/GPU-Cluster	NVIDIA RTX 3080 (10GB) oder äquivalent, 32 GB RAM, Intel i9 Prozessor	Modelltraining und Simulation