Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.
Forschungsartikel
Dieses Protokoll beschreibt einen rechnergestützten Rahmen, der die affektive Nutzererfahrung modelliert, indem physiologische und verhaltensbezogene Signale multimodal integriert werden, wobei Techniken für korrelationsbasiertes Merkmalslernen und multimodale Fusion verwendet werden. Dieses Protokoll schlägt ein Framework für multimodale affektive Modellierung auf dem AMIGOS-Benchmark-Datensatz vor und testet es.
Diese Arbeit schlägt ein reproduzierbares rechnergestütztes Protokoll für multimodale affektive Modellierung vor, das physiologische Signale nutzt. Ziel des Protokolls ist es, die Offline-Emotionserkennung zu ermöglichen, indem mehrere Biosignale mithilfe eines einheitlichen Deep-Learning-Frameworks integriert werden. Die vorgeschlagene Arbeit besteht aus fünf Schritten: Datenerhebung, Vorverarbeitung, Merkmalausrichtung, multimodale Fusion und Evaluation. EEG-, EKG- und GSR-Signale aus öffentlich zugänglichen AMIGOS-Daten wurden als experimentelle Basis in dieser Arbeit verwendet. Biosignale wurden vorverarbeitet und normalisiert, um modalitätsspezifische Merkmale zu extrahieren. Heterogene Merkmalsräume wurden mittels Deep Canonical Correlation Analysis über verschiedene Modalitäten ausgerichtet, gefolgt von einem multimodalen Fusionsnetzwerk zur Klassifikation eines affektiven Zustands. Das Protokoll wurde mit Offline-Experimenten evaluiert und mit herkömmlichen Fusions- und Klassifikationsmodellen unter Verwendung von Standardleistungsmetriken wie Genauigkeit, Präzision, Rückruf, F1-Score und AUC verglichen. Diese Studie konzentriert sich auf die Entwicklung und Validierung eines rechnergestützten Rahmens für multimodale affektive Nutzererfahrungsmodellierung, anstatt auf den Einsatz eines Echtzeit-interaktiven Systems. Mit 92,1 % Genauigkeit für die UX-affektive Zustandsvorhersage und 94,2 % F1-Wert für die Valenz-Erregungsklassifikation übertroffen die Ergebnisse konsequent die Basismodelle auf emotionalen Dimensionen. Diese Ergebnisse bestätigten die Wirksamkeit des vorgeschlagenen multimodalen Fusions-Workflows für die rechnergestützte affektive Modellierung durch Benchmarking physiologischer Daten.
Das komplexe Zusammenspiel von Denken, Fühlen und Handeln prägt, wie Menschen denken und handeln. Affektives Rechnen ist die Untersuchung dieser Zusammenhänge, indem interdisziplinäres Wissen aus Neurowissenschaften, Psychologie und künstlicher Intelligenz genutzt wird, um Systeme zu entwickeln, die in der Lage sind, menschliche Emotionen zu analysieren, zu verstehen und darauf zu reagieren. Dieser Bereich wird zunehmend auf die Mensch-Technologie-Kommunikation angewandt, indem expressives Bewusstsein in reaktionsfähige KI-Strukturen integriert wird, wodurch Technologie nicht nur mit intellektuellen, sondern auch mit emotionalen Bedin....
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Der in dieser Studie verwendete AMIGOS-Datensatz ist öffentlich verfügbar und wurde mit vorheriger Genehmigung des Prüfungsausschusses und informierter Einwilligung erhoben, wie in der ursprünglichen Veröffentlichung berichtet. Diese Studie beinhaltet nur eine sekundäre Analyse des Datensatzes, und es war keine zusätzliche ethische Genehmigung erforderlich.
Die vorliegende Methode verwendet Feature-Alignment- und multimodale Fusionsansätze, um multimodale physiologische und Verhaltensdaten zu verarbeiten, um Wahrnehmungs-Emotions-Korrelationen zu beschreiben. Diese Studie schlägt ein rechnergestütztes Modell für die affektive Nutzererfahrun....
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Bewertung des vorgeschlagenen Systems
Zur Bewertung des vorgeschlagenen Systems führte es Experimente mit dem öffentlich verfügbaren AMIGOS-Datensatz durch, der synchronisierte Messungen von EEG, EKG, GSR, Video und Audio von 40 Nutzern liefert, die emotional anstrengenden Reizen ausgesetzt waren. Für diese Forschung verwendeten die Autoren Daten von 33 Teilnehmern (nach Vorbearbeitung und Entfernung unvollständiger Studien), was zu 1.320 gültigen Proben in den Dimensionen Valenz und Erregung führte. .......
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Räumliche, umweltbezogene und physische Interaktionskontexte, wie räumliche Anordnung, Menschenmengendichte oder Umweltbedingungen, sind im AMIGOS-Datensatz ausdrücklich nicht angegeben. Daher werden solche Faktoren in den aktuellen Experimenten ebenfalls nicht direkt modelliert. Der vorgeschlagene rechnergestützte Rahmen für die Modellierung der affektiven Nutzererfahrung (UX) geht weit über die grundlegenden Konzepte der Grundarbeit hinaus, die sich mit der benutzerorientierten Kind-Ro.......
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Die Autoren haben keine Interessenkonflikte.
Die Autoren würdigen die Unterstützung der School of Space Design und der School of Industrial Design an der Hongik Universität. Die Autoren danken auch den Ausstellungspartnern und Teilnehmern für ihre Beiträge zur Studie.
....Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| Datensatz | AMIGOS-Datensatz | 40 Teilnehmer; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), Gesichtsvideo, selbstberichtete Valenz-/Erregungsetiketten | Multimodale Grundwahrheitsdaten für affektive Zustandsmodellierung |
| Physiologische Sensoren | EEG-Headset | Emotiv EPOC+ (14 Kanäle, 128 Hz) | Erfassen der Gehirnaktivität im Zusammenhang mit Aufmerksamkeit, Erregung und Engagement |
| EKG-Sensor | Biopac MP150 oder äquivalent (1000 Hz) | Herzfrequenzvariabilität und Erregung | |
| GSR/EDA-Sensor | Shimmer GSR+ oder äquivalent (1000 Hz) | Hautleitfähigkeit als Maß für Erregung | |
| Verhaltenssensoren | Augenverfolgungsgerät | Tobii Pro X2-60 oder gleichwertig | Aufzeichnung von Blickfixierung und Sakkaden |
| Gesichtsausdrucksaufnahme | Hochauflösende Videokamera; analysiert mit OpenFace (AUs, Blickvektoren) | Extraktion von Gesichtsaktionseinheiten (AUs) und Blickhinweisen | |
| Umwelteinflüsse | Audiovisuelle Aufnahmeeinrichtung | Mikrofon + Kamera (synchronisiert mit Reizen) | Erfassung kontextueller Reize während der Ausstellung |
| Software / Toolkits | OpenFace | Open-Source-Toolkit zur Analyse von Gesichtsverhalten | Extraktion von Einsatzeinheiten (AUs), Blickrichtung |
| MATLAB / Python (NumPy, SciPy, scikit-learn) | Signalvorverarbeitung (Resampling, Z-Score-Normalisierung, PSD-Berechnung) | Datenvorverarbeitung und Feature-Extraktion | |
| TensorFlowv2.13 / PyTorchv2.0 | Deep-Learning-Framework für DCCA und MMFN | Modellimplementierung und Schulung | |
| Algorithmen / Modelle | Tiefe Kanonische Korrelationsanalyse (DCCA) | Methode der nichtlinearen Merkmalsausrichtung | Lernen korrelierter latenter Repräsentationen über verschiedene Modalitäten hinweg |
| Multimodales Fusionsnetzwerk (MMFN) | BiLSTM + Aufmerksamkeitsbasierte Fusionsschichten | Hierarchische Verschmelzung heterogener Modalitäten zur UX-Zustandsklassifikation | |
| Bewertungsmetriken | Genauigkeit, Präzision, Rückruf, F1-Score, Cohen' s Kappa, AUC-ROC, Verwirrungsmatrix | Implementierung mit scikit-learn / TensorFlow-Metriken | Modellleistungsbewertung |
| Computing-Hardware | Workstation-/GPU-Cluster | NVIDIA RTX 3080 (10GB) oder äquivalent, 32 GB RAM, Intel i9 Prozessor | Modelltraining und Simulation |