Modélisation computationnelle de l’expérience utilisateur affective à l’aide de signaux physiologiques et comportementaux multimodaux

Summary

Ce protocole décrit un cadre computationnel qui modélise l’expérience utilisateur affective en intégrant des signaux physiologiques et comportementaux de manière multimodale, en utilisant des techniques d’apprentissage des caractéristiques basées sur la corrélation et de fusion multimodale. Ce protocole propose et teste un cadre de modélisation affective multimodale sur le jeu de données de référence AMIGOS.

Abstract

Ce travail propose un protocole computationnel reproductible pour la modélisation affective multimodale utilisant des signaux physiologiques. L’objectif du protocole est de permettre la reconnaissance des émotions hors ligne en intégrant plusieurs signaux bio à l’aide d’un cadre unifié d’apprentissage profond. Le travail proposé comprend cinq étapes : collecte des données, prétraitement, alignement des caractéristiques, fusion multimodale et évaluation. Les signaux EEG, ECG et GSR provenant de données AMIGOS accessibles au public ont été utilisés comme référence expérimentale dans ce travail. Les bio-signaux étaient prétraités et normalisés pour extraire des caractéristiques spécifiques à chaque modalité. Des espaces de caractéristiques hétérogènes ont été alignés entre différentes modalités à l’aide d’une analyse profonde de corrélation canonique, suivie d’un réseau de fusion multimodal pour classifier un état affectif. Le protocole a été évalué avec des expériences hors ligne et comparé à des modèles conventionnels de fusion et de classification utilisant des métriques de performance standard telles que la précision, la précision, le rappel, le score F1 et l’AUC. Cette étude se concentre sur le développement et la validation d’un cadre computationnel pour la modélisation affective multimodale de l’expérience utilisateur plutôt que sur le déploiement d’un système interactif en temps réel. Avec une précision de 92,1 % pour la prédiction de l’état affectif UX et un score F1 de 94,2 % pour la classification valence-éveil, les résultats ont constamment surpassé les modèles de référence sur les dimensions émotionnelles. Ces résultats ont confirmé l’efficacité du flux de travail de fusion multimodal proposé pour la modélisation affective computationnelle en établissant des données physiologiques comparables.

Introduction

L’interaction complexe entre pensée, sentiment et action façonne la façon dont les gens pensent et agissent. L’informatique affective étudie ces relations en tirant parti des connaissances interdisciplinaires issues des neurosciences, de la psychologie et de l’intelligence artificielle pour construire des systèmes capables d’analyser, de comprendre et de réagir aux émotions humaines. Ce domaine a été de plus en plus appliqué à la communication humain–technologie en intégrant la conscience expressive dans des structures d’IA réactives, permettant à la technologie d’interagir non seulement avec les conditions intellectuelles mais aussi ....

Protocol

L’ensemble de données AMIGOS utilisé dans cette étude est accessible au public et a été collecté avec l’approbation préalable du comité d’examen institutionnel et le consentement éclairé, comme indiqué dans la publication originale. Cette étude ne consiste qu’en une analyse secondaire de l’ensemble de données, et aucune approbation éthique supplémentaire n’a été requise.

La méthode actuelle utilise des approches d’alignement des caractéristiques et de fusion multimodale pour traiter des données physiologiques et comportementales multimodales afin de décrire les corrélations perception-émotion. Cette étude propose un modèle computationnel po....

Results

Évaluation du système proposé
Pour évaluer le système proposé, il a mené des expériences sur le jeu de données AMIGOS, accessible au public, qui fournit des mesures synchronisées de l’EEG, ECG, GSR, vidéo et audio de 40 utilisateurs exposés à des stimuli émotionnellement engageants. Pour cette recherche, les auteurs ont utilisé des données provenant de 33 participants (après prétraitement et retrait des essais incomplets), ce qui a abouti à 1 320 échantillons valides sur les dimensions de valence et d.......

Discussion

Les contextes spatiaux, environnementaux et d’interactions physiques, tels que la disposition spatiale, la densité de foule ou les conditions environnementales ambiantes, ne sont explicitement pas donnés dans l’ensemble de données AMIGOS. Ainsi, de tels facteurs ne sont pas non plus directement modélisés dans les expériences actuelles. Le cadre computationnel suggéré pour la modélisation de l’Expérience Utilisateur Affective (UX) va bien plus loin que les concepts fondamentaux de l’artic.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jeu de données	Jeu de données AMIGOS	40 participants ; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), vidéo faciale, étiquettes auto-déclarées de valence/éveil	Données de vérité multimodales sur le terrain pour la modélisation de l’état affectif
Capteurs physiologiques	Casque EEG	Emotiv EPOC+ (14 canaux, 128 Hz)	Capture de l’activité cérébrale liée à l’attention, à l’éveil et à l’engagement
	Capteur ECG	Biopac MP150 ou équivalent (1000 Hz)	Variabilité de la fréquence cardiaque et éveil
	Capteur GSR/EDA	Shimmer GSR+ ou équivalent (1000 Hz)	La conductance cutanée comme mesure de l’excitation
Capteurs comportementaux	Dispositif de suivi oculaire	Tobii Pro X2-60 ou équivalent	Enregistrement de la fixation du regard et des saccadées
	Enregistrement des expressions faciales	Caméra vidéo haute résolution ; analysé avec OpenFace (AU, vecteurs de regard)	Extraction des unités d’action faciales (AU) et des indices de regard
Intrants environnementaux	Installation d’enregistrement audiovisuel	Microphone + Caméra (synchronisé avec les stimuli)	Capturer les stimuli contextuels pendant l’exposition
Logiciels / Trousses à outils	OpenFace	Boîte à outils open source pour l’analyse du comportement facial	Extraction des unités d’action (AU), direction du regard
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Prétraitement du signal (rééchantillonnage, normalisation du score z, calcul PSD)	Prétraitement des données et extraction de fonctionnalités
	TensorFlowv2.13 / PyTorchv2.0	Cadre d’apprentissage profond pour DCCA et MMFN	Mise en œuvre et entraînement du modèle
Algorithmes / Modèles	Analyse profonde de corrélation canonique (DCCA)	Méthode d’alignement non linéaire des caractéristiques	L’apprentissage corrélait les représentations latentes entre différentes modalités
	Réseau de fusion multimodal (MMFN)	BiLSTM + Couches de fusion basées sur l’attention	Fusion hiérarchique de modalités hétérogènes pour la classification des états UX
Indicateurs d’évaluation	Précision, Précision, Rappel, F1-Score, Cohen s Kappa, AUC-ROC, Matrice de confusion	Implémenté avec les métriques scikit-learn / TensorFlow	Évaluation des performances du modèle
Matériel informatique	Cluster de station de travail / GPU	NVIDIA RTX 3080 (10 Go) ou équivalent, 32 Go de RAM, processeur Intel i9	Entraînement et simulation de modèles