Modelado computacional de la experiencia afectiva del usuario utilizando señales fisiológicas y conductuales multimodales

Summary

Este protocolo describe un marco computacional que modela la experiencia afectiva del usuario integrando señales fisiológicas y conductuales de forma multimodal, utilizando técnicas para el aprendizaje de características basado en correlación y la fusión multimodal. Este protocolo propone y prueba un marco para el modelado afectivo multimodal en el conjunto de datos de referencia AMIGOS.

Abstract

Este trabajo propone un protocolo computacional reproducible para el modelado afectivo multimodal que utiliza señales fisiológicas. El objetivo del protocolo es habilitar el reconocimiento emocional offline integrando múltiples señales biológicas mediante un marco unificado de aprendizaje profundo. El trabajo propuesto consta de cinco pasos: recogida de datos, preprocesamiento, alineación de características, fusión multimodal y evaluación. Las señales EEG, ECG y GSR de datos públicos de AMIGOS se utilizaron como línea base experimental en este trabajo. Las señales biológicas se preprocesaron y normalizaron para extraer características específicas de la modalidad. Los espacios de características heterogéneos se alinearon entre modalidades mediante Análisis de Correlación Canónica Profunda, seguido de una red de fusión multimodal para clasificar un estado afectivo. El protocolo ha sido evaluado con experimentos offline y comparado con modelos convencionales de fusión y clasificación utilizando métricas estándar de rendimiento como precisión, precisión, recuerdo, puntuación F1 y AUC. Este estudio se centra en el desarrollo y validación de un marco computacional para el modelado multimodal afectivo de la experiencia de usuario, más que en el despliegue de un sistema interactivo en tiempo real. Con un 92,1% de precisión para la predicción del estado afectivo UX-y un 94,2% de puntuación F1 para la clasificación de activación de valencia, los resultados superaron consistentemente a los modelos de línea base en dimensiones emocionales. Estos hallazgos verificaron la eficacia del flujo de trabajo de fusión multimodal propuesto para la modelización afectiva computacional mediante la comparación de datos fisiológicos.

Introduction

La compleja interacción entre pensar, sentir y actuar moldea cómo piensan y actúan las personas. La computación afectiva consiste en estudiar estas relaciones aprovechando conocimientos interdisciplinares de neurociencia, psicología e inteligencia artificial para construir sistemas capaces de analizar, comprender y reaccionar a las emociones humanas. Esta área se ha aplicado cada vez más a la comunicación entre humanos y tecnología incorporando la conciencia expresiva en estructuras de IA responsivas, haciendo que la tecnología interactúe no solo con las condiciones intelectuales sino también con las emotivas, resultando en un conocim....

Protocol

El conjunto de datos AMIGOS utilizado en este estudio es de acceso público y fue recopilado con la aprobación previa del comité de revisión institucional y consentimiento informado, según se informó en la publicación original. Este estudio implica únicamente un análisis secundario del conjunto de datos, y no se requirió ninguna aprobación ética adicional.

El método actual utiliza enfoques de alineación de características y fusión multimodal para manejar datos fisiológicos y conductuales multimodales con el fin de describir las correlaciones percepción–emoción. Este estudio propone un modelo computacional para la experiencia de usuario afect....

Results

Evaluación del sistema propuesto
Para evaluar el sistema propuesto, se realizaron experimentos con el conjunto de datos AMIGOS, disponible públicamente, que proporciona mediciones sincronizadas de EEG, ECG, GSR, vídeo y audio de 40 usuarios expuestos a estímulos emocionalmente estimulantes. Para el propósito de esta investigación, los autores utilizaron datos de 33 participantes (tras preprocesamiento y eliminación de ensayos incompletos), resultando en 1.320 muestras válidas sobre las dimensiones de .......

Discussion

Los contextos de interacción espacial, ambiental y física, como la disposición espacial, la densidad de multitudes o las condiciones ambientales ambientales, no se indican explícitamente en el conjunto de datos de AMIDOS. Por tanto, tales factores tampoco están modelados directamente en los experimentos actuales. El marco computacional sugerido para el modelado de la Experiencia de Usuario Afectiva (UX) avanza mucho más allá de los conceptos fundamentales del artículo base que trataban l.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Conjunto de datos	Conjunto de datos AMIGOS	40 participantes; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), vídeo facial, etiquetas autoinformadas de valencia/activación	Datos de verdad multimodales para el modelado del estado afectivo
Sensores fisiológicos	Casco EEG	Emotiv EPOC+ (14 canales, 128 Hz)	Captura de la actividad cerebral relacionada con la atención, la excitación y la interacción
	Sensor ECG	Biopac MP150 o equivalente (1000 Hz)	Variabilidad y activación de la frecuencia cardíaca
	Sensor GSR/EDA	Shimmer GSR+ o equivalente (1000 Hz)	Conductancia cutánea como medida de la excitación
Sensores de comportamiento	Dispositivo de seguimiento ocular	Tobii Pro X2-60 o equivalente	Registro de la fijación de la mirada y sacadas
	Grabación de la expresión facial	Cámara de vídeo de alta resolución; analizado con OpenFace (AUs, vectores de mirada)	Extracción de Unidades de Acción (AU) faciales y señales de mirada
Insumos medioambientales	Configuración de grabación audiovisual	Micrófono + Cámara (sincronizado con estímulos)	Capturando estímulos contextuales durante la exposición
Software / Kits de herramientas	OpenFace	Kit de herramientas de análisis de comportamiento facial de código abierto	Extracción de Unidades de Acción (AU), dirección de la mirada
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Preprocesamiento de señales (remuestreo, normalización de puntuación z, cálculo PSD)	Preprocesamiento de datos y extracción de características
	TensorFlowv2.13 / PyTorchv2.0	Marco de aprendizaje profundo para DCCA y MMFN	Implementación y entrenamiento de modelos
Algoritmos / Modelos	Análisis profundo de correlación canónica (DCCA)	Método de alineación de características no lineal	El aprendizaje correlacionó representaciones latentes entre modalidades
	Red de Fusión Multimodal (MMFN)	BiLSTM + Capas de fusión basadas en la atención	Fusión jerárquica de modalidades heterogéneas para la clasificación de estados UX
Métricas de evaluación	Precisión, Precisión, Recordatorio, F1-Score, Cohen' s Kappa, AUC-ROC, Matriz de Confusión	Implementado con métricas scikit-learn / TensorFlow	Evaluación del rendimiento del modelo
Hardware informático	Clúster de estación de trabajo / GPU	NVIDIA RTX 3080 (10GB) o equivalente, 32 GB de RAM, procesador Intel i9	Entrenamiento y simulación de modelos