Modelagem Computacional da Experiência do Usuário Afetivo Usando Sinais Fisiológicos e Comportamentais Multimodais

Summary

Esse protocolo descreve uma estrutura computacional que modela a experiência afetiva do usuário integrando sinais fisiológicos e comportamentais de forma multimodal, utilizando técnicas para aprendizado de características baseado em correlação e fusão multimodal. Este protocolo propõe e testa uma estrutura para modelagem afetiva multimodal no conjunto de dados de referência AMIGOS.

Abstract

Este trabalho propõe um protocolo computacional reprodutível para modelagem afetiva multimodal que utiliza sinais fisiológicos. O objetivo do protocolo é permitir o reconhecimento emocional offline integrando múltiplos sinais biológicos usando uma estrutura unificada de deep learning. O trabalho proposto consiste em cinco etapas: coleta de dados, pré-processamento, alinhamento de características, fusão multimodal e avaliação. Sinais de EEG, ECG e GSR provenientes de dados AMIGOS acessíveis ao público foram usados como linha de base experimental neste trabalho. Os biosinais foram pré-processados e normalizados para extrair características específicas da modalidade. Espaços de características heterogêneos foram alinhados entre modalidades usando Análise de Correlação Canônica Profunda, seguidos por uma rede de fusão multimodal para classificar um estado afetivo. O protocolo foi avaliado com experimentos offline e comparado com modelos convencionais de fusão e classificação usando métricas padrão de desempenho como precisão, exatidão, recall, F1-score e AUC. Este estudo foca no desenvolvimento e validação de uma estrutura computacional para modelagem multimodal afetiva da experiência do usuário, em vez da implantação de um sistema interativo em tempo real. Com 92,1% de precisão para a previsão do estado afetivo UX e 94,2% no escore F1 para classificação de valência-excitação, os resultados superaram consistentemente os modelos de linha de base em dimensões emocionais. Esses achados verificaram a eficácia do fluxo de trabalho proposto de fusão multimodal para modelagem afetiva computacional por meio da benchmarking dos dados fisiológicos.

Introduction

A complexa interação entre pensamento, sentimento e ação molda como as pessoas pensam e agem. A computação afetiva estuda essas relações aproveitando conhecimentos interdisciplinares de neurociência, psicologia e inteligência artificial para construir sistemas capazes de analisar, compreender e reagir à emoção humana. Essa área tem sido cada vez mais aplicada à comunicação entre humanos e tecnologia, incorporando a consciência expressiva em estruturas de IA responsivas, fazendo com que a tecnologia interaja não apenas com condições intelectuais, mas também com emotivas, resultando em um conhecimento do usuário mais individualizado e c....

Protocol

O conjunto de dados AMIGOS utilizado neste estudo é de acesso público e foi coletado com aprovação prévia do conselho de revisão institucional e consentimento informado, conforme relatado na publicação original. Este estudo envolve apenas uma análise secundária do conjunto de dados, e não foi necessária aprovação ética adicional.

O método atual utiliza abordagens de alinhamento de características e fusão multimodal para lidar com dados fisiológicos e comportamentais multimodais, a fim de descrever correlações percepção–emoção. Este estudo propõe um modelo computacional para a experiência afetiva do usuário (UX) em exposições interativas, ap....

Results

Avaliação do sistema proposto
Para avaliar o sistema proposto, realizou experimentos com o conjunto de dados AMIGOS, disponível publicamente, que fornece medições sincronizadas de EEG, ECG, GSR, vídeo e áudio de 40 usuários expostos a estímulos emocionalmente envolventes. Para os fins desta pesquisa, os autores utilizaram dados de 33 participantes (após pré-processamento e remoção de ensaios incompletos), resultando em 1.320 amostras válidas nas dimensões de valência e excitação. A avaliação enfatizou.......

Discussion

Contextos espaciais, ambientais e de interação física, como disposição espacial, densidade de multidão ou condições ambientais ambientes, não são explicitamente fornecidos no conjunto de dados AMIDOS. Assim, tais fatores também não são modelados diretamente nos experimentos atuais. A estrutura computacional sugerida para modelagem de Experiência do Usuário Afetiva (UX) avança muito além dos conceitos fundamentais do artigo base, que tratavam da interação criança-robô orientada por tarefa.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Conjunto de dados	Conjunto de dados AMIGOS	40 participantes; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), vídeo facial, etiquetas de valência/excitação auto-relatadas	Dados multimodais de verdade de base para modelagem de estados afetivos
Sensores fisiológicos	Headset de EEG	Emotiv EPOC+ (14 canais, 128 Hz)	Capturando a atividade cerebral relacionada à atenção, excitação e engajamento
	Sensor de ECG	Biopac MP150 ou equivalente (1000 Hz)	Variabilidade da frequência cardíaca e excitação
	Sensor GSR/EDA	Shimmer GSR+ ou equivalente (1000 Hz)	Condutância da pele como medida de excitação
Sensores Comportamentais	Dispositivo de rastreamento ocular	Tobii Pro X2-60 ou equivalente	Gravação da fixação do olhar e sacades
	Gravação de expressões faciais	Câmera de vídeo de alta resolução; analisado com OpenFace (AUs, vetores de olhar)	Extração de Unidades de Ação (AUs) faciais e pistas de olhar
Insumos Ambientais	Configuração de gravação audiovisual	Microfone + Câmera (sincronizado com estímulos)	Capturando estímulos contextuais durante a exposição
Software / Kits de Ferramentas	OpenFace	Kit de ferramentas de análise de comportamento facial de código aberto	Extração de Unidades de Ação (AUs), direção do olhar
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Pré-processamento de sinal (reamostragem, normalização de z-score, cálculo de PSD)	Pré-processamento de dados e extração de recursos
	TensorFlowv2.13 / PyTorchv2.0	Framework de deep learning para DCCA e MMFN	Implementação e treinamento do modelo
Algoritmos / Modelos	Análise Profunda de Correlação Canônica (DCCA)	Método de alinhamento de características não linear	A aprendizagem correlacionou representações latentes entre modalidades
	Rede Multimodal de Fusão (MMFN)	BiLSTM + Camadas de fusão baseadas em atenção	Fusão hierárquica de modalidades heterogêneas para classificação de estados UX
Métricas de Avaliação	Precisão, Precisão, Recordação, F1-Score, Cohen' s Kappa, AUC-ROC, Matriz de Confusão	Implementado com métricas scikit-learn / TensorFlow	Avaliação de desempenho do modelo
Hardware de Computação	Cluster de estação de trabalho / GPU	NVIDIA RTX 3080 (10GB) ou equivalente, 32 GB de RAM, processador Intel i9	Treinamento e simulação de modelos