Modelagem Computacional da Experiência do Usuário Afetivo Usando Sinais Fisiológicos e Comportamentais Multimodais

Summary

Esse protocolo descreve uma estrutura computacional que modela a experiência afetiva do usuário integrando sinais fisiológicos e comportamentais de forma multimodal, utilizando técnicas para aprendizado de características baseado em correlação e fusão multimodal. Este protocolo propõe e testa uma estrutura para modelagem afetiva multimodal no conjunto de dados de referência AMIGOS.

Abstract

Este trabalho propõe um protocolo computacional reprodutível para modelagem afetiva multimodal que utiliza sinais fisiológicos. O objetivo do protocolo é permitir o reconhecimento emocional offline integrando múltiplos sinais biológicos usando uma estrutura unificada de deep learning. O trabalho proposto consiste em cinco etapas: coleta de dados, pré-processamento, alinhamento de características, fusão multimodal e avaliação. Sinais de EEG, ECG e GSR provenientes de dados AMIGOS acessíveis ao público foram usados como linha de base experimental neste trabalho. Os biosinais foram pré-processados e normalizados para extrair características específicas da modalidade. Espaços de características heterogêneos foram alinhados entre modalidades usando Análise de Correlação Canônica Profunda, seguidos por uma rede de fusão multimodal para classificar um estado afetivo. O protocolo foi avaliado com experimentos offline e comparado com modelos convencionais de fusão e classificação usando métricas padrão de desempenho como precisão, exatidão, recall, F1-score e AUC. Este estudo foca no desenvolvimento e validação de uma estrutura computacional para modelagem multimodal afetiva da experiência do usuário, em vez da implantação de um sistema interativo em tempo real. Com 92,1% de precisão para a previsão do estado afetivo UX e 94,2% no escore F1 para classificação de valência-excitação, os resultados superaram consistentemente os modelos de linha de base em dimensões emocionais. Esses achados verificaram a eficácia do fluxo de trabalho proposto de fusão multimodal para modelagem afetiva computacional por meio da benchmarking dos dados fisiológicos.

Introduction

A complexa interação entre pensamento, sentimento e ação molda como as pessoas pensam e agem. A computação afetiva estuda essas relações aproveitando conhecimentos interdisciplinares de neurociência, psicologia e inteligência artificial para construir sistemas capazes de analisar, compreender e reagir à emoção humana. Essa área tem sido cada vez mais aplicada à comunicação entre humanos e tecnologia, incorporando a consciência expressiva em estruturas de IA responsivas, fazendo com que a tecnologia interaja não apenas com condições intelectuais, mas também com emotivas, resultando em um conhecimento do usuário mais individualizado e consciente das emoções. Uma emoção, um processo mental complexo, é um reflexo das percepções humanas e tem um papel substancial nas interações^{humanas 1}. Hoje, existem inúmeras aplicações de interação humano-computador (HCI) que precisam de pesquisa sobre reconhecimento de^{emoções 2}. O ambiente do sistema HCI é dinâmico e complexo. Na maioria dos casos, precisa sincronizar suas funcionalidades com as dos réus; Portanto, um contexto com inteligência emocional pode se adaptar mais nesse tipo de ambiente. Portanto, neste estudo, a modelagem computacional da experiência afetiva do usuário por meio de sinais fisiológicos e comportamentais multimodais^{é explorada 3}. Em vez de desenvolver ou validar um sistema interativo na prática, o trabalho tende mais a contribuir em metodologias relacionadas à integração multimodal de sinais ou inferência de afeto com contextos de aplicação em ambientes de imersão ou exposição. Para evitar a amplitude dos conceitos, este trabalho foca em dois conceitos principais: a implementação de um modelo afetivo multimodal usando abordagens computacionais, e técnicas de fusão multimodal de dados para a combinação de dados fisiológicos e comportamentais. Todos os outros tópicos que surgem no manuscrito são referenciados para contexto em relação à relevância dos modelos desenvolvidos.

Cada modalidade de emoção transmite informações diferentes sobre o sentimento de uma pessoa que não podem ser derivadas de outro sistema sensorial. A extração de emoção do movimento corporal, que envolve um padrão geral de movimento corporal, tem os méritos de identificar os sentimentos não verbais de uma^{pessoa 4}. A fala e a aparência facial podem transmitir material não disponível no movimento corporal e nos sinais corporais humanos. Os humanos utilizam várias modalidades emocionais em paralelo e em combinação. Cada modalidade é limitada e possui seus pontos fortes. Para detectar corretamente um sentimento, os métodos multimodais de reconhecimento emocional talvez desfrutem de um desempenho de reconhecimento maior do que o reconhecimento unimodal de emoções. No entanto, em caso de mudança emocional, sinais de expressão facial, sinais biológicos/fisiológicos e sinais de fala tendem a aparecer antes de outros sinais. Assim, a detecção emocional baseada em visão computacional está principalmente relacionada à expressão emocional^{facial 5}.

A computação afetiva foi amplamente investigada na interação criança-robô (CRI); Sistemas conscientes das emoções alteram sua resposta com base nos sinais fisiológicos e comportamentais dos usuários. Esses trabalhos ilustram a viabilidade da percepção biofísica de emoções e da interação adaptativa. No entanto, na maior parte, os sistemas CRI projetados são adequados apenas para contextos estruturados, orientados a tarefas e participantes. Consequentemente, os sistemas CRI têm generalização limitada para ambientes públicos dinâmicos, como exposições interativas. O trabalho deles aponta para robôs conscientes das emoções como essenciais para aumentar a motivação, além de enfrentar questões como a personalização. O envolvimento é um elemento-chave para a interação afetiva entre criança e robô, já que robôs emocionalmente reativos proporcionam experiências de aprendizado mais ricas e eficazes. O autor⁶ apresenta uma estrutura para detectar o engajamento do usuário com base nas características da tarefa e da interação social. Eles provam, por meio de suas descobertas, que identificar sinais afetivos, incluindo expressões faciais e comportamento social, permite que os robôs ajustem dinamicamente suas respostas para aumentar a interação e o engajamento do usuário. A adaptação afetiva em CRI de longo prazo é um desafio contínuo. Os autores do⁷ apresentam as emoções das crianças durante um período de tempo, ressaltando o fato de que os robôs precisam se ajustar aos padrões pessoais de emoções e estilos de aprendizagem.

Também alcançou forte desempenho no EEG devido à sua alta resolução temporal e sensibilidade aos estados afetivos. Trabalhos recentes ^8,9,10 que utilizam abordagens de aprendizado profundo melhoraram a robustez entre assuntos ao introduzir modelagem espaço-temporal e mecanismos de atenção baseados em grafos. No entanto, a maioria dos estudos permanece unimodal, e apenas alguns levam em conta as interações percepção-emoção através de múltiplos canais sensoriais; assim, são menos aplicáveis em cenários de UX^{imersiva 11, 12 e 13}. O modelo foi avaliado com base no conjunto de dados, que mostrou desempenho melhorado em comparação com as técnicas de ponta atuais. O algoritmo de seleção crítica dependente da emoção foi proposto pelos^{autores em 14}, e a força, o coeficiente de agrupamento e a centralidade do autovetor das características funcionais da rede de conectividade do EEG foram examinados. Os autores em¹⁵ pesquisaram uma rede unitária recorrente profunda e simples na tentativa de adquirir as características temporais dos sinais EEG, e os resultados experimentais superaram o trabalho relacionado na^literatura 16,17,18,19. É quase impossível coletar um grande conjunto de dados de sinais de EEG, mas pode-se tentar outras abordagens, como a abordagem cruzada de sujeitos.

Estudos^{recentes 20,21} avançaram significativamente no uso de algoritmos extremamente avançados de modelagem espaço-temporal para abordar a questão da Classificação de Emoções entre assuntos baseada em sinais EEG. Isso inclui uma rede híbrida espaço-temporal com adaptação aprimorada de domínios e atenção dinâmica ao grafo para lidar com variabilidade entre assuntos na Classificação de Emoções a partir dos sinais^{EEG 22}. Em particular, por meio do uso de mecanismos de modelagem temporal e modelagem de relações cerebrais espaciais com atenção dinâmica, eles aumentaram significativamente o desempenho da classificação emocional independente do sujeito. Outro esforço de pesquisa sobre esse problema inclui uma rede de interação entre regiões cruzadas e cérebros isomorfas e^{espaço-temporales 23}. Nesta pesquisa, há maior ênfase na modelagem de invariantes espaço-temporais para aumentar significativamente a robustez entre assuntos para a Classificação de Emoções a partir de sinais de EEG. Embora essas duas contribuições de pesquisa tenham documentado com sucesso desempenho excepcional em Classificação de Emoções a partir de sinais puramente neurais, elas se limitam a sinais monomodais e carecem de exploração de interações multimodais P-E. Por outro lado, a pesquisa atual se baseia em modelos unimodais de sinal ampliados por meio do uso de soluções de deep learning que unem múltiplas modalidades P/E por meio de deep correlation, fornecendo uma solução de modelagem afetiva UX mais rica.

Embora pesquisas atuais, incluindo o projeto sobre interface criança-robô expressivamente consciente usando informações biofísicas, tenham validado o potencial de acessar sinais fisiológicos multimodais para melhorar o reconhecimento de afetos, elas ainda assim são limitadas por restrições relacionadas ao domínio. Em particular, esses sistemas são amplamente otimizados para interações estruturadas e orientadas a tarefas com crianças e não podem ser generalizados para ambientes mais intrincados e dinâmicos como exposições interativas. Além disso, as técnicas de fusão de características utilizadas no trabalho de base não são escaláveis e tendem a se basear em abordagens de fusão superficial, que não capturam efetivamente a complexa interação percepção-emoção que existe em ambientes de UX multissensorial. Além disso, o artigo de base não utiliza técnicas de deep learning de ponta que possam alinhar e fundir fluxos multimodais de dados de alta dimensão, como EEG, expressões faciais e rastreamento ocular, sob diferentes estímulos ambientais. Isso expõe uma lacuna fundamental de conhecimento na criação de um paradigma computacional de alto desempenho que não apenas acomoda diferentes demografias de público e contextos de estímulo, mas também captura a interação percepção-emoção por meio de análise profunda de correlação canônica (DCCA) e arquiteturas de redes de fusão multimodal (MMFN). Superar essa lacuna pode afetar significativamente a compreensão da experiência do usuário (UX).

O principal objetivo deste trabalho é criar um sistema computacional que facilite a experiência emocionalmente adaptativa do usuário em contextos de exposições interativas por meio da percepção biofísica e comportamental multimodal. Baseando-se nos princípios básicos de modelagem emocional da pesquisa de interação criança-robô e computação afetiva, essa estrutura visa modelar e registrar as interações percepção-emoção do usuário com base em pistas fisiológicas e comportamentais heterogêneas como EEG, ECG, EDA, expressões faciais e rastreamento ocular. Por meio da integração da análise profunda de correlação canônica (DCCA) com uma rede multimodal de fusão (MMFN), o sistema busca aprender representações emocionais latentes comuns entre modalidades e projetar essas representações para estados afetivos de experiência do usuário (UX). A arquitetura tem a missão de superar as limitações da fusão superficial de características e dos modelos emocionais com restrição de idade, apoiando a inferência emocional consciente do contexto e a integração multissensorial em ambientes públicos dinâmicos. Por fim, este trabalho visa ajudar a desenvolver sistemas de exibição inteligentes e afetivamente sensíveis mais avançados que respondam ao feedback afetivo em tempo real e aos modos de interação dos usuários, aumentando assim o engajamento, a satisfação e a ressonância cognitivo-emocional nas experiências culturais digitais.

Este artigo contribui para a literatura das seguintes formas: Uma estrutura computacional para modelagem afetiva multimodal que considera dados fisiológicos e comportamentais. Uma abordagem de fusão multimodal que facilita a aprendizagem eficaz da percepção e representação emocional a partir de múltiplas fontes de dados. Este trabalho sugerido introduz um novo paradigma computacional para aprimorar a experiência afetiva do usuário (UX) por meio de sensoriamento multimodal baseado em IA e modelagem de pipeline de integração multissensorial da interação percepção-emoção. A principal contribuição é a fusão do DCCA com o MMFN para facilitar forte alinhamento de características e aprendizado de representação em alto nível em modalidades heterogêneas como EEG, ECG, EDA, expressão facial e rastreamento ocular. Isso permite modelar um mapeamento preciso offline da percepção sensorial para estados emocionais como interesse, engajamento, surpresa ou tédio. A validação experimental com o conjunto de dados público AMIGOS mostra que o modelo DCCA+MMFN desenvolvido tem melhor desempenho do que os modelos de linha de base (por exemplo, 1D-CNN, CNN-ResNet e LSTM-CNN), com uma precisão média de classificação de 89,4% para estados emocionais valência-excitação e 87,1% para classes de emoção discretas.

Em contraste com estudos anteriores que enfatizavam participantes, situações centradas em tarefas ou usavam técnicas superficiais de fusão de características, a abordagem proposta traz uma estrutura de aprendizado profundo especificamente projetada para ambientes dinâmicos de exposição do mundo real. Por meio da integração do DCCA com um MMFN, esse trabalho fornece um método expansível e robusto ao ruído, capaz de compreender mudanças contínuas de percepção-emoção em grupos de usuários heterogêneos. Essa fusão clara de sinais fisiológicos, comportamentais e ambientais de alta dimensão é uma inovação primária para a modelagem afetiva de UX. Este artigo apresenta uma estrutura orientada por IA para modelar experiências afetivas do usuário em exposições interativas usando sensores multimodais e integração multissensorial. A estrutura proposta alcança alinhamento robusto e fusão de modalidades heterogêneas como EEG, ECG, EDA, expressões faciais e rastreamento ocular combinando DCCA com MMFN. Diferente de estudos anteriores que eram limitados a ambientes centrados no usuário ou na tarefa, a abordagem proposta apoia a modelagem contínua de percepção e emoção em ambientes públicos dinâmicos, sendo assim um avanço chave na pesquisa afetiva de UX.

A criação de uma abordagem computacional multimodal sistemática e repetível para modelagem fisiológica de afetos, que lida metodicamente com o alinhamento heterogêneo de características antes da fusão é a principal novidade deste trabalho. O framework sugerido reforça a aprendizagem de representação correlacionada entre sinais de EEG, ECG e GSR ao introduzir um estágio intermediário de alinhamento latente cross-modal usando DCCA, em contraste com estudos tradicionais multimodais de reconhecimento emocional que dependem da concatenação direta de características ou fusão em nível de decisão. Ao garantir a consistência da modalidade antes da classificação, essa abordagem de fusão orientada por alinhamento aumenta a generalização e a robustez entre dimensões afetivas. A contribuição é um fluxo de trabalho orientado a benchmarks, de ponta a ponta, que padroniza pré-processamento, alinhamento de representações, fusão multimodal e avaliação dentro de uma única arquitetura de deep learning, permitindo modelagem fisiológica de emoções repetível e independente de tarefa, em vez de sugerir uma única mudança algorítmica. O arcabouço proposto neste estudo é apresentado como uma demonstração de viabilidade e conceitual da modelagem afetiva multimodal para experiências semelhantes a exposições. Em vez de tentar modelar diretamente ambientes reais de exibição multissensorial, o conjunto de dados AMIGOS é usado como um proxy de referência para validar a abordagem de modelagem em um ambiente controlado.

Protocol

O conjunto de dados AMIGOS utilizado neste estudo é de acesso público e foi coletado com aprovação prévia do conselho de revisão institucional e consentimento informado, conforme relatado na publicação original. Este estudo envolve apenas uma análise secundária do conjunto de dados, e não foi necessária aprovação ética adicional.

O método atual utiliza abordagens de alinhamento de características e fusão multimodal para lidar com dados fisiológicos e comportamentais multimodais, a fim de descrever correlações percepção–emoção. Este estudo propõe um modelo computacional para a experiência afetiva do usuário (UX) em exposições interativas, aproveitando a percepção biofísica multimodal e a modelagem emocional baseada em IA. Com base em dados biofísicos do artigo base, essa metodologia digitaliza a modelagem computacional dos estados do usuário a partir de EEG sincronizado, ECG, EDA, rastreamento ocular, expressões faciais e entradas ambientais. O termo "modelagem espaço-temporal" no manuscrito refere-se à representação fisiológica espacial multicanal de características e ao alinhamento de correlações intermodales via DCCA. Temporal: codificação sequencial por meio de BiLSTM e preservação de dependência temporal dentro de janelas segmentadas. Esses sinais diversos são inicialmente pré-processados e normalizados para levar em conta correlações temporais e espaciais entre modalidades. Vetores de características são aprendidos de forma independente para cada modalidade, capturando padrões relacionados à emoção, como excitação, atenção e engajamento. Para aprender com sucesso a partir de representações emocionais compartilhadas em fluxos de dados heterogêneos, é utilizado o DCCA. A DCCA projeta cada modalidade em um subespaço comum latente onde características correlacionadas são maximizadas, mantendo informações específicas da modalidade por meio de relevância cruzada aumentada. Essas incorporações latentes alinhadas à modalidade são então passadas para uma Rede de Fusão Multimodal (MMFN) que combina informações temporais e contextuais por meio de uma BiLSTM híbrida e camadas de atenção. Essa fusão permite que o sistema produza estados afetivos de alto nível, que são traduzidos em indicadores de experiência do usuário (por exemplo, tédio, interesse, desconforto). Por fim, um módulo de classificação estima o estado afetivo UX e fornece feedback para adaptação à exibição, por exemplo, ajustando estímulos visuais ou sonoros em modelagem computacional. A Figura 1 mostra a arquitetura do método proposto.

Figura 1: Arquitetura do método proposto. Estrutura do framework proposto de modelagem UX que funde entradas multimodais, incluindo EEG, ECG, EDA, expressões faciais e olhar ocular, usando DCCA e MMFN. Abreviações; UX = Experiência do Usuário; EEG = Eletroencefalografia; ECG = Eletrocardiografia; EDA = Atividade Eletrodérmica; DCCA = Análise Profunda de Correlação Canônica; MMFN = Rede Multimodal de Fusão. Por favor, clique aqui para ver uma versão ampliada desta figura.

A arquitetura proposta na Figura 1 ilustra um sistema de experiência afetiva (UX) de ponta a ponta utilizando Deep Canonical Correlation Analysis (DCCA) e uma Multimodal Fusion Network (MMFN) para modelagem de interação percepção-emoção em exposições interativas. O sistema começa recebendo entradas multimodais brutas como EEG, ECG e sinais fisiológicos EDA; expressões faciais e sinais comportamentais do olhar ocular; e entradas contextuais como informações audiovisuais e ambientais. Esses sinais são então alimentados em um módulo de pré-processamento e extração de características, onde processamento específico do sinal (por exemplo, remoção de ruído, normalização, cálculo de características) é executado para produzir descritores significativos para cada modalidade. Segundo, o módulo DCCA projeta pares de modalidades em um espaço latente comum e aprende embeddings maximamente correlacionados que codificam padrões emocionais intrínsecos entre modalidades. As características de alta correlação desses múltiplos módulos DCCA são posteriormente fundidas pela Multimodal Fusion Network (MMFN), que funde hierarquicamente as características aprendidas com camadas de aprendizado profundo, possivelmente BiLSTM, mecanismos de atenção ou transformadores para criar uma representação afetiva compacta e de alto nível. Essa representação integrada é então alimentada para a camada de classificação de estados de emoção e UX, na qual o modelo prevê resultados afetivos como valência, excitação ou estados cognitivos/emocionais como engajamento, tédio ou sobrecarga. Um ciclo de feedback adaptativo de UX é opcionalmente fornecido no término do pipeline, permitindo que o sistema responda interativamente aos estados do usuário adaptando estímulos ou conteúdos no contexto da exposição. Essa arquitetura escalável e modular garante uma modelagem emocional forte por meio do aprendizado de representações consciente da correlação e integração multimodal profunda, o que é extremamente adequado para modelagem computacional da computação afetiva em ambientes interativos ou experienciais.

A seleção da fusão do DCCA com o MMFN baseia-se nas limitações atuais dos modelos de fusão unimodal padrão e superficial. Embora CNN-ResNet e LSTM-CNN extraiam características temporais ou espaciais, eles são ruins em equilibrar modalidades heterogêneas como EEG, EDA e expressões faciais sob diferentes estimulações ambientais. O DCCA maximiza a correlação entre modales para garantir representações latentes compartilhadas, enquanto o MMFN utiliza mecanismos hierárquicos de fusão e atenção para destacar dinamicamente os sinais mais informativos. Quando combinados, esses módulos oferecem uma abordagem de modelagem afetiva UX mais confiável, compreensível e amplamente aplicável para ambientes multissensoriais interativos.

Aquisição de dados
No modelo sugerido para interação percepção-emoção para exposições interativas, o conjunto de dados^{AMIGOS 24}, disponível publicamente, é usado como base para dados afetivos multimodais. O conjunto de dados AMIGOS fornece uma coleção exaustiva de medidas fisiológicas e comportamentais de participantes humanos que passaram por estímulos que evocam afeto, como clipes de vídeo. Esses dados contêm sinais sincronizados de EEG, ECG e GSR, gravações de vídeo facial e rótulos emocionais auto-relatados em formas discretas (por exemplo, feliz, triste) e dimensionais (valência/excitação). Essas modalidades se alinham bem com as necessidades do sistema aqui proposto, que visa inferir estados afetivos de experiência do usuário (UX) durante interações imersivas e multissensoriais em exibições. O conjunto de dados inclui gravações de 40 sujeitos, cada um exposto tanto a estímulos emocionais curtos (clipes de vídeo <150 s) quanto longos (filmes >14 min), sob circunstâncias que simulam o engajamento real com a mídia. Para o escopo deste trabalho sugerido, é utilizado um subconjunto pré-processado do conjunto de dados: registros de 30 sujeitos com sinais de EEG, ECG e GSR de alta qualidade, livres de artefatos, além de arquivos completos de vídeo facial e anotação. Essas são as amostras escolhidas para imitar dinâmicas emocionais multimodais durante situações baseadas em exposições. O conjunto de dados aprendido é uma base de treinamento e benchmarking para o pipeline DCCA + Multimodal Fusion Network (MMFN), com estados afetivos como engajamento, tédio, confusão e excitação explorados como respostas a estímulos visuais, auditivos e espaciais em um ambiente simulado de exibição. A Tabela 1 mostra a descrição do conjunto de dados do método proposto.

Parâmetro	Detalhes
Nome do Conjunto de Dados	AMIGOS (Um Conjunto de Dados para Pesquisa de Afeto, Personalidade e Humor)
Não. de participantes	40 no total (30 usados em trabalhos propostos com dados multimodais completos)
Tipo de Estímulo	Clipes de vídeo curtos e longos (anotados emocionalmente)
Canais EEG	Headset EEG Emotiv EPOC de 14 canais
ECG	Sensor de frequência cardíaca (para VFC e excitação)
GSR	Sensor de condutância cutânea (medindo a atividade simpática)
Vídeo Facial	Vídeo frontal facial de alta resolução para análise de expressão
Rótulos de Emoção	Valência, excitação, dominância autoavaliadas (escala 1–9), além de rótulos discretos
Taxa de amostragem	EEG: 128Hz, ECG/GSR: 1000Hz
Formato dos Dados	.mat e registros sincronizados de carimbo de tempo
Sincronização de Modalidades	Sim – Sincronizado em todos os sensores e vídeos
Duração por Sessão	Clipes curtos (<150 s) e longas longas (>14 min)
Adequação à Aplicação	Modelagem UX afetiva, fusão multimodal, mapeamento percepção-emoção em tempo real

Tabela 1: Descrição do conjunto de dados AMIGOS. Descrição do conjunto de dados AMIGOS utilizado no quadro proposto, incluindo informações sobre participantes, modalidades, taxas de amostragem e desenho experimental. Abreviações; AMIGOS = Um Conjunto de Dados para Pesquisa de Afeto, Personalidade e Humor em Indivíduos e Grupos.

O conjunto de dados AMIGOS disponível publicamente aplicado no quadro sugerido consiste em dados comportamentais e fisiológicos multimodais coletados de 40 participantes, dos quais 33 foram escolhidos para este estudo com base na excelência e completude das gravações. O conjunto de dados registra reações emocionais a clipes de vídeo curtos e longos, e apresenta sinais como EEG (de um headset Emotive de 14 canais), ECG para variabilidade da frequência cardíaca, GSR para condutância da pele e vídeo facial de alta resolução para medição de expressão. Estados emocionais são autorrelatados tanto em categorias dimensionais (valência, excitação, dominância) quanto discretas. Os dados estão bem alinhados entre si nas modalidades e são amostrados adequadamente - 128Hz para EEG, 1000Hz para ECG e GSR. Essa configuração torna o conjunto de dados ideal para modelar a experiência do usuário (UX) em exposições interativas, permitindo que as interações percepção-emoção possam ser acompanhadas precisamente usando sensores multimodais baseados em IA.

Pré-processamento de dados
Todas as etapas de pré-processamento, treinamento de modelos e avaliações envolvidas foram implementadas individualmente em scripts Python personalizados (Python 3.10, PyTorch 2.0), com cada módulo para pré-processamento de sinais, alinhamento baseado em DCCA, treinamento MMFN e avaliação de desempenho; a definição dos parâmetros-chave e algumas configurações computacionais essenciais são resumidas na Tabela 1. Para processar o conjunto de dados AMIGOS disponível publicamente para modelagem afetiva de UX de exibição interativa, implemente inicialmente um pipeline sistemático de pré-processamento de dados sobre modalidades fisiológicas e comportamentais como EEG, ECG, GSR e vídeo facial. Primeiro, padronize e sincronize cada modalidade, e então realize o pré-processamento específico da modalidade. Atualmente, informações contextuais são obtidas apenas a partir de pistas audiovisuais intrínsecas dentro dos estímulos de vídeo, por exemplo, expressões faciais, padrões de movimento visuais e características acústicas como prosódia da fala e áudio de fundo.

Normalização de sinal e reamostragem
Sinais fisiológicos brutos x(t) de todas as modalidades são reamostrados para uma frequência comum fs=128 Hz para alinhamento temporal entre modalidades:

(1)

A reamostragem era realizada usando uma função padrão de biblioteca de processamento de sinais, em vez de um algoritmo projetado sob medida. Especificamente, a implementação foi realizada usando a ferramenta de reamostragem disponível no ecossistema de processamento de sinais Python (SciPy), que aplica interpolação baseada no método de Fourier para converter sinais para a frequência de amostragem alvo. A taxa de amostragem alvo f_s foi selecionada para garantir uma resolução temporal uniforme entre modalidades antes da segmentação e extração de características. Cada sinal é posteriormente normalizado com escores z para eliminar a variabilidade entre sujeitos:

(2)

onde μ_x e σ_x são a média da janela de teste e o desvio padrão do sinal.

Pré-processamento de EEG
Os sinais EEG, capturados de 14 canais, são filtrados passa-banda na escolha de 4–45 Hz para preservar frequências cognitivas:

(3)

O espectro de potência é utilizado para determinar padrões de frequência nos sinais, e isso pode variar dependendo do tipo de emoção, no caso do sinal cerebral, e pode fornecer informações úteis sobre o sinal. A técnica de Welch é uma técnica superior da equação 3 dos periodogramas, que fornece uma estimativa da densidade espectral e pode ser empregada para obter espectrogramas. A técnica de Welch segmenta o sinal no domínio do tempo em intervalos discretos de tempo e construi. Um espectrograma para cada segmento, então todos os espectrogramas são promediados conforme demonstrado na equação 4. Esse processo é mais suave em comparação com a abordagem FFT completa e, portanto, ele obtém o máximo de potência dos sinais. Finalmente, a Densidade Espectral de Potência (PSD)¹⁹ é calculada usando a técnica de Welch para capturar características do domínio da frequência:

(4)

As características PSD são somadas em cinco bandas: Theta (4–8 Hz), Alpha (8–13 Hz), Beta (13–30 Hz), Low Gamma (30–45 Hz).

Traços faciais baseados em vídeo
Extraindo Unidades de Ação Facial (AUs) e vetores de olhar ocular para cada quadro de vídeo usando um conjunto de dados multicanal de EEG ou software similar, esses são posteriormente combinados como sequências temporais:

(5)

Mapeamento de rótulos de emoções
Tanto as pontuações de valência-excitação quanto as tags de emoção discretas são fornecidas pelo AMIGOS. As classificações contínuas são normalizadas para [0,1]:

(6)

Onde V é o valor observado antes da normalização, V_min é o menor valor da variável no conjunto de dados, V_max é o maior valor da variável no conjunto de dados e V' é o valor normalizado na faixa de 0 a 1. Esses rótulos são aplicados como fundamento para modelagem afetiva supervisionada. Esses rótulos são aplicados como fundamento para modelagem afetiva supervisionada.

Sincronização entre modalidades
Todas as modalidades são sincronizadas usando alinhamento de carimbo de tempo ou distorção dinâmica do tempo (DTW) quando necessário:

(7)

Os dados pré-processados e ricos em características são então inseridos no módulo de Análise de Correlação Canônica Profunda (DCCA), que aprende representações maximamente correlacionadas entre modalidades.

Extração de características usando DCCA
No contexto previsto da modelagem afetiva UX para exposições interativas, o DCCA é utilizado para aprender características latentes conectadas em modalidades heterogêneas como EEG, ECG, EDA, expressões faciais e dados de rastreamento ocular. O objetivo é aprender um espaço de representação comum no qual sinais de várias modalidades, embora individualmente ruidosos ou específicos de cada modalidade, sejam maximamente correlacionados e semanticamente consistentes em termos de estados emocionais percebidos. Neste trabalho, a DCCA foi aplicada aos seguintes pares de modalidades: i) EEG–ECG, ii) EEG–GSR e iii) representações EEG–traços faciais. Esses pares foram selecionados para capturar correlações complementares neuro-fisiológicas e neural-comportamentais relevantes para o engajamento afetivo. Para estender o DCCA para um contexto multimodal, os embeddings par a par de cada par de modalidades foram calculados e então fundidos usando o MMFN proposto, que permite a integração eficiente de mais de duas modalidades sem alterar a formulação central do DCCA.

Ao realizar o alinhamento latente orientado por correlação antes da fusão, o DCCA separa estruturalmente o alinhamento de representações da fusão por decisão, em contraste com as Redes de Atenção Cruz-Modal ou Fusão Tensorial, que atuam diretamente em representações possivelmente desalinhadas. A redundância é reduzida, e a coerência das representações é melhorada por essa arquitetura de dois estágios. Além disso, o DCCA otimiza diretamente a dependência estatística entre modais em vez de depender apenas de funções de perda compartilhadas, o que é mais adequado para dados fisiológicos heterogêneos do que frameworks de aprendizagem multitarefa. Primeiro, o DCCA²⁰ é usado para calcular representações de várias modalidades, tratando-as sequencialmente através de múltiplas camadas empilhadas de transformações não lineares. A Figura 2 ilustra a construção do DCCA empregado neste trabalho de pesquisa. Um método de busca em grade foi usado por nós para determinar hiperparâmetros ideais para arquitetura do modelo de aprendizado profundo a ser utilizado na abordagem DCCA. Após uma análise experimental minuciosa, os autores selecionaram um otimizador de descida de gradiente estocástico, perda de entropia cruzada e um parâmetro regulador de 1e5. Em seguida, os autores selecionaram 15 etapas de otimização usando o vetor de viés como todos zeros, o conjunto de validação como critério de parada antecipada e o inicializador Xavier como inicializador de peso. A Figura 2 mostra o processo de funcionamento do DCCA.

Figura 2: Processo de funcionamento do DCCA. Fluxo de trabalho de processos do DCCA, mostrando o mapeamento de características de diversas modalidades em um espaço latente comum para maximizar a correlação.
Abreviações; DCCA = Análise Profunda de Correlação Canônica. Por favor, clique aqui para ver uma versão ampliada desta figura.

A Figura 2 retrata visualmente a estrutura interna de trabalho da Deep Canonical Correlation Analysis (DCCA) para aprendizado de representação compartilhada entre duas modalidades diferentes, EEG (Modalidade A) e EDA (Modalidade B). Ambas as modalidades são inseridas em suas respectivas redes profundas de extratores de características (Extratores de Características A e B), que possuem várias camadas ocultas que aprendem características abstratas específicas de cada modalidade. Antes da fusão, o alinhamento latente entre modales é realizado usando Análise de Correlação Canônica Profunda (DCCA). Duas redes paralelas de projeção profunda são construídas para cada par de modalidades (EEG–ECG, EEG–EDA e EEG–Facial). Usando ativação ReLU, cada rede de projeção é composta por três camadas completamente conectadas com dimensões [256, 128, 64]. Para o espaço latente compartilhado, 64 é a dimensão de imersão última. Com um coeficiente de regularização L2 de 1e-5 para garantir estabilidade numérica, a função objetivo maximiza a correlação canônica entre os embeddings projetados na modalidade. Vetores de viés são inicializados a zero, e pesos são inicializados via inicialização Xavier. Para estabilizar o aprendizado de alinhamento, os módulos DCCA são treinados separadamente antes do treinamento MMFN. Para manter a consistência do alinhamento, não há ajuste fino de ponta a ponta entre DCCA e MMFN. Esses pipelines de redes neurais aceitam os fluxos de dados de entrada em paralelo, mas isolados. A saída do extrator de características de cada uma delas é então projetada no espaço latente comum, onde as características de ambas as modalidades são mapeadas para se tornarem comparáveis em estrutura. As projeções são otimizadas de acordo com o objetivo do DCCA, que é maximizar a correlação entre as representações latentes correspondentes do EEG e do EDA. Ao adquirir esse subespaço maximamente correlacionado, a DCCA garante que as incorporações de saída mantenham padrões complementares e semanticamente significativos de ambas as modalidades, essenciais para aplicações posteriores como reconhecimento emocional ou computação afetiva.

Neste trabalho, as características são convertidas usando DCCA e então integradas para categorização. O modelo DCCA, mostrado na Figura 2, utiliza um modelo de aprendizado profundo para transformação de características. A camada CCA calcula a correlação, que é então usada para combinar e classificar características. Suponha que a matriz armazene testes da modalidade EEG, e a matriz inclua experimentos da modalidade de vídeo de rosto. Neste caso, as dimensões das características nos ensaios de EEG e clipes de vídeo facial são representadas por n₁ e n₂, respectivamente, enquanto o número total de ensaios é indicado por AM. Para cada modalidade, os autores criaram a seguinte rede neural profunda para reorganizar as características de entrada de forma não linear:

(8)

onde os parâmetros da transformação não linear são representados como HT₁ e HT₂; as características subsequentes de cada rede neural são representadas como e e medição da característica da DCCA como n. Os parâmetros aprendidos recursivamente HT₁ e HT₂, gerados a partir da DCCA, aumentaram a correlação entre ON₁ e _{ON 2} ao máximo possível:

(9)

Parâmetros aprendidos mutuamente como HT₁ e HT₂ foram treinados pelo algoritmo de retropropagação. Para obter a resposta pretendida, os gradientes da função objetivo foram aproximados conforme sugerido. As características alteradas ON1 e ON2 ∈ SP estão na SP combinada do hiperespaço após as duas redes neurais terem sido treinadas. Os autores do DCCA principalmente20 não mencionaram especificamente o uso de características alteradas. Os recursos alterados podem ser usados de forma que melhor sirva à aplicação do usuário. Neste trabalho, os autores obtiveram as seguintes características fundidas a partir de características alteradas:

(10)

onde α e β representam pesos mantendo α + β = 1. As características ON integradas usando DCCA são inseridas no classificador SoftMax. Tarefas de reconhecimento emocional são usadas para treinar o classificador. Como mencionado anteriormente, construir DCCA para fusão de dados em diversos formatos traz algumas vantagens. Para observar as características e correlação das transformações centradas na modalidade, por exemplo, o DCCA obtém explicitamente ON1 e ON2 para cada modalidade na fusão em nível de característica. Além disso, dados baseados em emoção podem ser preservados controlando as funções de mapeamento não lineares f1(·) e f2(·). Além disso, os autores estão usando pesos equivalentes para cada modalidade na fusão de soma ponderada. Uma Rede Multimodal de Fusão (MMFN) que prevê estados de experiência do usuário recebe esse espaço combinado. Para alinhamento multimodal, é utilizada uma abordagem hierárquica, onde os sinais brutos são primeiro alinhados temporalmente com reamostragem e alinhamento de carimbo de tempo, e o alinhamento dos sinais semanticamente ricos de diversas modalidades é obtido via Deep Canonical Correlation Analysis (DCCA). Isso garante que as representações conscientes da modalidade sejam transformadas em um espaço latente comum antes do processo de fusão baseado em atenção no MMFN.

Rede de fusão multimodal (MMFN) para modelagem afetiva de UX
O MMFN codifica cada modalidade separadamente, depois as funde usando um portão de fusão e um mecanismo de atenção para produzir uma representação integrada para a previsão de emoções.

Codificação específica por modalidade
Seja x⁽ⁱ⁾∈R^di o vetor característico para a i-ésima modalidade (por exemplo, EEG, EDA). Cada modalidade é codificada com um codificador neural:

(11)

Mecanismo de fusão com porta
Para gerenciar o fluxo de informações de cada modalidade, é empregada uma porta de fusão:

(12)

(13)

σ é a função de ativação sigmoide. ⊙caracteriza o desenvolvimento elemento a elemento. Isso permite que a rede reduza o peso das modalidades ruidosas ou aumente o peso de recursos úteis de forma dinâmica.

Fusão de atenção entre modalidades
Uma camada de atenção aprende quanto peso deve ser atribuído à representação de cada modalidade:

(14)

(15)

α(i) são pesosde atenção a representação final fundida.

Previsão do estado afetivo
O vetor fundido é introduzido em uma camada de saída para fazer previsões de valência/despertar ou estados de UX:

22(16)

Onde pode ser usado para representar: Classe de emoção discreta (feliz, neutra, triste), Escala contínua (valência/excitação) e categorias UX (engajado, distraído, sobrecarregado).

Figura 3: Estrutura do MMFN. Estrutura do MMFN com codificadores específicos por modalidade, fusão por porte e integração baseada em atenção para predição do estado afetivo.
Abreviações; MMFN = Rede Multimodal de Fusão. Por favor, clique aqui para ver uma versão ampliada desta figura.

A Figura 3 é o processo de trabalho de uma Rede de Fusão Multimodal (MMFN) empregada em um framework de computação afetiva para previsão de emoções e experiência do usuário (UX). Codificadores específicos por modalidade, camadas de fusão com gates, um módulo de integração baseado em atenção e uma cabeça final de classificação compõem a arquitetura hierárquica de fusão do MMFN. Ela ilustra como várias modalidades de entrada heterogêneas, como EEG (Modalidade A), EDA (Modalidade B) e Expressões Faciais (Modalidade C), são processadas com suas próprias redes especializadas de codificadores (Codificador A, B e C). Um codificador independente composto por duas camadas completamente conectadas com ativação do ReLU processa cada modalidade (EEG, ECG, EDA e características faciais) antes que uma camada Bidirecional de Memória de Curto Prazo (BiLSTM) capture dependências temporais. Cada codificador aprende uma representação de características específicas de cada modalidade que retém características emocionais ou fisiológicas significativas do fluxo de dados correspondente. Cada direção no BiLSTM possui 128 unidades ocultas, conferindo a cada modalidade uma imersão contextual de 256 dimensões. Para evitar sobreajuste, o dropout (taxa = 0,5) é realizado após a camada BiLSTM. Uma abordagem de fusão com portas que utiliza ativação sigmoide para controlar dinamicamente as contribuições das modalidades é então aplicada às representações de modalidades codificadas. Uma camada de autoatenção então calcula os pesos de atenção entre modalidades para suprimir sinais ruidosos e destacar informações relevantes. Uma camada totalmente conectada e uma camada linear de saída para tarefas de regressão de valência-ativação ou uma camada de saída Softmax para tarefas de classificação discreta projetam a representação fusada. A saída de cada codificador é então inserida em uma Camada Multimodal de Fusão, que realiza a concatenação de todas as características da modalidade e aplica um mecanismo de atenção para destacar sinais mais informativos e mascarar ruídos. Essa operação produz uma representação latente comum que integra sinais emocionais de todas as modalidades em um vetor denso de alto nível.

As camadas BiLSTM aplicadas a embeddings sequenciais específicos de modalidades modelam diretamente a dinâmica temporal. O BiLSTM possibilita a modelagem contextual dos estados afetivos em mudança ao capturar tanto as dependências temporais para frente quanto para trás dentro de sequências fisiológicas segmentadas. Além disso, a ponderação adaptativa das características informativas no tempo é possibilitada pela camada de fusão baseada em atenção que segue, que funciona sobre representações codificadas temporalmente. Os autores atualizaram recentemente o texto para tornar mais evidente como a construção de sequências, a codificação recorrente e a ponderação de atenção funcionam juntos para apoiar a modelagem temporal.

O pseudocódigo proposto 1 mostra o processo geral de modelagem afetiva da experiência do usuário usando DCCA-MMFN em uma forma reprodutível. Para começar, sinais fisiológicos e comportamentais multimodais são inseridos em uma etapa independente de pré-processamento envolvendo redução de ruído e normalização de escalas. As características são então inseridas no DCCA, onde características correlacionadas são aprendidas conjuntamente para pares de modalidades especificadas, visando um alinhamento robusto entre modais. As características alinhadas são posteriormente combinadas dentro de um MMFN composto por mecanismos de controle e de atenção para modulação específica por modalidade, com o objetivo de promover modalidades informativas e suprimir ruídos. A representação final combinada de características é empregada para treinar um classificador destinado à estimativa afetiva e relacionada a UX, e a avaliação geral de desempenho é realizada com base em métricas padrão. A natureza passo a passo deste pseudocódigo proposto garante transparência, viabilidade e fácil reprodução por outros para todos os indivíduos tecnicamente informados que se interessam por este protocolo proposto.

O framework proposto visa prever o estado afetivo de experiência do usuário (UX) usando sinais fisiológicos e comportamentais multimodais do conjunto de dados AMIGOS com base nas seguintes etapas: Passo 1: Os dados multimodais de entrada consistem em sinais de EEG, ECG, EDA, olhar-olho e expressão facial. Inicialmente, o conjunto de dados multimodal AMIGOS é acessado, e cada modalidade passa por pré-processamento de sinais, incluindo filtragem de ruído e normalização para garantir qualidade e consistência dos dados. Passo 2: Para manter a uniformidade temporal entre as modalidades, todos os sinais são reamostrados para uma frequência padrão. Subsequentemente, é realizada a extração de características específicas por modalidade para obter representações distintas de características correspondentes a cada tipo de sinal. Passo 3: Para capturar relações intermodais, pares de modalidades selecionados (EEG–ECG, EEG–EDA e EEG–Facial) são processados usando Análise de Correlação Canônica Profunda (DCCA). As redes DCCA são treinadas para aprender representações latentes correlacionadas entre modalidades pareadas, resultando em embeddings de características alinhadas para cada par de modalidades. Essas representações alinhadas são então combinadas para formar um espaço de características multimodal unificado. Passo 4: As características alinhadas agregadas são fornecidas como entrada para uma Rede de Fusão Multimodal (MMFN), onde mecanismos de atenção e estratégias de fusão com portas são empregados para integrar efetivamente informações complementares entre modalidades. Esse processo de fusão gera uma representação afetiva abrangente. Passo 5: A representação resultante é posteriormente usada para treinar um classificador com dados emocionais rotulados para prever o estado afetivo da UX. Por fim, o desempenho do modelo é avaliado usando métricas padrão, incluindo Precisão, Precisão, Recordação, Pontuação F1 e Área Sob a Curva (AUC). O estado afetivo UX previsto é retornado como a saída final do framework.

Modelagem percepção-emoção usando o framework proposto DCCA-MMFN
No framework computacional sugerido para a experiência afetiva do usuário (UX) de exposições interativas, o módulo de Modelagem Percepção–Emoção é o processo central que conecta as reações perceptivas do usuário a estímulos ambientais com seus estados emocionais biofisicamente derivados multimodais. Este módulo é baseado nas representações comuns adquiridas pelo DCCA de modalidades fisiológicas e comportamentais como EEG, EDA, ECG, expressões faciais e movimentos oculares para registrar a dinâmica afetiva do usuário. Simultaneamente, metadados sobre o ambiente de exposição ao redor – estímulos visuais, paisagens sonoras, padrões de interatividade e características ambientais – são usados para codificar pistas perceptivas. Utilizando uma Rede de Fusão Multimodal (MMFN) para combinar essas representações multimodais, o modelo adquire mapeamentos detalhados e não lineares a partir de características perceptuais de estímulo e rótulos ou dimensões emocionais (por exemplo, valência, excitação, engajamento). Esse mapeamento permite que o sistema saiba constantemente como o usuário reage emocionalmente a diversos elementos da exposição e, em seguida, modifique o conteúdo ou interface de acordo para aumentar o engajamento, satisfação ou ressonância cognitiva. Por fim, a modelagem percepção-emoção facilita a adaptação da interação consciente da emoção, que constitui o núcleo da modelagem computacional e dos sistemas de exibição sensíveis ao usuário.

Primeiro, os módulos DCCA foram treinados para aprender representações latentes correlacionadas para cada par de modalidades. A incorporação resultante serve como entrada para o MMFN, posteriormente treinada sequencialmente para a tarefa de predição afetiva. Não há ajustes finos de ponta a ponta para manter a estabilidade do treinamento.

Categoria	Parâmetro	Valor / Descrição
Pré-processamento de Sinal	Filtro passa-banda EEG	4–45 Hz
	Frequência de reamostragem	128 Hz
	Comprimento da janela	2 s
	Sobreposição de janelas	50%
	Normalização	Normalização do Z-score
Arquitetura DCCA	Número de camadas ocultas	3 camadas por modalidade
	Neurônios por camada	128–64–32
	Tamanho da dimensão latente (n)	32
	Parâmetro de regularização	1 × 10⁻⁵
	Otimizador	Adam
	Taxa de aprendizado	0.001
	Tamanho do lote	32
	Épocas máximas de treinamento	150
	Parar cedo a paciência	15 épocas
Configuração MMFN	Tipo de codificador	BiLSTM
	Unidades ocultas	64
	Taxa de evasão escolar	0.3
	Estratégia de fusão	Fusão com porta de atenção
	Tipo de atenção	EEG, ECG, GSR, Vídeo
Treinamento e Avaliação	Função de perda	Perda de entropia cruzada
	Divisão trem–teste	Validação cruzada 5 vezes
	Métricas de avaliação	Precisão, Precisão, Recordação, F1-score, Cohen's Kappa, AUC–ROC
Pontos de Verificação de Reprodutibilidade	Forma tensorial de entrada do EEG	Canais × amostras de tempo (por exemplo, 14 × 256 por janela)
	Representação de saída DCCA	Imersão latente compartilhada de 32 dimensões
	Saída MMFN	Probabilidades de classes emocionais (valência–excitação ou classes discretas)
	Desempenho esperado de validação	Precisão de classificação de 85–90%

Tabela 2: Parâmetros do algoritmo proposto DCCA–MMFN. Resumo dos parâmetros de pré-processamento, arquitetura, fusão, treinamento, avaliação e reprodutibilidade considerados no framework proposto de modelagem afetiva UX. Abreviações; DCCA = Análise Profunda de Correlação Canônica; MMFN = Rede Multimodal de Fusão; UX = Experiência do Usuário.

Na Tabela 2, é fornecido todo o conjunto de parâmetros usados dentro do framework proposto DCCA-MMFN, que leva em conta o pré-processamento de sinais, o projeto de arquitetura profunda, a técnica de fusão, bem como as condições de treinamento. Os sinais fisiológicos foram uniformemente reamostrados e normalizados para sincronizá-los em relação às suas respectivas modalidades. A camada DCCA foi configurada para usar transformações não lineares multicamadas, que auxiliavam no aprendizado de espaços latentes maximamente correlacionados, enquanto o componente MMFN usava redes codificadoras BiLSTM com mecanismos de atenção com gate para pesar dinamicamente o valor de diferentes modalidades. Os requisitos para treinamento e avaliação são explicitamente definidos, garantindo uma comparação justa com as opções existentes.

O arcabouço sugerido tem como objetivo servir como base computacional para sistemas conscientes do afeto que utilizam informações comportamentais e fisiológicas em várias dimensões. A arquitetura é conceitualmente adaptável a ambientes do mundo real, como espaços de exposição inteligentes, interfaces inteligentes adaptativas e sistemas de interação humano-computador conscientes do afeto, embora o estudo atual valide o modelo por meio de experimentos offline controlados usando o conjunto de dados AMIGOS, disponível publicamente. A estrutura pode funcionar como um módulo fundamental para aplicações que necessitam de inferência emocional confiável, oferecendo técnicas de fusão unificadas, alinhamento cross-modal e pré-processamento estruturado. No entanto, em vez de serem sistemas que foram implantados experimentalmente, esses ambientes são descritos neste estudo como possíveis contextos de implantação.

Results

Avaliação do sistema proposto
Para avaliar o sistema proposto, realizou experimentos com o conjunto de dados AMIGOS, disponível publicamente, que fornece medições sincronizadas de EEG, ECG, GSR, vídeo e áudio de 40 usuários expostos a estímulos emocionalmente envolventes. Para os fins desta pesquisa, os autores utilizaram dados de 33 participantes (após pré-processamento e remoção de ensaios incompletos), resultando em 1.320 amostras válidas nas dimensões de valência e excitação. A avaliação enfatizou...

Discussion

Contextos espaciais, ambientais e de interação física, como disposição espacial, densidade de multidão ou condições ambientais ambientes, não são explicitamente fornecidos no conjunto de dados AMIDOS. Assim, tais fatores também não são modelados diretamente nos experimentos atuais. A estrutura computacional sugerida para modelagem de Experiência do Usuário Afetiva (UX) avança muito além dos conceitos fundamentais do artigo base, que tratavam da interação criança-robô orientada por tarefa...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Conjunto de dados	Conjunto de dados AMIGOS	40 participantes; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), vídeo facial, etiquetas de valência/excitação auto-relatadas	Dados multimodais de verdade de base para modelagem de estados afetivos
Sensores fisiológicos	Headset de EEG	Emotiv EPOC+ (14 canais, 128 Hz)	Capturando a atividade cerebral relacionada à atenção, excitação e engajamento
	Sensor de ECG	Biopac MP150 ou equivalente (1000 Hz)	Variabilidade da frequência cardíaca e excitação
	Sensor GSR/EDA	Shimmer GSR+ ou equivalente (1000 Hz)	Condutância da pele como medida de excitação
Sensores Comportamentais	Dispositivo de rastreamento ocular	Tobii Pro X2-60 ou equivalente	Gravação da fixação do olhar e sacades
	Gravação de expressões faciais	Câmera de vídeo de alta resolução; analisado com OpenFace (AUs, vetores de olhar)	Extração de Unidades de Ação (AUs) faciais e pistas de olhar
Insumos Ambientais	Configuração de gravação audiovisual	Microfone + Câmera (sincronizado com estímulos)	Capturando estímulos contextuais durante a exposição
Software / Kits de Ferramentas	OpenFace	Kit de ferramentas de análise de comportamento facial de código aberto	Extração de Unidades de Ação (AUs), direção do olhar
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Pré-processamento de sinal (reamostragem, normalização de z-score, cálculo de PSD)	Pré-processamento de dados e extração de recursos
	TensorFlowv2.13 / PyTorchv2.0	Framework de deep learning para DCCA e MMFN	Implementação e treinamento do modelo
Algoritmos / Modelos	Análise Profunda de Correlação Canônica (DCCA)	Método de alinhamento de características não linear	A aprendizagem correlacionou representações latentes entre modalidades
	Rede Multimodal de Fusão (MMFN)	BiLSTM + Camadas de fusão baseadas em atenção	Fusão hierárquica de modalidades heterogêneas para classificação de estados UX
Métricas de Avaliação	Precisão, Precisão, Recordação, F1-Score, Cohen' s Kappa, AUC-ROC, Matriz de Confusão	Implementado com métricas scikit-learn / TensorFlow	Avaliação de desempenho do modelo
Hardware de Computação	Cluster de estação de trabalho / GPU	NVIDIA RTX 3080 (10GB) ou equivalente, 32 GB de RAM, processador Intel i9	Treinamento e simulação de modelos