Mapeamento Visual de Características Multimodais de Emoção para o Design de Interação Inteligente

Resumo

O trabalho propõe um framework de análise multimodal de emoções de ponta a ponta que utiliza codificadores transformer, representações de emoções desacopladas e atenção intermodal baseada em grafos com mapeamento visual para melhorar a precisão do reconhecimento de emoções em dois conjuntos de dados.

Resumo

Ao permitir que máquinas compreendam, interpretem e reajam aos estados afetivos humanos, o mapeamento visual de traços emocionais multimodais é crucial para o design de interfaces inteligentes. No entanto, os algoritmos atuais de detecção emocional multimodal concentram-se principalmente no desempenho preditivo, oferecendo pouca compreensão sobre interpretabilidade, percepção de interação ou interações cruzadas entre modalidades em nível de características. Este trabalho apresentou uma estrutura para o mapeamento visual de aspectos emocionais multimodais que combina visualização orientada à interação, aprendizado de representações interpretáveis e predição emocional. Sem utilizar características criadas manualmente, codificadores baseados em transformadores foram usados para extrair incorporações emocionais de alto nível a partir de modalidades textual, de áudio e visual. Para melhorar a robustez, informações específicas da emoção e específicas da modalidade foram separadas por meio de uma técnica de aprendizado de representação desacoplada. Além disso, foi criada uma rede de atenção cruzada baseada em grafos para simular, por meio de ponderação adaptativa de atenção, relações emocionais sutis entre modalidades. Um módulo de mapeamento visual multivisão foi desenvolvido para representar trajetórias emocionais temporais, distribuições de atenção cruzada entre modalidades e incorporações emocionais latentes, a fim de aumentar a transparência. O conjunto de dados Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) e o conjunto de dados chinês de análise de sentimento multimodal (CH-SIMS) foram utilizados para avaliar a estrutura proposta. De acordo com os resultados experimentais, a estrutura sugerida proporcionou maior interpretabilidade em nível de características e visualização com percepção de interação, superando consistentemente técnicas de referência representativas em termos de acurácia, pontuação F1, correlação e erro absoluto médio. Além disso, o módulo de mapeamento visual facilitou a interpretação qualitativa de representações emocionais multimodais, interações cruzadas entre modalidades e dinâmicas emocionais temporais, apoiando a visualização e análise com percepção de interação.

Introdução

A capacidade de identificar e compreender corretamente a emoção humana tornou-se crucial para melhorar a interação entre humanos e máquinas. Além de ser essencial para aprimorar a interação humano-computador, a análise de emoções tem o potencial de revolucionar diversas áreas, incluindo diagnóstico médico pré-diagnóstico¹, análise comportamental em sala de aula², acompanhamento psicológico de pacientes³, identificação de fadiga em veículos⁴ e gerenciamento inteligente em ambientes domésticos inteligentes⁵. Avanços recentes na computação afetiva e no aprendizado profundo⁶ aumentaram o interesse na criação de sistemas em tempo real capazes de capturar a complexidade da emoção humana.

Muitos métodos atuais baseiam-se principalmente em dados unimodais, como sinais textuais, gráficos ou auditivos^7,8,9Essas abordagens falham repetidamente em detectar sinais refinados, como sarcasmo ou nuances específicas do contexto. A pesquisa avançou para a avaliação multimodal de emoções, que incorpora dados complementares de múltiplas fontes para superar essas limitações.^10,11,12. As vantagens de combinar múltiplas modalidades foram demonstradas por modelos de referência, como a fusão precoce com memória de longo e curto prazo (EF-LSTM)13 e redes neurais profundas leves e FM (LF-DNN)¹⁴, redes de fusão tensorial (TFN) e abordagens de fusão multimodal de baixa ordem. No entanto, a maioria dessas abordagens depende da geração offline de características e não é adequada para situações dinâmicas do mundo real.

Para acomodar os estados emocionais, a pesquisa e as aplicações em identificação multimodal de emoções têm crescido nos últimos dez anos¹⁵. Uma das áreas de pesquisa mais desafiadoras e significativas atualmente é o monitoramento contínuo de estados emocionais utilizando diversas fontes de dados¹⁶. A ideia de multimodalidade surgiu de forma bastante natural com o surgimento de um sistema de conhecimento tão variado, levando a muitos avanços na aplicação das emoções em áreas como computação emocional, interação humano-computador (HCI), aprendizagem, videogames, atendimento ao consumidor, cuidados médicos, avaliação de experiência do usuário (UX), etc. No entanto, nem sempre tem sido simples aplicar técnicas de reconhecimento de emoções na avaliação de experiência do usuário.

Uma das principais razões para focar no reconhecimento multimodal em vez de métodos unimodais são as desvantagens inerentes de depender de uma única fonte de informação. Sistemas de detecção de emoções unimodais podem apresentar menor precisão devido a dados ausentes ou ambíguos, enquanto os esquemas de MER são mais confiáveis e oferecem uma compreensão mais abrangente e elaborada dos estados expressivos ao integrar múltiplas fontes de dados¹⁷. Por exemplo, a linguagem facial isoladamente pode não ser suficiente para classificar com precisão os sentimentos, especialmente quando os gestos são complexos ou pouco claros. No entanto, combinar expressões faciais com outras formas de comunicação, como linguagem ou pistas físicas, pode aumentar a precisão no reconhecimento de sentimentos.

Pesquisas extensivas sobre reconhecimento de emoções foram conduzidas em várias modalidades. Estudos iniciais concentraram-se na identificação de características distintivas de diferentes modalidades, como entradas gráficas, acústicas ou baseadas em texto. Embora esteja se tornando cada vez mais evidente que a integração de diversas modalidades pode fornecer informações emocionais equilibradas, levando à detecção de sentimentos mais confiável e precisa. Este segmento revisa os principais avanços na análise de emoções unimodal e multimodal, com foco em abordagens básicas, suas limitações e a justificativa para o nosso método.

O estudo inicial sobre reconhecimento de emoções concentrou-se principalmente em uma única modalidade. Na área visual, pesquisas pioneiras levaram à categorização de movimentos faciais prototípicos²⁰. Avanços subsequentes incluíram técnicas para capturar dinâmicas temporais, como movimento visual²¹ e modelos ocultos de Markov²², enquanto as respostas faciais foram divididas em unidades de ação utilizando o Sistema de Codificação de Ação Facial (FACS)²³. LSTMs e redes neurais convolucionais (CNNs) têm sido usados com sucesso para extrair características significativas diretamente de sinais de áudio brutos; as metodologias para identificação de emoções baseadas em áudio evoluíram do processamento convencional de sinais até o aprendizado profundo²⁴. A extração de sinais de sentimento contextual em análises de emoção baseadas em texto foi grandemente aprimorada por redes neurais recorrentes (RNNs) que incorporam mecanismos de atenção e, mais recentemente, por modelos baseados em transformadores. Apesar de seus avanços, técnicas unimodais são intrinsecamente incapazes de representar com precisão as complexidades que as pessoas experimentam, pois carecem das informações complementares presentes em outras modalidades.

Alguns modelos baseados em mecanismos de atenção, como o modelo DialogXL²⁵, foram propostos em 2021 para coletar dados ambientais de longo prazo na área de identificação de sentimentos em conversas. Kim et al.²⁶ introduziu o modelo EmoBERTa em 2021 para aumentar a precisão da ERC. Este modelo utiliza dados dos falantes para melhorar as características dos interlocutores nas conversas e suas interações mútuas. Em 2022, Li et al.²⁷ apresentou o método CoG-BART. A organização utiliza aprendizado contrastivo supervisionado para melhorar a capacidade do modelo de interpretar dados relevantes. Deve-se observar que o aprendizado supervisionado requer uma quantidade substancial de dados rotulados.

Um exemplo típico desse tipo de trabalho é o framework de Representação com Percepção Multimodal de Interação (MIAR)²⁸, que utiliza tokens de interação de características e alinhamento contrastivo para melhorar a generalização entre modalidades. O MIAR aprimora o alinhamento entre modalidades e alcança um desempenho robusto em diversos conjuntos de dados; no entanto, ele se concentra principalmente na precisão preditiva, sem abordar o mapeamento visual. De forma semelhante, o modelo de Fusão Áudio-Visual com Attenção Cruzada²⁹ capta efetivamente interações áudio-visuais de grão fino para a predição de valência e arousal, mas está limitado a duas modalidades e carece de capacidades de visualização. Abordagens de modelagem temporal baseadas em redes LSTM e fusão por autoencoder capturam com sucesso a dinâmica temporal das emoções, mas fornecem pouca compreensão sobre as interações entre modalidades e as representações emocionais aprendidas. Mais recentemente, métodos baseados em transformadores, como a Transformer-based Multimodal Fusion Network (TMFN)³⁰ demonstraram alto desempenho em CMU-MOSI e CMU-MOSEI por meio de fusão multimodal aprimorada e aprendizado contrastivo. No entanto, essas abordagens permanecem principalmente orientadas ao desempenho e oferecem suporte limitado à explicabilidade, interpretação em nível de características e visualização orientada à interação.

Para aprimorar a integração de dados textuais, acústicos e visuais, diversas técnicas de reconhecimento multimodal de emoções foram propostas. Embora não tenham conseguido capturar interações intrincadas entre modalidades, técnicas de fusão inicial, como EF-LSTM e LF-DNN, demonstraram as vantagens do uso de informações multimodais para análise de sentimento e emoção. Embora o TFN tenha melhorado o desempenho em conjuntos de dados de referência como CMU-MOSI e CMU-MOSEI e introduzido modelagem explícita de interações intermodais, sua baixa interpretabilidade e alta complexidade computacional limitaram sua utilidade. Para melhorar o alinhamento entre modalidades e a fusão dinâmica de características, técnicas mais modernas, como MIAR, modelos de fusão com atenção cruzada, TMFN e transformadores multimodais adaptativos, têm utilizado topologias de transformadores e mecanismos de atenção. Esses métodos concentraram-se principalmente no desempenho preditivo, oferecendo pouca compreensão sobre representações emocionais em nível de características e dependências intermodais, apesar de alcançarem resultados competitivos em métricas de avaliação comuns, como acurácia, pontuação F1 e erro absoluto médio. Além disso, poucos estudos desenvolveram técnicas de visualização capazes de revelar incorporações latentes de emoções, distribuições de atenção e dinâmicas temporais de emoção, ou que tenham integrado modelagem baseada em grafos para interações intermodais. A abordagem proposta incorpora mapeamento visual multivisão, fusão de atenção intermodal baseada em grafos e aprendizado de representações desacopladas para superar essas limitações e aprimorar o desempenho no reconhecimento multimodal de emoções.

Da mesma forma, o Transformador Multimodal Adaptativo³² propõe uma fusão baseada em troca para mitigar de forma adaptativa informações modais ruidosas ou ausentes, aumentando assim o desempenho na classificação de sentimentos. Embora esta abordagem possa lidar eficazmente com discrepâncias na distribuição das informações modais, seu design é específico para análise de sentimentos e fornece pouca compreensão sobre as representações emocionais aprendidas. Outra contribuição significativa é o Modelo de Fusão Multimodal³³, que integra CNNs, LSTMs multiplicativos e atenção baseada em transformador para reconhecimento multimodal em tempo real de emoções. O modelo realiza fusão completa nas modalidades de vídeo, áudio e texto e demonstra desempenho robusto no reconhecimento. No entanto, como outros modelos existentes, ele se concentra principalmente na precisão preditiva e carece de características explícitas para visualização e interpretabilidade orientada à interação.

Em conclusão, embora as atuais abordagens multimodais de última geração para reconhecimento de emoções tenham obtido sucesso considerável ao capturar interações intermodais e aprimorar a precisão das previsões, a maioria delas concentra-se em tarefas orientadas ao reconhecimento. As áreas de interpretabilidade em nível de características, visualização de representações emocionais no espaço da imagem e incorporação da estrutura proposta ao design de interação inteligente receberam pouca atenção. É com esses desafios em mente que a estrutura proposta é apresentada.

A maioria dos métodos atuais concentra-se principalmente em melhorar o desempenho preditivo, oferecendo pouca interpretabilidade das representações emocionais aprendidas e das interações cruzadas entre modalidades, apesar dos avanços notáveis no reconhecimento multimodal de emoções^28,29. Interações complexas entre modalidades textuais, acústicas e visuais frequentemente são difíceis de modelar para as estratégias atuais de fusão, especialmente quando ocorrem discrepâncias entre modalidades e escassez de informações ^28,31. Embora os designs baseados em transformadores e mecanismos de atenção tenham aprimorado a aprendizagem de representações, sua transparência e interpretabilidade muitas vezes são reduzidas pela ausência de separação explícita entre informações específicas da emoção e informações específicas da modalidade^31,32,33. Além disso, apenas um pequeno número de estudos investigou a modelagem baseada em grafos das interações intermodais ou desenvolveu estruturas de visualização capazes de revelar dinâmicas temporais das emoções, distribuições de atenção e incorporações emocionais. Essas limitações demonstram a necessidade de uma estrutura multimodal interpretável para interação inteligente entre humanos e máquinas, que combine mapeamento visual orientado à interação com um forte aprendizado cruzado entre modalidades.

Este trabalho apresenta um framework interpretável para o mapeamento visual de aspectos multimodais de emoções no design de interfaces inteligentes. Sem a necessidade de características criadas manualmente, o sistema utiliza aprendizado profundo de ponta a ponta para extrair representações emocionais de alto nível a partir de modalidades textuais, auditivas e visuais. As interações emocionais cruzadas são modeladas por meio de um mecanismo de fusão com atenção baseado em grafos que separa informações específicas da emoção e específicas da modalidade, permitindo um aprendizado de representação desacoplado e melhorando a interpretabilidade e a robustez. Além disso, um módulo de visualização multivisão é criado para mostrar a dinâmica temporal das emoções, os padrões de atenção cruzada entre modalidades e os embeddings emocionais. A eficácia e adequação do framework proposto em sistemas inteligentes de interação humano-máquina são avaliadas por meio de validação em conjuntos de dados de referência para reconhecimento emocional multimodal.

Este trabalho oferece uma estrutura única para a mapeamento visual de aspectos multimodais de emoções que vai além das abordagens tradicionais orientadas à predição, superando a modelagem inadequada das interações cruzadas entre modalidades e a interpretabilidade limitada nos atuais sistemas de identificação de emoções multimodais. Em uma única arquitetura, a abordagem proposta combina aprendizado de representação multimodal baseado em transformadores, modelagem de características desacopladas com consciência emocional, fusão de atenção cruzada baseada em grafos e visualização orientada à interação. O framework separa claramente representações específicas da emoção e específicas da modalidade, a fim de melhorar a interpretabilidade, robustez e consistência cruzada entre modalidades, diferentemente das abordagens atuais que se concentram principalmente no desempenho de classificação. Além disso, apresenta-se um mecanismo de atenção baseado em grafos para permitir a modelagem adaptativa das interações intermodais, capturando a interdependência emocional em nível fino entre as modalidades textual, áudio e visual. Um módulo de mapeamento visual multivisão é criado para aumentar a transparência, revelando trajetórias temporais das emoções, padrões de atenção cruzada entre modalidades e incorporações latentes de emoções, que oferecem insights intuitivos sobre o processo de tomada de decisão do modelo. Além de fornecer visualização e interpretabilidade aprimoradas da dinâmica emocional multimodal, a avaliação experimental nos conjuntos de dados de referência CH-SIMS e CMU-MOSEI demonstrou desempenho competitivo em termos de acurácia, pontuação F1, erro absoluto médio e correlação.

Protocolo

O trabalho proposto tem como objetivo aprimorar o design de interação inteligente ao oferecer um framework interpretável para o mapeamento visual de características emocionais multimodais. Os bancos de dados CH-SIMS e CMU-MOSEI, que são de acesso público, foram utilizados neste trabalho. Ambos os conjuntos de dados foram obtidos de suas fontes oficiais e utilizados em conformidade com as diretrizes de uso, padrões de pesquisa e termos de licenciamento estabelecidos por seus respectivos criadores. O conteúdo multimodal dos conjuntos de dados, incluindo dados de texto, áudio e vídeo, foi inicialmente coletado e anotado pelos provedores dos conjuntos de dados, conforme suas permissões autorizadas para participantes e protocolos de coleta de dados. Não houve interação humana direta, recrutamento de novos participantes nem coleta de informações pessoalmente identificáveis neste estudo. Todas as análises foram realizadas utilizando conjuntos de dados de pesquisa de acesso público. Consequentemente, nossa análise secundária de dados não exigiu aprovação ética adicional nem revisão por parte de uma Junta de Revisão Institucional (IRB). O estudo foi conduzido em conformidade com as normas institucionais apropriadas que regulam o uso de conjuntos de dados de acesso público, procedimentos éticos de pesquisa e políticas aplicáveis de uso de dados.

Um mecanismo de atenção cruzada baseado em grafos foi empregado para aprender caracterizações emocionais entre modalidades, utilizando características específicas de emoção ou modalidade para aprimorar a compreensão. Um componente de mapeamento visual multivisão é usado para aprimorar o design interativo com percepção emocional em tempo real, e sua eficiência é estimada para o reconhecimento de emoções. Os resultados mostram que o método proposto melhora tanto a interpretabilidade quanto a eficiência de interfaces inteligentes com percepção emocional em ambientes reais. Figura 1 mostra o fluxo arquitetural do trabalho proposto. Figura 1 mostra o fluxo completo do framework de mapeamento visual sugerido para aprendizado de características emocionais multimodais no contexto de sistemas interativos inteligentes. O fluxo inicia com três modalidades de entrada sincronizadas, a saber, texto, áudio e vídeo, que capturam informações emocionais complementares das modalidades linguística, prosódica e de expressão facial, respectivamente. Um codificador transformer específico à modalidade processa cada modalidade para obter representações de alto nível dos dados brutos de entrada. As representações são então inseridas em um módulo de aprendizado de representação desacoplado, no qual os embeddings específicos à emoção são separados das características específicas à modalidade, garantindo consistência nas emoções aprendidas entre fontes de dados heterogêneas. Os embeddings específicos à emoção de cada modalidade são então agregados por uma rede de atenção cruzada baseada em grafos, que modela as dependências emocionais intermodais e atribui pesos dinâmicos de importância a cada modalidade com base no contexto da interação. Por fim, o framework fornece tanto saídas de classificação emocional quanto insights de interação, o que facilita a tomada de decisões transparente com percepção emocional e o design adaptativo de interação inteligente.

Aquisição de dados multimodal

Os conjuntos de dados CH-SIMS e CMU-MOSEI são dois conjuntos multimodais de domínio público já existentes que coletaram informações multimodais, como vídeo, áudio e texto sincronizados. O conjunto de dados CH-SIMS compreende exames multimodais de pessoas chinesas, incluindo 2.281 segmentos de vídeo, derivados de múltiplos segmentos de filmes, novelas de televisão e programas de variedades. Os estudos sobre análise multimodal de emoções utilizando dados multimodais tornam-se mais envolventes e viáveis com a adição de áudio e texto correspondentes a esses segmentos de vídeo. No entanto, um dos maiores conjuntos de dados multimodais para o exame de opinião, sentimentos e emoções é o conjunto de dados CMU-MOSEI, coletado a partir de mais de 23.000 clipes de vídeo de frases proferidas por mais de 1.000 oradores sobre uma variedade de tópicos. O conjunto de dados foi dividido aleatoriamente em subconjuntos de treinamento (70%), validação (15%) e teste (15%), mantendo a distribuição das classes.

Transcrições textuais, sinais de áudio e quadros de vídeo são obtidos e alinhados por carimbo de tempo para coincidir em um nível temporal fino. A integração em nível de quadro garante que os mecanismos propostos de aprendizado de representação e fusão baseada em grafos possam conjuntamente modelar e aproveitar o conteúdo emocional proveniente de expressões visuais, tons vocais e conteúdo linguístico. A extração eficaz das dinâmicas emocionais intermodais é viabilizada por esse tipo de técnica de aquisição multimodal, essencial para o design de interação inteligente e mapeamento visual compreensível.

Tabela 1 apresenta as principais estruturas dos conjuntos de dados multimodais de emoções utilizados no método proposto. Para obter uma gama mais ampla de sentimentos relacionados, como palavras faladas, entonações vocais e expressões faciais, CH-SIMS e CMU-MOSEI integram modalidades de vídeo, áudio e texto provenientes desses conjuntos de dados. Além disso, um número limitado de amostras de dados está disponível no CH-SIMS, permitindo uma análise minuciosa das interações entre modalidades e da variação emocional na China. Por outro lado, o conjunto de dados CMU-MOSEI é mais importante para avaliar a robustez dos algoritmos de aprendizado de representação e visualização relacionados abordados neste trabalho, pois contém uma grande quantidade de dados em diversos idiomas, sujeitos e níveis de emoção anotados. Adicionalmente, em comparação com pesquisas anteriores, ele reduz as dificuldades na seleção de informações durante os testes de modelos.

Pré-processamento e sincronização multimodal

As anotações de carimbo de data/hora dos conjuntos de dados CH-SIMS e CMU-MOSEI foram utilizadas para sincronizar as modalidades textual, auditiva e visual, garantindo uma aprendizagem consistente da representação multimodal. Cada enunciado funcionou como unidade fundamental de análise e foi associado a segmentos de áudio e vídeo correspondentes dentro do mesmo intervalo temporal. O alinhamento foi realizado no nível do enunciado. A transcrição foi dividida em segmentos com base nos carimbos de data/hora de início e fim de cada enunciado. A correspondência entre transcrição, áudio e vídeo foi estabelecida mediante a extração dos quadros de vídeo e sinais de áudio correspondentes que ocorreram dentro do mesmo intervalo de tempo. Enquanto os segmentos de áudio foram processados usando o Wav2Vec 2.0 para gerar representações acústicas, os quadros visuais do segmento de vídeo foram amostrados a uma taxa predeterminada e codificados usando o Vision Transformer (ViT). O codificador RoBERTa foi utilizado para criar incorporações textuais a partir das transcrições dos enunciados. A sincronização temporal foi alcançada ao alinhar todas as características das modalidades a um único limite de enunciado, já que as três modalidades produziram sequências de características de comprimentos variados. Um formato de comprimento fixo foi usado para normalizar sequências de comprimentos diferentes. Sequências mais longas foram reduzidas ao comprimento máximo permitido, enquanto sequências mais curtas foram preenchidas com zeros. Durante o treinamento, máscaras de atenção foram usadas para separar elementos preenchidos de posições legítimas de características. As incorporações específicas de cada modalidade foram projetadas em um espaço latente comum antes da fusão, a fim de superar os diferentes comprimentos de sequência entre as modalidades. Isso garantiu consistência dimensional e permitiu que o mecanismo de atenção baseado em grafos facilitasse a aprendizagem eficaz da interação cruzada entre modalidades. Para preservar a qualidade dos dados e a integridade da sincronização, amostras com arquivos corrompidos, anotações ausentes ou informações incompletas de modalidade foram excluídas dos estudos.

Extração de características baseada em transformador

Um método de aprendizado profundo é utilizado para aprender representações de características de alto nível com percepção emocional a partir de informações de múltiplas modalidades, como visão, áudio e texto, de maneira end-to-end, após o alinhamento dos dados multimodais e qualquer pré-processamento necessário. Ao utilizar um codificador transformer para aprender representações de características intrinsecamente discriminativas a partir de dados multimodais brutos, o método proposto elimina a necessidade de engenharia de características. Para facilitar a consistência entre os conjuntos de dados utilizados na abordagem proposta, um embedding de tamanho fixo é aprendido para cada modalidade. Por exemplo, embeddings de características de 768 dimensões são aprendidos em cada uma das modalidades individuais, incluindo imagem, áudio e texto, formando coletivamente um espaço de características unificado utilizado em toda a abordagem, particularmente uma abordagem de extração de características aplicada ao conjunto de dados CH-SIMS proposto e ao conjunto de dados CMU-MOSEI, com o objetivo de aprender características de alto nível em dados de diversos tamanhos.

Modalidade visual: Transformador de visão para incorporações de quadros com reconhecimento de emoção

Um modelo Vision Transformer (ViT-Base) foi utilizado para extrair informações visuais de quadros de vídeo com o objetivo de obter representações espaciais relevantes para emoções. Antes da extração de características, os quadros de cada segmento de vídeo foram redimensionados para (224 × 224) pixels e amostrados em intervalos temporais regulares. Utilizando um tamanho de patch de 16 × 16 pixels, a arquitetura ViT-Base produz uma série de tokens visuais que são processados por 12 camadas codificadoras do transformer. As representações obtidas em nível de quadro foram projetadas em um espaço de incorporação de 768 dimensões usando um modelo ViT pré-treinado como base visual. Os embeddings em nível de quadro foram agregados utilizando pooling médio para criar a representação visual final de cada segmento. Durante o treinamento, foram utilizadas normalização de imagem e métodos comuns de aumento de dados, como recorte aleatório e inversão horizontal, para melhorar a generalização. Em seguida, o framework proposto de fusão multimodal foi usado para combinar esses embeddings visuais com representações textuais e auditivas.

Para manter a dinâmica temporal da emoção, amostras de vídeo dos conjuntos de dados CH-SIMS e CMU-MOSEI serão amostradas uniformemente para a modalidade visual. Os quadros de cada vídeo, , podem ser divididos em N seções de tamanho fixo, que são então aplanadas e inversamente transformadas para um espaço de incorporação latente com dimensão . Uma série é criada adicionando incorporações posicionais e um token de agrupamento ajustável:

   (1)

em que   representa a codificação posicional e   é a matriz de incorporação de fragmentos.

Camadas codificadoras de transformador empilhadas, compostas por redes feed-forward e autoatenção multi-cabeça, são usadas para processar a sequência de segmentos incorporados. A transformação na camada l é descrita como:

   (2)

   (3)

Para obter o vetor de características visuais com reconhecimento emocional, a saída equivalente ao token de classe é extraída como o vetor de características . Para lidar com representações visuais de emoção consistentes, apesar das diferenças de idioma e conteúdo entre conjuntos de dados, os embeddings em nível de quadro de cada segmento de vídeo são combinados para capturar expressões faciais e a evolução da emoção.

Modalidade de áudio usando Wav2Vec 2.0 para embeddings acústicos semânticos e de prosódia Embeddings de fala contextualizados foram gerados utilizando um codificador pré-treinado Wav2Vec 2.0 como base acústica. Um vetor de características acústicas de comprimento fixo para cada frase foi obtido por meio da agregação das representações ocultas de saída usando média de agrupamento. O modelo Wav2Vec 2.0 foi utilizado para extrair representações acústicas de sinais de áudio, capturando características da fala contextuais e relevantes para emoção. Antes da extração de características, as gravações de áudio foram normalizadas e reamostradas para 16 kHz. Para garantir a sincronização entre as modalidades textual e visual, cada segmento de áudio no nível da enunciação foi isolado utilizando os limites de carimbo de tempo fornecidos pelas anotações do conjunto de dados. O codificador acústico pré-treinado foi ajustado durante o treinamento do modelo para melhorar a adaptação específica à tarefa, permitindo que as representações derivadas representassem com maior precisão os aspectos emocionais dos sinais de fala. Em seguida, foi realizada a fusão de atenção intermodal baseada em grafos e a aprendizagem de representações desacopladas utilizando os embeddings finais de áudio.

Na modalidade de áudio, o Wav2Vec-2.0 é utilizado para modelar sinais de fala derivados das informações iniciais de fala dos conjuntos de dados CH-SIMS e CMU-MOSEI, extraindo diretamente características de áudio relacionadas à emoção. Existe uma codificação de características convolucional para cada sinal de fala de entrada :

   (4)

em que Z representa traços prosódicos de baixo nível, como melodia, tom e energia. Uma rede contextual baseada em transformador é útil para as estruturas mencionadas anteriormente, representando dependências temporais de longo alcance:

   (5)

Dados acústicos prosódicos e semânticos, essenciais para expressar emoção, estão incluídos nessas representações acústicas contextuais. Um embedding de áudio de comprimento específico é criado ao realizar um procedimento de agrupamento temporal:

   (6)

O design evita o uso de características acústicas, como MFCCs, e alcança durabilidade utilizando dados de fala em inglês do CMU-MOSEI e dados de fala em chinês do CH-SIMS, simplesmente extraindo representações das formas de onda.

Modalidade de texto usando RoBERTa para incorporações contextuais de emoção

Para a modalidade textual, o transformador bidirecional profundo RoBERTa é aplicado às transcrições de fala dos dois conjuntos de dados para gerar semântica contextual e significado afetivo. Codificadores de transformadores baseados no RoBERTa foram utilizados para extrair representações textuais dos dados de transcrição, capturando informações semânticas contextuais e emocionais. Um modelo pré-treinado de RoBERTa foi usado para o conjunto de dados CMU-MOSEI em língua inglesa, enquanto uma variante chinesa do RoBERTa foi empregada para o conjunto de dados CH-SIMS em chinês, a fim de levar melhor em conta características linguísticas específicas do idioma. O pré-processamento do texto incluiu tokenização utilizando o tokenizador RoBERTa apropriado para cada idioma e normalização do texto. Para garantir um processamento consistente por lotes, as sequências de entrada foram convertidas em incorporações de tokens e, posteriormente, preenchidas ou truncadas até um comprimento máximo de sequência predeterminado. De acordo com o formato de entrada do RoBERTa, foram introduzidos tokens especiais de classificação e separadores. Uma incorporação textual de comprimento fixo foi obtida por meio da agregação das representações de tokens contextualizadas produzidas pelo codificador de transformador, utilizando a representação final da sentença equivalente ao [CLS]. Para adaptar as representações aprendidas à tarefa de reconhecimento de emoções, os codificadores RoBERTa pré-treinados foram refinados por meio de treinamento multimodal. Em seguida, o framework proposto de fusão multimodal foi utilizado para combinar as incorporações textuais com as características de áudio e vídeo.

Os embeddings de tokens e as codificações posicionais podem ser combinados para cada entrada tokenizada, , para criar a representação de entrada na técnica de transformação profunda bidirecional conhecida como

   (7)

Essa forma é representada pelas camadas do transformador L, que utiliza a autoatenção para descobrir as dependências contextuais entre palavras:

  (8)

O embedding emocional contextual é obtido usando o estado oculto final do token de classificação:

   (9)

Polaridade de sentimento, emoções intensas e implicações associadas são exemplos de características linguísticas relacionadas a emoções que serão representadas por esse embedding. O RoBERTa facilita a modelagem independente de idioma. Isso permite que o sistema utilize o mesmo tamanho de embedding tanto para textos em inglês do conjunto de dados CMU-MOSEI quanto para textos em chinês do conjunto de dados CH-SIMS.

São extraídos três vetores de características específicos para cada modalidade, com 768 dimensões cada, correspondentes às modalidades visual f_v, áudio f_a e textual f_t , pela etapa proposta de aprendizado de representação de características profundas. No design de interação inteligente, essas representações aprendidas criam um espaço unificado de características multimodal que serve como base para a associação visual em nível de características, fusão cruzada de modalidades baseada em grafos e aprendizado de representações desacopladas.

Aprendizado de representação desemaranhada

Após aprender uma representação de características profundas, um processamento adicional dos vetores de características multimodais provenientes das modalidades visual, auditiva e textual pode gerar uma descrição emocional desvinculada. Se os embeddings de características específicas de modalidade das modalidades auditiva, visual e textual utilizadas na etapa anterior forem representados por f_v, f_a e f_t, respectivamente, de modo que   e , o objetivo desta etapa é fatorar todas as características de modalidade em duas representações latentes distintas, que incluem as representações emocionais após considerar a semântica anterior de cada uma das diferentes modalidades.

Isso é realizado alimentando cada característica de modalidade, f_m , em duas redes de projeção paralelas: um codificador de emoção   e um codificador de modalidade , onde as duas codificações são produzidas.

  (10)

Onde   a característica latente associada à emoção é representada por   representa uma característica latente específica a uma modalidade. Isso permite que incorporações específicas de emoções se comuniquem com um espaço repetidamente ao longo de múltiplas entradas, incluindo áudio, visual e texto, mantendo ao mesmo tempo os dados estruturais únicos associados a cada modalidade.

Uma separação eficaz é garantida pela reconstrução com restrições de independência. A reconstrução da característica da modalidade original é dada por:

  (11)

onde  é uma rede decodificadora. A perda de reconstrução preserva os seguintes dados:

   (12)

Além disso, a ortogonalidade, ou decorrelação, entre emoção e representações específicas da modalidade frequentemente limita a sobreposição de informações:

   (13)

Ao atingir esses objetivos, o modelo pode aprender representações emocionais que são confiáveis, compreensíveis e resistentes à variabilidade de modalidade. Fusões cruzadas modais baseadas em grafos e características de mapeamento visual, especialmente para o design de interação inteligente, dependem fortemente de representações emocionais interpretáveis e estruturadas.

Consistência emocional entre modalidades

A inclusão da consistência emocional melhora claramente a eficácia da fusão entre as modalidades. Isso ocorre porque as estratégias de fusão não precisam compensar grandes lacunas entre as duas representações, já que os embeddings emocionais específicos da modalidade compartilham um espaço latente. A ilustração combinada das duas emoções é descrita da seguinte forma . A fusão ponderada será mais estável quando as representações específicas da emoção forem consistentes, pois as variações entre os sinais de diferentes modalidades não afetarão mais o resultado.

   (14)

Ao impor o alinhamento semântico das informações emocionais, este objetivo minimiza discrepâncias entre modalidades e garante que a percepção emocional permaneça consistente, independentemente da modalidade utilizada para expressá-la. Consequentemente, um espaço de representação coeso e afetivo é criado ao projetar pistas emocionais obtidas de sinais de fala, expressões faciais e conteúdo linguístico.

Impacto na fusão cruzada de modalidades

A fusão multimodal torna-se mais eficaz quando a consistência emocional é introduzida entre as modalidades. Os mecanismos de fusão não precisam mais compensar grandes lacunas nas representações intermodais, pois os embeddings específicos à emoção são alinhados em um espaço latente comum. A representação emocional fundida é definida da seguinte forma:

  (15)

Onde α_m representa o peso da atenção atribuído à modalidade m. A fusão ponderada torna-se mais estável e compreensível quando as representações específicas da emoção são consistentes, já que o resultado da fusão mostra evidências emocionais complementares em vez de sinais contraditórios das modalidades.

Matematicamente, reduzir a  variância entre diversos tipos de representações específicas de emoções em relação a  é equivalente a:

   (16)

em que   representa a expressão média da emoção. A variância reduzida faz com que as modalidades de entrada sejam ponderadas de acordo com sua significância emocional precisa, em vez do ruído da modalidade, garantindo uma convergência melhorada da rede e uma avaliação de atenção mais precisa.

O objetivo final de aprendizado das visualizações emocionais desacopladas é combinar fragmentação, reconstrução e uniformidade emocional:

   (17)

que dois hiperparâmetros, λ₁ e λ₂, controlam a relação entre confiabilidade emocional cruzada e dissociação. O modelo proposto adquire representações emocionais invariantes à modalidade, interpretáveis e passíveis de fusão para alcançar esse objetivo, com ênfase em fornecer uma base sólida para a fusão baseada em grafos e representação em nível de características no design de interfaces inteligentes.

Fusão de atenção multimodal baseada em grafos

Uma rede de atenção multimodal baseada em grafos foi utilizada para simular relações emocionais finamente detalhadas entre as modalidades. Para facilitar o fluxo de informações entre as modalidades, foi construído um grafo multimodal totalmente conectado, no qual cada incorporação específica de modalidade (texto, áudio e visual) foi representada como um nó do grafo. As relações entre modalidades foram usadas para estabelecer a matriz de adjacência do grafo, a qual foi posteriormente aprimorada por meio de um método de atenção treinável. Um espaço latente compartilhado foi criado pela concatenação e projeção das saídas de múltiplos cabeçotes de atenção. Uma representação unificada de emoção multimodal foi então produzida ao agregar as representações dos nós usando um agrupamento ponderado pela atenção. Esse vetor fundido foi então fornecido aos módulos de predição e visualização para análise sensível à interação e reconhecimento de emoções. O módulo de fusão por grafos possuía uma dimensão de representação oculta de 256 e duas camadas de atenção em grafos, cada uma com oito cabeçotes de atenção. Para determinar a importância relativa das modalidades vizinhas, os coeficientes de atenção entre nós conectados foram calculados e normalizados usando a função softmax. Cada camada de atenção em grafos foi seguida por normalização de camada, conexões residuais e uma taxa de dropout de 0,2, a fim de aumentar a estabilidade durante o treinamento e reduzir o sobreajuste. Após a concatenação e projeção das saídas de diversos cabeçotes de atenção em um espaço latente comum, as representações dos nós foram combinadas em um único vetor de emoção multimodal por meio de agrupamento ponderado pela atenção. Em seguida, a representação fundida foi utilizada para mapeamento visual multivisão e predição de emoções.

Diversas interações cruzadas foram capturadas usando atenção gráfica multi-cabeça. A função softmax foi utilizada para normalizar os coeficientes de atenção entre nós conectados para cada nó. Para aumentar a estabilidade do treinamento e evitar overfitting, as camadas empilhadas de atenção gráfica do módulo de fusão gráfica foram seguidas por conexões residuais, normalização de camada e regularização por dropout.

Vamos considerar que os termos   representam individualmente as representações correspondentes às emoções específicas coletadas pelas modalidades visual, auditiva e textual; cada componente reside no espaço latente compartilhado . Os modelos para os nós de modalidade utilizam uma notação para o grafo , com os nós da coleção   correspondendo explicitamente aos três nós de modalidade, a fim de fortalecer de maneira explícita as dependências emocionais compartilhadas entre as diversas representações de modalidade.

Após atribuir um vetor de características específico à emoção a cada nó no grafo, temos:

   (18)

Diferentemente dos métodos tradicionais de fusão, que utilizam pesos de fusão predeterminados ou fixos, o método proposto aprende pesos de borda adaptativos com base em sua significância e interdependências, tanto entre canais quanto entre situações emocionais.

Uma rede de atenção em grafos (GAT) é utilizada para fusão intermodal. Um coeficiente de atenção é calculado para cada nó i e seus nós vizinhos, ou seja, nó j:

   (19)

O efeito emocional da troca do modo j para a modalidade i é medido pelos pesos normalizados α_ij.

Em seguida, a aparência fundida de cada nó de modalidade é calculada como um agrupamento ponderado de seus vizinhos:

   (20)

onde a função de ativação   é não linear. Em última análise, as características atualizadas de cada nó são combinadas para obter uma representação emocional global fundida:

   (21)

É uma técnica útil para modelagem interpretável de emoções e mapeamento visual subsequente, pois capta informações complementares de diversas modalidades, ao mesmo tempo que preserva as complexas relações intermodais.

O Algoritmo 1 (Arquivo Suplementar 1) fornece o esquema geral para realizar a fusão cruzada baseada em grafos. Inicialmente, cria-se um grafo com as características específicas de emoção associadas a cada uma das modalidades visual, auditiva e textual. Em seguida, calculam-se as pontuações de atenção para cada par de nós do grafo, que representam a combinação da dependência emocional. As pontuações de atenção são então normalizadas para indicar a contribuição relativa de cada modalidade ao contexto emocional especificado, permitindo a aprendizagem dos pesos de atenção. O embedding geral de emoção é produzido na última etapa pela agregação das características associadas aos nós do grafo. Nesse sentido, a fusão geral do algoritmo das características multimodais ligadas às emoções especificadas mostra potencial para adaptabilidade, interpretabilidade e inteligência contextual.

Figura 2 mostra a estrutura e o funcionamento da rede proposta de atenção cruzada modal para fusão de sentimentos multimodal. Os embeddings específicos para emoções, derivados independentemente para as modalidades textual, auditiva e de vídeo, são inicialmente passados por mecanismos de atenção em nível de modalidade que aprendem a importância relativa das informações linguísticas, vocais e faciais em um determinado contexto emocional. As representações ponderadas pela atenção das modalidades são então combinadas para formar um embedding emocional unificado, no qual a matriz de atenção captura as dependências intermodais e as intensidades de interação. A matriz de atenção aprendida pela rede modula dinamicamente as contribuições das modalidades, permitindo que ela se concentre na modalidade instrucional mais forte enquanto ignora aquelas ruidosas e menos informativas. A representação emocional fundida permite o reconhecimento preciso de emoções e a análise detalhada de estados emocionais, como neutro, abraço e preocupação.

Módulo de mapeamento visual

Com a ajuda da seção de mapeamento visual, criada especificamente para esse fim, um designer de interação inteligente pode converter a representação unificada do estado emocional em uma forma visual compreensível e prontamente utilizável após o processo de fusão cruzada de modalidades, com base no gráfico.

Para facilitar a compreensão das representações emocionais latentes, foram utilizadas técnicas de redução de dimensionalidade para visualizar os embeddings multimodais de emoção aprendidos. Após reduzir a dimensionalidade das características mantendo a maior parte da variância usando a Análise de Componentes Principais (PCA), os embeddings foram projetados em um espaço bidimensional para exibição, utilizando o t-SNE (t-distributed Stochastic Neighbor Embedding). Foram utilizados um valor de perplexidade de 30, uma taxa de aprendizado de 200 e 1.000 iterações de otimização para o t-SNE. Os agrupamentos específicos de emoções e as relações entre modalidades foram visualizados por meio das projeções obtidas. Os pesos normalizados de atenção cruzada obtidos pela rede de atenção baseada em grafos foram utilizados para criar mapas de calor de atenção. As contribuições relativas das modalidades textual, áudio e visual durante a predição da emoção são representadas nesses mapas de calor. Os coeficientes de atenção aprendidos foram usados como pesos das arestas para criar grafos de interação cruzada, o que permitiu a análise visual das relações intermodais e do fluxo de informação dentro do framework de fusão. Gráficos de trajetória emocional foram criados monitorando a evolução dos embeddings latentes de emoção ao longo de enunciados sucessivos, a fim de examinar a dinâmica emocional temporal. Essas trajetórias fornecem insights sobre como os estados emocionais e as contribuições das modalidades evoluem ao longo do tempo. Matplotlib e Scikit-learn são dois pacotes Python utilizados para criar todas as visualizações. Para avaliar a interpretabilidade, a formação de agrupamentos, as contribuições modais e a dinâmica emocional temporal, foram realizadas análises qualitativas das visualizações de embeddings, grafos de interação e mapas de calor de atenção.

Deixe a variável  representar a representação fundida do estado emocional pela função da rede de atenção em grafo. Em contraste com a visualização no nível de saída dos gráficos de estado emocional, o objetivo principal do módulo é converter as representações de estado emocional e os pesos correspondentes do mecanismo de atenção em uma forma visual compreensível.

Usando o valor aprendido de α_ji, cria-se um mapa de calor de atenção para examinar visualmente a contribuição de cada modalidade. Os pesos de atenção recebidos são então somados para determinar uma pontuação de importância composta para cada modalidade:

    (22)

em que s_i representa a contribuição emocional relativa da modalidade I. Para auxiliar na criação de um mapa de calor de atenção, os valores obtidos são normalizados e mapeados em uma escala de cores que facilita ao usuário identificar a modalidade predominante em diferentes etapas temporais ou estados interativos. Por meio de diversas modalidades de entrada visual, auditiva ou textual, essa interface ajuda o usuário a compreender como funciona o mecanismo de atenção do sistema.

O grafo aprendido é modelado especificamente como um "grafo de interação ponderado" para representar a dependência cruzada de modalidades nas emoções humanas. A própria modalidade é representada por cada nó no grafo, e a intensidade das interações envolvendo emoções humanas é representada por pesos na forma de α_ji nas arestas que os conectam. O grafo ponderado acima ilustra a intensidade das interações emocionais humanas. A definição de i e j é:

   (23)

A espessura ou transparência da linha na visualização do grafo é exibida adequadamente graças a esses pesos. Isso facilita a compreensão de como as modalidades interagem. O projetista pode entender melhor como os indicadores emocionais interagem durante o processo de fusão com a ajuda dos gráficos de interação cruzada.

Os embeddings de emoção fundidos  em diferentes etapas temporais são reduzidos a um espaço de menor dimensionalidade por meio de um algoritmo de redução de dimensionalidade, como PCA ou t-SNE, com o objetivo de exibir a evolução das emoções ao longo do tempo:

   (24)

onde a função de projeção é representada por . O surgimento de trajetórias emocionais 2D/3D, que mostram transições emocionais, intensidades e estabilidade nas interações, pode ser interpretado como uma representação intuitiva da evolução dos estados emocionais ao longo do tempo. Esses aspectos podem ser utilizados para interação inteligente, tomada de decisão e monitoramento em tempo real.

Diferentemente dos sistemas convencionais de emoção que simplesmente fornecem mapeamentos para classes ou pontuações específicas, este sistema enfatiza demonstrar como as emoções humanas se formam dentro dele. Ele revela seu processo de tomada de decisão ao oferecer visualizações de características intermediárias, incluindo fatores de ponderação, interações entre modelos e seus respectivos caminhos. Isso permite ao usuário compreender como cada fator — visual, vocal ou linguístico — o influencia na produção de suas respostas às emoções humanas.

Mapear emoções em formas compreensíveis por meio de representações visuais pode, portanto, preencher a lacuna entre a análise de emoções usando métodos de aprendizado profundo e sua integração para o design de interfaces inteligentes. Os dados coletados a partir de ambas as abordagens podem então ser utilizados para criar interfaces de usuário mais precisas. Assim, a abordagem proposta pode fornecer aos designers de interação informações essenciais para desenvolver interfaces de usuário mais precisas. Em outras palavras, a compreensão das emoções torna-se uma parte muito ativa do design de interação. A precisão só pode aumentar quando a compreensão das emoções é incorporada ativamente ao design de interação.

O módulo de mapeamento visual possibilita a explicabilidade de várias formas interconectadas, porém distintas: a explicabilidade em nível de característica revela as representações subjacentes de emoção criadas pela DNN, permitindo-nos compreender a semântica utilizada para descrever cada característica relacionada à emoção; a explicabilidade em nível de modalidade utiliza dados provenientes dos gráficos de interação e dos mapas de calor de atenção visual para descrever como cada modalidade — visual, áudio ou textual — contribui para as decisões tomadas para expressar emoções; e, por fim, as trajetórias resultantes do embedding de emoção permitem-nos entender como cada modalidade visual e textual muda ao longo do tempo sob uma perspectiva de interação dinâmica. Consulte o Algoritmo 2 (Arquivo Suplementar 1).

As características emocionais multimodais fundidas são mapeadas em representações visualmente significativas para o design de interação inteligente utilizando o Algoritmo 2 de mapeamento visual sugerido. Os pesos de atenção multimodal baseados em grafos são utilizados para quantificar as diferenças entre os elementos visuais, sonoros e textuais de entrada em cada passo temporal. Essas diferenças são então mapeadas em representações visuais para destacar as principais fontes que influenciam as emoções, utilizando elementos visuais de mapa de calor. Para fornecer uma visão elucidativa da interação entre os elementos de entrada e transmitir a evolução emocional gerada pelos elementos de entrada multimodais, são calculadas as intensidades de interação par a par, criando assim os pesos de interação multimodal. Enquanto isso, uma visão da evolução emocional é criada ao mapear os elementos emocionais fundidos acumulados ao longo do tempo em um espaço de baixa dimensionalidade, produzindo uma evolução contínua do elemento emocional.

Previsão de emoção e feedback de interação

O resultado da representação de emoção fundida, representado como , é então utilizado como uma função tanto para feedback de interação quanto para predição de emoção. Além disso, a predição de emoção é descrita como um modelo multitarefa que compreende uma tarefa de regressão para reconhecimento contínuo da intensidade da emoção e uma tarefa de classificação para reconhecimento de emoção discreta. O seguinte modelo de classificação baseado em softmax é utilizado para o reconhecimento de emoção discreta:

   (25)

onde  representa as probabilidades esperadas das classes de emoção e W_c  e b_c são restrições ajustáveis. A perda de entropia cruzada é utilizada para aprimorar o objetivo de classificação:

  (26)

em que y_k é a etiqueta real, e K é o número de classes de emoção. Um ramo de regressão é utilizado para estimar a intensidade da emoção em paralelo, produzindo uma predição de diversos atributos afetivos contínuos, incluindo valência e arousal. Dê a ele a seguinte definição:

   (27)

onde a pontuação esperada de intensidade emocional é indicada por . A perda do erro quadrático médio é utilizada para aprimorar a tarefa de regressão:

   (28)

Em geral, as duas tarefas são combinadas no objetivo de previsão:

   (29)

onde os objetivos de regressão e classificação são balanceados por λ. Isso sugere uma modificação dinâmica do módulo de visualização com base no estado emocional identificado, para permitir esse tipo de feedback consciente da interação. O contexto de interação em um determinado momento t é representado por c_t. A resposta do módulo de visualização é fornecida por:

    (30)

onde a função de adaptação de visualização é representada por . Isso torna possível ajustar as mapas de calor de modalidade, gráficos de interação e trajetórias emocionais em tempo real com base em mudanças e emoções antecipadas. Isso indica que o sistema oferece suporte substancial ao feedback, além de apresentar bom desempenho na predição de estados emocionais.

Resultados

Este trabalho valida o framework proposto de mapeamento visual para características emocionais multimodais em termos de interpretabilidade sensível à interação e desempenho preditivo, utilizando dois conjuntos de dados de referência, CH-SIMS e CMU-MOSEI. De acordo com os resultados experimentais, a abordagem sugerida apresenta desempenho consistentemente superior ao das técnicas atuais de reconhecimento emocional multimodal em diversas métricas, incluindo correlação, acurácia, pontuação F1 e erro absoluto médio (MAE). A representação desacoplada de emoções, o mecanismo de fusão intermodal baseado em grafos e a estratégia de aprendizado de representação profunda end-to-end contribuem para essa melhoria, permitindo uma modelagem emocional mais estável e semanticamente alinhada. A abordagem sugerida fornece insights mais ricos em nível de características por meio do mapeamento visual, o que vai além dos ganhos quantitativos e facilita a compreensão das contribuições das modalidades e das dinâmicas emocionais. Apesar das variações em idioma, expressão cultural e tamanho do conjunto de dados, o ganho de desempenho mencionado é observado consistentemente em ambos os conjuntos de dados, demonstrando a forte capacidade de generalização do framework proposto.

Os conjuntos de dados públicos CH-SIMS e CMU-MOSEI para emoção multimodal são utilizados no trabalho proposto. O conjunto de dados CH-SIMS compreende 2.281 clipes de vídeo de filmes, novelas e programas de variedades. Dados sincronizados de texto, áudio e visual estão disponíveis no CH-SIMS. Tanto as etiquetas de sentimento unimodal quanto multimodal são classificadas em categorias positiva, neutra e negativa. O grande conjunto de dados multimodal em inglês conhecido como CMU-MOSEI contém cerca de 23.453 clipes de vídeo anotados com mais de 1.000 oradores discutindo uma ampla variedade de temas. Este conjunto de dados contém tanto anotações contínuas de intensidade emocional, como valência e arousal, quanto etiquetas categóricas de emoção. Ao apoiar uma variedade de condições linguísticas, culturais e emocionais, a experimentação com esses dois conjuntos de dados utilizando o framework sugerido fortalece a robustez e a confiabilidade. Tabela 2 mostra os detalhes do ambiente de simulação.

Os principais parâmetros experimentais e de implementação utilizados para avaliar o framework proposto são resumidos neste ambiente de simulação. Para garantir uma dimensionalidade uniforme de características nas modalidades baseadas em texto, áudio e visual, codificadores baseados em transformadores são aplicados de forma uniforme. Ele emprega um mecanismo de atenção baseado em grafos para a fusão multimodal, permitindo a aprendizagem adaptativa das dependências intermodais em relação aos estados emocionais.

O framework proposto extrai representações textuais, auditivas e visuais utilizando codificadores de modalidade baseados em transformadores. Camadas totalmente conectadas com ativação ReLU projetam os embeddings específicos de cada modalidade em um espaço latente compartilhado. Codificadores separados, específicos para emoção e para modalidade, cada um com duas camadas totalmente conectadas e ativação não linear e normalização, são então utilizados para aprender representações desacopladas. As representações latentes são projetadas em um espaço de características de 256 dimensões, onde as informações de cada modalidade e emoção são aprendidas separadamente. Para manter as informações da modalidade e promover um desacoplamento eficiente, são utilizados decodificadores de reconstrução. Antes da fusão multimodal e da predição, o módulo de atenção cruzada baseado em grafos modela as dependências emocionais entre as modalidades usando as representações latentes. A rede foi treinada utilizando o otimizador Adam com uma taxa de aprendizado inicial de 1 × 10⁻⁴ e um tamanho de lote de 32. A parada antecipada foi empregada com base na perda de validação para evitar overfitting. A função objetiva total compunha-se das perdas de classificação, reconstrução e consistência de representação, cada uma ponderada por hiperparâmetros ajustáveis. O treinamento do modelo foi realizado por até 100 épocas, e o modelo com melhor desempenho no conjunto de validação foi mantido para os testes.

A estrutura proposta foi avaliada utilizando métricas de classificação, incluindo Acurácia, Precisão, Revocação e pontuação F1, juntamente com métricas de regressão, como Erro Médio Absoluto (MAE). A Precisão, a Revocação e a pontuação F1 foram calculadas usando média macro para levar em conta o desequilíbrio entre classes nas categorias de emoção. Para os experimentos de classificação, as etiquetas predefinidas de emoção/sentimento fornecidas pelos conjuntos de dados CH-SIMS e CMU-MOSEI foram utilizadas como classes de referência. Para a predição de sentimento baseada em regressão, os escores contínuos de intensidade de sentimento dos conjuntos de dados serviram como variáveis-alvo. Matrizes de confusão foram geradas para analisar o desempenho da predição por classe e os padrões de classificação incorreta com um intervalo de confiança de 95%. Para garantir robustez, cada experimento foi repetido 5 vezes utilizando diferentes inicializações aleatórias, e os resultados relatados correspondem à média ±± desvio padrão do desempenho em todas as execuções. A significância estatística foi avaliada utilizando procedimentos apropriados de teste de hipóteses, e os intervalos de confiança foram calculados quando aplicável. O tempo de treinamento foi medido como o tempo total decorrido necessário para a convergência do modelo na plataforma de hardware especificada.

Vários modelos de linha de base representativos, incluindo fusão precoce e fusão tardia, podem ser comparados com o método proposto: TFN, métodos baseados em LSTM, modelos de fusão multimodal de posto baixo, transformadores multimodais adaptativos e novas arquiteturas baseadas em atenção intermodal. Essas linhas de base refletem técnicas de ponta que se concentram principalmente em melhorar a precisão do reconhecimento de emoções por meio de diversos métodos de fusão. A aprendizagem de representação desacoplada do framework sugerido e a fusão baseada em grafos melhoram a interpretabilidade e a percepção de interação, em contraste com esses métodos, que se concentram principalmente na predição no nível de saída. LSTM Fusion, TFN, Fusão Multimodal de Posto Baixo (LMF), Adaptive-Graph e técnicas baseadas em transformadores são exemplos de modelos de linha de base implementados usando seus repositórios oficiais ou implementações de referência publicamente acessíveis. As configurações originais de hiperparâmetros dos autores foram utilizadas quando disponíveis. Todos os modelos de linha de base retreinados foram avaliados usando as mesmas divisões de conjunto de dados, técnicas de pré-processamento, parâmetros de otimização e critérios de avaliação para garantir uma comparação justa. As tabelas de comparação identificam claramente as referências relevantes para dados derivados diretamente de publicações anteriores.

Precisão

A precisão da classificação de emoções discretas é medida tanto para o CH-SIMS quanto para o CMU-MOSEI; no entanto, a tendência de precisão difere conforme as características dos dois conjuntos de dados. Como o CH-SIMS é um conjunto de dados de tamanho médio com número igual de categorias de sentimento e clipes de vídeo cuidadosamente pré-processados, sua precisão é alta, sugerindo que o modelo consegue captar informações emocionais multimodais sutis com pouco ruído. Contudo, classificar emoções com precisão é desafiador porque o CMU-MOSEI é um conjunto de dados em larga escala com falantes de origens diversas. Portanto, além da capacidade do modelo de identificar o sentimento, a precisão no conjunto de dados CMU-MOSEI indica sua capacidade de generalizar e resistir a uma variedade de cenários de interação. A melhoria na precisão nos dois conjuntos de dados mostra que a abordagem proposta generaliza bem entre conjuntos de dados de diferentes idiomas, tamanhos e níveis de complexidade emocional.

As precisões de classificação da abordagem sugerida e de outras bases comuns nos conjuntos de dados CH-SIMS e CMU-MOSEI são apresentadas na Table 3. Conforme mostrado na Table 3, o framework proposto alcançou a maior precisão em ambos os conjuntos de dados CH-SIMS e CMU-MOSEI, superando a base mais forte (Adaptive-Graph) em aproximadamente 3,3% e 3,1 pontos percentuais, respectivamente. Valores menores de desvio padrão também indicam maior estabilidade ao longo de execuções experimentais repetidas. Abordagens tradicionais de fusão LSTM apresentam precisão inferior devido à sua capacidade limitada de capturar relações cruzadas complexas entre modalidades. TFN e LMF melhoram a precisão de classificação ao modelar relações intermodais.

Pontuação F1

Em problemas de classificação de emoções, o equilíbrio entre revocação e precisão é medido utilizando a pontuação F1. Para conjuntos de dados de classificação de emoções multimodal, que provavelmente apresentam um número desigual de classes, essa métrica é, portanto, mais adequada. Em tarefas de classificação de emoções, o equilíbrio entre revocação e precisão é medido pela pontuação F1. Como se espera que os conjuntos de dados de classificação de emoções multimodal sejam desbalanceados, a pontuação F1 é mais apropriada. Quanto melhor o modelo for capaz de detectar as classes de emoção, maior será a pontuação F1.

Figura 3 ilustra a avaliação do valor F1 da técnica proposta em comparação com as linhas de base no conjunto de dados CH-SIMS. O menor valor F1 da linha de base baseada em LSTM revela sua limitada capacidade de modelar relações emocionais complexas entre modalidades. Os valores F1 obtidos pelas técnicas avaliadas no conjunto de dados CH-SIMS são comparados na Figura 3. Como demonstrado, estruturas mais sofisticadas baseadas em grafos e em transformadores superam regularmente métodos de fusão mais convencionais. Com um valor F1 de 0,71, o modelo LSTM foi o pior, seguido pelo TFN (0,74) e pelo LMF (0,76). O valor F1 foi ainda elevado para 0,79 com o Adaptive-Graph, demonstrando a importância de modelar as conexões entre modalidades. Com um valor F1 de 0,82, a estrutura proposta superou o Adaptive-Graph em 3,8%, o LMF em 7,9%, o TFN em 10,8% e o LSTM em 15,5%. Esses resultados indicam que o mecanismo proposto de atenção intermodal baseado em grafos e a aprendizagem de representações desacopladas capturam de forma mais eficaz as informações emocionais complementares entre as modalidades textual, áudio e visual, resultando em um desempenho superior na classificação.

As tendências relativas são consistentes, embora todos os métodos apresentem uma leve queda no valor do F1 em comparação com o CH-SIMS, conforme mostrado na Figura 4. Os resultados mostram uma melhoria constante no desempenho, passando dos métodos tradicionais de fusão até as estratégias de aprendizado multimodal baseadas em grafos. Os modelos com os menores valores de F1 foram o LSTM (0,69), o TFN (0,72) e o LMF (0,74). O desempenho do modelo Adaptive-Graph aumentou para 0,77, demonstrando a eficácia com que as conexões entre modos distintos podem ser modeladas. A estrutura proposta superou todas as demais abordagens, alcançando o maior valor de F1, de 0,80. A melhoria em relação à linha de base mais forte, o Adaptive-Graph, demonstra a contribuição da representação desacoplada de emoções e do mecanismo de atenção multimodal baseado em grafos na captura de pistas emocionais complementares nos modos textual, acústico e visual. Esses resultados indicam que a estrutura proposta para reconhecimento multimodal de emoções é confiável e eficiente. A abordagem sugerida demonstra uma melhoria significativa tanto em relação à abordagem baseada em grafos quanto aos métodos tradicionais de fusão, confirmando ainda mais a forte capacidade de generalização do método. A melhoria no valor do F1 no conjunto de dados CMU-MOSEI demonstra que a abordagem proposta pode alcançar um desempenho equilibrado na classificação de emoções mesmo em ambientes ruidosos e diversos.

Precisão

Em sistemas de comunicação inteligentes, a precisão é crucial, pois um sinal emocional falso pode degradar a experiência do usuário. A razão entre as instâncias corretamente antecipadas de uma emoção específica e o número total de casos previstos como sendo essa emoção é conhecida como precisão. Como as representações emocionais desacopladas são menos ruidosas e menos suscetíveis a classificação incorreta na modalidade, o modelo proposto supera os modelos de referência no conjunto de dados CH-SIMS na Figura 5.

A precisão alcançada por diversas técnicas de reconhecimento multimodal de emoções nos conjuntos de dados CH-SIMS e CMU-MOSEI é comparada na Figura 5. Conforme os modelos avançam de técnicas tradicionais baseadas em fusão para arquiteturas mais sofisticadas baseadas em grafos, a precisão aumenta progressivamente. O framework proposto atingiu a precisão máxima de 0,82 no conjunto de dados CH-SIMS, com a precisão subindo de 0,71 para LSTM até 0,74, 0,76 e 0,79 para TFN, LMF e Adaptive-Graph, respectivamente. No conjunto de dados CMU-MOSEI, a precisão aumentou de 0,69 para LSTM até 0,72, 0,74 e 0,77 para TFN, LMF e Adaptive-Graph, respectivamente. A abordagem proposta alcançou a maior precisão de 0,80. O framework sugerido aumentou a precisão em aproximadamente 3,8% no CH-SIMS e 3,9% no CMU-MOSEI em comparação com a melhor linha de base (Adaptive-Graph). Esses resultados demonstram que, ao capturar informações emocionais complementares entre as modalidades textual, acústica e visual, o aprendizado de representação desacoplado proposto e o mecanismo de atenção multimodal baseado em grafos reduzem com sucesso as predições de falsos positivos. O impacto da modalidade irrelevante é ainda mitigado pela atenção multimodal baseada em grafos. A maior diversidade de falantes e expressões linguísticas no corpus CMU-MOSEI faz com que a precisão diminua ligeiramente para todos os modelos.

Recuperação

Em tarefas de reconhecimento de emoções, a revocação, uma medida da capacidade de um modelo classificar corretamente instâncias emocionais pertencentes a uma classe específica, é crucial porque a falta de informações emocionais pode afetar negativamente a qualidade da interação. Um valor mais alto de revocação indica que o modelo identifica menos falsos negativos e mais expressões emocionais reais. A revocação pode ser considerada uma medida da eficiência com que as informações emocionais são extraídas de modalidades textuais, auditivas e visuais no contexto da análise multimodal de emoções.

A vantagem da técnica proposta em relação às abordagens de referência nos conjuntos de dados CH-SIMS e CMU-MOSEI é demonstrada na comparação de revocação apresentada na Figura 6. À medida que os modelos evoluem de métodos convencionais baseados em fusão para estruturas multimodais mais sofisticadas baseadas em grafos, os resultados mostram consistentemente ganhos na revocação. A revocação no conjunto de dados CH-SIMS aumentou de 0,70 para LSTM até 0,73, 0,75 e 0,78 para TFN, LMF e Adaptive-Graph, respectivamente; a revocação máxima de 0,82 foi alcançada pela estrutura sugerida. A abordagem sugerida obteve a melhor revocação de 0,80 no conjunto de dados CMU-MOSEI, onde a revocação aumentou de 0,68 para LSTM até 0,71, 0,73 e 0,76 para TFN, LMF e Adaptive-Graph, respectivamente. A estrutura sugerida produziu melhorias relativas de aproximadamente 5,1% no CH-SIMS e 5,3% no CMU-MOSEI quando comparada com a melhor abordagem de referência (Adaptive-Graph). Esses resultados indicam que, ao capturar pistas emocionais complementares nas modalidades textual, acústica e visual, a aprendizagem proposta de representação desacoplada e o mecanismo de atenção multimodal baseado em grafos reduzem com sucesso as previsões de falso negativo, melhorando assim a identificação de classes emocionais em ambos os conjuntos de dados. Como os métodos tradicionais possuem capacidade limitada para modelar relações multimodais complexas, tendem a apresentar valores mais baixos de revocação. Ao modelar as relações modais de forma mais explícita, TFN e LMF alcançam ganhos moderados. Ao simular as relações estruturadas entre as modalidades, o método Adaptive-Graph melhorou ainda mais a revocação. Para ambos os conjuntos de dados, o método proposto alcança a maior revocação, indicando sua maior capacidade de detectar instâncias emocionais em diferentes cenários de interação. A melhoria é mais evidente no conjunto de dados CMU-MOSEI de grande escala, demonstrando a robustez e a generalização da estrutura proposta.

Erro médio absoluto (MAE)

O Erro Médio Absoluto (MAE) é utilizado para avaliar o desempenho de tarefas de predição contínua da intensidade de emoções, como a predição de valência ou arousal. Diferentemente da acurácia, o MAE reflete melhor a proximidade da intensidade emocional prevista com relação ao estado emocional real. Por isso, o MAE é mais apropriado para conjuntos de dados como CH-SIMS e CMU-MOSEI, que possuem rótulos afetivos contínuos. Um valor menor de MAE indica maior precisão na predição da intensidade emocional.

A comparação de MAE entre o framework proposto e as abordagens de referência nos conjuntos de dados CH-SIMS e CMU-MOSEI é apresentada na Tabela 4. Métodos tradicionais de fusão baseados em LSTM tendem a apresentar valores mais altos de MAE devido à sua capacidade limitada de modelar dependências emocionais multimodais complexas. O TFN e o LMF conseguem reduzir o MAE ao modelar interações multimodais, e a abordagem Adaptive-Graph reduz ainda mais ao aprender as relações entre grafos de modalidades. O framework proposto alcança o menor MAE em ambos os conjuntos de dados, indicando uma estimativa mais precisa da intensidade emocional. Vale ressaltar que a melhoria é mais significativa no conjunto de dados CMU-MOSEI, onde a variabilidade em larga escala dos dados e as condições dos falantes tornam a tarefa de predição mais desafiadora.

Matriz de confusão para o conjunto de dados CH-SIMS

Os métodos de referência de LSTM com fusão inicial e TFN apresentam confusão significativa entre as classes de emoções neutras e positivas, de acordo com as matrizes de confusão para o conjunto de dados CH-SIMS. Isso sugere que esses métodos não são muito eficazes na identificação de expressões emocionais multimodais sutis. Por outro lado, o método proposto exibe claramente uma forte dominância diagonal, com pouquíssimos elementos fora da diagonal, melhorando assim a separabilidade das classes. O mecanismo de aprendizado de emoções desacoplado do método proposto garante uma representação consistente das emoções entre as modalidades, e sua abordagem de fusão por grafos melhora a discriminação entre classes de sentimento estreitamente relacionadas. Figura 7A–E mostra a matriz de confusão para o conjunto de dados CH-SIMS com diversos métodos de referência.

Matriz de confusão para o conjunto de dados CMU-MOSEI

A estrutura proposta utiliza incorporações de emoção invariantes à modalidade e pesos de atenção adaptativos para reduzir significativamente a taxa de classificação incorreta, especialmente para entradas emocionalmente ambíguas. Isso confirma que a estrutura sugerida funciona bem em uma variedade de cenários de interação multimodal em larga escala. Devido ao tamanho do conjunto de dados, à variação entre os falantes e à natureza contínua das etiquetas de sentimento, as matrizes de confusão do CMU-MOSEI apresentam uma taxa de classificação incorreta geral mais elevada. Os métodos de referência mostram um grau considerável de confusão entre várias categorias de emoção. Figura 8A–E mostra a matriz de confusão para o conjunto de dados CMU-MOSEI com diversos métodos de referência.

Tempo de treinamento por época

Os compromissos computacionais das técnicas avançadas de fusão multimodal são destacados pela comparação do tempo de treinamento por época. Devido aos codificadores tipo transformador e aos mecanismos de atenção em grafos, o modelo proposto exige um tempo de treinamento um pouco maior do que as abordagens de fusão simples, mas esse aumento não é inviável. O framework proposto demonstrou bom desempenho em conjuntos de dados de referência para análise emocional multimodal e apresenta potencial para integração em sistemas inteligentes de interação humano-máquina. Contudo, a adequação para implantação em tempo real não foi avaliada no presente estudo e exige investigação adicional por meio de análises de latência, taxa de processamento, memória e implantação. Notavelmente, a estabilidade aprimorada da convergência e o desempenho superior em predição e interpretabilidade tornam o custo computacional adicional justificável. Figura 9 mostra o resultado do tempo de treinamento por época para o método proposto.

Estudo de ablação

Para determinar a influência de cada elemento importante na estrutura proposta, como o módulo de mapeamento visual, a fusão cruzada baseada em grafos e a representação desacoplada de emoções, foi realizada uma análise de ablação. Para compreender o impacto, cada elemento foi eliminado um de cada vez. De acordo com os resultados experimentais, a estratégia de fusão em grafos melhora a modelagem da dependência cruzada entre modalidades, e a contribuição da representação desacoplada de emoções é a mais importante para a estabilidade do desempenho. O papel auxiliar do módulo de mapeamento visual é validado pelo leve impacto que sua remoção tem no desempenho. Os resultados da análise de ablação sob as mesmas condições de treinamento e avaliação são apresentados na Tabela 5. A maior deterioração do desempenho foi observada após a remoção do módulo de atenção cruzada baseado em grafos, o que reduziu a acurácia de 81,72% para 77,88% e o valor F1 de 0,823 para 0,776. Isso destaca a importância de modelar interações intrincadas entre modalidades. O papel do módulo de aprendizado de representação desacoplada no aprendizado de representações robustas e específicas para emoções foi demonstrado pelo fato de que sua remoção reduziu a acurácia em 2,78 pontos percentuais e o valor F1 em 0,032. A principal vantagem do módulo de mapeamento visual é a interpretabilidade, e não a acurácia de classificação, como evidenciado pela queda relativamente menor no desempenho de predição após sua remoção. A configuração de Fusão Básica apresentou o pior desempenho, demonstrando que o melhor desempenho no reconhecimento multimodal de emoções exige a influência combinada de todos os módulos propostos.

DISPONIBILIDADE DE DADOS:

Os conjuntos de dados utilizados neste estudo são conjuntos de dados de referência publicamente disponíveis. O conjunto de dados CMU-MOSEI é fornecido pelo Carnegie Mellon University Multimodal SDK e descrito em Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), com acesso disponível em https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. O conjunto de dados CH-SIMS é descrito em Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) e está publicamente acessível por meio dos recursos fornecidos pelos autores, incluindo https://github.com/thuiar/MMSA. Todos os experimentos foram realizados utilizando as versões oficiais desses conjuntos de dados. Os dados brutos extraídos, arquivos de dados processados, saídas do pré-processamento, partições de treinamento/validação/teste, representações de características derivadas e detalhes da implementação que sustentam os resultados deste estudo estão publicamente disponíveis no repositório Zenodo em https://doi.org/10.5281/zenodo.21124921.

Figura 1: Diagrama esquemático do framework proposto para mapeamento visual de características multimodais de emoção. Ilustração conceitual da arquitetura geral, mostrando a extração de características multimodais, aprendizado de representação desacoplado, fusão multimodal baseada em grafos com atenção e componentes de mapeamento visual para análise interpretável de emoções multimodais. Clique aqui para visualizar uma versão maior desta figura.

Figura 2: Diagrama esquemático do fluxo de trabalho do protocolo computacional proposto.
Representação conceitual do pipeline de processamento completo, incluindo aquisição do conjunto de dados, pré-processamento, extração de características específica por modalidade, fusão multimodal, visualização e etapas de predição de emoções Clique aqui para visualizar uma versão maior desta figura.

Figura 3: Comparação do desempenho do índice F1 no conjunto de dados CH-SIMS. Valores médios do índice F1 obtidos a partir de cinco execuções experimentais independentes (n = 5) utilizando diferentes inicializações de semente aleatória. As barras de erro representam ±± um desvio padrão (DP). Valores mais altos do índice F1 indicam melhor desempenho na classificação de emoções. Clique aqui para visualizar uma versão maior desta figura.

Figura 4: Comparação do desempenho do índice F1 no conjunto de dados CMU-MOSEI. Valores médios do índice F1 obtidos a partir de cinco execuções experimentais independentes (n = 5) utilizando diferentes inicializações de semente aleatória. As barras de erro representam ±± um desvio padrão (DP), e os valores correspondentes de média ±± DP são exibidos acima de cada ponto de dados. Valores mais altos do índice F1 indicam melhor desempenho na classificação de emoções. Clique aqui para visualizar uma versão maior desta figura.

Figura 5: Comparação de precisão nos conjuntos de dados CH-SIMS e CMU-MOSEI. Pontuações médias de precisão obtidas pelo LSTM, TFN, LMF, Adaptive-Graph e pela estrutura proposta em cinco execuções experimentais independentes (n = 5). As barras de erro representam ±± um desvio padrão (SD) calculado a partir de execuções repetidas com diferentes inicializações de semente aleatória. A estrutura proposta alcança a maior precisão em ambos os conjuntos de dados, demonstrando uma discriminação aprimorada das classes de emoção por meio da aprendizagem eficaz de características multimodais e fusão intermodal baseada em grafos. Clique aqui para visualizar uma versão maior desta figura.

Figura 6: Comparação de revocação nos conjuntos de dados CH-SIMS e CMU-MOSEI. Pontuações médias de revocação obtidas pelo LSTM, TFN, LMF, Adaptive-Graph e pela estrutura proposta em cinco execuções experimentais independentes (n = 5). As barras de erro indicam ±± um desvio padrão (DP) derivado de experimentos repetidos. A estrutura proposta alcança consistentemente a maior revocação em ambos os conjuntos de dados, indicando capacidade superior na captura de informações emocionais multimodais e na redução de previsões falsos-negativas. Clique aqui para visualizar uma versão maior desta figura.

Figura 7: Matriz de confusão para o conjunto de dados CH-SIMS com diversos métodos de linha de base. As linhas correspondem às classes reais de emoção, e as colunas correspondem às classes previstas. Os valores das células representam a porcentagem de amostras normalizadas em relação a cada classe verdadeira. A matriz de confusão foi calculada utilizando a partição de teste mantida do CH-SIMS. Porcentagens diagonais mais altas indicam maior precisão de reconhecimento para a categoria de emoção correspondente. Matrizes de confusão de (A) LSTM com fusão precoce, (B) TFN, (C) LMF, (D) Grafo Adaptativo e (E) Método proposto no conjunto de dados CH-SIMS. Clique aqui para visualizar uma versão maior desta figura.

Figura 8: Matriz de confusão para o conjunto de dados CMU-MOSEI com diversos métodos de linha de base. As linhas representam as etiquetas reais de emoção e as colunas representam as etiquetas previstas. Os valores são apresentados como porcentagens normalizadas por classe no conjunto de testes CMU-MOSEI. A matriz ilustra tanto as amostras corretamente classificadas (entradas diagonais) quanto a confusão entre categorias emocionais (entradas fora da diagonal). Matriz de confusão no CMU-MOSEI (A) LSTM com fusão precoce, (B) TFN, (C) LMF, (D) Grafo Adaptativo e (E) Método proposto no conjunto de dados CMU-MOSEI. Clique aqui para visualizar uma versão maior desta figura.

Figura 9. Comparação do tempo de treinamento por época em conjuntos de dados multimodais de emoção de referência.
Tempo médio de treinamento por época obtido a partir de cinco execuções experimentais independentes (n = 5) para os conjuntos de dados CH-SIMS e CMU-MOSEI sob configurações idênticas de hardware e software. As barras de erro representam ±± um desvio padrão (DP) calculado a partir de experimentos repetidos utilizando diferentes inicializações de sementes aleatórias. Valores mais baixos indicam maior eficiência computacional, enquanto tempos de treinamento estáveis entre as execuções indicam melhor reprodutibilidade e consistência do treinamento. Clique aqui para visualizar uma versão maior desta figura.

Conjunto de dados	Modalidades	Número de amostras	Idioma	Rótulos de emoção/sentimento
CH-SIMS34	Vídeo, Áudio, Texto	2.281 segmentos de vídeo	Chinês	Rótulos de sentimento multimodal e unimodal (negativo, neutro, positivo)
CMU-MOSEI35	Vídeo, Áudio, Texto	~23.453 clipes anotados	Inglês	Rótulos de intensidade de sentimento e emoção (contínuos e categóricos)

Tabela 1: Descrição do conjunto de dados. Resumo dos conjuntos de dados utilizados neste estudo, modalidades, número de amostras, idioma, rótulos de emoção/sentimento para os conjuntos de dados CH-SIMS e CMU-MOSEI.

Componente	Especificação
Framework de Programação	Python com PyTorch
Extrator de Características Visuais	Vision Transformer (ViT)
Extrator de Características de Áudio	Wav2Vec 2.0
Extrator de Características de Texto	RoBERTa
Estratégia de Fusão	Rede de Atenção Cruzada Baseada em Grafos
Dimensão de Características	768 por modalidade
Otimizador de Treinamento	Adam
Taxa de Aprendizado	1.00E-04
Tamanho do Lote	16
Hardware	GPU NVIDIA (por exemplo, série RTX)
Conjuntos de Dados de Avaliação	CH-SIMS, CMU-MOSEI
Dimensão Latente	2.56E+02
Dimensão de Embedding	768
Função de Ativação	ReLU
Otimizador	Adam
Taxa de Aprendizado	1.00E-04
Tamanho do Lote	32
Épocas	100
Parada Antecipada	Habilitada
Função de Perda	Classificação + Reconstrução + Consistência

Tabela 2: Ambiente de simulação. Configuração experimental e detalhes de implementação do ambiente de simulação, como especificações do modelo, características, otimizador e hardware utilizado.

Método	Precisão do CH-SIMS (%)	Precisão do CMU-MOSEI (%)
LSTM (Fusão Inicial/Tardia)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Método Proposto	81,72 ± 0,61	79,94 ± 0,69

Tabela 3: Avaliação da precisão do método sugerido em comparação com técnicas de linha de base nos conjuntos de dados CH-SIMS e CMU-MOSEI. Os resultados são apresentados como média ±± desvio padrão obtidos a partir de cinco execuções experimentais independentes (n = 5) utilizando diferentes inicializações de semente aleatória. Todos os métodos foram avaliados utilizando partições idênticas de treinamento, validação e teste de seus respectivos conjuntos de dados para garantir uma comparação justa.

Método	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Fusão Inicial/Tardia)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Método Proposto	0.298 ± 0.007	0.341 ± 0.008

Tabela 4: Resultado do erro absoluto médio. Os resultados são apresentados como média ±± desvio padrão, obtidos a partir de cinco execuções experimentais independentes (n = 5), utilizando diferentes inicializações de semente aleatória. Todos os métodos foram avaliados usando partições idênticas de treinamento, validação e teste de seus respectivos conjuntos de dados, para garantir uma comparação justa. Comparação do MAE para a predição de intensidade contínua de emoções utilizando o framework proposto e abordagens de referência em ambos os conjuntos de dados.

Variante do Modelo	Precisão (%)	Pontuação F1
Modelo Completo	81.72 ± 0.61	0.823 ± 0.008
Sem Desacoplamento	78.94 ± 0.74	0.791 ± 0.010
Sem Fusão de Grafos	77.88 ± 0.81	0.776 ± 0.011
Sem Mapeamento Visual	80.11 ± 0.66	0.807 ± 0.009
Fusão Básica	74.91 ± 0.98	0.742 ± 0.013

Tabela 5: Resultado do estudo de ablação com métodos de linha de base. Os resultados são apresentados como média ±± desvio padrão obtidos a partir de cinco execuções experimentais independentes (n = 5) utilizando diferentes inicializações de semente aleatória. Todos os métodos foram avaliados usando partições idênticas de treinamento, validação e teste de seus respectivos conjuntos de dados para garantir uma comparação justa. Comparação do desempenho entre variantes do modelo, indicando a eficácia da aprendizagem a partir de representações desacopladas, fusão baseada em grafos e o módulo de mapeamento visual.

Arquivo Suplementar 1: Algoritmo 1 e Algoritmo 2.Clique aqui para baixar este arquivo.

Discussão

Os resultados experimentais demonstram que, nas bases de dados CH-SIMS e CMU-MOSEI, o framework proposto de mapeamento visual para características emocionais multimodais supera as técnicas atuais de reconhecimento emocional multimodal. Em comparação com modelos de fusão precoce e tardia, como EF-LSTM e TFN, a técnica proposta alcança maior precisão e pontuações F1, demonstrando sua robustez no tratamento de informações emocionais diversas. A melhoria no método pode ser atribuída à representação emocional desacoplada, que suprime o ruído específico da modalidade e garante consistência emocional nas modalidades visual, áudio e textual³⁶.

Recentemente, modelos multimodais baseados em transformadores, como os Transformadores Multimodais Adaptativos³⁷ e o MIAR³⁸, demonstraram resultados impressionantes na modelagem de dependências cruzadas entre modos. No entanto, esses modelos concentram-se principalmente na predição e carecem de mecanismos que permitam a interpretabilidade em nível de características. Em contrapartida, o sistema proposto combina atenção cruzada baseada em grafos com um módulo de mapeamento visual, permitindo uma análise transparente das interações entre modalidades e emocionais. Este é um aspecto crucial atualmente ausente na literatura, na qual a inferência emocional é tratada como um processo de caixa-preta.

O framework proposto demonstrou desempenho consistente nos conjuntos de dados de referência CH-SIMS e CMU-MOSEI. Embora o framework possa ter aplicações potenciais em interações inteligentes entre humanos e máquinas, monitoramento de saúde, ambientes adaptativos de aprendizagem e outros sistemas sensíveis às emoções, o presente estudo avaliou o método apenas sob condições controladas de referência. Nenhuma implantação no mundo real, avaliação de interface com o usuário, estudo de usabilidade ou avaliação com sujeitos humanos foi realizada. Portanto, a eficácia prática do framework em ambientes operacionais permanece a ser investigada. Os trabalhos futuros concentrar-se-ão em avaliações orientadas à implantação, estudos centrados no usuário, análise de latência, avaliação do consumo de memória e desempenho em interações em tempo real.

Além disso, as melhorias de desempenho em diversos conjuntos de dados cultural e linguisticamente diversos demonstram a validade do framework proposto. Diferentemente de trabalhos anteriores validados em um único conjunto de dados ou em um cenário de interação específico, o framework proposto demonstra desempenho robusto entre idiomas, falantes e expressões emocionais. Portanto, o framework proposto é muito adequado para sistemas práticos de interação inteligente que exigem reconhecimento preciso de emoções e tomada de decisões interpretáveis.

A interpretabilidade do framework proposto foi avaliada por meio de análise baseada em visualização das representações multimodais aprendidas. Especificamente, incorporações latentes de emoções, mapas de atenção cruzada, gráficos de interação entre modalidades e trajetórias temporais de emoções foram examinados para fornecer insights sobre o processo de decisão do modelo e as contribuições das modalidades. O objetivo do módulo de mapeamento visual é aumentar a transparência, permitindo a observação das interações em nível de características e das dinâmicas emocionais. No entanto, métricas formais de interpretabilidade, avaliações de fidelidade da atenção e estudos com usuários não foram incluídos no trabalho atual. Portanto, os benefícios de interpretabilidade relatados devem ser interpretados como evidências baseadas em visualização, e não como medidas de explicabilidade quantitativamente validadas.

Do ponto de vista teórico, esta pesquisa traz as seguintes contribuições para a computação afetiva multimodal: propõe uma abordagem sistemática para modelar emoções que distingue claramente entre representações específicas de emoções e representações específicas de modalidades. Ao garantir a consistência emocional entre modalidades em um espaço latente comum, o framework sugerido avança a teoria de aprendizado de representação em sistemas multimodais. A incorporação de mecanismos de atenção baseados em grafos formaliza ainda mais as dependências entre as diferentes modalidades na expressão de emoções.

Do ponto de vista prático, o framework proposto é muito benéfico para o design de interação inteligente e interfaces de usuário sensíveis às emoções. O módulo de mapeamento visual no framework proposto permite que os projetistas de sistemas compreendam o efeito de várias modalidades na predição de emoções, o que é muito importante para esses profissionais. O framework proposto é muito útil para aplicações como agentes conversacionais afetivos, sistemas de aprendizagem adaptativa, interfaces de monitoramento em saúde e plataformas de avaliação de experiência do usuário.

No entanto, o framework proposto apresenta algumas limitações. O uso de mecanismos de atenção em grafos e codificadores tipo transformer adiciona complexidade, o que pode ser problemático para dispositivos com capacidades limitadas. Além disso, o estudo atual ignora outros sinais fisiológicos, como EEG e rastreamento ocular, em favor de concentrar-se nas modalidades visual, de áudio e textual. A eficiência computacional do framework sugerido para implantação em tempo real não foi avaliada especificamente, apesar de ter alcançado desempenho competitivo na predição e melhorado a capacidade de visualização. Pesquisas futuras examinarão o desempenho de implantação em contextos reais de interação inteligente, atraso na inferência, taxa de transferência, consumo de memória e técnicas de compressão de modelos. Para melhorar ainda mais a precisão da modelagem emocional e a capacidade de resposta da interação, pesquisas futuras se concentrarão no desenvolvimento de modelos leves, técnicas de otimização em tempo real e na incorporação de modalidades adicionais. O desempenho em implantação em tempo real não foi avaliado, e a inclusão de codificadores tipo transformer e métodos de atenção baseados em grafos aumenta a complexidade computacional. Apenas os conjuntos de dados de referência CH-SIMS e CMU-MOSEI foram utilizados para validar a metodologia, o que pode introduzir vieses específicos ao conjunto de dados e restringir a generalização para outros domínios, idiomas e populações de usuários. Adicionalmente, o estudo atual não inclui sinais fisiológicos como dados de EEG ou rastreamento ocular; em vez disso, concentra-se nas modalidades visual, de áudio e textual. Embora descrições detalhadas da implementação e do ambiente de simulação tenham aprimorado a reprodutibilidade, o código-fonte e os modelos pré-treinados ainda não estão disponíveis publicamente.

Um novo framework de mapeamento visual para aprendizado de características emocionais multimodais em design de interação inteligente é utilizado neste trabalho. O método proposto integra aprendizado de representação baseado em transformador de ponta a ponta, modelagem emocional desacoplada e atenção multimodal baseada em grafos para alcançar alta precisão preditiva e interpretabilidade. Experimentos nos conjuntos de dados CH-SIMS e CMU-MOSEI mostram que o framework proposto supera os modelos atuais de reconhecimento emocional multimodal em termos de acurácia e pontuação F1. Mais importante ainda, a solução de mapeamento visual proposta preenche a lacuna entre reconhecimento emocional e estratégia de interação e oferece uma nova direção para o projeto de sistemas interpretáveis ​​de computação afetiva multimodal com percepção de interação.

Para facilitar o design de interação inteligível e inteligente, este estudo apresentou um novo framework visual de mapeamento para aprendizado de características emocionais multimodais. O sistema proposto integra com sucesso a detecção emocional e a interpretabilidade dentro de uma única arquitetura, combinando extração de características multimodais baseada em transformadores, aprendizado de representação emocional desacoplado, fusão de atenção intermodal baseada em grafos e métodos de mapeamento visual. Além de oferecer representações visuais claras das contribuições das modalidades, das interações intermodais e da dinâmica temporal das emoções, a avaliação experimental nos conjuntos de dados de referência CH-SIMS e CMU-MOSEI demonstrou desempenho superior ao de métodos de referência representativos em diversas métricas, incluindo Acurácia, Precisão, Revocação, Pontuação F1 e Erro Absoluto Médio (MAE). No entanto, estudos de implantação no mundo real, avaliações centradas no usuário, avaliações quantitativas da explicabilidade e a integração de modalidades fisiológicas não estão incluídos neste estudo, que se restringe a avaliações em dois conjuntos de dados de referência. Além disso, ambientes com recursos limitados podem enfrentar dificuldades devido ao custo computacional dos codificadores de transformadores e dos processos de atenção baseados em grafos. Embora trabalhos futuros se concentrem em validações mais extensivas em diversos conjuntos de dados, integração de modalidades adicionais, estudos de usabilidade, disponibilização de recursos reprodutíveis e otimização para cenários de implantação em tempo real, o framework proposto demonstra, no geral, o potencial da análise multimodal interpretable de emoções para aplicações em computação afetiva e interação inteligente.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Adam	Biblioteca de Otimizadores do PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (Taxa de Aprendizado = 1 × 10-4)	Otimização de parâmetros durante o treinamento do modelo
CH-SIMS	Repositório do Conjunto de Dados Original	Última Versão Pública	Conjunto de dados de referência para análise multimodal de sentimento/emoção em chinês
CMU-MOSEI	Repositório do CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Última Versão Pública)	Conjunto de dados de referência para reconhecimento multimodal de sentimento e emoção
Codificador de Emoção Desacoplado	Implementação Personalizada	https://pytorch-geometric.readthedocs.io/en/latest/(Arquitetura de Codificador Duplo)	Separar representações latentes específicas de emoção e específicas de modalidade
Camada de Atenção Multimodal Baseada em Grafos (GAT)	PyTorch Geometric	GAT de múltiplos cabeçalhos (https://pytorch-geometric.readthedocs.io/en/latest/)	Modelagem de relações emocionais entre modalidades e fusão adaptativa de características
Camada de Atenção Multimodal Baseada em Grafos	Implementação Personalizada	Fusão de Atenção de Múltiplos Cabeçalhos	Aprendizado de dependências emocionais finas entre modalidades
Matplotlib	Projeto Matplotlib	3.7+	Geração de gráficos e análises visuais
NetworkX	Projeto NetworkX	3.0+	Construção e visualização de grafos de interação multimodal
GPU NVIDIA	Corporação NVIDIA	GPU com suporte a CUDA	Aceleração do treinamento de transformadores e redes neurais baseadas em grafos
Análise de Componentes Principais (PCA)	Scikit-learn	sklearn.decomposition.PCA	Redução inicial de incorporações emocionais de alta dimensão
Python	Fundação Python	3.8+	Linguagem de programação principal para implementar o framework de análise de emoção multimodal
PyTorch	Fundação PyTorch	2.0+	Desenvolvimento, treinamento e otimização de redes neurais profundas
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, incorporações de 768 dimensões)	Extração de representações linguísticas e semânticas contextuais de emoção
Seaborn	Projeto Seaborn	0.12+	Geração de mapas de calor de atenção e visualizações estatísticas
Embutimento Estocástico Distribuído em vizinhança-t (t-SNE)	Scikit-learn	scikit-learn.org (Perplexidade = 30, Iterações = 1000)	Visualização de agrupamentos e trajetórias emocionais latentes
Ubuntu Linux	Canonical Ubuntu	20.04 LTS ou posterior	Ambiente experimental de execução
Transformador de Visão (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, incorporações de 768 dimensões	Extração de representações visuais sensíveis à emoção a partir de quadros de vídeo
Wav2Vec 2.0	Pesquisa da Meta AI	Modelo Base, incorporações de 768 dimensões	Extração de características acústicas e de fala contextuais de emoção