Cartographie visuelle des caractéristiques émotionnelles multimodales pour la conception d'interactions intelligentes

Résumé

Ce travail propose un cadre d'analyse des émotions multimodal de bout en bout qui exploite des encodeurs transformeurs, des représentations d'émotions désintriquées et une attention intermodale basée sur les graphes avec une cartographie visuelle afin d'améliorer la précision de la reconnaissance des émotions sur deux ensembles de données.

Résumé

En permettant aux machines de comprendre, d'interpréter et de réagir aux états affectifs humains, la cartographie visuelle des traits émotionnels multimodaux est essentielle à la conception d'interfaces intelligentes. Toutefois, les algorithmes actuels de détection des émotions multimodales se concentrent principalement sur la performance prédictive, offrant peu d'éclairages sur l'interprétabilité, la prise de conscience des interactions ou les interactions intermodales au niveau des caractéristiques. Ce travail présente un cadre pour la cartographie visuelle des aspects émotionnels multimodaux combinant une visualisation orientée interaction, un apprentissage de représentations interprétables et la prédiction des émotions. Sans utiliser de caractéristiques créées manuellement, des encodeurs basés sur des transformeurs ont été utilisés pour extraire des intégrations émotionnelles de haut niveau à partir des modalités textuelle, audio et visuelle. Afin d'améliorer la robustesse, des informations spécifiques aux émotions et spécifiques aux modalités ont été séparées à l'aide d'une technique d'apprentissage de représentations désentrelacées. De plus, un réseau d'attention intermodale basé sur les graphes a été conçu pour modéliser, grâce à un pondération d'attention adaptative, les relations émotionnelles subtiles entre les modalités. Un module de cartographie visuelle multi-vue a été développé afin de représenter les trajectoires émotionnelles temporelles, les distributions d'attention intermodale et les intégrations émotionnelles latentes, améliorant ainsi la transparence. Le jeu de données Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) et le jeu de données chinois d'analyse des sentiments multimodaux (CH-SIMS) ont été utilisés pour évaluer le cadre proposé. Selon les résultats expérimentaux, le cadre proposé offrait une meilleure interprétabilité au niveau des caractéristiques et une visualisation sensible aux interactions, tout en surpassant systématiquement les méthodes de référence représentatives en termes de précision, de score F1, de corrélation et d'erreur absolue moyenne. En outre, le module de cartographie visuelle a facilité l'interprétation qualitative des représentations émotionnelles multimodales, des interactions intermodales et des dynamiques émotionnelles temporelles, soutenant ainsi la visualisation et l'analyse sensibles aux interactions.

Introduction

La capacité à identifier correctement et à comprendre les émotions humaines est devenue essentielle pour améliorer l'interaction entre les humains et les machines. En plus d'être fondamentale pour l'amélioration de l'interaction homme-machine, l'analyse des émotions a le potentiel de révolutionner plusieurs domaines, notamment le diagnostic médical pré-diagnostique¹, l'analyse comportementale en classe², le suivi psychologique des patients³, l'identification de la fatigue dans les véhicules⁴ et la gestion intelligente dans les environnements domestiques intelligents⁵. Les récents progrès dans l'informatique affective et l'apprentissage profond⁶ ont accru l'intérêt pour la création de systèmes en temps réel capables de saisir la complexité des émotions humaines.

De nombreuses méthodes actuelles s'appuient principalement sur des données unimodales, telles que des signes textuels, graphiques ou auditifs^7,8,9Ces approches échouent systématiquement à détecter des signaux subtils tels que l'ironie ou les nuances spécifiques au contexte. La recherche s'oriente désormais vers l'évaluation émotionnelle multimodale, qui intègre des données complémentaires provenant de multiples sources afin de surmonter ces limitations.^10,11,12Les avantages de la fusion de plusieurs modalités ont été démontrés par des modèles de référence tels que la mémoire à long et court terme avec fusion précoce (EF-LSTM)13 et les réseaux neuronaux profonds légers et FM (LF-DNN).¹⁴, les réseaux de fusion tensorielle (TFN) et les approches de fusion multimodale à faible rang. Cependant, la plupart de ces approches reposent sur une génération hors ligne des caractéristiques et ne conviennent pas à des situations dynamiques du monde réel.

Afin de prendre en compte les états émotionnels, la recherche et les applications dans le domaine de l'identification multimodale des émotions se sont développées au cours des dix dernières années¹⁵. L'une des zones de recherche les plus difficiles et les plus importantes aujourd'hui est la surveillance continue des états émotionnels à l'aide de diverses sources de données¹⁶. La notion de multimodalité est apparue tout naturellement avec l'émergence d'un tel système varié de connaissances, conduisant à de nombreuses avancées dans l'application des émotions dans des domaines tels que le calcul émotionnel, l'interaction homme-machine (IHM), l'apprentissage, les jeux vidéo, le service à la clientèle, les soins médicaux, l'évaluation de l'expérience utilisateur (UX), etc. Toutefois, l'application des techniques de reconnaissance des émotions à l'évaluation de l'expérience utilisateur n'a pas toujours été simple.

L'une des principales raisons de privilégier la reconnaissance multimodale plutôt que les méthodes unimodales réside dans les inconvénients inhérents à la dépendance à une seule source d'information. Les systèmes de détection des émotions unimodaux peuvent souffrir d'une précision réduite en raison de données manquantes ou imprécises, tandis que les approches MER sont plus fiables et offrent une compréhension plus complète et nuancée des états expressifs en intégrant plusieurs sources de données¹⁷. Par exemple, le langage facial seul peut ne pas suffire à classer précisément les émotions, notamment lorsque les gestes sont complexes ou ambigus. Toutefois, la combinaison des expressions faciales avec d'autres formes de communication, telles que le langage ou les indices physiques, pourrait améliorer la précision de la reconnaissance des émotions.

Des recherches approfondies sur la reconnaissance des émotions ont été menées sur plusieurs modalités. Les premières études se sont concentrées sur l'identification de caractéristiques distinctives provenant de différentes modalités, telles que les entrées graphiques, acoustiques ou textuelles. Il devient toutefois de plus en plus évident que l'intégration de diverses modalités peut fournir une information émotionnelle équilibrée, conduisant à une détection des sentiments plus fiable et plus précise. Ce segment passe en revue les avancées clés dans l'analyse des émotions unimodale et multimodale, en mettant l'accent sur les approches de base, leurs limites et la justification de notre méthode.

La première étude sur la reconnaissance des émotions s'est principalement concentrée sur une seule modalité. Dans le domaine visuel, des recherches pionnières ont permis de catégoriser les mouvements faciaux typiques²⁰. Des progrès ultérieurs ont inclus des techniques permettant de capturer la dynamique temporelle, comme le mouvement visuel²¹ et les modèles de Markov cachés²², tandis que les réponses faciales ont été divisées en unités d'action à l'aide du système de codage des actions faciales (FACS)²³. Les LSTM et les réseaux neuronaux convolutifs (CNN) ont été utilisés avec succès pour extraire des caractéristiques significatives directement à partir de signaux audio bruts ; les méthodologies d'identification des émotions basées sur l'audio ont évolué du traitement classique du signal vers l'apprentissage profond²⁴. L'extraction de signaux de sentiment contextuels dans l'analyse émotionnelle basée sur le texte a été considérablement améliorée par des réseaux neuronaux récurrents (RNN) intégrant des mécanismes d'attention, et plus récemment par des modèles basés sur les transformeurs. Malgré leurs réussites, les techniques unimodales sont intrinsèquement incapables de représenter fidèlement les complexités que les individus ressentent, car elles manquent des informations complémentaires présentes dans d'autres modalités.

Certains modèles fondés sur des mécanismes d'attention, tels que le modèle DialogXL25, ont été proposés en 2021 afin de recueillir des données environnementales à plus long terme dans le domaine de l'identification du sentiment en conversation. Kim et al.²⁶ ont introduit le modèle EmoBERTa en 2021 afin d'améliorer la précision de la reconnaissance des émotions dans les conversations (ERC). Ce modèle utilise des données sur les intervenants pour enrichir les caractéristiques des locuteurs dans les échanges ainsi que leurs interactions mutuelles. En 2022, Li et al.²⁷ a présenté la méthode CoG-BART. L'organisation utilise un apprentissage contrastif supervisé pour améliorer la capacité du modèle à interpréter les données pertinentes. Il convient de noter que l'apprentissage supervisé nécessite une quantité importante de données étiquetées.

Un exemple typique de ce type de travail est le cadre de représentation tenant compte des interactions multimodales (Multimodal Interaction-Aware Representation, MIAR)²⁸, qui utilise des jetons d'interaction de caractéristiques et un alignement contrastif pour améliorer la généralisation entre les modalités. MIAR améliore l'alignement des modalités et obtient des performances élevées sur plusieurs ensembles de données ; toutefois, il se concentre principalement sur la précision prédictive sans aborder la cartographie visuelle. De même, le modèle de fusion audiovisuelle à attention croisée (Cross-Attentional Audio-Visual Fusion model)²⁹ capture efficacement les interactions audiovisuelles fines pour la prédiction de la valence et de l'activation, mais se limite à deux modalités et ne dispose pas de fonctionnalités de visualisation. Les approches de modélisation temporelle basées sur les réseaux LSTM et la fusion par auto-encodeur parviennent à capturer correctement la dynamique temporelle des émotions, mais offrent peu d'informations sur les interactions entre modalités et les représentations émotionnelles apprises. Plus récemment, des méthodes basées sur les transformeurs, telles que le réseau de fusion multimodale basé sur les transformeurs (Transformer-based Multimodal Fusion Network, TMFN)³⁰, ont démontré de solides performances sur les jeux de données CMU-MOSI et CMU-MOSEI grâce à une fusion multimodale améliorée et à un apprentissage contrastif. Néanmoins, ces approches restent principalement axées sur la performance et offrent un soutien limité à l'explicabilité, à l'interprétation au niveau des caractéristiques et à la visualisation orientée vers les interactions.

Afin d'améliorer l'intégration des données textuelles, acoustiques et visuelles, plusieurs techniques de reconnaissance multimodale des émotions ont été proposées. Bien qu'elles n'aient pas réussi à capturer les interactions complexes entre modalités, les techniques de fusion précoce telles que EF-LSTM et LF-DNN ont démontré les avantages de l'utilisation d'informations multimodales pour l'analyse des sentiments et des émotions. Bien que le TFN ait amélioré les performances sur des jeux de données de référence comme CMU-MOSI et CMU-MOSEI et ait introduit une modélisation explicite des interactions intermodales, son interprétabilité limitée et sa complexité computationnelle élevée ont restreint son utilité. Pour améliorer l'alignement des modalités et la fusion dynamique des caractéristiques, des approches plus récentes telles que MIAR, les modèles de fusion à attention croisée, TMFN et les transformeurs multimodaux adaptatifs ont recours à des architectures de transformeurs et à des mécanismes d'attention. Ces méthodes se sont principalement concentrées sur la performance prédictive, offrant peu d'informations sur les représentations émotionnelles au niveau des caractéristiques et les dépendances intermodales, malgré des résultats compétitifs sur des métriques d'évaluation courantes telles que la précision, le score F1 et l'erreur absolue moyenne. En outre, peu d'études ont mis au point des techniques de visualisation permettant de révéler les plongements latents des émotions, les distributions d'attention et la dynamique temporelle des émotions, ou ont intégré une modélisation graphique des interactions intermodales. L'approche proposée intègre une cartographie visuelle multi-vues, une fusion d'attention intermodale basée sur les graphes et un apprentissage de représentations désintriquées afin de surmonter ces limites et d'améliorer les performances de la reconnaissance multimodale des émotions.

De même, le transformateur adaptatif multimodal³² propose une fusion par échange afin d'atténuer de manière adaptative les informations modales bruitées ou manquantes, améliorant ainsi la performance de la classification des sentiments. Bien que cette approche puisse efficacement corriger les écarts dans la distribution des informations modales, sa conception est spécifique à l'analyse des sentiments et offre peu d'informations sur les représentations émotionnelles apprises. Une autre contribution importante est le modèle de fusion multimodal³³, qui intègre des réseaux neuronaux convolutifs (CNN), des LSTM multiplicatifs et une attention basée sur les transformeurs pour la reconnaissance en temps réel des émotions multimodales. Ce modèle effectue une fusion complète des modalités vidéo, audio et texte, et démontre une performance robuste en matière de reconnaissance. Néanmoins, comme d'autres modèles existants, il se concentre principalement sur la précision prédictive et ne dispose pas de fonctionnalités explicites permettant la visualisation ou une interprétabilité orientée interaction.

En conclusion, bien que les approches actuelles de pointe en matière de reconnaissance multimodale des émotions aient obtenu des résultats considérables en capturant les interactions intermodales et en améliorant la précision des prédictions, la plupart d'entre elles se concentrent sur des tâches orientées vers la reconnaissance. Les aspects liés à l'interprétabilité au niveau des caractéristiques, à la visualisation des représentations émotionnelles dans l'espace image, ainsi qu'à l'intégration du cadre proposé dans la conception d'interactions intelligentes ont reçu peu d'attention. C'est en gardant ces défis à l'esprit que le cadre proposé est introduit.

La majorité des méthodes actuelles se concentrent principalement sur l'amélioration des performances prédictives tout en offrant une faible interprétabilité des représentations émotionnelles apprises et des interactions intermodales, malgré des progrès notables dans la reconnaissance multimodale des émotions^28,29. Les interactions complexes entre les modalités textuelle, acoustique et visuelle sont souvent difficiles à modéliser pour les stratégies de fusion actuelles, en particulier lorsque surviennent des divergences entre modalités et des pénuries d'information ^28,31. Bien que les architectures basées sur les transformeurs et les mécanismes d'attention aient amélioré l'apprentissage des représentations, leur transparence et leur interprétabilité sont souvent réduites par l'absence de séparation explicite entre l'information spécifique aux émotions et celle propre aux modalités^31,32,33. En outre, seules quelques études ont exploré la modélisation basée sur les graphes pour représenter les interactions intermodales ou développé des cadres de visualisation capables de révéler la dynamique temporelle des émotions, les distributions d'attention et les intégrations émotionnelles. Ces limites soulignent la nécessité d'un cadre multimodal interprétable pour une interaction intelligente homme-machine, combinant une cartographie visuelle orientée interaction avec un apprentissage intermodal robuste.

Ce travail présente un cadre interprétable pour la cartographie visuelle d'aspects émotionnels multimodaux dans la conception d'interfaces intelligentes. Sans nécessiter de caractéristiques créées manuellement, le système utilise un apprentissage profond de bout en bout pour extraire des représentations émotionnelles de haut niveau à partir de modalités textuelles, audio et visuelles. Les interactions émotionnelles intermodales sont modélisées à l’aide d’un mécanisme de fusion par attention basé sur les graphes, qui sépare les informations spécifiques aux émotions et celles spécifiques aux modalités, permettant un apprentissage de représentations désentrelacées et améliorant l’interprétabilité et la robustesse. En outre, un module de visualisation multi-vue est conçu pour afficher les dynamiques émotionnelles temporelles, les schémas d’attention intermodale et les intégrations émotionnelles. L’efficacité et l’adaptabilité du cadre proposé dans les systèmes intelligents d’interaction homme-machine sont évaluées par une validation sur des jeux de données de référence en reconnaissance émotionnelle multimodale.

Ce travail propose un cadre original pour la cartographie visuelle des aspects multimodaux des émotions, allant au-delà des approches traditionnelles axées sur la prédiction, afin de surmonter la modélisation insuffisante des interactions intermodales et l'interprétabilité limitée des systèmes actuels d'identification des émotions multimodales. Au sein d'une architecture unique, la méthode proposée combine un apprentissage de représentations multimodales basé sur les transformeurs, une modélisation de caractéristiques désentrelacées sensibles aux émotions, une fusion d'attention intermodale fondée sur les graphes et une visualisation orientée vers les interactions. Contrairement aux approches actuelles, qui se concentrent principalement sur la performance de classification, le cadre proposé sépare clairement les représentations spécifiques aux émotions et celles spécifiques aux modalités, afin d'améliorer l'interprétabilité, la robustesse et la cohérence intermodale. De plus, un mécanisme d'attention basé sur les graphes est introduit afin de permettre une modélisation adaptative des interactions intermodales en capturant les interdépendances émotionnelles fines entre les modalités textuelle, audio et visuelle. Un module de cartographie visuelle multi-vue est conçu pour accroître la transparence en révélant les trajectoires temporelles des émotions, les schémas d'attention intermodale et les plongements latents des émotions, offrant ainsi des aperçus intuitifs du processus de décision du modèle. En plus d'offrir une visualisation et une interprétabilité améliorées des dynamiques émotionnelles multimodales, une évaluation expérimentale sur les jeux de données de référence CH-SIMS et CMU-MOSEI a montré des performances compétitives en termes de précision, de score F1, d'erreur absolue moyenne et de corrélation.

Protocole

Le travail proposé vise à améliorer la conception d'interactions intelligentes en offrant un cadre interprétable pour la cartographie visuelle de caractéristiques émotionnelles multimodales. Les bases de données CH-SIMS et CMU-MOSEI, accessibles au public, ont été utilisées dans cette étude. Les deux jeux de données ont été obtenus auprès de leurs sources officielles et utilisés conformément aux directives d'utilisation, aux normes de recherche et aux conditions de licence établies par leurs créateurs respectifs. Le contenu multimodal des jeux de données, incluant des données textuelles, audio et vidéo, a d'abord été recueilli et annoté par les fournisseurs des jeux de données conformément à leurs autorisations accordées par les participants et à leurs protocoles de collecte de données. Aucune interaction humaine directe, aucun recrutement de nouveaux participants et aucune collecte d'informations personnellement identifiables n'ont été réalisés dans cette étude. Toutes les analyses ont été effectuées à l'aide de jeux de données de recherche accessibles publiquement. Par conséquent, notre analyse de données secondaires n'a nécessité aucune approbation éthique supplémentaire ni examen par un comité d'éthique institutionnel (IRB). L'étude a été menée conformément aux normes institutionnelles appropriées régissant l'utilisation de jeux de données accessibles publiquement, les procédures de recherche éthique et les politiques applicables en matière d'utilisation des données.

Un mécanisme d'attention transmodale basé sur les graphes a été utilisé pour apprendre des caractérisations émotionnelles à travers différentes modalités, en exploitant des caractéristiques spécifiques aux émotions ou aux modalités afin d'améliorer la compréhension. Un composant de mappage visuel multi-vue est utilisé pour renforcer la conception interactive en temps réel sensible aux émotions, et son efficacité est évaluée en matière de reconnaissance émotionnelle. Les résultats montrent que la méthode proposée améliore à la fois l'interprétabilité et l'efficacité des interfaces utilisateur intelligentes sensibles aux émotions dans des contextes réels. Figure 1 illustre le flux architectural du travail proposé. Figure 1 présente le flux complet du cadre de mappage visuel suggéré pour l'apprentissage de caractéristiques émotionnelles multimodales dans le contexte des systèmes d'interaction intelligents. Le processus commence par trois modalités d'entrée synchronisées, à savoir le texte, l'audio et la vidéo, qui capturent des informations émotionnelles complémentaires provenant respectivement des modalités linguistique, prosodique et des expressions faciales. Un encodeur transformeur spécifique à chaque modalité traite chaque modalité afin d'obtenir des représentations de haut niveau des données brutes d'entrée. Ces représentations sont ensuite transmises à un module d'apprentissage de représentations désintriquées, où les intégrations spécifiques aux émotions sont séparées des caractéristiques spécifiques aux modalités, afin d'assurer une cohérence dans les émotions apprises à travers des sources de données hétérogènes. Les intégrations spécifiques aux émotions provenant de chaque modalité sont ensuite agrégées par un réseau d'attention transmodale basé sur les graphes, qui modélise les dépendances émotionnelles inter-modales et attribue des poids d'importance dynamiques à chaque modalité en fonction du contexte d'interaction. Enfin, le cadre fournit à la fois des sorties de classification émotionnelle et des indications sur l'interaction, facilitant ainsi une prise de décision transparente sensible aux émotions et une conception d'interaction intelligente adaptative.

Acquisition de données multimodales

Les ensembles de données CH-SIMS et CMU-MOSEI sont deux ensembles de données multimodales existants et disponibles dans le domaine public qui ont recueilli des informations multimodales, telles que des vidéos, des fichiers audio et des textes synchronisés. L'ensemble de données CH-SIMS comprend des examens multimodaux portant sur des personnes chinoises, incluant 2 281 segments vidéo, extraits de plusieurs extraits provenant de films, de séries télévisées et d'émissions de variétés. L'ajout d'éléments audio et textuels correspondants à ces segments vidéo rend les études sur l'analyse multimodale des émotions plus intéressantes et plus accessibles. Toutefois, l'un des plus grands ensembles de données multimodales pour l'analyse des opinions, des sentiments et des émotions est l'ensemble de données CMU-MOSEI, recueilli à partir de plus de 23 000 extraits vidéo de phrases prononcées par plus de 1 000 locuteurs sur une grande variété de sujets. Cet ensemble de données a été divisé aléatoirement en sous-ensembles d'apprentissage (70 %), de validation (15 %) et de test (15 %), tout en préservant la distribution des classes.

Des transcriptions textuelles, des signaux audio et des images vidéo sont obtenus et alignés temporellement de manière à correspondre à un niveau temporel finement détaillé. L'intégration au niveau des images garantit que les mécanismes proposés d'apprentissage de représentation et de fusion basée sur les graphes peuvent conjointement modéliser et exploiter le contenu émotionnel issu des expressions visuelles, des tons vocaux et du contenu linguistique. Une extraction efficace des dynamiques émotionnelles intermodales est rendue possible par cette technique d'acquisition multimodale, essentielle à la conception d'interactions intelligentes et à une cartographie visuelle compréhensible.

Tableau 1 présente les structures clés des jeux de données multimodaux sur les émotions utilisés dans la méthode proposée. Afin d'obtenir un éventail plus large de sentiments associés, tels que les mots parlés, les intonations vocales et les expressions faciales, CH-SIMS et CMU-MOSEI intègrent les modalités vidéo, audio et texte provenant de ces jeux de données. En outre, un nombre limité d'échantillons de données est disponible dans CH-SIMS, permettant un examen approfondi des interactions entre modalités et des variations émotionnelles en Chine. En revanche, le jeu de données CMU-MOSEI revêt une importance plus grande pour évaluer la robustesse de l'apprentissage de représentation et des algorithmes de visualisation associés abordés dans ce travail, car il contient une grande quantité de données couvrant diverses langues, sujets et niveaux d'émotions annotés. De plus, par rapport aux recherches antérieures, il réduit les difficultés liées à la sélection d'informations lors des tests de modèles.

Prétraitement et synchronisation multimodaux

Les annotations temporelles provenant des jeux de données CH-SIMS et CMU-MOSEI ont été utilisées pour synchroniser les modalités textuelle, auditive et visuelle, assurant ainsi un apprentissage cohérent de la représentation multimodale. Chaque énoncé constituait l'unité fondamentale d'analyse et était associé à des segments audio et vidéo correspondants appartenant au même intervalle temporel. L'alignement a été effectué au niveau de l'énoncé. La transcription a été divisée en segments selon les horodatages de début et de fin de chaque énoncé. La correspondance entre la transcription, l'audio et la vidéo a été établie en extrayant les images vidéo et les signaux audio correspondants situés dans cet intervalle temporel. Alors que les segments audio ont été traités à l'aide de Wav2Vec 2.0 afin de produire des représentations acoustiques, les images visuelles du segment vidéo ont été échantillonnées à une fréquence prédéfinie et encodées à l'aide du Vision Transformer (ViT). L'encodeur RoBERTa a été utilisé pour créer des intégrations textuelles à partir des transcriptions des énoncés. La synchronisation temporelle a été obtenue en alignant toutes les caractéristiques des modalités sur une même limite d'énoncé, puisque les trois modalités produisaient des séquences de caractéristiques de longueurs variables. Un format de longueur fixe a été utilisé pour normaliser les séquences de longueurs différentes. Les séquences plus longues ont été tronquées à la longueur maximale autorisée, tandis que les séquences plus courtes ont été complétées par des zéros. Pendant l'apprentissage, des masques d'attention ont été utilisés pour distinguer les éléments complétés des positions légitimes des caractéristiques. Les intégrations spécifiques à chaque modalité ont été projetées dans un espace latent commun avant la fusion, afin de surmonter les différences de longueur de séquence entre les modalités. Cela a garanti une cohérence dimensionnelle et permis au mécanisme d'attention basé sur les graphes de faciliter un apprentissage efficace des interactions intermodales. Afin de préserver la qualité des données et l'intégrité de la synchronisation, les échantillons comportant des fichiers corrompus, des annotations manquantes ou des informations incomplètes sur les modalités ont été exclus des études.

Extraction de caractéristiques basée sur les transformeurs

Une méthode d'apprentissage profond est utilisée pour apprendre des représentations de caractéristiques de haut niveau intégrant les émotions à partir d'informations provenant de plusieurs modalités, telles que la vision, l'audio et le texte, de manière end-to-end, après l'alignement des données multimodales et tout prétraitement requis. En utilisant un encodeur de type transformeur pour apprendre des représentations de caractéristiques intrinsèquement discriminantes à partir de données multimodales brutes, la méthode proposée élimine le besoin d'ingénierie de caractéristiques. Afin de garantir la cohérence entre les ensembles de données utilisés dans l'approche proposée, un plongement (embedding) de taille fixe est appris pour chaque modalité. Par exemple, des plongements de caractéristiques de 768 dimensions sont appris pour chacune des modalités individuelles, notamment les modalités image, audio et texte, formant collectivement un espace de caractéristiques unifié utilisé dans l'ensemble de l'approche, en particulier une méthode d'extraction de caractéristiques appliquée à l'ensemble de données CH-SIMS proposé et à l'ensemble de données CMU-MOSEI afin d'apprendre des caractéristiques de haut niveau à partir de données de tailles variées.

Modalité visuelle : Transformeur de vision pour des intégrations de trames tenant compte des émotions

Un modèle Vision Transformer (ViT-Base) a été utilisé pour extraire des informations visuelles à partir des images de vidéos afin d'obtenir des représentations spatiales pertinentes pour les émotions. Avant l'extraction des caractéristiques, les images de chaque segment vidéo ont été redimensionnées à (224 × 224) pixels et échantillonnées à des intervalles temporels réguliers. En utilisant une taille de patch de 16 × 16 pixels, l'architecture ViT-Base produit une série de jetons visuels qui sont traités par 12 couches d'encodeur de transformeur. Les représentations au niveau des images ont été projetées dans un espace d'intégration de 768 dimensions à l'aide d'un modèle ViT préentraîné servant de squelette visuel. Les intégrations au niveau des images ont été agrégées par moyennage par pooling afin de créer la représentation visuelle finale pour chaque segment. Pendant l'apprentissage, une normalisation des images et des méthodes d'augmentation courantes, telles que le rognage aléatoire et le retournement horizontal, ont été utilisées pour améliorer la généralisation. Le cadre de fusion multimodale proposé a ensuite été utilisé pour combiner ces intégrations visuelles avec des représentations textuelles et auditives.

Pour préserver la dynamique temporelle des émotions, des extraits vidéo provenant des jeux de données CH-SIMS et CMU-MOSEI seront échantillonnés uniformément pour la modalité visuelle. Les images de chaque vidéo, , peuvent être divisées en N sections de taille fixe, puis aplaties et inversément transformées vers un espace d'incorporation latent de dimension . Une série est créée en ajoutant des incorporations de position ainsi qu’un jeton de regroupement ajustable :

   (1)

où  représente le codage de position et  est la matrice d'incorporation des fragments.

Des couches d'encodeur de transformeur empilées, composées de réseaux feed-forward et d'une auto-attention multi-têtes, sont utilisées pour traiter la séquence de fragments intégrée. La transformation au niveau de la couche l est décrite comme suit :

   (2)

   (3)

Pour obtenir le vecteur de caractéristiques visuelles sensible aux émotions, la sortie équivalente au jeton de classe est extraite comme vecteur de caractéristiques . Afin de traiter des représentations visuelles émotionnelles cohérentes malgré les différences linguistiques et de contenu entre les ensembles de données, les intégrations au niveau des images de chaque segment vidéo sont combinées pour capturer les expressions faciales et l'évolution des émotions.

Modalité audio utilisant Wav2Vec 2.0 pour les empreintes acoustiques de prosodie et sémantiques Des empreintes vocales contextualisées ont été produites à l’aide d’un encodeur préentraîné Wav2Vec 2.0 servant de base acoustique. Un vecteur de caractéristiques acoustiques de longueur fixe pour chaque phrase a été obtenu en regroupant les représentations cachées de sortie par moyennage. Le modèle Wav2Vec 2.0 a été utilisé pour extraire des représentations acoustiques à partir de signaux audio afin de capturer les caractéristiques vocales contextuelles et liées aux émotions. Avant l’extraction des caractéristiques, les enregistrements audio ont été normalisés et rééchantillonnés à 16 kHz. Afin d’assurer la synchronisation entre les modalités textuelle et visuelle, chaque segment audio au niveau de l’énoncé a été isolé en utilisant les bornes temporelles fournies par les annotations du jeu de données. L’encodeur acoustique préentraîné a été ajusté durant l’entraînement du modèle afin d’améliorer l’adaptation spécifique à la tâche, permettant ainsi aux représentations obtenues de refléter plus précisément les aspects émotionnels des signaux vocaux. Une fusion par attention multimodale basée sur les graphes et un apprentissage de représentations désintriquées ont ensuite été réalisés à partir des empreintes audio finales.

Dans le domaine audio, Wav2Vec-2.0 est utilisé pour modéliser les signaux de parole provenant des informations initiales de parole présentes dans les jeux de données CH-SIMS et CMU-MOSEI, extrayant directement des caractéristiques audio liées à l'émotion. Un codage de caractéristiques convolutif existe pour chaque signal de parole en entrée :

   (4)

où Z représente des traits prosodiques de bas niveau tels que la mélodie, le ton et l'énergie. Un réseau de contexte basé sur un transformeur est utile pour les structures susmentionnées, car il représente des dépendances temporelles à longue portée :

   (5)

Les données acoustiques prosodiques et sémantiques, essentielles pour exprimer l'émotion, sont incluses dans ces représentations acoustiques contextuelles. Un intégration audio de longueur fixe est créée en effectuant une procédure de regroupement temporel :

   (6)

La conception évite l'utilisation de caractéristiques acoustiques telles que les MFCC et assure une bonne robustesse en extrayant simplement des représentations à partir des formes d'onde, à l'aide de données vocales anglaises provenant de CMU-MOSEI et de données vocales chinoises provenant de CH-SIMS.

Modalité textuelle utilisant RoBERTa pour des intégrations contextuelles des émotions

Pour la modalité textuelle, le transformeur profond bidirectionnel RoBERTa est appliqué aux transcriptions vocales des deux jeux de données afin de générer une sémantique contextuelle et une signification affective. Des encodeurs de transformeur basés sur RoBERTa ont été utilisés pour extraire des représentations textuelles à partir des données de transcription afin de capturer l'information sémantique contextuelle et émotionnelle. Un modèle RoBERTa préentraîné a été utilisé pour le jeu de données CMU-MOSEI en langue anglaise, tandis qu'une variante chinoise de RoBERTa a été utilisée pour le jeu de données CH-SIMS en chinois afin de mieux prendre en compte les caractéristiques linguistiques spécifiques à chaque langue. Le prétraitement du texte comprenait la tokenisation à l'aide du tokenizer RoBERTa approprié pour chaque langue ainsi que la normalisation du texte. Afin d'assurer un traitement par lots cohérent, les séquences d'entrée ont été converties en intégrations de tokens et complétées ou tronquées jusqu'à une longueur de séquence maximale prédéfinie. Conformément au format d'entrée de RoBERTa, des tokens spéciaux de classification et de séparation ont été introduits. Une intégration textuelle de longueur fixe a été obtenue en agrégeant les représentations de tokens contextualisées produites par l'encodeur de transformeur à l'aide de la représentation finale de phrase équivalente à [CLS]. Pour adapter les représentations apprises à la tâche de reconnaissance des émotions, les encodeurs RoBERTa préentraînés ont été affinés par un entraînement multimodal. Le cadre de fusion multimodal proposé a ensuite été utilisé pour combiner les intégrations textuelles avec les caractéristiques audio et visuelles.

Les intégrations de jetons et les encodages de position peuvent être combinés pour chaque entrée tokenisée, , afin de créer la représentation d'entrée dans la technique de transformation profonde bidirectionnelle connue sous le nom de

   (7)

Cette forme est représentée à travers les couches du transformateur L, qui utilise l'auto-attention pour découvrir les dépendances contextuelles entre les mots :

  (8)

L'intégration contextuelle de l'émotion est obtenue à l'aide de l'état caché final du jeton de classification :

   (9)

La polarité des sentiments, les émotions intenses et les implications associées sont des exemples de caractéristiques linguistiques liées aux émotions qui seront représentées par cet intégration. RoBERTa facilite la modélisation indépendante du langage. Cela permet au système d'utiliser la même taille d'intégration pour les textes anglais provenant du jeu de données CMU-MOSEI et pour les textes chinois provenant du jeu de données CH-SIMS.

Trois vecteurs de caractéristiques spécifiques à chaque modalité, de 768 dimensions chacun, sont extraits pour les modalités visuelle f_v, audio f_a et textuelle f_t, grâce à l'étape proposée d'apprentissage de la représentation des caractéristiques profondes. Dans la conception d'interaction intelligente, ces représentations apprises créent un espace de caractéristiques multimodal unifié qui sert de base à la cartographie visuelle au niveau des caractéristiques, à la fusion intermodalle basée sur les graphes et à l'apprentissage de représentations désentrelacées.

Apprentissage de représentations désenchevêtrées

Après avoir appris une représentation de caractéristiques profondes, un traitement supplémentaire des vecteurs de caractéristiques multimodaux provenant des modalités visuelle, auditive et textuelle peut produire une description émotionnelle disjointe. Si les intégrations de caractéristiques spécifiques à chaque modalité — auditive, visuelle et textuelle — utilisées à l'étape précédente sont respectivement représentées par f_v, f_a et f_t, de sorte que  et , l'objectif de cette étape consiste à factoriser l'ensemble des caractéristiques modales en deux représentations latentes distinctes, incluant les représentations émotionnelles après prise en compte de la sémantique précédente de chacune des différentes modalités.

Cela est réalisé en alimentant chaque caractéristique de modalité, f_m , dans deux réseaux de projection parallèles : un encodeur d'émotion  et un encodeur de modalité , où les deux encodages sont produits.

  (10)

Où  la caractéristique latente liée à l'émotion est représentée par  représente une caractéristique latente propre à une modalité. Cela permet aux intégrations spécifiques aux émotions de communiquer avec un espace de manière répétée à travers plusieurs entrées, notamment l'audio, la vidéo et le texte, tout en conservant les données structurelles uniques associées à chaque modalité.

Une séparation efficace est obtenue en reconstruisant avec des contraintes d'indépendance. La reconstruction de la caractéristique de modalité d'origine est donnée par :

  (11)

où  est un réseau de décodage. La perte de reconstruction préserve les données suivantes :

   (12)

De plus, l'orthogonalité, ou la décorrélation, entre l'émotion et les représentations spécifiques à la modalité limite souvent le chevauchement d'information :

   (13)

En atteignant ces objectifs, le modèle pourrait apprendre des représentations émotionnelles fiables, compréhensibles et résistantes aux variations de modalité. Les étapes ultérieures de fusion intermodalité basée sur les graphes et les caractéristiques de cartographie visuelle, en particulier pour la conception d'interactions intelligentes, dépendent fortement de représentations émotionnelles interprétables et structurées.

Cohérence émotionnelle entre les modalités

L'ajout de la cohérence émotionnelle améliore nettement l'efficacité de la fusion entre les modalités. Cela s'explique par le fait que les stratégies de fusion n'ont pas à compenser d'importants écarts entre les deux représentations, puisque les intégrations émotionnelles spécifiques à chaque modalité partagent un espace latent. L'illustration combinée des deux émotions est décrite comme suit . La fusion pondérée sera plus stable lorsque les représentations spécifiques à l'émotion sont cohérentes, car les variations entre les signaux provenant de différentes modalités n'auront plus d'impact sur le résultat.

   (14)

En imposant un alignement sémantique des informations émotionnelles, cet objectif réduit les divergences entre les modalités et garantit que la perception des émotions reste cohérente, quelle que soit la modalité utilisée pour les exprimer. Par conséquent, un espace de représentation cohérent et affectif est créé en projetant les indices émotionnels obtenus à partir des signaux de parole, des expressions faciales et du contenu linguistique.

Impact sur la fusion transmodale

La fusion intermodal devient plus efficace lorsqu'une cohérence émotionnelle est introduite entre les modalités. Les mécanismes de fusion n'ont plus à compenser d'importantes divergences entre les représentations intermodales, car les intégrations spécifiques aux émotions sont alignées dans un espace latent commun. La représentation émotionnelle fusionnée est définie comme suit :

  (15)

où α_m représente le poids de l'attention accordé à la modalité m. La fusion pondérée devient plus stable et compréhensible lorsque les représentations spécifiques aux émotions sont cohérentes, car le résultat de la fusion montre des preuves émotionnelles complémentaires plutôt que des signaux de modalité contradictoires.

Sur le plan mathématique, réduire la  variance entre différents types de représentations spécifiques aux émotions par rapport à  équivaut à :

   (16)

où  représente l'expression moyenne de l'émotion. Une variance réduite entraîne un pondération des modalités d'entrée selon leur signification émotionnelle précise plutôt que selon le bruit de la modalité, assurant une convergence améliorée du réseau et une évaluation plus précise de l'attention.

L'objectif d'apprentissage ultime des visualisations d'émotions désintriquées est de combiner la fragmentation, la reconstruction et l'uniformité émotionnelle :

   (17)

deux hyperparamètres, λ₁ et λ₂, contrôlent la relation entre la fiabilité émotionnelle intermodalités et la dissociation. Le modèle proposé acquiert des représentations émotionnelles invariantes aux modalités, interprétables et fusionnables afin d'atteindre cet objectif, en mettant l'accent sur l'établissement d'une base solide pour une fusion ultérieure basée sur les graphes et pour la représentation au niveau des caractéristiques dans la conception d'interfaces intelligentes.

Fusion par attention multimodale basée sur les graphes

Un réseau d'attention transmodale basé sur les graphes a été utilisé pour simuler des relations émotionnelles fines entre les modalités. Afin de faciliter le flux d'information entre les modalités, un graphe multimodal entièrement connecté a été construit, chaque intégration propre à une modalité (texte, audio et visuel) étant représentée comme un nœud du graphe. Les relations entre modalités ont servi à établir la matrice d'adjacence du graphe, qui a ensuite été améliorée par une méthode d'attention apprenable. Un espace latent partagé a été créé en concaténant et en projetant les sorties provenant de plusieurs têtes d'attention. Une représentation unifiée de l'émotion multimodale a ensuite été produite en agrégeant les représentations des nœuds à l'aide d'un regroupement pondéré par l'attention. Cette représentation fusionnée a ensuite été transmise aux modules de prédiction et de visualisation pour l'analyse tenant compte des interactions et la reconnaissance des émotions. Le module de fusion par graphe possédait une dimension de représentation cachée de 256 et deux couches d'attention sur graphes, chacune comportant huit têtes d'attention. Pour déterminer l'importance relative des modalités voisines, les coefficients d'attention entre les nœuds connectés ont été calculés puis normalisés à l'aide de la fonction softmax. Chaque couche d'attention sur graphe était suivie d'une normalisation par couche, de connexions résiduelles et d'un taux de désactivation de 0,2 afin d'améliorer la stabilité de l'apprentissage et de réduire le surajustement. Après la concaténation et la projection des sorties de plusieurs têtes d'attention vers un espace latent commun, les représentations des nœuds ont été combinées en un seul vecteur d'émotion multimodal à l'aide d'un regroupement pondéré par l'attention. Ensuite, la représentation fusionnée a été utilisée pour la cartographie visuelle multi-vue et la prédiction des émotions.

Diverses interactions transmodales ont été capturées à l'aide d'une attention graphique multi-tête. La fonction softmax a été utilisée pour normaliser les coefficients d'attention entre les nœuds connectés pour chaque nœud. Afin d'augmenter la stabilité de l'apprentissage et d'éviter le surapprentissage, les couches d'attention graphique empilées du module de fusion de graphes ont été suivies de connexions résiduelles, d'une normalisation par couche et d'une régularisation par abandon (dropout).

Soit les termes   qui, pris individuellement, représentent les représentations correspondant aux émotions spécifiques recueillies par les modalités visuelle, audio et textuelle ; chaque composant se situe dans l'espace latent partagé . Les modèles des nœuds de modalité utilisent une notation pour le graphe , les nœuds de l'ensemble   correspondant explicitement aux trois nœuds de modalité eux-mêmes, afin de renforcer explicitement les dépendances émotionnelles partagées entre les différentes représentations de modalités.

Après avoir attribué un vecteur de caractéristiques spécifique à chaque émotion à chaque nœud du graphe, nous avons :

   (18)

Contrairement aux méthodes de fusion traditionnelles, qui utilisent des poids de fusion prédéterminés ou fixes, la méthode proposée apprend des poids d'arête adaptatifs en fonction de leur importance et de leurs interdépendances, tant entre les canaux qu'entre les situations émotionnelles.

Un réseau d'attention sur graphes (GAT) est utilisé pour la fusion intermodalités. Un coefficient d'attention est calculé pour chaque nœud i et ses nœuds voisins, c'est-à-dire le nœud j :

   (19)

L'effet émotionnel du passage du mode j à la modalité i est mesuré par les poids normalisés α_ij.

Ensuite, l'apparence fusionnée de chaque nœud de modalité est calculée comme un regroupement pondéré de ses voisins :

   (20)

où la fonction d'activation  est non linéaire. En fin de compte, les caractéristiques mises à jour de chaque nœud sont combinées pour obtenir une représentation globale fusionnée de l'émotion :

   (21)

Il s'agit d'une technique utile pour la modélisation interprétable des émotions et la cartographie visuelle ultérieure, car elle capture des informations complémentaires provenant de diverses modalités tout en préservant les relations inter-modales complexes.

L'algorithme 1 (Fichier supplémentaire 1) fournit le schéma général pour effectuer la fusion transmodale basée sur un graphe. Dans un premier temps, un graphe est créé à partir des caractéristiques spécifiques aux émotions associées à chacune des modalités visuelle, audio et textuelle. Les scores d'attention pour chaque paire de nœuds du graphe, qui représentent la combinaison des dépendances émotionnelles, sont ensuite calculés. Ces scores d'attention sont ensuite normalisés afin d'indiquer la contribution relative de chaque modalité au contexte émotionnel spécifié, permettant ainsi l'apprentissage des poids d'attention. L'incorporation générale de l'émotion est produite lors de la dernière étape par agrégation des caractéristiques associées aux nœuds du graphe. En ce sens, la fusion générale des caractéristiques multimodales liées aux émotions spécifiées par l'algorithme montre des perspectives prometteuses en termes d'adaptabilité, d'interprétabilité et d'intelligence contextuelle.

Figure 2 montre la structure et le fonctionnement du réseau d'attention croisée proposé pour la fusion de sentiments multimodaux. Les intégrations spécifiques aux émotions, obtenues indépendamment pour les modalités textuelle, auditive et vidéo, sont d'abord transmises à des mécanismes d'attention au niveau de chaque modalité, qui apprennent l'importance relative des informations linguistiques, vocales et faciales dans un contexte émotionnel donné. Les représentations pondérées par l'attention des modalités sont ensuite combinées pour former une intégration émotionnelle unifiée, dans laquelle la matrice d'attention capture les dépendances intermodales et les intensités d'interaction. La matrice d'attention apprise par le réseau module dynamiquement les contributions des modalités, lui permettant de se concentrer sur la modalité la plus informative tout en ignorant celles qui sont bruitées ou moins pertinentes. La représentation émotionnelle fusionnée permet une reconnaissance précise des émotions et une analyse fine des états émotionnels tels que neutre, étreinte et inquiétude.

Module de cartographie visuelle

À l'aide de la section de cartographie visuelle, créée spécifiquement à cet effet, un concepteur d'interactions intelligent peut convertir la représentation unifiée de l'état émotionnel en une forme visuelle compréhensible et facilement exploitable après le processus de fusion intermodale, en se basant sur le graphe.

Afin de faciliter la compréhension des représentations émotionnelles latentes, des techniques de réduction de dimensionnalité ont été utilisées pour visualiser les intégrations multimodales d'émotions apprises. Après avoir réduit la dimensionnalité des caractéristiques tout en conservant la majeure partie de la variance à l'aide de l'analyse en composantes principales (PCA), les intégrations ont été projetées dans un espace bidimensionnel à l'aide de l'embedding stochastique t-distribué des voisins proches (t-SNE). Une valeur de perplexité de 30, un taux d'apprentissage de 200 et 1 000 itérations d'optimisation ont été utilisés pour le t-SNE. Les regroupements spécifiques aux émotions et les relations entre modalités ont été visualisés à l'aide des projections obtenues. Les poids d'attention croisés normalisés obtenus par le réseau d'attention basé sur les graphes ont été utilisés pour créer des cartes thermiques d'attention. Les contributions relatives des modalités textuelle, audio et visuelle durant la prédiction des émotions sont représentées dans ces cartes thermiques. Les coefficients d'attention appris ont été utilisés comme poids des arêtes pour construire des graphes d'interaction multimodale, permettant ainsi d'examiner visuellement les relations intermodales et le flux d'information au sein du cadre de fusion. Des tracés de trajectoires émotionnelles ont été réalisés en suivant l'évolution des intégrations émotionnelles latentes au fil des énoncés successifs afin d'analyser la dynamique émotionnelle temporelle. Ces trajectoires fournissent des informations sur la manière dont les états émotionnels et les contributions des modalités évoluent dans le temps. Matplotlib et Scikit-learn sont deux bibliothèques Python utilisées pour créer toutes les visualisations. Afin d'évaluer l'interprétabilité, la formation des groupes, les contributions des modalités et la dynamique temporelle des émotions, des analyses qualitatives des visualisations d'intégrations, des graphes d'interaction et des cartes thermiques d'attention ont été menées.

Soit la variable  représentant la représentation fusionnée de l'état émotionnel par la fonction du réseau d'attention sur graphes. Contrairement à la visualisation au niveau de la sortie des tracés de l'état émotionnel, l'objectif principal du module est de convertir les représentations de l'état émotionnel et les poids correspondants du mécanisme d'attention en une forme visuelle compréhensible.

À l'aide du α_ji appris, une carte thermique d'attention est créée afin d'examiner visuellement la contribution de chaque modalité. Les poids d'attention entrants sont ensuite additionnés pour déterminer un score d'importance composite pour chaque modalité :

    (22)

où s_i représente la contribution émotionnelle relative de la modalité I. Pour faciliter la création d'une carte de chaleur d'attention, les valeurs obtenues sont normalisées et mappées sur une échelle de couleurs permettant à l'utilisateur d'identifier facilement la modalité prédominante à différents pas de temps ou états interactifs. Grâce à diverses modalités d'entrée visuelles, auditives ou textuelles, une telle interface aide l'utilisateur à comprendre le fonctionnement du mécanisme d'attention du système.

Le graphe appris est modélisé spécifiquement comme un « graphe d'interaction pondéré » afin de représenter la dépendance intermodale des émotions humaines. Chaque modalité est représentée par un nœud du graphe, et l'intensité des interactions liées aux émotions humaines est représentée par des poids sous la forme de α_ji sur les arêtes qui les relient. Le graphe pondéré ci-dessus illustre l'intensité des interactions émotionnelles humaines. La définition de i et j est la suivante :

   (23)

L'épaisseur ou la transparence des lignes dans la visualisation du graphe est correctement affichée grâce à ces poids. Cela facilite la compréhension des interactions entre les modalités. Le concepteur peut mieux comprendre comment les indicateurs émotionnels interagissent durant le processus de fusion à l'aide des graphes d'interaction intermodale.

Les intégrations émotionnelles fusionnées  à différentes étapes temporelles sont réduites à un espace de dimension inférieure à l’aide d’un algorithme de réduction de dimensionnalité tel que l’ACP ou le t-SNE, afin de visualiser l’évolution des émotions dans le temps :

   (24)

où la fonction de projection est représentée par . L'apparition de trajectoires émotionnelles 2D/3D, qui illustrent les transitions émotionnelles, les intensités et la stabilité dans les interactions, peut être interprétée comme une représentation intuitive de l'évolution des états émotionnels au fil du temps. Ces aspects peuvent être utilisés pour l'interaction intelligente, la prise de décision et la surveillance en temps réel.

Contrairement aux systèmes d'émotions classiques qui se contentent d'associer des classes ou des scores particuliers, ce système met l'accent sur la manière dont les émotions humaines s'y forment. Il révèle son processus de prise de décision en offrant des visualisations des caractéristiques intermédiaires, notamment les facteurs de pondération, les interactions entre modèles et leurs chemins respectifs. Cela permet à l'utilisateur de comprendre comment chaque facteur — visuel, vocal ou linguistique — l'influence lors de la production de ses réponses aux émotions humaines.

Associer les émotions à des formes compréhensibles par le biais de représentations visuelles peut ainsi combler l'écart entre l'analyse des émotions à l'aide de méthodes d'apprentissage profond et leur intégration dans la conception d'interfaces intelligentes. Les données recueillies à partir de ces deux approches peuvent ensuite être utilisées pour créer des interfaces utilisateur plus précises. Ainsi, l'approche proposée peut fournir aux concepteurs d'interactions des informations essentielles afin d'élaborer des interfaces utilisateur plus précises. Autrement dit, la compréhension des émotions devient une composante très active de la conception d'interactions. La précision ne peut qu'augmenter lorsque la compréhension des émotions est intégrée activement à la conception d'interactions.

Le module de cartographie visuelle permet une explicabilité de plusieurs manières interconnectées mais distinctes : l'explicabilité au niveau des caractéristiques révèle les représentations sous-jacentes de l'émotion créées par le réseau de neurones profond (DNN), ce qui nous permet de comprendre la sémantique utilisée pour décrire chaque caractéristique liée à l'émotion ; l'explicabilité au niveau de la modalité utilise les données provenant des graphes d'interaction et des cartes thermiques d'attention visuelle pour décrire comment chaque modalité — visuelle, audio ou textuelle — contribue aux décisions prises pour exprimer les émotions ; enfin, les trajectoires résultant de l'intégration des émotions nous permettent de comprendre comment chaque modalité visuelle et textuelle évolue dans le temps selon une perspective d'interaction dynamique. Veuillez vous référer à l'algorithme 2 (Supplementary File 1).

Les caractéristiques émotionnelles multimodales fusionnées sont mappées à des représentations visuellement significatives pour la conception d'interactions intelligentes à l'aide de l'algorithme de mappage visuel proposé, l'algorithme 2. Les poids d'attention multimodaux basés sur un graphe sont utilisés pour quantifier les différences entre les éléments d'entrée visuels, audio et textuels à chaque pas de temps. Ces différences sont ensuite mappées à des représentations visuelles afin de mettre en évidence les principales sources influençant les émotions, à l'aide d'éléments visuels de type cartes thermiques. Afin d'offrir une vue éclairante sur l'interaction entre les éléments d'entrée et de transmettre l'évolution émotionnelle générée par ces éléments multimodaux, l'algorithme calcule ensuite les intensités d'interaction par paires pour créer les poids d'interaction multimodaux. Parallèlement, une représentation de l'évolution émotionnelle est générée en projetant les éléments émotionnels fusionnés, accumulés au fil du temps, dans un espace de faible dimension, produisant ainsi une évolution continue des éléments émotionnels.

Prédiction des émotions et rétroaction sur l'interaction

Le résultat de la représentation d'émotion fusionnée, représenté par , est ensuite utilisé comme fonction à la fois pour la rétroaction d'interaction et pour la prédiction d'émotion. En outre, la prédiction d'émotion est décrite comme un modèle multitâche comprenant une tâche de régression pour la reconnaissance de l'intensité continue de l'émotion et une tâche de classification pour la reconnaissance d'émotion discrète. Le modèle de classification suivant, basé sur softmax, est utilisé pour la reconnaissance d'émotion discrète :

   (25)

où  représente les probabilités attendues des classes d'émotions et où W_c et b_c sont des contraintes apprenables. La perte d'entropie croisée est utilisée pour améliorer l'objectif de classification :

  (26)

où y_k est l'étiquette de référence, et K est le nombre de classes d'émotions. Une branche de régression est utilisée pour estimer l'intensité émotionnelle en parallèle, produisant une prédiction d'attributs affectifs continus variés, incluant la valence et l'activation. Donnez-lui la définition suivante :

   (27)

où le score d'intensité émotionnelle attendu est indiqué par . La perte quadratique moyenne est utilisée pour améliorer la tâche de régression :

   (28)

En général, les deux tâches sont combinées dans l'objectif de prédiction :

   (29)

où les objectifs de régression et de classification sont équilibrés par λ. Cela suggère une modification dynamique du module de visualisation en fonction de l'état émotionnel identifié afin de permettre ce type de rétroaction sensible à l'interaction. Le contexte d'interaction à un instant donné t est représenté par c_t. La réponse du module de visualisation est fournie par :

    (30)

où la fonction d'adaptation de la visualisation est représentée par . Cela permet d'ajuster en temps réel les cartes thermiques de modalité, les graphes d'interaction et les trajectoires émotionnelles en fonction des changements anticipés et des émotions. Cela indique que le système offre un soutien important en matière de rétroaction, en plus de bien performer dans la prédiction des états émotionnels.

Résultats

Ce travail valide le cadre de cartographie visuelle proposé pour les caractéristiques émotionnelles multimodales en termes d'interprétabilité tenant compte des interactions et de performance prédictive, à l'aide de deux jeux de données de référence, CH-SIMS et CMU-MOSEI. Selon les résultats expérimentaux, l'approche suggérée offre systématiquement de meilleures performances que les techniques actuelles de reconnaissance émotionnelle multimodale selon diverses métriques, notamment la corrélation, la précision, le score F1 et l'erreur absolue moyenne (MAE). La représentation désintriquée des émotions, le mécanisme de fusion intermodale basé sur les graphes et la stratégie d'apprentissage de représentations profondes de bout en bout contribuent tous à cette amélioration en permettant une modélisation émotionnelle plus stable et sémantiquement alignée. L'approche proposée fournit des informations plus riches au niveau des caractéristiques grâce à la cartographie visuelle, allant au-delà des gains quantitatifs et facilitant la compréhension des contributions des modalités et des dynamiques émotionnelles. Malgré les variations de langue, d'expression culturelle et de taille des jeux de données, le gain de performance susmentionné est observé de manière constante sur les deux jeux de données, démontrant ainsi la forte capacité de généralisation du cadre proposé.

Les jeux de données publics CH-SIMS et CMU-MOSEI pour l'émotion multimodale sont utilisés dans le travail proposé. Le jeu de données CH-SIMS comprend 2 281 extraits vidéo provenant de films, de séries télévisées et d'émissions de variétés. Des données synchronisées de texte, d'audio et visuelles sont disponibles dans CH-SIMS. Les étiquettes de sentiment unimodales et multimodales sont classées en catégories positives, neutres et négatives. Le grand jeu de données multimodal anglais appelé CMU-MOSEI contient environ 23 453 extraits vidéo annotés, mettant en vedette plus de 1 000 intervenants discutant d'une grande variété de sujets. Ce jeu de données contient à la fois des annotations continues d'intensité émotionnelle, telles que la valence et l'activation, et des étiquettes catégorielles d'émotions. En prenant en charge une variété de conditions linguistiques, culturelles et émotionnelles, l'expérimentation sur ces deux jeux de données à l'aide du cadre suggéré renforce la robustesse et la fiabilité. Tableau 2 présente les détails de l'environnement de simulation.

Les principaux paramètres expérimentaux et de mise en œuvre utilisés pour évaluer le cadre proposé sont résumés dans cet environnement de simulation. Afin d'assurer une dimensionalité uniforme des caractéristiques à travers les modalités textuelle, audio et visuelle, des encodeurs basés sur des transformeurs sont appliqués de manière uniforme. Il utilise un mécanisme d'attention basé sur les graphes pour la fusion intermodalité, permettant un apprentissage adaptatif des dépendances intermodales en ce qui concerne les états émotionnels.

Le cadre proposé extrait des représentations textuelles, auditives et visuelles à l'aide d'encodeurs de modalités basés sur des transformeurs. Des couches entièrement connectées avec activation ReLU projettent les intégrations spécifiques aux modalités dans un espace latent partagé. Des encodeurs spécifiques aux émotions et spécifiques aux modalités, chacun composé de deux couches entièrement connectées ainsi que d'activations et de normalisations non linéaires, sont ensuite utilisés pour apprendre des représentations désintriquées. Les représentations latentes sont projetées dans un espace de caractéristiques de 256 dimensions, où l'information pour chaque modalité et chaque émotion est apprise séparément. Afin de préserver l'information relative à la modalité et de favoriser une désintrication efficace, des décodeurs de reconstruction sont utilisés. Avant la fusion multimodale et la prédiction, le module d'attention intermodale basé sur un graphe modélise les dépendances émotionnelles entre les modalités à l'aide des représentations latentes. Le réseau a été entraîné à l'aide de l'optimiseur Adam avec un taux d'apprentissage initial de 1 × 10⁻⁴ et une taille de lot de 32. Un arrêt précoce a été mis en œuvre en se basant sur la perte de validation afin d'éviter le surapprentissage. La fonction objective totale comprenait des pertes de classification, de reconstruction et de cohérence des représentations, chacune pondérée par des hyperparamètres ajustables. L'entraînement du modèle a été effectué sur un maximum de 100 époques, et le modèle offrant les meilleures performances sur l'ensemble de validation a été conservé pour les tests.

Le cadre proposé a été évalué à l'aide de métriques de classification, notamment la précision, la justesse, le rappel et le score F1, ainsi que de métriques de régression telles que l'erreur absolue moyenne (MAE). La précision, le rappel et le score F1 ont été calculés en utilisant une moyenne macro afin de tenir compte du déséquilibre entre les classes dans les catégories d'émotions. Pour les expériences de classification, les étiquettes d'émotion/sentiment prédéfinies fournies par les jeux de données CH-SIMS et CMU-MOSEI ont été utilisées comme classes de référence. Pour la prédiction de sentiment basée sur la régression, les scores d'intensité de sentiment continus des jeux de données ont servi de variables cibles. Des matrices de confusion ont été générées afin d'analyser les performances de prédiction par classe et les schémas de mauvaise classification, avec un intervalle de confiance de 95 %. Afin d'assurer la robustesse, chaque expérience a été répétée 5 fois en utilisant différentes initialisations aléatoires, et les résultats rapportés correspondent à la moyenne ±± l'écart type des performances obtenues sur l'ensemble des exécutions. La significativité statistique a été évaluée à l'aide de procédures de tests d'hypothèses appropriées, et des intervalles de confiance ont été calculés lorsque cela était applicable. Le temps d'entraînement a été mesuré comme le temps total écoulé nécessaire à la convergence du modèle sur la plateforme matérielle spécifiée.

Un certain nombre de modèles de base représentatifs, notamment la fusion précoce et la fusion tardive, peuvent être comparés à la méthode proposée : TFN, méthodes basées sur LSTM, modèles de fusion multimodale à faible rang, transformeurs multimodaux adaptatifs et nouvelles architectures fondées sur l'attention intermodale. Ces modèles de base reflètent des techniques de pointe qui visent principalement à améliorer la précision de la reconnaissance des émotions grâce à diverses méthodes de fusion. Contrairement à ces approches, qui se concentrent essentiellement sur la prédiction au niveau de la sortie, le cadre suggéré améliore l'interprétabilité et la prise en compte des interactions grâce à un apprentissage de représentations désentrelacées et à une fusion fondée sur les graphes. LSTM Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph et les techniques basées sur les transformeurs sont des exemples de modèles de base implémentés à partir de leurs dépôts officiels ou d'implémentations de référence accessibles publiquement. Les réglages d'hyperparamètres d'origine des auteurs ont été utilisés lorsqu'ils étaient disponibles. Tous les modèles de base réentraînés ont été évalués à l'aide des mêmes partitions de jeu de données, techniques de prétraitement, paramètres d'optimisation et critères d'évaluation afin d'assurer une comparaison équitable. Les tableaux de comparaison indiquent clairement les références pertinentes pour les données issues directement de publications antérieures.

Précision

La précision de la classification des émotions discrètes est mesurée pour les deux jeux de données CH-SIMS et CMU-MOSEI ; toutefois, la tendance en matière de précision diffère selon les caractéristiques de ces deux ensembles. Étant donné que CH-SIMS est un jeu de données de taille moyenne comportant un nombre égal de catégories de sentiments et des extraits vidéo soigneusement prétraités, sa précision est élevée, ce qui suggère que le modèle est capable de capturer des informations émotionnelles multimodales subtiles avec peu de bruit. Toutefois, la classification précise des émotions reste difficile car CMU-MOSEI est un jeu de données à grande échelle comprenant des locuteurs aux origines diverses. Par conséquent, outre la capacité du modèle à identifier le sentiment, la précision sur le jeu de données CMU-MOSEI reflète sa capacité à généraliser et à résister à divers scénarios d'interaction. L'amélioration de la précision sur les deux jeux de données montre que l'approche proposée se généralise bien à des ensembles de données aux langues, tailles et niveaux de complexité émotionnelle différents.

Les précisions de classification de l'approche proposée et d'autres références courantes sur les jeux de données CH-SIMS et CMU-MOSEI sont présentées dans le Tableau 3. Comme indiqué dans le Tableau 3, le cadre proposé a atteint la précision la plus élevée sur les deux jeux de données CH-SIMS et CMU-MOSEI, surpassant respectivement la référence la plus performante (Adaptive-Graph) de 3,3 % et 3,1 point de pourcentage. Des valeurs inférieures d'écart-type indiquent également une stabilité accrue au cours de plusieurs exécutions expérimentales. Les approches traditionnelles de fusion LSTM présentent une précision moindre en raison de leur capacité limitée à capturer des relations complexes entre modalités. TFN et LMF améliorent la précision de classification en modélisant les relations intermodalités.

Score F1

Dans les problèmes de classification des émotions, l'équilibre entre le rappel et la précision est mesuré à l'aide du score F1. Pour les ensembles de données de classification des émotions multimodales, qui sont susceptibles de présenter un nombre inégal de classes, cette mesure est donc plus adaptée. Dans les tâches de classification des émotions, l'équilibre entre le rappel et la précision est évalué au moyen du score F1. Étant donné que les ensembles de données de classification des émotions multimodales sont généralement déséquilibrés, le score F1 est plus approprié. Plus le modèle est performant pour détecter les classes d'émotions, plus le score F1 est élevé.

Figure 3 illustre l'évaluation du score F1 de la technique proposée par rapport aux méthodes de référence sur le jeu de données CH-SIMS. Le score F1 le plus faible révèle la capacité limitée de la méthode de référence basée sur LSTM à modéliser des relations émotionnelles complexes entre modalités. Les scores F1 obtenus par les techniques évaluées sur le jeu de données CH-SIMS sont comparés dans Figure 3. Comme le montre la figure, les architectures plus sophistiquées, basées sur les graphes ou sur les transformeurs, surpassent régulièrement les méthodes de fusion plus classiques. Avec un score F1 de 0,71, le modèle LSTM obtient le résultat le plus bas, suivi par TFN (0,74) et LMF (0,76). Le score F1 atteint 0,79 avec Adaptive-Graph, ce qui démontre l'intérêt de modéliser les connexions entre modalités. La structure proposée surpasse Adaptive-Graph de 3,8 %, LMF de 7,9 %, TFN de 10,8 % et LSTM de 15,5 %, obtenant un score F1 de 0,82. Ces résultats montrent que le mécanisme d'attention croisée basé sur les graphes et l'apprentissage de représentations désintriquées proposés capturent plus efficacement les informations émotionnelles complémentaires provenant des modalités textuelle, audio et visuelle, conduisant à de meilleures performances de classification.

Les tendances relatives sont cohérentes, bien que toutes les méthodes présentent une légère baisse du score F1 par rapport au CH-SIMS, comme illustré dans la Figure 4. Les résultats montrent une amélioration constante des performances, passant des méthodes de fusion traditionnelles aux stratégies d'apprentissage multimodal basées sur les graphes. Les modèles ayant obtenu les scores F1 les plus faibles étaient LSTM (0,69), TFN (0,72) et LMF (0,74). Les performances du modèle Adaptive-Graph ont augmenté jusqu'à 0,77, démontrant ainsi la capacité à modéliser efficacement les connexions intermodales. Le cadre proposé a surpassé toutes les autres approches, atteignant le score F1 le plus élevé de 0,80. L'amélioration par rapport au modèle de référence le plus performant, Adaptive-Graph, illustre la contribution de la représentation d'émotions désentrelacée et du mécanisme d'attention intermodale basé sur les graphes à la capture de signaux émotionnels complémentaires à travers les modalités textuelle, acoustique et visuelle. Ces résultats montrent que le cadre proposé pour la reconnaissance multimodale des émotions est fiable et efficace. L'approche proposée démontre une amélioration significative par rapport à la méthode basée sur les graphes ainsi qu'aux méthodes de fusion conventionnelles, confirmant davantage la forte capacité de généralisation de la méthode. L'amélioration du score F1 sur le jeu de données CMU-MOSEI démontre que l'approche proposée peut atteindre des performances équilibrées en matière de classification émotionnelle, même dans des environnements bruyants et variés.

Précision

Dans les systèmes de communication intelligents, la précision est cruciale, car un signal émotionnel erroné peut dégrader l'expérience utilisateur. Le rapport entre le nombre de cas correctement anticipés pour une émotion spécifique et le nombre total de cas prédits comme étant cette émotion est appelé précision. Étant donné que les représentations d'émotions désintriquées sont moins bruitées et moins sujettes à des erreurs de classification dans la modalité, le modèle proposé surpasse les modèles de référence sur le jeu de données CH-SIMS dans la Figure 5.

La précision atteinte par plusieurs techniques de reconnaissance multimodale des émotions sur les jeux de données CH-SIMS et CMU-MOSEI est comparée dans la Figure 5. À mesure que les modèles passent des techniques traditionnelles basées sur la fusion à des architectures plus sophistiquées fondées sur les graphes, la précision augmente régulièrement. Le cadre proposé a atteint la précision maximale de 0,82 sur le jeu de données CH-SIMS, la précision passant de 0,71 pour LSTM à 0,74, 0,76 et 0,79 respectivement pour TFN, LMF et Adaptive-Graph. Sur le jeu de données CMU-MOSEI, la précision est passée de 0,69 pour LSTM à 0,72, 0,74 et 0,77 respectivement pour TFN, LMF et Adaptive-Graph. L'approche proposée a atteint la précision la plus élevée de 0,80. Le cadre proposé a augmenté la précision d'environ 3,8 % sur CH-SIMS et de 3,9 % sur CMU-MOSEI par rapport au meilleur modèle de référence (Adaptive-Graph). Ces résultats montrent que, en capturant des informations émotionnelles complémentaires à travers les modalités textuelle, acoustique et visuelle, le apprentissage de représentations désintriquées proposé et le mécanisme d'attention intermodale basé sur les graphes réduisent efficacement les prédictions faussement positives. L'attention intermodale basée sur les graphes atténue en outre l'impact de la modalité non pertinente. La diversité accrue des locuteurs et des expressions linguistiques dans le corpus CMU-MOSEI entraîne une légère baisse de la précision pour tous les modèles.

Rappel

Dans les tâches de reconnaissance des émotions, le rappel, une mesure de la capacité d'un modèle à catégoriser correctement les instances émotionnelles appartenant à une classe spécifique, est crucial, car l'absence d'informations émotionnelles peut nuire à la qualité de l'interaction. Une valeur de rappel plus élevée indique que le modèle identifie moins de faux négatifs et plus d'expressions émotionnelles réelles. Le rappel peut être considéré comme une mesure de l'efficacité avec laquelle les informations émotionnelles sont extraites des modalités textuelle, audio et visuelle dans le cadre de l'analyse multimodale des émotions.

L'avantage de la technique proposée par rapport aux approches de référence sur les jeux de données CH-SIMS et CMU-MOSEI est illustré par la comparaison des taux de rappel dans la Figure 6. À mesure que les modèles évoluent depuis des méthodes classiques basées sur la fusion vers des structures multimodales plus sophistiquées fondées sur les graphes, les résultats montrent systématiquement des gains en rappel. Le rappel sur le jeu de données CH-SIMS est passé de 0,70 pour LSTM à 0,73, 0,75 et 0,78 respectivement pour TFN, LMF et Adaptive-Graph ; le rappel maximal de 0,82 a été atteint par le cadre proposé. L'approche suggérée a obtenu le meilleur rappel de 0,80 sur le jeu de données CMU-MOSEI, où le rappel est passé de 0,68 pour LSTM à 0,71, 0,73 et 0,76 respectivement pour TFN, LMF et Adaptive-Graph. Le cadre proposé a permis des améliorations relatives d'environ 5,1 % sur CH-SIMS et de 5,3 % sur CMU-MOSEI par rapport au meilleur modèle de référence (Adaptive-Graph). Ces résultats montrent que, en capturant des indices émotionnels complémentaires à travers les modalités textuelle, acoustique et visuelle, l'apprentissage de représentations désentrelacées proposé et le mécanisme d'attention intermodale basé sur les graphes réduisent efficacement les prédictions faussement négatives, améliorant ainsi l'identification des classes émotionnelles sur les deux jeux de données. Étant donné que les méthodes traditionnelles ont une capacité limitée à modéliser des relations intermodales complexes, elles tendent à présenter des valeurs de rappel plus faibles. En modélisant les relations entre modalités de manière plus explicite, TFN et LMF obtiennent des gains modérés. En simulant les relations structurées entre les modalités, la méthode Adaptive-Graph a encore amélioré le rappel. Pour les deux jeux de données, la méthode proposée atteint le rappel le plus élevé, indiquant sa capacité supérieure à détecter des instances émotionnelles dans divers scénarios d'interaction. L'amélioration est plus marquée sur le jeu de données à grande échelle CMU-MOSEI, démontrant la robustesse et la capacité de généralisation du cadre proposé.

Erreur absolue moyenne (MAE)

L'erreur absolue moyenne (MAE) est utilisée pour évaluer les performances des tâches de prédiction continue de l'intensité des émotions, telles que la prédiction de la valence ou de l'activation. Contrairement à la précision, la MAE reflète mieux la proximité entre l'intensité émotionnelle prédite et l'état émotionnel réel. C'est pourquoi la MAE est plus appropriée pour des ensembles de données tels que CH-SIMS et CMU-MOSEI, qui comportent des étiquettes affectives continues. Une valeur de MAE plus faible indique une plus grande précision dans la prédiction de l'intensité émotionnelle.

La comparaison de l'erreur absolue moyenne (MAE) entre le cadre proposé et les approches de référence sur les jeux de données CH-SIMS et CMU-MOSEI est présentée dans le Tableau 4. Les méthodes traditionnelles de fusion basées sur LSTM ont tendance à présenter des valeurs de MAE plus élevées en raison de leur capacité limitée à modéliser des dépendances émotionnelles multimodales complexes. Le TFN et le LMF peuvent réduire la MAE en modélisant les interactions multimodales, et l'approche Adaptive-Graph la réduit davantage en apprenant les relations de graphe entre modalités. Le cadre proposé atteint la plus faible MAE sur les deux jeux de données, indiquant une estimation plus précise de l'intensité émotionnelle. Il convient de noter que l'amélioration est plus marquée sur le jeu de données CMU-MOSEI, où la variabilité à grande échelle des données et les conditions des locuteurs rendent la tâche de prédiction plus difficile.

Matrice de confusion pour le jeu de données CH-SIMS

Les méthodes de base de la fusion précoce LSTM et de la TFN présentent une importante confusion entre les classes d'émotions neutres et positives, selon les matrices de confusion pour le jeu de données CH-SIMS. Cela suggère que ces méthodes ne sont pas très efficaces pour identifier des expressions émotionnelles multimodales subtiles. En revanche, la méthode proposée présente clairement une forte dominance diagonale, avec très peu d'éléments hors diagonale, améliorant ainsi la séparabilité des classes. Le mécanisme d'apprentissage des émotions désentrelacé de la méthode proposée assure une représentation cohérente des émotions à travers les modalités, et son approche de fusion par graphes améliore la discrimination entre les classes de sentiments étroitement liées. Figure 7A–E montre la matrice de confusion pour le jeu de données CH-SIMS avec différentes méthodes de base.

Matrice de confusion pour le jeu de données CMU-MOSEI

Le cadre proposé utilise des intégrations émotionnelles invariantes aux modalités et des poids d'attention adaptatifs afin de réduire de manière significative le taux de mauvaise classification, en particulier pour les entrées émotionnellement ambiguës. Cela confirme que le cadre proposé fonctionne bien dans divers scénarios d'interaction multimodaux à grande échelle. En raison de la taille du jeu de données, de la variation entre les locuteurs et de la nature continue des étiquettes de sentiment, les matrices de confusion du CMU-MOSEI présentent un taux global de mauvaise classification plus élevé. Les méthodes de référence montrent un degré considérable de confusion entre différentes catégories émotionnelles. Figure 8A–E présente la matrice de confusion pour le jeu de données CMU-MOSEI avec différentes méthodes de référence.

Durée d'entraînement par époque

Les compromis informatiques des techniques avancées de fusion multimodale sont mis en évidence par la comparaison du temps d'entraînement par époque. En raison des encodeurs de type transformeur et des mécanismes d'attention sur graphes, le modèle proposé nécessite un peu plus de temps d'entraînement que les approches de fusion simples, mais cette augmentation n'est pas irréaliste. Le cadre proposé a démontré des performances solides sur des jeux de données de référence en analyse d'émotions multimodales et présente un potentiel pour une intégration dans des systèmes intelligents d'interaction homme-machine. Toutefois, l'adéquation au déploiement en temps réel n'a pas été évaluée dans la présente étude et nécessite des investigations supplémentaires par l'analyse de la latence, du débit, de la mémoire et du déploiement. Notamment, la stabilité améliorée de la convergence ainsi que les performances supérieures en termes de prédiction et d'interprétabilité justifient le coût computationnel supplémentaire. Figure 9 montre le résultat du temps d'entraînement par époque pour la méthode proposée.

Étude d'ablation

Afin de déterminer l'influence de chaque élément important du cadre proposé, tels que le module de mappage visuel, la fusion intermodale basée sur les graphes et la représentation désintriquée des émotions, une étude d'ablation a été réalisée. Pour comprendre l'impact, chaque élément a été éliminé un par un. Selon les résultats expérimentaux, la stratégie de fusion par graphes améliore la modélisation des dépendances intermodales, et la contribution de la représentation désintriquée des émotions est la plus importante pour la stabilité des performances. Le rôle auxiliaire du module de mappage visuel est confirmé par l'impact minime qu'a sa suppression sur les performances. Les résultats de l'étude d'ablation dans les mêmes conditions d'entraînement et d'évaluation sont présentés dans Tableau 5. La dégradation des performances la plus importante a été observée après la suppression du module d'attention intermodale basé sur les graphes, ce qui a réduit la précision de 81,72 % à 77,88 % et le score F1 de 0,823 à 0,776. Cela souligne l'importance de modéliser les interactions intermodales complexes. Le rôle du module d'apprentissage de représentation désintriquée dans l'acquisition de représentations robustes spécifiques aux émotions a été démontré par le fait que sa suppression a réduit la précision de 2,78 points de pourcentage et le score F1 de 0,032. Le principal avantage du module de mappage visuel réside dans l'interprétabilité plutôt que dans la précision de classification, comme en témoigne la légère baisse des performances prédictives lors de sa suppression. La configuration de fusion de base a donné les résultats les plus médiocres, ce qui montre que les meilleures performances en reconnaissance multimodale des émotions nécessitent l'effet combiné de tous les modules proposés.

DISPONIBILITÉ DES DONNÉES :

Les ensembles de données utilisés dans cette étude sont des ensembles de données de référence accessibles au public. L'ensemble de données CMU-MOSEI est fourni par le Carnegie Mellon University Multimodal SDK et décrit dans Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), avec un accès disponible à l'adresse https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. L'ensemble de données CH-SIMS est décrit dans Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) et est accessible publiquement via les ressources fournies par les auteurs, notamment https://github.com/thuiar/MMSA. Toutes les expériences ont été réalisées à l'aide des versions officielles de ces ensembles de données. Les données brutes extraites, les fichiers de données traitées, les sorties du prétraitement, les partitions d'apprentissage/validation/test, les représentations de caractéristiques dérivées et les détails de mise en œuvre soutenant les résultats de cette étude sont accessibles publiquement dans le dépôt Zenodo à l'adresse https://doi.org/10.5281/zenodo.21124921.

Figure 1 : Schéma du cadre de cartographie visuelle des caractéristiques émotionnelles multimodales proposé. Illustration conceptuelle de l'architecture générale, montrant l'extraction de caractéristiques multimodales, l'apprentissage de représentations désentrelacées, la fusion d'attention intermodale basée sur les graphes et les composants de cartographie visuelle pour une analyse émotionnelle multimodale interprétable. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 2 : Schéma du flux de travail du protocole computationnel proposé.
Représentation conceptuelle du pipeline de traitement de bout en bout, incluant l'acquisition du jeu de données, le prétraitement, l'extraction de caractéristiques spécifiques à chaque modalité, la fusion multimodale, la visualisation et les étapes de prédiction des émotions Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 3 : Comparaison des performances en termes de score F1 sur le jeu de données CH-SIMS. Valeurs moyennes du score F1 obtenues à partir de cinq exécutions expérimentales indépendantes (n = 5) utilisant différentes initialisations de graines aléatoires. Les barres d'erreur représentent ±± un écart-type (SD). Des valeurs plus élevées du score F1 indiquent de meilleures performances de classification des émotions. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 4 : Comparaison des performances en termes de score F1 sur le jeu de données CMU-MOSEI. Valeurs moyennes du score F1 obtenues à partir de cinq exécutions expérimentales indépendantes (n = 5) utilisant différentes initialisations de grain aléatoire. Les barres d'erreur représentent ±± un écart-type (SD), et les valeurs correspondantes de moyenne ±± SD sont indiquées au-dessus de chaque point de données. Des valeurs plus élevées de score F1 indiquent de meilleures performances en classification des émotions. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 5 : Comparaison de la précision sur les jeux de données CH-SIMS et CMU-MOSEI. Scores moyens de précision obtenus par LSTM, TFN, LMF, Adaptive-Graph et le cadre proposé lors de cinq exécutions expérimentales indépendantes (n = 5). Les barres d'erreur représentent ±± un écart-type (SD) calculé à partir de répétitions avec différentes initialisations de graines aléatoires. Le cadre proposé atteint la précision la plus élevée sur les deux jeux de données, démontrant une meilleure discrimination des classes d'émotion grâce à un apprentissage efficace des caractéristiques multimodales et à une fusion intermodale basée sur les graphes. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 6 : Comparaison du rappel sur les jeux de données CH-SIMS et CMU-MOSEI. Scores moyens de rappel obtenus par LSTM, TFN, LMF, Adaptive-Graph et le cadre proposé au cours de cinq exécutions expérimentales indépendantes (n = 5). Les barres d'erreur indiquent ±± un écart-type (SD) dérivé d'expériences répétées. Le cadre proposé atteint systématiquement le rappel le plus élevé sur les deux jeux de données, ce qui indique une capacité supérieure à capturer l'information émotionnelle multimodale et à réduire les prédictions faussement négatives. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 7 : Matrice de confusion pour le jeu de données CH-SIMS avec différentes méthodes de référence. Les lignes correspondent aux classes d'émotions réelles, et les colonnes aux classes prédites. Les valeurs des cellules représentent le pourcentage d'échantillons normalisés par rapport à chaque classe réelle. La matrice de confusion a été calculée à l'aide de la partition de test CH-SIMS mise à l'écart. Des pourcentages plus élevés sur la diagonale indiquent une meilleure précision de reconnaissance pour la catégorie d'émotion correspondante. Matrices de confusion obtenues par (A) LSTM à fusion précoce, (B) TFN, (C) LMF, (D) graphe adaptatif et (E) méthode proposée sur le jeu de données CH-SIMS. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 8 : Matrice de confusion pour le jeu de données CMU-MOSEI avec différentes méthodes de référence. Les lignes représentent les étiquettes réelles des émotions et les colonnes représentent les étiquettes prédites. Les valeurs sont indiquées en pourcentages normalisés par classe sur l'ensemble de test CMU-MOSEI. La matrice illustre à la fois les échantillons correctement classés (éléments diagonaux) et les confusions entre catégories d'émotions (éléments hors diagonale). Matrice de confusion sur CMU-MOSEI (A) Fusion précoce LSTM, (B) TFN, (C) LMF, (D) Graphe adaptatif, et (E) Méthode proposée sur le jeu de données CMU-MOSEI. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 9. Comparaison du temps d'entraînement par époque sur des jeux de données de référence multimodaux pour les émotions.
Temps moyen d'entraînement par époque obtenu à partir de cinq exécutions expérimentales indépendantes (n = 5) pour les jeux de données CH-SIMS et CMU-MOSEI, dans des conditions matérielles et logicielles identiques. Les barres d'erreur représentent ±± un écart-type (SD) calculé à partir d'expériences répétées utilisant différentes initialisations de graines aléatoires. Des valeurs plus faibles indiquent une efficacité computationnelle plus élevée, tandis que des temps d'entraînement stables entre les exécutions traduisent une meilleure reproductibilité et une cohérence accrue de l'entraînement. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Jeu de données	Modalités	Nombre d'échantillons	Langue	Étiquettes d'émotion/sentiment
CH-SIMS34	Vidéo, Audio, Texte	2 281 segments vidéo	Chinois	Étiquettes de sentiment multimodales et unimodales (négatif, neutre, positif)
CMU-MOSEI35	Vidéo, Audio, Texte	~23 453 extraits annotés	Anglais	Étiquettes d'intensité de sentiment et d'émotion (continue et catégorique)

Tableau 1 : Description du jeu de données. Résumé des jeux de données utilisés dans cette étude, modalités, nombre d'échantillons, langue, étiquettes d'émotion/sentiment pour les jeux de données CH-SIMS et CMU-MOSEI.

Composant	Spécification
Environnement de programmation	Python avec PyTorch
Extracteur de caractéristiques visuelles	Vision Transformer (ViT)
Extracteur de caractéristiques audio	Wav2Vec 2.0
Extracteur de caractéristiques textuelles	RoBERTa
Stratégie de fusion	Réseau d'attention intermodalité basé sur les graphes
Dimension des caractéristiques	768 par modalité
Optimiseur d'entraînement	Adam
Taux d'apprentissage	1.00E-04
Taille du lot	16
Matériel	GPU NVIDIA (par exemple, série RTX)
Jeux de données d'évaluation	CH-SIMS, CMU-MOSEI
Dimension latente	2.56E+02
Dimension des plongements	768
Fonction d'activation	ReLU
Optimiseur	Adam
Taux d'apprentissage	1.00E-04
Taille du lot	32
Époques	100
Arrêt précoce	Activé
Fonction de perte	Classification + Reconstruction + Cohérence

Tableau 2 : Environnement de simulation. Paramètres expérimentaux et détails de mise en œuvre de l’environnement de simulation, tels que les spécificités du modèle, les fonctionnalités, l’optimiseur et le matériel utilisé.

Méthode	Précision du CH-SIMS (%)	Précision du CMU-MOSEI (%)
LSTM (fusion précoce/tardive)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Méthode proposée	81,72 ± 0,61	79,94 ± 0,69

Tableau 3 : Évaluation de la précision de la méthode proposée par rapport aux techniques de référence sur les jeux de données CH-SIMS et CMU-MOSEI. Les résultats sont indiqués sous la forme moyenne ±± écart type, obtenus à partir de cinq exécutions expérimentales indépendantes (n = 5) utilisant différentes initialisations de graines aléatoires. Toutes les méthodes ont été évaluées à l’aide des mêmes partitions d’apprentissage, de validation et de test de leurs jeux de données respectifs afin d’assurer une comparaison équitable.

Méthode	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (fusion précoce/tardive)	0,412 ± 0,014	0,465 ± 0,016
TFN	0,387 ± 0,012	0,439 ± 0,014
LMF	0,361 ± 0,010	0,412 ± 0,012
Adaptive-Graph	0,334 ± 0,009	0,379 ± 0,010
Méthode proposée	0,298 ± 0,007	0,341 ± 0,008

Tableau 4 : Résultat de l'erreur absolue moyenne. Les résultats sont exprimés sous la forme moyenne ±± écart type, obtenus à partir de cinq exécutions expérimentales indépendantes (n = 5) utilisant différentes initialisations de graines aléatoires. Toutes les méthodes ont été évaluées à l’aide des mêmes partitions d’apprentissage, de validation et de test de leurs jeux de données respectifs afin d’assurer une comparaison équitable. Comparaison de l’erreur absolue moyenne (MAE) pour la prédiction de l’intensité continue des émotions à l’aide du cadre proposé et des approches de référence sur les deux jeux de données.

Variante du modèle	Précision (%)	Score F1
Modèle complet	81.72 ± 0.61	0.823 ± 0.008
Sans désentrelacement	78.94 ± 0.74	0.791 ± 0.010
Sans fusion de graphe	77.88 ± 0.81	0.776 ± 0.011
Sans mappage visuel	80.11 ± 0.66	0.807 ± 0.009
Fusion basique	74.91 ± 0.98	0.742 ± 0.013

Tableau 5 : Résultat de l'étude d'ablation avec les méthodes de référence. Les résultats sont indiqués sous la forme moyenne ±± écart type, obtenus à partir de cinq exécutions expérimentales indépendantes (n = 5) utilisant différentes initialisations de graines aléatoires. Toutes les méthodes ont été évaluées à l’aide de partitions d’apprentissage, de validation et de test identiques pour leurs ensembles de données respectifs, afin de garantir une comparaison équitable. Comparaison des performances entre les variantes du modèle, indiquant l’efficacité de l’apprentissage à partir de représentations désintriquées, de la fusion basée sur les graphes et du module de mappage visuel.

Fichier supplémentaire 1 : Algorithme 1 et Algorithme 2.Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Les résultats expérimentaux démontrent que, sur les jeux de données CH-SIMS et CMU-MOSEI, le cadre de mappage visuel proposé pour les caractéristiques émotionnelles multimodales surpasse les techniques actuelles de reconnaissance des émotions multimodales. Par rapport aux modèles de fusion précoce et tardive, tels que EF-LSTM et TFN, la technique proposée atteint une précision et des scores F1 plus élevés, démontrant ainsi sa robustesse dans le traitement d'informations émotionnelles variées. L'amélioration de la méthode peut être attribuée à la représentation désintriquée des émotions, qui supprime le bruit propre à chaque modalité et garantit la cohérence émotionnelle entre les modalités visuelle, audio et textuelle³⁶.

Récemment, des modèles multimodaux basés sur des transformeurs, tels que les Adaptive Multimodal Transformers³⁷ et MIAR³⁸, ont démontré des résultats impressionnants dans la modélisation des dépendances intermodales. Néanmoins, ces modèles se concentrent principalement sur la prédiction et ne disposent pas de mécanismes permettant une interprétabilité au niveau des caractéristiques. En revanche, le système proposé combine une attention intermodale basée sur les graphes avec un module de cartographie visuelle, permettant une analyse transparente des interactions entre modalités et émotions. Il s'agit d'un aspect essentiel actuellement absent de la littérature, dans laquelle l'inférence émotionnelle est traitée comme un processus boîte noire.

Le cadre proposé a démontré des performances constantes sur les jeux de données de référence CH-SIMS et CMU-MOSEI. Bien que ce cadre puisse avoir des applications potentielles dans l'interaction intelligente homme-machine, la surveillance de la santé, les environnements d'apprentissage adaptatifs et d'autres systèmes sensibles aux émotions, l'étude actuelle n'a évalué la méthode que dans des conditions de référence contrôlées. Aucun déploiement en conditions réelles, aucune évaluation d'interface utilisateur, aucune étude d'utilisabilité ni aucune évaluation sur des sujets humains n'a été réalisée. Par conséquent, l'efficacité pratique du cadre dans des environnements opérationnels reste à investiguer. Les travaux futurs se concentreront sur des évaluations orientées vers le déploiement, des études centrées sur l'utilisateur, l'analyse de la latence, l'évaluation de la consommation mémoire et les performances en matière d'interaction en temps réel.

De plus, les améliorations de performance observées sur divers ensembles de données culturellement et linguistiquement variés démontrent la validité du cadre proposé. Contrairement aux travaux antérieurs validés sur un seul ensemble de données ou un scénario d'interaction spécifique, le cadre proposé fait preuve d'une performance robuste à travers les langues, les locuteurs et les expressions émotionnelles. Le cadre proposé est donc très adapté aux systèmes d'interaction intelligents pratiques qui exigent une reconnaissance précise des émotions et un processus de décision interprétable.

L'interprétabilité du cadre proposé a été évaluée par une analyse fondée sur la visualisation des représentations multimodales apprises. Plus précisément, des plongements latents des émotions, des cartes d'attention intermodales, des graphes d'interaction entre modalités et des trajectoires temporelles des émotions ont été examinés afin de fournir des informations sur le processus de décision du modèle et les contributions des différentes modalités. L'objectif du module de cartographie visuelle est d'améliorer la transparence en permettant l'observation des interactions au niveau des caractéristiques ainsi que des dynamiques émotionnelles. Toutefois, des métriques formelles d'interprétabilité, des évaluations de fidélité de l'attention et des études utilisateurs n'ont pas été incluses dans le présent travail. Par conséquent, les avantages en matière d'interprétabilité rapportés doivent être considérés comme des preuves fondées sur la visualisation, et non comme des mesures d'explicabilité validées quantitativement.

Du point de vue théorique, cette recherche apporte les contributions suivantes au calcul affectif multimodal : elle propose une méthode systématique de modélisation des émotions qui distingue clairement les représentations spécifiques aux émotions de celles spécifiques aux modalités. En garantissant une cohérence émotionnelle entre les modalités au sein d'un espace latent commun, le cadre proposé fait ainsi progresser la théorie de l'apprentissage des représentations dans les systèmes multimodaux. L'intégration de mécanismes d'attention basés sur des graphes formalise en outre les dépendances entre les différentes modalités dans l'expression des émotions.

D'un point de vue pratique, le cadre proposé est très avantageux pour la conception d'interactions intelligentes et les interfaces utilisateur sensibles aux émotions. Le module de mappage visuel intégré au cadre proposé permet aux concepteurs de systèmes de comprendre l'effet de diverses modalités sur la prédiction des émotions, ce qui est très important pour ces concepteurs. Le cadre proposé est très utile pour des applications telles que les agents conversationnels affectifs, les systèmes d'apprentissage adaptatifs, les interfaces de surveillance en santé, et les plateformes d'évaluation de l'expérience utilisateur.

Cependant, le cadre proposé présente certaines limites. L'utilisation de mécanismes d'attention sur graphes et d'encodeurs de type transformeur augmente la complexité, ce qui pourrait poser problème pour les dispositifs aux capacités limitées. De plus, l'étude actuelle ignore d'autres signaux physiologiques, tels que l'EEG et le suivi oculaire, afin de se concentrer sur les modalités visuelle, audio et textuelle. L'efficacité computationnelle du cadre proposé pour un déploiement en temps réel n'a pas été évaluée spécifiquement, malgré des performances compétitives en matière de prédiction et une amélioration des capacités de visualisation. Les recherches futures examineront les performances de déploiement dans des contextes réels d'interaction intelligente, les délais d'inférence, le débit, la consommation mémoire et les techniques de compression de modèles. Afin d'améliorer davantage la précision de la modélisation des émotions et la réactivité de l'interaction, les travaux futurs porteront sur le développement de modèles légers, de techniques d'optimisation en temps réel et l'intégration de modalités supplémentaires. Les performances en temps réel n'ont pas été évaluées, et l'inclusion d'encodeurs transformeurs et de méthodes d'attention basées sur les graphes accroît la complexité informatique. Seules les bases de données de référence CH-SIMS et CMU-MOSEI ont été utilisées pour valider la méthodologie, ce qui pourrait introduire des biais spécifiques aux jeux de données et limiter la généralisation à d'autres domaines, langues et populations d'utilisateurs. En outre, l'étude actuelle ne prend pas en compte les signaux physiologiques tels que les données d'EEG ou de suivi oculaire ; elle se concentre plutôt sur les modalités visuelle, audio et textuelle. Bien que des descriptions détaillées de l'implémentation et de l'environnement de simulation aient amélioré la reproductibilité, le code source et les modèles pré-entraînés ne sont pas actuellement mis à disposition du public.

Un nouveau cadre de cartographie visuelle pour l'apprentissage de caractéristiques émotionnelles multimodales en vue de la conception d'interactions intelligentes est utilisé dans ce travail. La méthode proposée intègre un apprentissage de représentations basé sur des transformeurs de bout en bout, une modélisation des émotions désintriquée et une attention intermodale fondée sur les graphes afin d'atteindre une grande précision prédictive et une bonne interprétabilité. Des expériences menées sur les ensembles de données CH-SIMS et CMU-MOSEI montrent que le cadre proposé surpasse les modèles de pointe de reconnaissance des émotions multimodales en termes de précision et de score F1. Plus important encore, la solution de cartographie visuelle proposée comble le fossé entre la reconnaissance des émotions et la stratégie d'interaction, offrant ainsi une nouvelle orientation pour la conception de systèmes de calcul affectif multimodaux interprétables et sensibles à l'interaction.

Afin de faciliter une conception d'interaction intelligible et intelligente, cette étude présente un nouveau cadre de cartographie visuelle pour l'apprentissage de caractéristiques émotionnelles multimodales. Le système proposé intègre avec succès la détection émotionnelle et l'interprétabilité au sein d'une même architecture en combinant l'extraction de caractéristiques multimodales basée sur les transformeurs, l'apprentissage de représentations émotionnelles désentrelacées, une fusion d'attention intermodale fondée sur les graphes et des méthodes de cartographie visuelle. En plus de fournir des représentations visuelles claires des contributions des modalités, des interactions intermodales et de la dynamique temporelle des émotions, l'évaluation expérimentale sur les jeux de données de référence CH-SIMS et CMU-MOSEI a montré une performance améliorée par rapport à des méthodes de base représentatives selon plusieurs métriques, notamment la précision, le rappel, le score F1 et l'erreur absolue moyenne (MAE). Toutefois, cette étude, limitée à l'évaluation sur deux jeux de données de référence, ne comprend pas d'études de déploiement en conditions réelles, d'évaluations centrées sur l'utilisateur, d'analyses quantitatives de l'explicabilité ni l'intégration de modalités physiologiques. De plus, les environnements aux ressources limitées pourraient rencontrer des difficultés dues au coût computationnel des encodeurs transformeurs et des processus d'attention basés sur les graphes. Bien que les travaux futurs se concentrent sur une validation plus étendue à travers divers jeux de données, l'intégration de modalités supplémentaires, des études d'utilisabilité, la publication reproductible des ressources et l'optimisation pour des scénarios de déploiement en temps réel, le cadre proposé montre globalement le potentiel de l'analyse émotionnelle multimodale interprétable pour les applications en informatique affective et en interaction intelligente.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Adam	Bibliothèque d'optimiseurs PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (Taux d'apprentissage = 1 × 10-4)	Optimisation des paramètres pendant l'entraînement du modèle
CH-SIMS	Dépôt du jeu de données original	Dernière version publique	Jeu de données de référence pour l'analyse multimodale du sentiment/émotion en chinois
CMU-MOSEI	Dépôt du CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Dernière version publique)	Jeu de données de référence pour la reconnaissance multimodale des sentiments et des émotions
Encodeur d'émotions désentrelacé	Implémentation personnalisée	https://pytorch-geometric.readthedocs.io/en/latest/(Architecture à double encodeur)	Séparation des représentations latentes spécifiques à l'émotion et spécifiques à la modalité
Réseau d'attention sur graphes (GAT)	PyTorch Geometric	GAT multi-têtes (https://pytorch-geometric.readthedocs.io/en/latest/)	Modélisation des relations émotionnelles intermodales et fusion adaptative de caractéristiques
Couche d'attention intermodale basée sur les graphes	Implémentation personnalisée	Fusion d'attention multi-têtes	Apprentissage des dépendances émotionnelles fines entre les modalités
Matplotlib	Projet Matplotlib	3.7+	Génération de graphiques et d'analyses visuelles
NetworkX	Projet NetworkX	3.0+	Construction et visualisation de graphes d'interaction intermodale
GPU NVIDIA	Société NVIDIA	GPU compatible CUDA	Accélération de l'entraînement des transformeurs et des réseaux neuronaux graphiques
Analyse en composantes principales (ACP)	Scikit-learn	sklearn.decomposition.PCA	Réduction initiale des plongements émotionnels en haute dimension
Python	Fondation logicielle Python	3.8+	Langage de programmation principal pour la mise en œuvre du cadre d'analyse des émotions multimodales
PyTorch	Fondation PyTorch	2.0+	Développement, entraînement et optimisation de réseaux neuronaux profonds
RoBERTa	Transformers Hugging Face	https://huggingface.co/docs/transformers/index (roberta-base, plongements de 768 dimensions)	Extraction de représentations linguistiques et sémantiques contextuelles des émotions
Seaborn	Projet Seaborn	0.12+	Génération de cartes de chaleur d'attention et de visualisations statistiques
Embellissement stochastique t-SNE (t-distributed Stochastic Neighbor Embedding)	Scikit-learn	scikit-learn.org (Perplexité = 30, Itérations = 1000)	Visualisation des groupes et trajectoires émotionnelles latentes
Ubuntu Linux	Ubuntu Canonical	20.04 LTS ou ultérieur	Environnement expérimental d'exécution
Transformeur visuel (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, plongements de 768 dimensions	Extraction de représentations visuelles sensibles aux émotions à partir des images vidéo
Wav2Vec 2.0	Meta AI Research	Modèle de base, plongements de 768 dimensions	Extraction de caractéristiques acoustiques et vocales contextuelles des émotions