Visuelle Kartierung multimodaler Emotionsmerkmale für das Design intelligenter Interaktion

Wanbao Ge; Zhenhua Yang; Zhenhu Liu; Qi Liu; Quan Wen; Suraiyati Binti Rahman

doi:10.3791/71171

Forschungsartikel

Visuelle Kartierung multimodaler Emotionsmerkmale für das Design intelligenter Interaktion

96 Aufrufe

⸱

DOI:

10.3791/71171

⸱

21. August 2026

Wanbao Ge¹^,² , Zhenhua Yang¹^,² , Zhenhu Liu³ , Qi Liu¹ , Quan Wen¹ , Suraiyati Binti Rahman¹

¹School of Housing, Building and Planning, Universiti Sains Malaysia, ²School of Design Art, Changsha University of Science & Technology, ³Xiamen Academy of Arts and Design, Fuzhou University

In diesem Artikel

Zusammenfassung

Die Arbeit schlägt einen End-to-End-Multimodal-Emotionsanalyserahmen vor, der Transformer-Encoder, entkoppelte Emotionsrepräsentationen und eine graphenbasierte, multimodale Aufmerksamkeit mit visueller Abbildung nutzt, um die Genauigkeit der Emotionserkennung über zwei Datensätze hinweg zu verbessern.

Zusammenfassung

Durch die Fähigkeit, maschinelle Systeme menschliche affektive Zustände erfassen, interpretieren und darauf reagieren zu lassen, ist die visuelle Abbildung multimodaler Emotionseigenschaften entscheidend für das Design intelligenter Schnittstellen. Dennoch konzentrieren sich aktuelle Algorithmen zur multimodalen Emotionserkennung hauptsächlich auf die Vorhersageleistung und liefern nur begrenzte Einblicke in Interpretierbarkeit, Interaktionsbewusstsein oder Merkmalsebene-Interaktionen zwischen Modalitäten. In dieser Arbeit wird ein Framework zur visuellen Abbildung multimodaler Emotionsaspekte vorgestellt, das interaktionsorientierte Visualisierung, interpretierbares Repräsentationslernen und Emotionsvorhersage kombiniert. Ohne Verwendung manuell erstellter Merkmale kamen Transformer-basierte Encoder zum Einsatz, um hochgradige Emotionseinbettungen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Zur Verbesserung der Robustheit wurden emotions- und modalitätsspezifische Informationen mithilfe einer entkoppelten Repräsentationslernmethode getrennt. Zusätzlich wurde ein graphbasiertes, multimodales Attention-Netzwerk entwickelt, um mit adaptiver Attention-Gewichtung subtile emotionale Beziehungen zwischen den Modalitäten zu modellieren. Ein mehransichtiger Visualisierungsmodul wurde erstellt, um zeitliche Emotionsverläufe, Verteilungen der multimodalen Attention sowie latente Emotionseinbettungen darzustellen und so die Transparenz zu erhöhen. Das Framework wurde anhand des Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI)-Datensatzes und des Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) evaluiert. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Framework eine verbesserte Interpretierbarkeit auf Merkmalsebene und interaktionsbewusste Visualisierung bietet und dabei hinsichtlich Genauigkeit, F1-Score, Korrelation und mittlerem absoluten Fehler konstant bessere Leistungen erbringt als repräsentative Baseline-Verfahren. Darüber hinaus ermöglichte der Visualisierungsmodul eine qualitative Interpretation multimodaler Emotionsrepräsentationen, multimodaler Interaktionen und zeitlicher Emotionsdynamiken und unterstützte so die interaktionsbewusste Visualisierung und Analyse.

Einleitung

Die Fähigkeit, menschliche Emotionen korrekt zu erkennen und zu verstehen, ist entscheidend geworden, um die Interaktion zwischen Mensch und Maschine zu verbessern. Neben ihrer zentralen Bedeutung für die Verbesserung der Mensch-Computer-Interaktion birgt die Emotionsanalyse das Potenzial, zahlreiche Bereiche zu revolutionieren, darunter die prädiagnostische medizinische Diagnose¹, die Analyse des Klassenraumverhaltens², die psychologische Überwachung von Patienten³, die Erkennung von Müdigkeit in Fahrzeugen⁴ und das intelligente Management in Smart-Home-Umgebungen⁵. Neuere Fortschritte im Bereich des affektiven Rechnens und des Deep Learning⁶ haben das Interesse an der Entwicklung von Echtzeitsystemen, die die Komplexität menschlicher Emotionen erfassen können, verstärkt.

Viele derzeitige Methoden stützen sich hauptsächlich auf unimodale Daten, wie textuelle, grafische oder auditorische Signale⁷^,⁸^,⁹Diese Ansätze versagen regelmäßig bei der Erkennung differenzierter Signale wie Sarkasmus oder kontextspezifischer Nuancen. Die Forschung hat sich daher der multimodalen Emotionsbewertung zugewandt, die komplementäre Daten aus mehreren Quellen einbezieht, um diese Einschränkungen zu überwinden.¹⁰^,¹¹^,¹²Die Vorteile der Kombination mehrerer Modalitäten wurden durch Basismodelle wie Early Fusion-Long Short-Term Memory (EF-LSTM)13 und Light and FM Deep Neural Networks (LF-DNN) gezeigt.¹⁴, Tensor-Fusionsnetzwerke (TFN) und Ansätze zur multimodalen Fusion mit niedrigem Rang. Die meisten dieser Ansätze stützen sich jedoch auf die Offline-Generierung von Merkmalen und sind daher für dynamische, reale Situationen nicht geeignet.

Um emotionale Zustände zu berücksichtigen, hat die multimodale Emotionserkennung in Forschung und Anwendung in den letzten zehn Jahren stark zugenommen¹⁵. Einer der anspruchsvollsten und bedeutendsten Forschungsbereiche heutzutage ist die kontinuierliche Überwachung emotionaler Zustände mithilfe verschiedener Datenquellen¹⁶. Die Idee der Multimodalität ergab sich ganz natürlich aus dem Aufkommen eines derart vielfältigen Wissenssystems und führte zu zahlreichen Fortschritten bei der Anwendung von Emotionen in Bereichen wie emotionaler Datenverarbeitung, Mensch-Computer-Interaktion (HCI), Lernen, Videospielen, Kundenservice, medizinischer Versorgung, Usability-Tests (UX) usw. Dennoch war es bisher nicht immer einfach, Techniken der Emotionserkennung in der UX-Bewertung anzuwenden.

Einer der Hauptgründe, sich auf die multimodale Erkennung anstelle einmodaler Methoden zu konzentrieren, liegt in den inhärenten Nachteilen der ausschließlichen Nutzung einer einzigen Informationsquelle. Einmodale Systeme zur Emotionserkennung können aufgrund fehlender oder unklarer Daten eine geringere Genauigkeit aufweisen, während MER-Verfahren zuverlässiger sind und durch die Integration mehrerer Datenquellen ein umfassenderes und differenzierteres Verständnis expressiver Zustände ermöglichen¹⁷. Beispielsweise mag die alleinige Analyse der Gesichtssprache nicht ausreichen, um Gefühle präzise zu klassifizieren, insbesondere wenn die Gesten komplex oder unklar sind. Die Kombination von Gesichtsausdrücken mit anderen Kommunikationsformen wie Sprache oder körperlichen Hinweisen könnte hingegen die Genauigkeit der Gefühlserkennung verbessern.

Umfangreiche Forschungsarbeiten zur Emotionserkennung wurden in mehreren Modalitäten durchgeführt. Frühe Studien konzentrierten sich darauf, unterscheidende Merkmale aus verschiedenen Modalitäten wie grafischen, akustischen oder textbasierten Eingaben zu identifizieren. Allerdings wird zunehmend deutlich, dass die Integration verschiedener Modalitäten eine ausgewogene emotionale Information liefert, was zu einer zuverlässigeren und präziseren Stimmungserkennung führt. Dieser Abschnitt behandelt wesentliche Fortschritte in der einmodalen und multimodalen Emotionsanalyse, wobei der Schwerpunkt auf Grundverfahren, deren Schwächen sowie der Begründung für unsere Methode liegt.

Die erste Studie zur Emotionserkennung konzentrierte sich hauptsächlich auf eine einzelne Modalität. Im visuellen Bereich führte bahnbrechende Forschung zur Kategorisierung prototypischer Gesichtsbewegungen²⁰. Spätere Fortschritte umfassten Techniken zur Erfassung zeitlicher Dynamiken, wie visuelle Bewegung²¹ und versteckte Markov-Modelle²², während Gesichtsreaktionen mithilfe des Facial Action Coding System (FACS) in Aktions-Einheiten unterteilt wurden²³. LSTMs und faltende neuronale Netze (CNNs) wurden erfolgreich eingesetzt, um aussagekräftige Merkmale direkt aus rohen Audiosignalen zu extrahieren; Methoden zur Emotionsidentifikation basierend auf Audio haben sich von herkömmlicher Signalverarbeitung hin zum Deep Learning weiterentwickelt²⁴. Die Extraktion kontextueller Stimmungssignale in der textbasierten Emotionsanalyse wurde durch rekurrente neuronale Netze (RNNs) mit Aufmerksamkeitsmechanismen erheblich verbessert und neuerdings durch transformerbasierte Modelle. Trotz ihrer Erfolge sind unimodale Techniken prinzipiell unfähig, die Komplexität menschlicher Erlebnisse genau abzubilden, da ihnen die zusätzliche Information anderer Modalitäten fehlt.

Einige auf Mechanismen der Aufmerksamkeit basierende Modelle, wie das DialogXL-Modell25, wurden 2021 vorgeschlagen, um langfristigere Umgebungsdaten im Bereich der Identifizierung von Stimmungen in Gesprächen zu erfassen. Kim et al.²⁶ stellten das EmoBERTa-Modell im Jahr 2021 vor, um die Genauigkeit der ERC zu erhöhen. Dieses Modell nutzt Sprechdaten, um die Merkmale der Sprecher in Gesprächen und ihre Wechselwirkungen untereinander zu verbessern. Im Jahr 2022 untersuchten Li et al.²⁷ stellte die CoG-BART-Methode vor. Die Organisation nutzt überwachtes kontrastives Lernen, um die Fähigkeit des Modells zur Interpretation relevanter Daten zu verbessern. Es ist darauf hinzuweisen, dass überwachtes Lernen eine erhebliche Menge an annotierten Daten erfordert.

Ein typisches Beispiel dafür ist das Framework für multimodale interaktionsbewusste Repräsentation (Multimodal Interaction-Aware Representation, MIAR)²⁸, das Interaktions-Token für Merkmale und kontrastive Ausrichtung nutzt, um die Generalisierungsfähigkeit über verschiedene Modalitäten hinweg zu verbessern. MIAR verbessert die Ausrichtung der Modalitäten und erzielt eine hohe Leistung über mehrere Datensätze hinweg; es konzentriert sich jedoch hauptsächlich auf die Vorhersagegenauigkeit, ohne die visuelle Abbildung zu berücksichtigen. Ebenso erfasst das Modell zur cross-attentiven audiovisuellen Fusion²⁹ feinabgestufte audiovisuelle Interaktionen effektiv zur Vorhersage von Valenz und Erregung, ist jedoch auf zwei Modalitäten beschränkt und verfügt nicht über Visualisierungsfunktionen. Ansätze zur zeitlichen Modellierung, die auf LSTM-Netzwerken und Autoencoder-Fusion basieren, erfassen die zeitlichen Dynamiken von Emotionen erfolgreich, liefern jedoch nur begrenzte Einblicke in die Wechselwirkungen zwischen Modalitäten und die gelernten emotionalen Repräsentationen. Neuerdings haben auf Transformatoren basierende Methoden wie das Transformer-basierte multimodale Fusionsnetzwerk (Transformer-based Multimodal Fusion Network, TMFN)³⁰ durch verbesserte multimodale Fusion und kontrastives Lernen eine hohe Leistung auf CMU-MOSI und CMU-MOSEI gezeigt. Dennoch bleiben diese Ansätze vorwiegend leistungsorientiert und bieten nur begrenzte Unterstützung für Erklärbarkeit, interpretationsfähige Merkmalsebenen und visualisierungsorientierte Darstellung von Interaktionen.

Um die Integration von textuellen, akustischen und visuellen Daten zu verbessern, wurden mehrere Techniken zur multimodalen Emotionserkennung vorgeschlagen. Obwohl frühe Fusionsverfahren wie EF-LSTM und LF-DNN die Vorteile der Nutzung multimodaler Informationen für die Stimmungs- und Emotionsanalyse aufzeigten, konnten sie komplexe intermodale Wechselwirkungen nicht erfassen. Der TFN verbesserte zwar die Leistung auf etablierten Datensätzen wie CMU-MOSI und CMU-MOSEI und führte eine explizite Modellierung intermodaler Interaktionen ein, doch seine begrenzte Interpretierbarkeit und hohe Rechenkomplexität beeinträchtigten seine Nützlichkeit. Um die Modaliätsausrichtung und dynamische Merkmalsfusion zu verbessern, setzen neuere Verfahren wie MIAR, cross-attentionale Fusionsmodelle, TMFN und adaptive multimodale Transformer auf Transformer-Architekturen und Attention-Mechanismen. Diese Methoden konzentrieren sich hauptsächlich auf die Vorhersageleistung und liefern trotz konkurrenzfähiger Ergebnisse über gängige Evaluierungskennzahlen wie Genauigkeit, F1-Score und mittleren absoluten Fehler hinweg nur geringe Einblicke in emotionale Repräsentationen auf Merkmalsebene und intermodale Abhängigkeiten. Zudem haben nur wenige Studien Visualisierungstechniken entwickelt, die latente Emotionseinbettungen, Attention-Verteilungen und zeitliche Emotionsdynamiken offenlegen können, oder sie nutzen graphenbasierte Modellierungen intermodaler Interaktionen. Der vorgeschlagene Ansatz kombiniert Mehransichts-Visualisierung, graphenbasierte cross-modale Attention-Fusion und entkoppelte Repräsentationslernverfahren, um diese Nachteile zu überwinden und die Leistung der multimodalen Emotionserkennung zu steigern.

Ebenso schlägt der Adaptive Multimodale Transformer³² eine austauschbasierte Fusion vor, um adaptiv verrauschte oder fehlende modale Informationen zu reduzieren und dadurch die Leistung der Sentiment-Klassifizierung zu verbessern. Obwohl dieser Ansatz effektiv Diskrepanzen in der Verteilung modalitätsbezogener Informationen adressieren kann, ist sein Aufbau spezifisch auf die Sentiment-Analyse ausgerichtet und liefert nur begrenzte Erkenntnisse über die gelernten emotionalen Repräsentationen. Ein weiterer bedeutender Beitrag ist das Multimodale Fusionsmodell³³, das Faltungsneuronale Netze (CNNs), multiplikative LSTMs und eine Transformer-basierte Aufmerksamkeit für die Echtzeit-Erkennung multimodaler Emotionen integriert. Das Modell führt eine vollständige Fusion von Video-, Audio- und Textmodalitäten durch und zeigt eine robuste Erkennungsleistung. Dennoch konzentriert auch es sich wie andere bestehende Modelle hauptsächlich auf Vorhersagegenauigkeit und weist nur unzureichende explizite Merkmale für Visualisierung und interaktionsorientierte Interpretierbarkeit auf.

Zusammenfassend lässt sich sagen, dass die derzeitigen multimodalen Ansätze zur Emotionserkennung zwar beträchtliche Fortschritte bei der Erfassung von intermodalen Wechselwirkungen und der Verbesserung der Vorhersagegenauigkeit erzielt haben, sich die meisten jedoch auf erkennungsorientierte Aufgaben konzentrieren. Aspekte wie die Interpretierbarkeit auf der Ebene von Merkmalen, die Visualisierung emotionaler Repräsentationen im Bildraum sowie die Einbindung des vorgeschlagenen Frameworks in die intelligente Interaktionsgestaltung wurden bisher wenig beachtet. Vor dem Hintergrund dieser Herausforderungen wird das vorgeschlagene Framework eingeführt.

Die meisten derzeitigen Methoden konzentrieren sich hauptsächlich auf die Verbesserung der Vorhersagegenauigkeit, bieten jedoch trotz bemerkenswerter Fortschritte bei der multimodalen Emotionserkennung²⁸^,²⁹ nur geringe Interpretierbarkeit der gelernten emotionalen Repräsentationen und der Interaktionen zwischen den Modalitäten. Komplexe Wechselwirkungen zwischen textuellen, akustischen und visuellen Modalitäten sind für aktuelle Fusionsstrategien häufig schwer modellierbar, insbesondere bei Diskrepanzen zwischen den Modalitäten und Informationsdefiziten²⁸^,³¹. Obwohl transformerbasierte Architekturen und Aufmerksamkeitsmechanismen das Repräsentationslernen verbessert haben, wird ihre Transparenz und Interpretierbarkeit oft durch das Fehlen einer expliziten Trennung von emotionspezifischen und modalitätsspezifischen Informationen beeinträchtigt³¹^,³²^,³³. Zudem haben bisher nur wenige Studien graphbasierte Modellierungen intermodaler Interaktionen untersucht oder Visualisierungsrahmenwerke entwickelt, die zeitliche Emotionsdynamiken, Verteilungen der Aufmerksamkeit und Emotionsembeddings aufdecken können. Diese Nachteile verdeutlichen die Notwendigkeit eines interpretierbaren multimodalen Frameworks für intelligente Mensch-Maschine-Interaktionen, das interaktionsorientierte visuelle Abbildungen mit leistungsstarkem lernbasiertem Quermodal-Lernen kombiniert.

Diese Arbeit stellt einen interpretierbaren Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte im intelligenten Schnittstellendesign vor. Ohne auf manuell erstellte Merkmale angewiesen zu sein, nutzt das System ein End-to-End-Deep-Learning-Verfahren, um hochwertige emotionale Repräsentationen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Quermodale emotionale Interaktionen werden mithilfe eines graphenbasierten Attention-Fusionsmechanismus modelliert, der emotionspezifische und modalitätsspezifische Informationen trennt, wodurch eine entkoppelte Repräsentationslernung ermöglicht und die Interpretierbarkeit sowie Robustheit verbessert wird. Zusätzlich wird ein Visualisierungsmodul mit mehreren Ansichten erstellt, um zeitliche Emotionsdynamiken, quermodale Attention-Muster und Emotions-Embeddings darzustellen. Die Wirksamkeit und Eignung des vorgeschlagenen Frameworks in intelligenten Mensch-Maschine-Interaktionssystemen wird durch Validierung an etablierten multimodalen Datensätzen zur Emotionserkennung überprüft.

Diese Arbeit bietet einen einzigartigen Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte, der über herkömmliche, auf Vorhersage ausgerichtete Ansätze hinausgeht, um die unzureichende Modellierung von Quermodaleffekten und die begrenzte Interpretierbarkeit aktueller Systeme zur multimodalen Emotionsidentifikation zu überwinden. Innerhalb einer einzigen Architektur kombiniert der vorgeschlagene Ansatz transformerbasiertes multimodales Repräsentationslernen, entkoppeltes, emotionsbewusstes Merkmalsmodellieren, graphbasierte Fusion mittels Quermodal-Aufmerksamkeit sowie eine auf Interaktionen ausgerichtete Visualisierung. Im Gegensatz zu bestehenden Ansätzen, die hauptsächlich auf Klassifikationsleistung abzielen, trennt der Rahmen eindeutig emotions- und modalitätsspezifische Repräsentationen, um Interpretierbarkeit, Robustheit und Quermodal-Konsistenz zu verbessern. Zusätzlich wird ein graphbasiertes Aufmerksamkeitsverfahren vorgestellt, das eine adaptive Modellierung intermodaler Interaktionen ermöglicht, indem es feingliedrige emotionale Abhängigkeiten zwischen textuellen, auditiven und visuellen Modalitäten erfasst. Ein Visualisierungsmodul mit mehreren Ansichten wird entwickelt, um Transparenz zu erhöhen, indem zeitliche Emotionsverläufe, Muster der Quermodal-Aufmerksamkeit und latente Emotions-Embeddings sichtbar gemacht werden, die intuitive Einblicke in den Entscheidungsprozess des Modells liefern. Neben einer verbesserten Visualisierung und Interpretierbarkeit multimodaler emotionaler Dynamiken zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI wettbewerbsfähige Leistung hinsichtlich Genauigkeit, F1-Score, mittlerem absoluten Fehler und Korrelation.

Protokoll

Die vorgeschlagene Arbeit zielt darauf ab, das intelligente Interaktionsdesign durch einen interpretierbaren Rahmen für die visuelle Abbildung multimodaler Emotionsmerkmale zu verbessern. Für diese Arbeit wurden die öffentlich zugänglichen Datenbanken CH-SIMS und CMU-MOSEI verwendet. Beide Datensätze wurden von ihren offiziellen Quellen bezogen und gemäß den vom jeweiligen Ersteller festgelegten Nutzungsrichtlinien, Forschungsstandards und Lizenzbedingungen genutzt. Der multimodale Inhalt der Datensätze, einschließlich Text-, Audio- und Videodaten, wurde zunächst von den Anbietern der Datensätze unter Einhaltung ihrer autorisierten Teilnehmergenehmigungen und Datenerfassungsprotokolle gesammelt und annotiert. In dieser Studie fand keine direkte menschliche Interaktion statt, es wurden keine neuen Teilnehmer rekrutiert und keine personenbezogenen Daten erhoben. Alle Analysen wurden anhand öffentlich verfügbarer Forschungsdatensätze durchgeführt. Folglich war für unsere sekundäre Datenanalyse keine zusätzliche ethische Genehmigung oder Prüfung durch eine zuständige Ethikkommission (Institutional Review Board, IRB) erforderlich. Die Studie wurde unter Einhaltung der geltenden institutionellen Normen zur Nutzung öffentlich zugänglicher Datensätze, ethischer Forschungsverfahren und anwendbarer Daten-Nutzungsrichtlinien durchgeführt.

Ein graphbasiertes, multimodales Aufmerksamkeitsverfahren wurde eingesetzt, um Emotionscharakterisierungen über verschiedene Modalitäten hinweg mithilfe emotions- oder modalitätsspezifischer Merkmale zu erlernen und so das Verständnis zu verbessern. Eine Multiview-Visualisierungskomponente wird verwendet, um die Echtzeit-Emotionswahrnehmung in interaktiven Designs zu verbessern, und ihre Effizienz wird hinsichtlich der Emotionserkennung bewertet. Die Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl die Interpretierbarkeit als auch die Effizienz emotionsbewusster intelligenter Benutzeroberflächen in der realen Welt verbessert. Abbildung 1 zeigt den architektonischen Arbeitsablauf der vorgeschlagenen Methode. Abbildung 1 zeigt den vollständigen Arbeitsablauf des vorgeschlagenen Visualisierungsrahmens für das multimodale Lernen von Emotionsmerkmalen im Kontext intelligenter Interaktionssysteme. Der Arbeitsablauf beginnt mit drei synchronisierten Eingabemodalitäten, nämlich Text, Audio und Video, die jeweils komplementäre emotionale Informationen aus den sprachlichen, prosodischen und Gesichtsausdrucksmodalitäten erfassen. Ein modalitätsspezifischer Transformer-Encoder verarbeitet jede Modalität, um hochwertige Repräsentationen der Rohdaten zu erhalten. Diese Repräsentationen werden anschließend in ein Modul für entkoppeltes Repräsentationslernen eingespeist, in dem die emotionspezifischen Einbettungen von den modalitätsspezifischen Merkmalen getrennt werden, um Konsistenz der erlernten Emotionen über heterogene Datenquellen hinweg sicherzustellen. Die emotionspezifischen Einbettungen jeder Modalität werden dann durch ein graphbasiertes, multimodales Aufmerksamkeitsnetzwerk aggregiert, das die intermodale emotionale Abhängigkeit modelliert und jeder Modalität dynamische Gewichtungen entsprechend dem Interaktionskontext zuweist. Schließlich liefert das Framework sowohl Ergebnisse zur Emotionsklassifizierung als auch Einblicke in die Interaktion, die transparente, emotionsbewusste Entscheidungsfindung und ein adaptives, intelligentes Interaktionsdesign ermöglichen.

Mehrmodes Datenerfassung

Die Datensätze CH-SIMS und CMU-MOSEI sind zwei bereits vorhandene öffentliche multimodale Datensätze, die multimodale Informationen wie synchronisierte Videos, Audio- und Textdaten erfasst haben. Der CH-SIMS-Datensatz umfasst multimodale Untersuchungen chinesischer Personen, darunter 2.281 Videosegmente, die aus mehreren Videosegmenten von Filmen, Fernsehserien und Unterhaltungssendungen stammen. Die Hinzunahme entsprechender Audio- und Textdaten zu diesen Videosegmenten macht Studien zur multimodalen Analyse von Emotionen anhand multimodaler Daten ansprechender und durchführbarer. Der CMU-MOSEI-Datensatz hingegen ist einer der größten multimodalen Datensätze zur Untersuchung von Meinungen, Gefühlen und Emotionen und wurde aus über 23.000 Videoclips mit Aussagen von mehr als 1.000 Sprechern zu verschiedenen Themen zusammengestellt. Der Datensatz wurde zufällig in Trainings- (70 %), Validierungs- (15 %) und Testanteile (15 %) unter Beibehaltung der Klassenverteilung unterteilt.

Schriftliche Transkripte, Audiosignale und Videobilder werden erfasst und feingranular zeitlich synchronisiert. Die Integration auf Ebene der Einzelbilder gewährleistet, dass die vorgeschlagenen Verfahren zum Erlernen von Repräsentationen und die graphbasierten Fusionsmechanismen gemeinsam emotionale Inhalte aus visuellen Ausdrücken, stimmlichen Tönen und sprachlichem Inhalt modellieren und nutzen können. Durch diese Art der multimodalen Erfassungstechnik wird eine effektive Extraktion intermodaler emotionaler Dynamiken ermöglicht, was für das Design intelligenter Interaktionen und verständliche visuelle Abbildungen unerlässlich ist.

Tabelle 1 zeigt die wichtigsten Strukturen der multimodalen Emotionsdatensätze, die in der vorgeschlagenen Methode verwendet werden. Um ein breiteres Spektrum verwandter Gefühle wie gesprochener Wörter, Stimmintonationen und Gesichtsausdrücke zu erfassen, integrieren CH-SIMS und CMU-MOSEI Video-, Audio- und Textmodalitäten aus diesen Datensätzen. Außerdem stehen in CH-SIMS nur begrenzte Datenproben zur Verfügung, was eine gründliche Untersuchung der Modalitätsinteraktionen und der Emotionsvariationen in China ermöglicht. Im Gegensatz dazu ist der CMU-MOSEI-Datensatz aufgrund seiner umfangreichen Daten über verschiedene Sprachen, Probanden und annotierte Emotionsstufen bedeutender für die Bewertung der Robustheit der in dieser Arbeit behandelten Repräsentationslern- und zugehörigen Visualisierungsalgorithmen. Zusätzlich verringert er im Vergleich zu früheren Studien die Schwierigkeiten bei der Informationsauswahl beim Testen von Modellen.

Multimodale Vorverarbeitung und Synchronisierung

Die Zeitstempel-Anmerkungen aus den Datensätzen CH-SIMS und CMU-MOSEI wurden verwendet, um textuelle, akustische und visuelle Modalitäten zu synchronisieren und ein konsistentes multimodales Repräsentationslernen sicherzustellen. Jede Äußerung fungierte als grundlegende Analyseeinheit und wurde mit entsprechenden Audio- und Videosegmenten innerhalb desselben Zeitintervalls verknüpft. Die Ausrichtung erfolgte auf Ebene der Äußerungen. Das Transkript wurde basierend auf den Start- und End-Zeitstempeln jeder Äußerung in Segmente unterteilt. Die Korrespondenz zwischen Transkript, Audio und Video wurde hergestellt, indem die entsprechenden Videobilder und Audiosignale extrahiert wurden, die innerhalb desselben Zeitintervalls lagen. Während Audiosegmente mithilfe von Wav2Vec 2.0 verarbeitet wurden, um akustische Repräsentationen zu erzeugen, wurden visuelle Bilder aus dem Videosegment mit einer vordefinierten Rate abgetastet und mit dem Vision Transformer (ViT) kodiert. Der RoBERTa-Encoder wurde verwendet, um textuelle Einbettungen aus den Transkripten der Äußerungen zu erstellen. Die zeitliche Synchronisation wurde erreicht, indem alle Modalitätsmerkmale an eine einheitliche Äußerungsgrenze angepasst wurden, da die drei Modalitäten Merkmalssequenzen unterschiedlicher Länge erzeugten. Ein Format fester Länge wurde verwendet, um Sequenzen unterschiedlicher Länge zu normalisieren. Längere Sequenzen wurden auf die maximal zulässige Sequenzlänge verkürzt, während kürzere Sequenzen mit Nullen aufgefüllt wurden. Während des Trainings kamen Masken zur Aufmerksamkeitssteuerung zum Einsatz, um gepaddete Elemente von gültigen Merkmalspositionen zu unterscheiden. Modalitysspezifische Einbettungen wurden vor der Fusion in einen gemeinsamen latenten Raum projiziert, um unterschiedliche Sequenzlängen zwischen den Modalitäten zu überwinden. Dies gewährleistete dimensionsale Konsistenz und ermöglichte es dem graphbasierten Aufmerksamkeitsmechanismus, effektives lernbasiertes Wechselwirken zwischen den Modalitäten zu fördern. Um die Datenqualität und Integrität der Synchronisation zu bewahren, wurden Proben mit beschädigten Dateien, fehlenden Anmerkungen oder unvollständigen Modalitätsinformationen aus den Studien ausgeschlossen.

Merkmalsextraktion auf Basis von Transformatoren

Eine Deep-Learning-Methode wird verwendet, um hochgradige, emotionsbewusste Merkmalsrepräsentationen aus Informationen mehrerer Modalitäten – wie beispielsweise Bild, Audio und Text – nach der Ausrichtung der multimodalen Daten und der erforderlichen Vorverarbeitungsschritte auf end-to-end-Basis zu erlernen. Durch den Einsatz eines Transformer-Encoders zur Erzeugung intrinsisch diskriminativer Merkmalsrepräsentationen aus rohen multimodalen Daten entfällt bei der vorgeschlagenen Methode die Notwendigkeit des Feature-Engineerings. Um die Konsistenz über die in dem vorgeschlagenen Ansatz verwendeten Datensätze hinweg zu gewährleisten, wird für jede Modalität ein Embedding fester Größe gelernt. Beispielsweise werden 768-dimensionale Merkmals-Embeddings über jede einzelne Modalität – einschließlich Bild-, Audio- und Textmodalitäten – gelernt, die gemeinsam einen einheitlichen Merkmalsraum bilden, der im gesamten Ansatz verwendet wird, insbesondere bei einem Merkmalsextraktionsansatz, der auf dem vorgeschlagenen CH-SIMS-Datensatz und dem CMU-MOSEI-Datensatz angewendet wird, um hochgradige Merkmale aus Daten unterschiedlicher Größe zu erlernen.

Visuelle Modalität: Visionstransformator für emotionsbewusste Frame-Embeddings

Ein Vision-Transformer-(ViT-Base-)Modell wurde verwendet, um visuelle Informationen aus Videobildern zu extrahieren, um räumliche, emotionsrelevante Darstellungen zu erhalten. Vor der Merkmalsextraktion wurden die Bilder jedes Videosegments auf (224 × 224) Pixel skaliert und in regelmäßigen zeitlichen Abständen abgetastet. Mit einer Patch-Größe von 16 × 16 Pixeln erzeugt die ViT-Base-Architektur eine Reihe visueller Token, die von 12 Transformer-Encoder-Schichten verarbeitet werden. Die gewonnenen Frame-Ebene-Darstellungen wurden mithilfe eines vortrainierten ViT-Modells als visuellem Backbone in einen 768-dimensionalen Einbettungsraum projiziert. Die Frame-Ebene-Einbettungen wurden durch Mittelwert-Pooling aggregiert, um die endgültige visuelle Darstellung für jedes Segment zu erzeugen. Während des Trainings wurden Bildnormalisierung und gängige Erweiterungsmethoden wie zufälliges Zuschneiden und horizontales Spiegeln verwendet, um die Generalisierungsfähigkeit zu verbessern. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um diese visuellen Einbettungen mit textuellen und auditiven Darstellungen zu kombinieren.

Um die zeitlichen Dynamiken von Emotionen beizubehalten, werden Videoproben aus den Datensätzen CH-SIMS und CMU-MOSEI für die visuelle Modalität gleichmäßig abgetastet. Die Einzelbilder jedes Videos, $Mathematische Vektordarstellungsformel, $x_v \in \mathbb{R}^{H \times W \times C}$, Gleichungen.$ , können in N feste Abschnitte unterteilt werden, die anschließend abgeflacht und invers in einen latenten Einbettungsraum der Dimension $Gleichung, die eine Variablenzuweisung zeigt: $ d_v = 768 $.$ überführt werden. Eine Serie wird durch Hinzufügen von Positions-Embeddings und einem lernbaren Gruppierungstoken erstellt:

Gleichung, die eine Summierung gewichteter Komponenten darstellt; mathematische Analyse; Forschungsmethode (1)

wobei E_pos-Gleichung, Konzept des statischen Gleichgewichts, pädagogische Formel für die physikalische Forschungsanalyse die Positions-Codierung bezeichnet und $Mathematische Formel, die die Vektorraum-Darstellung zeigt: $ E \in \mathbb{R}^{(P^2C) \times 71171eq5} $.$ die Patch-Einbettungsmatrix ist.

Gestapelte Transformer-Encoder-Schichten, bestehend aus Feed-Forward-Netzwerken und Multi-Head-Self-Attention, werden verwendet, um die eingebettete Patch-Sequenz zu verarbeiten. Die Transformation in der Schicht l wird wie folgt beschrieben:

Gleichung des iterativen mathematischen Modells unter Verwendung der MSA- und LNO-Funktionen, symbolische Darstellung. (2)

Gleichung der geschichteten Normalisierung und des Feedforward-Netzwerks in der neuronalen Berechnung. (3)

Um den emotionsbewussten visuellen Merkmalsvektor zu erhalten, wird die dem Klassentoken entsprechende Ausgabe als Merkmalsvektor $Vektorraumgleichung $ f_v \in \mathbb{R}^{768} $, mathematischer Begriff, Notation, Algebra.$ extrahiert. Um konsistente visuelle Emotionsrepräsentationen zu erreichen, trotz sprachlicher und inhaltlicher Unterschiede zwischen Datensätzen, werden Frame-Einbettungen aus jedem Videosegment kombiniert, um Gesichtsausdrücke und die Entwicklung von Emotionen zu erfassen.

Audiomodalität unter Verwendung von Wav2Vec 2.0 für Prosodie- und semantische akustische Einbettungen Kontextualisierte Sprach-Einbettungen wurden mithilfe eines vortrainierten Wav2Vec-2.0-Encoders als akustischem Grundgerüst erzeugt. Ein akustischer Merkmalsvektor fester Länge für jeden Satz wurde durch Aggregation der ausgegebenen versteckten Repräsentationen mittels Mittelwert-Pooling erhalten. Das Wav2Vec-2.0-Modell wurde verwendet, um akustische Repräsentationen aus Audiosignalen zu extrahieren, um kontextuelle und emotionsrelevante Sprachmerkmale zu erfassen. Vor der Merkmalsextraktion wurden die Tonaufnahmen normalisiert und auf 16 kHz neu abgetastet. Um die Synchronisation zwischen den textuellen und visuellen Modalitäten sicherzustellen, wurde jeder audioseitige Äußerungsabschnitt anhand der Zeitstempel-Grenzen isoliert, die durch die Datensatzannotationen vorgegeben waren. Der vortrainierte akustische Encoder wurde während des Modelltrainings angepasst, um eine aufgabenspezifische Anpassung zu verbessern, wodurch die abgeleiteten Repräsentationen die emotionalen Aspekte der Sprachsignale genauer widerspiegeln konnten. Anschließend erfolgten die graphbasierte multimodale Aufmerksamkeitsfusion und das Entflechtungslernen von Repräsentationen anhand der endgültigen Audioeinbettungen.

In der Audio-Modalität wird Wav2Vec-2.0 verwendet, um Sprachsignale aus den ursprünglichen Sprachinformationen der Datensätze CH-SIMS und CMU-MOSEI zu modellieren und direkt audiovisuelle Merkmale in Bezug auf Emotionen zu extrahieren. Für jedes Eingabe-Sprachsignal $Mathematischer Ausdruck, Symbol: $ x_a \in \mathbb{R}^T $, impliziert Element im reellen Vektorraum.$ existiert eine faltungsartige Merkmalskodierung:

Mathematische Gleichung, Faltungsfunktion, Diagramm der linearen Transformation, Forschungsanalyse (4)

wobei Z für prosodische Merkmale auf niedriger Ebene wie Melodie, Tonhöhe und Energie steht. Ein auf Transformern basierendes Kontextnetzwerk ist für die oben genannten Strukturen nützlich, da es zeitbasierte Abhängigkeiten über längere Zeiträume hinweg darstellt:

C gleich Fourier-Transformation von Z; mathematische Gleichung zur Signalverarbeitungsanalyse (5)

Prosodische und semantische akustische Daten, die für die Ausdrucksweise von Emotionen wesentlich sind, sind in diesen kontextuellen akustischen Repräsentationen enthalten. Ein Audio-Embedding fester Länge wird durch Durchführung eines zeitlichen Pooling-Verfahrens erstellt:

Mathematischer Ausdruck für Pooling-Operation im Rechenmodell, Gleichung fa=Pool(C), fa∈ℝ⁷⁶⁸. (6)

Das Verfahren verzichtet auf die Verwendung akustischer Merkmale wie MFCCs und erreicht Robustheit, indem es einfach Repräsentationen aus Wellenformen extrahiert, und zwar anhand englischer Sprachdaten von CMU-MOSEI und chinesischer Sprachdaten von CH-SIMS.

Textmodus unter Verwendung von RoBERTa für kontextuelle Emotionseinbettungen

Für die Textmodalität wird der tiefe bidirektionale Transformer RoBERTa auf die Sprachtranskripte aus den beiden Datensätzen angewendet, um kontextuelle Semantik und affektive Bedeutung zu generieren. RoBERTa-basierte Transformer-Encoder wurden verwendet, um textuelle Repräsentationen aus den Transkriptdaten zu extrahieren und so kontextuelle semantische sowie emotionale Informationen zu erfassen. Für den englischsprachigen Datensatz CMU-MOSEI kam ein vortrainiertes RoBERTa-Modell zum Einsatz, während für den chinesischen Datensatz CH-SIMS eine chinesische RoBERTa-Variante verwendet wurde, um sprachspezifische linguistische Merkmale besser berücksichtigen zu können. Die Textvorverarbeitung umfasste die Tokenisierung mithilfe des jeweils passenden RoBERTa-Tokenisierers pro Sprache sowie die Textnormalisierung. Um eine konsistente Batch-Verarbeitung sicherzustellen, wurden Eingabesequenzen in Token-Embeddings umgewandelt und entweder aufgefüllt oder gekürzt, um eine vordefinierte maximale Sequenzlänge einzuhalten. Gemäß dem RoBERTa-Eingabeformat wurden spezielle Klassifizierungs- und Trenntoken eingeführt. Ein festlanges textliches Embedding wurde durch Aggregation der kontextualisierten Token-Repräsentationen, die vom Transformer-Encoder erzeugt wurden, unter Verwendung der finalen [CLS]-äquivalenten Satzrepräsentation gewonnen. Um die erlernten Repräsentationen an die Aufgabe der Emotionserkennung anzupassen, wurden die vortrainierten RoBERTa-Encoder durch multimodales Training verfeinert. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um die textuellen Embeddings mit den audiovisuellen Merkmalen zu kombinieren.

Die Token-Embeddings und Positionsencodierungen können für jede tokenisierte Eingabe kombiniert werden, Analyse dynamischer Systeme, Gleichung: xt={w1,w2,...,wn}, mathematische Formel für Zustandsvariablen. , um die Eingabed Darstellung in der tiefen bidirektionalen Transformationsmethode namens

$Hamiltonsche Gleichung, $H_0 = E_{tok}(x_t) + E_{pos}$; Darstellung einer Formel aus der Quantenmechanik.$ (7)

Diese Form wird durch die Schichten des L-Transformators dargestellt, der Selbst-Attention verwendet, um die kontextuellen Abhängigkeiten zwischen Wörtern zu erkennen:

Gleichung für Transformer-Schichten in neuronalen Netzwerken L, mathematische Formel. (8)

Das kontextuelle Emotions-Embedding wird unter Verwendung des endgültigen versteckten Zustands des Klassifikationstokens erhalten:

Gleichung zur Darstellung der Vektor-Transformation, fₜ = Hᴸ[CLS], fₜ ∈ ℝ⁷⁶⁸, relevant für die Datenanalyse. (9)

Stimmungspolarität, intensive Emotionen und damit verbundene Implikationen sind Beispiele für sprachliche Merkmale im Zusammenhang mit Emotionen, die durch diese Einbettung repräsentiert werden. RoBERTa vereinfacht die sprachunabhängige Modellierung. Dies ermöglicht dem System, dieselbe Einbettungsgröße sowohl für englische Texte aus dem CMU-MOSEI-Datensatz als auch für chinesische Texte aus dem CH-SIMS-Datensatz zu verwenden.

Drei modalitysspezifische Merkmalsvektoren mit 768 Dimensionen – jeweils für die visuelle f_v, audiovisuelle f_a und textuelle f_t Modalität – werden durch den vorgeschlagenen Schritt des tiefen Lernens zur Merkmalsdarstellung extrahiert. In der intelligenten Interaktionsgestaltung erzeugen diese gelernten Darstellungen einen einheitlichen multimodalen Merkmalsraum, der als Grundlage für die merkmalsbasierte visuelle Abbildung, die graphbasierte multimodale Fusion sowie das entkoppelte Lernen von Darstellungen dient.

Gelernte entwirrte Darstellungen

Nachdem eine tiefere Merkmalsrepräsentation erlernt wurde, kann eine zusätzliche Verarbeitung der multimodalen Merkmalsvektoren aus den visuellen, auditiven und textlichen Modalitäten eine getrennte Emotionsbeschreibung liefern. Wenn die modalitysspezifischen Merkmalseinbettungen der auditiven, visuellen und textlichen Modalitäten, die im vorherigen Schritt verwendet wurden, entsprechend durch f_v, f_a und f_t dargestellt werden, sodass $Mathematisches Symbol, Vektorraumformel, $f_m \in \mathbb{R}^{768}$, für Daten-Dimensionalität.$ und Gleichungen für Elemente der Mengenlehre; m ∈ {v, a, t}; mathematische Notation, pädagogische Verwendung. , besteht das Ziel dieses Schritts darin, alle Modalitätsmerkmale in zwei unterschiedliche latente Darstellungen zu zerlegen, zu denen auch die Emotionsdarstellungen gehören, nachdem die vorherigen Semantiken jeder einzelnen Modalität berücksichtigt wurden.

Dies wird erreicht, indem jedes Modalitätsmerkmal f_m in zwei parallele Projektionsnetzwerke eingespeist wird: einen Emotionsencoder Statische Gleichgewichtsgleichung, E_e(.), die die Energiebilanzdynamik im Systemdiagramm darstellt. und einen Modalitätsencoder Em-Funktionssymbol; mathematische Notation; wird in Gleichungen zu bildungstechnischen Zwecken verwendet. , wodurch die beiden Kodierungen erzeugt werden.

Mathematische Gleichungen zur Beschreibung der statistischen Mechanik; Variablen zeigen einen Gleichgewichtsprozess. (10)

Dabei wird die latente Merkmalsdarstellung, die mit der Emotion verknüpft ist, durch $Gleichung, $ z^e_m \in \mathbb{R}^{d_e} $, mathematische Symboldarstellung.$ repräsentiert, während Mathematisches Konzept; zm ∈ ℝdm Symbol; Vektorraum; Dimensionsanalyse; Gleichung. ein modenspezifisches latentes Merkmal darstellt. Dies ermöglicht es emotionsbezogenen Einbettungen, wiederholt über mehrere Eingaben – darunter Audio, visuelle Signale und Text – hinweg miteinander zu kommunizieren, während gleichzeitig die den einzelnen Modalitäten zugehörigen strukturellen Daten erhalten bleiben.

Eine wirksame Trennung wird durch die Rekonstruktion mit Unabhängigkeitsbeschränkungen erzwungen. Die Rekonstruktion des ursprünglichen Modalitätsmerkmals ergibt sich aus:

Gleichung für dynamischen Prozess; Formel: f̂ₘ = D(zₘᵉ, zₘᵐ); Konzeptdiagramm; Forschungskontext. (11)

wobei $Statistischer Prozess; $ D(.) $ Formel; mathematische Gleichung zur Datenanalyse$ ein Dekodierungsnetzwerk ist. Der Rekonstruktionsverlust erhält die folgenden Daten:

Formel für den Rekonstruktionsverlust, mathematische Gleichung für die Signalverarbeitungsanalyse, Σm||fm-f̂m||². (12)

Zusätzlich beschränkt die Orthogonalität oder Entkorrelation zwischen Emotion und modalitytspezifischen Darstellungen häufig die Informationsüberlappung:

Gleichung für statisches Gleichgewicht Σm||(ze^T)zm||2, mathematische Formel, pädagogische Nutzung. (13)

Indem diese Ziele erreicht werden, könnte das Modell Emotionsrepräsentationen erlernen, die zuverlässig, verständlich und robust gegenüber Modalitätsvariabilität sind. Spätere graphbasierte multimodale Fusionen und visuelle Abbildungsmerkmale, insbesondere für die intelligente Interaktionsgestaltung, hängen stark von interpretierbaren, strukturierten Emotionsrepräsentationen ab.

Gefühlsübereinstimmung über Modalitäten hinweg

Die Berücksichtigung der Emotionskonsistenz verbessert deutlich die Effektivität der Fusion zwischen den Modalitäten. Dies liegt daran, dass bei den Fusionsstrategien keine großen Unterschiede zwischen den beiden Darstellungen mehr berücksichtigt werden müssen, da die modalitysspezifischen Emotionseinbettungen einen latenten Raum teilen. Die kombinierte Darstellung der beiden Emotionen wird wie folgt beschrieben Chemische Gleichgewichtsgleichungen Zve, Zae, Zte Symbole. . Die gewichtete Fusion wird stabiler sein, wenn die emotionspezifischen Darstellungen konsistent sind, da Variationen zwischen Signalen verschiedener Modalitäten dann keinen Einfluss mehr auf das Ergebnis haben.

Gleichung für den kontrastiven Verlust, mathematische Formel, zeigt Summation und Variablenindizes. (14)

Durch die Durchsetzung einer semantischen Ausrichtung emotionaler Informationen minimiert dieses Ziel Diskrepanzen zwischen den Modalitäten und stellt sicher, dass die Emotionswahrnehmung unabhängig von der zur Ausdrucksweise verwendeten Modalität konsistent bleibt. Folglich wird ein kohärenter und affektiver Repräsentationsraum geschaffen, indem emotionale Hinweise, die aus Sprachsignalen, Gesichtsausdrücken und sprachlichem Inhalt gewonnen werden, projiziert werden.

Auswirkung auf die multimodale Fusion

Die multimodale Fusion wird effektiver, wenn emotionale Konsistenz über die Modalitäten hinweg eingeführt wird. Die Fusionsmechanismen müssen nicht mehr signifikante intermodale Repräsentationsunterschiede ausgleichen, da die emotionspezifischen Einbettungen in einem gemeinsamen latenten Raum ausgerichtet sind. Die fusionierte Emotionsrepräsentation wird wie folgt definiert:

Gleichung zum statischen Gleichgewicht Σm∈{v,a,t}amzem-Diagramm für die Fusionanalyse in der Bildungsforschung. (15)

Dabei repräsentiert α_m das Gewicht der Aufmerksamkeit, das der Modalität m zugewiesen wird. Die gewichtete Fusion wird stabiler und verständlicher, wenn die emotionspezifischen Darstellungen konsistent sind, da das Fusionsergebnis komplementäre emotionale Hinweise anzeigt, anstatt widersprüchliche Modalitätssignale.

Mathematisch gesehen, verringern Gleichgewichtsgleichung im statischen Zustand, ΣFx=0, Vektor-Mechanik, pädagogische Formel Varianz zwischen verschiedenen emotionspezifischen Repräsentationstypen in Bezug auf Statische Gleichgewichtsgleichung, ΣFx=0, Vektormechanik, pädagogische Formel ist gleichbedeutend mit:

Formel zur Berechnung der Varianz, Var(z^e), mathematischer Ausdruck, Gleichung für die statistische Analyse. (16)

wobei Z^-e-Symbol, chemische Gleichung, relevant für Ionenladungsstudien, Formeldarstellung die durchschnittliche Emotionsäußerung darstellt. Eine verringerte Varianz führt dazu, dass die Eingabemodalitäten entsprechend ihrer genauen emotionalen Bedeutung und nicht gemäß Modalitätsrauschen gewichtet werden, was eine verbesserte Netzwerkkonvergenz und eine genauere Aufmerksamkeitsbewertung sicherstellt.

Das endgültige Lernziel entkoppelter Emotionsvisualisierungen besteht darin, Fragmentierung, Rekonstruktion und emotionale Gleichförmigkeit zu kombinieren:

Mathematische Formel, L_total = L_rec + λ1L_dis + λ2L_con, Gleichungsdiagramm, Optimierung. (17)

wobei zwei Hyperparameter, λ₁ und λ₂, die Beziehung zwischen der zuverlässigen Erkennung von Emotionen über verschiedene Modalitäten hinweg und deren Abgrenzung steuern. Das vorgeschlagene Modell erlangt modusunabhängige, interpretierbare und fusionierbare emotionale Repräsentationen, um dies zu erreichen, wobei der Schwerpunkt darauf liegt, eine solide Grundlage für die spätere, auf Graphen basierende Fusion sowie für die Repräsentation auf der Merkmalsebene im intelligenten Schnittstellendesign zu schaffen.

Graphbasierte, multimodale Aufmerksamkeitsfusion

Ein graphbasiertes, multimodales Attention-Netzwerk wurde verwendet, um feinkörnige emotionale Beziehungen zwischen den Modalitäten zu simulieren. Um den Informationsfluss zwischen den Modalitäten zu erleichtern, wurde ein vollständig verbundener multimodaler Graph erstellt, wobei jede modalitysspezifische Einbettung (Text, Audio und visuell) als Knoten im Graphen repräsentiert wurde. Die Beziehungen zwischen den Modalitäten dienten zur Erstellung der Adjazenzmatrix des Graphen, die anschließend mithilfe einer lernbaren Attention-Methode verbessert wurde. Ein gemeinsamer latenter Raum wurde durch Verkettung und Projektion der Ausgaben mehrerer Attention-Köpfe erzeugt. Eine einheitliche, multimodale Emotionsrepräsentation entstand dann durch Aggregation der Knotenrepräsentationen mittels attentiongewichteter Pooling-Verfahren. Diese fusionierte Repräsentation wurde anschließend an Vorhersage- und Visualisierungsmoduln für die interaktionsbezogene Analyse und Emotionserkennung weitergeleitet. Das Graph-Fusion-Modul wies eine Dimension der verborgenen Repräsentation von 256 auf und enthielt zwei Graph-Attention-Schichten, jede mit acht Attention-Köpfen. Um die relative Wichtigkeit benachbarter Modalitäten zu ermitteln, wurden die Attention-Koeffizienten zwischen verbundenen Knoten berechnet und mittels der Softmax-Funktion standardisiert. Jeder Graph-Attention-Schicht folgten eine Layer-Normalisierung, Residualverbindungen und eine Dropout-Rate von 0,2, um die Stabilität des Trainings zu erhöhen und Überanpassung zu reduzieren. Nachdem die Ausgaben mehrerer Attention-Köpfe verkettet und in einen gemeinsamen latenten Raum projiziert worden waren, wurden die Knotenrepräsentationen mittels attentiongewichtetem Pooling zu einer einzigen, multimodalen Emotionseinbettung kombiniert. Anschließend wurde die fusionierte Repräsentation für die multiview-basierte visuelle Abbildung und Emotionsvorhersage verwendet.

Unter Verwendung einer Multi-Head-Graph-Aufmerksamkeit wurden vielfältige multimodale Wechselwirkungen erfasst. Die Softmax-Funktion diente zur Normalisierung der Aufmerksamkeitskoeffizienten zwischen verbundenen Knoten für jeden Knoten. Um die Stabilität des Trainings zu erhöhen und Überanpassung zu vermeiden, folgten auf die gestapelten Graph-Aufmerksamkeitsschichten des Graph-Fusionsmoduls Residualverbindungen, Layer-Normalisierung und Dropout-Regularisierung.

Die Begriffe Chemische Gleichgewichtsgleichungen Zve, Zae, Zte Symbole. repräsentieren einzeln die Darstellungen, die den spezifischen Emotionen entsprechen, die durch die visuellen, auditiven und textlichen Modalitäten erfasst wurden; jede Komponente befindet sich im gemeinsamen latenten Raum Mathematisches Symbol R^d_e für Vektorräume; Gleichungsdiagramm für räumliche Analyse. . Die Modelle für die Modalitätsknoten verwenden eine Notation für den Graphen Gleichung der Graphentheorie G=(V,E), die Knoten und Kanten darstellt; symbolische Repräsentation. , wobei die Knoten der Sammlung Geschwindigkeitsberechnung mit der Formel v={v,a,t}; Kinematikgleichung; Bildungsinhalt. den drei Modalitätsknoten selbst entsprechen, um die emotionalen Abhängigkeiten zwischen den verschiedenen Modalitätsdarstellungen explizit zu stärken.

Nach der Zuweisung eines emotionspezifischen Merkmalsvektors zu jedem Knoten im Graphen haben wir:

$Gleichung des statischen Gleichgewichts $H=[Z_v^e, Z_a^e, Z_t^e]^T \in \mathbb{R}^{3 \times a_e}$.$ (18)

Im Gegensatz zu herkömmlichen Fusionsmethoden, die vorbestimmte oder feste Fusionsgewichte verwenden, lernt das vorgeschlagene Verfahren adaptive Kantengewichte basierend auf deren Bedeutung und gegenseitigen Abhängigkeiten, sowohl über Kanäle als auch über emotionale Situationen hinweg.

Ein Graph Attention Network (GAT) wird für die multimodale Fusion verwendet. Ein Aufmerksamkeitskoeffizient wird für jeden Knoten i und seine benachbarten Knoten, also Knoten j, berechnet:

Gleichung zur Aktivierung eines neuronalen Netzwerks: LeakyReLU; Formel; maschineller Lernausdruck. (19)

Die emotionale Wirkung des Wechsels von Modus j zu Modalität i wird durch die normalisierten Gewichte α_ij gemessen.

Anschließend wird das fusionierte Erscheinungsbild jedes Modalitätsknotens als gewichtete Gruppierung seiner Nachbarn berechnet:

$Formel für das Graph-Neuronale Netzwerk, $ h'_i = \sigma(\sum_{{j \in N(i)}} \alpha_{ij} W z_j^e) $.$ (20)

wobei die Aktivierungsfunktion Sigma-Funktionssymbol (σ), mathematische Notation nichtlinear ist. Letztendlich werden die aktualisierten Merkmale jedes Knotens kombiniert, um eine globale fusionierte Emotionsrepräsentation zu erhalten:

Gleichung für den Datenfusionsprozess, z_fusion = 1/|v| Σ h'_i, mathematische Formel. (21)

Es handelt sich um eine nützliche Technik für interpretierbare Emotionsmodellierung und anschließende visuelle Abbildung, da sie komplementäre Informationen aus verschiedenen Modalitäten erfasst und dabei komplexe intermodale Beziehungen bewahrt.

Algorithmus 1 (Supplementary File 1) liefert das allgemeine Schema zur Durchführung der graphbasierten multimodalen Fusion. Zunächst wird ein Graph erstellt, der die emotionspezifischen Merkmale mit jeder der visuellen, auditiven und textlichen Modalitäten verknüpft. Anschließend werden die Attention-Scores für jedes Paar von Knoten im Graphen berechnet, die die Kombination emotionaler Abhängigkeiten repräsentieren. Die Attention-Scores werden dann normalisiert, um den relativen Beitrag jeder Modalität zum festgelegten emotionalen Kontext anzugeben, wodurch das Lernen der Attention-Gewichte ermöglicht wird. Die generelle Emotions-Embedding wird im letzten Schritt durch Aggregation der mit den Knoten des Graphen verknüpften Merkmale erzeugt. In diesem Sinne zeigt die allgemeine Fusion multimodaler Merkmale, die mit den festgelegten Emotionen verknüpft sind, vielversprechende Eigenschaften hinsichtlich Anpassungsfähigkeit, Interpretierbarkeit und kontextueller Intelligenz.

Abbildung 2 zeigt die Struktur und Funktionsweise des vorgeschlagenen multimodalen Attention-Netzwerks zur multimodalen Sentimentfusion. Die emotionspezifischen Einbettungen, die unabhängig für die Modalitäten Text, Audio und Video gewonnen werden, durchlaufen zunächst modalityspezifische Attention-Mechanismen, die die relative Bedeutung sprachlicher, stimmlicher und mimischer Informationen für einen gegebenen emotionalen Kontext erlernen. Die attention-gewichteten Repräsentationen der Modalitäten werden anschließend zu einer einheitlichen Emotionseinbettung kombiniert, wobei die Attention-Matrix die intermodalen Abhängigkeiten und Wechselwirkungsstärken erfasst. Die vom Netzwerk gelernte Attention-Matrix moduliert dynamisch die Beiträge der einzelnen Modalitäten, sodass das Netzwerk sich auf die aussagekräftigste Modalität konzentrieren und störende, weniger informative Modalitäten ausblenden kann. Die fusionierte Emotionsrepräsentation ermöglicht eine präzise Emotionserkennung sowie eine differenzierte Analyse emotionaler Zustände wie neutral, Zuneigung und Sorge.

Visuelles Abbildungsmodul

Mit Hilfe des speziell für diesen Zweck erstellten visuellen Abbildungsabschnitts kann ein intelligenter Interaktionsdesigner die vereinheitlichte Darstellung des emotionalen Zustands anhand des Graphen nach dem multimodalen Fusionierungsprozess in eine visuelle Form umwandeln, die verständlich und leicht verdaulich ist.

Um latente emotionale Darstellungen leichter erfassbar zu machen, wurden Dimensionsreduktionsverfahren eingesetzt, um die gelernten multimodalen Emotionseinbettungen zu visualisieren. Nach der Reduzierung der Merkmalsdimensionalität unter Beibehaltung des größten Teils der Varianz mittels Hauptkomponentenanalyse (PCA) wurden die Einbettungen mithilfe von t-verteiltem stochastischem Nachbarn-Einbetten (t-SNE) in einen zweidimensionalen Raum projiziert, um sie darzustellen. Für t-SNE wurden eine Perplexitätszahl von 30, eine Lernrate von 200 und 1.000 Optimierungsiterationen verwendet. Emotionsspezifische Cluster und Modalitätsbeziehungen wurden anhand der erhaltenen Projektionen veranschaulicht. Die normalisierten cross-modalen Aufmerksamkeitsgewichte, die durch das graphenbasierte Aufmerksamkeitsnetzwerk ermittelt wurden, dienten der Erstellung von Aufmerksamkeits-Heatmaps. In diesen Heatmaps ist der relative Beitrag textueller, audiovisueller und visueller Modalitäten während der Emotionsvorhersage dargestellt. Die gelernten Aufmerksamkeitskoeffizienten wurden als Kantengewichte verwendet, um cross-modale Interaktionsgraphen zu erstellen, wodurch eine visuelle Untersuchung der intermodalen Beziehungen und des Informationsflusses innerhalb des Fusionierungsrahmens ermöglicht wurde. Emotionsverlaufsdiagramme wurden durch die Beobachtung der Entwicklung latenter Emotionseinbettungen über aufeinanderfolgende Äußerungen hinweg erstellt, um zeitliche emotionale Dynamiken zu untersuchen. Diese Verläufe liefern Erkenntnisse darüber, wie sich emotionale Zustände und Modalitätsbeiträge im Laufe der Zeit entwickeln. Matplotlib und Scikit-learn sind zwei Python-Pakete, die zur Erstellung aller Visualisierungen verwendet wurden. Zur Bewertung der Interpretierbarkeit, der Clusterbildung, der Modalitätsbeiträge und der zeitlichen Emotionsdynamik wurden qualitative Analysen der Einbettungsvisualisierungen, Interaktionsgraphen und Aufmerksamkeits-Heatmaps durchgeführt.

Der Variable z_fusion-Gleichung im Vektorraum ℝ, mathematische Formulierung, theoretische Analyse. wird die fusionierte Darstellung des emotionalen Zustands durch die Graph-Attention-Netzwerk-Funktion zugeordnet. Im Gegensatz zur Visualisierung auf Ausgabeebene der emotionalen Zustandsplots verfolgt das Modul das Hauptziel, die Darstellungen des emotionalen Zustands sowie die entsprechenden Gewichtungen des Attention-Mechanismus in eine verständliche visuelle Form zu überführen.

Mithilfe des erlernten α_ji wird eine Attention-Heatmap erstellt, um den Beitrag jeder Modalität visuell zu überprüfen. Die eingehenden Attention-Gewichte werden anschließend addiert, um einen zusammengesetzten Wichtigkeitsscore für jede Modalität zu bestimmen:

$Statisches Gleichgewicht; $ s_i = \frac{1}{|v|} \sum_{j \in v} a_{ji} $; mathematische Formeldarstellung.$ (22)

wobei s_i den relativen emotionalen Beitrag der Modalität I darstellt. Um eine Aufmerksamkeits-Heatmap zu erstellen, werden die erhaltenen Werte normalisiert und einer Farbskala zugeordnet, die es dem Benutzer erleichtert, die dominierende Modalität in verschiedenen Zeitschritten oder interaktiven Zuständen zu identifizieren. Durch verschiedene visuelle, akustische oder textbasierte Eingabemodalitäten hilft eine solche Schnittstelle dem Benutzer zu verstehen, wie der Aufmerksamkeitsmechanismus des Systems funktioniert.

Der erlernte Graph wird speziell als „gewichteter Interaktionsgraph“ modelliert, um die multimodalen Abhängigkeiten menschlicher Emotionen darzustellen. Jede Modalität wird durch einen Knoten im Graphen repräsentiert, und die Stärke der Wechselwirkungen im Zusammenhang mit menschlichen Emotionen wird durch Gewichtungen in Form von α_ji auf den sie verbindenden Kanten ausgedrückt. Der obige gewichtete Graph veranschaulicht die Intensität der emotionalen Wechselwirkungen zwischen Menschen. Die Definition von i und j lautet:

Gleichung zur Demonstration der Formel für gewichtete Mittelwerte; mathematisches Konzept für die Datenanalyse. (23)

Die Linienstärke oder Transparenz der Graphdarstellung wird dank dieser Gewichtungen angemessen wiedergegeben. Dadurch wird das Verständnis der Wechselwirkungen zwischen den Modalitäten erleichtert. Mithilfe von intermodalen Interaktionsgraphen kann der Gestalter besser nachvollziehen, wie sich emotionale Indikatoren während des Fusionierungsprozesses beeinflussen.

Die fusionierten Emotionseinbettungen Gleichung, die die fusionsbezogene Variable Ztfusion im mathematischen Kontext zeigt. zu verschiedenen Zeitpunkten werden mithilfe eines Dimensionsreduktionsalgorithmus wie PCA oder t-SNE auf einen niedrigdimensionalen Raum projiziert, um die zeitliche Entwicklung der Emotionen darzustellen:

Mathematische Gleichung, die yt als Funktion der Zt-Fusion im Kontext von Vektorräumen zeigt. (24)

wobei die Projektionsfunktion durch Φ-Funktionssymbol, statistisches Konzept, Gleichungsdarstellung dargestellt wird. Das Entstehen von 2D-/3D-Emotionsverläufen, die Emotionsübergänge, -intensitäten und -stabilität in Interaktionen zeigen, kann als anschauliche Darstellung der zeitlichen Entwicklung emotionaler Zustände interpretiert werden. Diese Aspekte können für intelligente Interaktion, Entscheidungsfindung und Echtzeitüberwachung genutzt werden.

Im Gegensatz zu herkömmlichen Emotionssystemen, die lediglich Abbildungen auf bestimmte Klassen oder Bewertungen liefern, konzentriert sich dieses System darauf, zu demonstrieren, wie menschliche Emotionen innerhalb desselben entstehen. Es offenbart seinen Entscheidungsprozess, indem es Visualisierungen von Zwischenmerkmalen bereitstellt, einschließlich Gewichtungsfaktoren, Wechselwirkungen zwischen Modellen und deren entsprechenden Pfaden. Dies ermöglicht es dem Nutzer, zu verstehen, wie jeder Faktor – visuell, stimmlich oder sprachlich – die Erzeugung der Antworten des Systems auf menschliche Emotionen beeinflusst.

Die Abbildung von Emotionen in verständliche Formen durch visuelle Darstellungen kann somit die Lücke zwischen der Emotionsanalyse mithilfe von Deep-Learning-Methoden und deren Integration in die intelligente Gestaltung von Schnittstellen schließen. Die aus beiden Ansätzen gewonnenen Daten können anschließend genutzt werden, um präzisere Benutzeroberflächen zu entwickeln. Der vorgeschlagene Ansatz kann Interaktionsgestaltern daher wichtige Informationen liefern, um genauere Benutzeroberflächen zu entwerfen. Mit anderen Worten wird das Verständnis von Emotionen zu einem aktiven Bestandteil des Interaktionsdesigns. Nur wenn das Verständnis von Emotionen aktiv in das Interaktionsdesign eingebunden wird, kann die Genauigkeit weiter steigen.

Das visuelle Abbildungsmodul ermöglicht Erklärbarkeit auf mehrere miteinander verbundene, aber unterschiedliche Weisen: Die Erklärbarkeit auf Merkmalsebene offenbart die zugrundeliegenden Repräsentationen von Emotionen, die vom DNN erzeugt werden, und ermöglicht es uns, die Semantik zu verstehen, die zur Beschreibung jedes mit Emotionen verbundenen Merkmals verwendet wird; die Erklärbarkeit auf Modalebene nutzt Daten aus den Interaktionsgraphen und den visuellen Aufmerksamkeits-Heatmaps, um zu beschreiben, wie jeder Modus – visuell, audio oder textuell – zu den Entscheidungen über die Ausdrucksweise von Emotionen beiträgt; und schließlich ermöglichen es uns die aus dem Emotions-Embedding resultierenden Trajektorien, zu verstehen, wie sich jeder visuelle und textuelle Modus im Zeitverlauf aus einer dynamischen Interaktionsperspektive betrachtet verändert. Siehe Algorithmus 2 (Supplementary File 1).

Die fusionierten multimodalen emotionalen Merkmale werden mithilfe des vorgeschlagenen visuellen Abbildungs-Algorithmus 2 auf visuell signifikante Darstellungen abgebildet, um ein intelligentes Interaktionsdesign zu ermöglichen. Die graphenbasierten multimodalen Aufmerksamkeitsgewichte dienen dazu, Unterschiede zwischen den Eingabeelementen für visuelle, audiovisuelle und textliche Informationen zu jedem Zeitpunkt zu quantifizieren. Diese Unterschiede werden anschließend visuellen Darstellungen zugeordnet, um mithilfe von Heatmap-Elementen die Hauptquellen hervorzuheben, die die Emotionen beeinflussen. Um einen aufschlussreichen Einblick in die Wechselwirkungen zwischen den Eingabeelementen zu gewinnen und die durch die multimodalen Eingabeelemente erzeugte emotionale Entwicklung zu vermitteln, werden anschließend paarweise Interaktionsstärken berechnet, um die multimodalen Interaktionsgewichte zu erzeugen. Gleichzeitig wird eine Darstellung der emotionalen Entwicklung erzeugt, indem die über die Zeit gesammelten fusionierten emotionalen Elemente in einen niederdimensionalen Raum abgebildet werden, um eine kontinuierliche Entwicklung der emotionalen Elemente darzustellen.

Emotionsvorhersage und Interaktionsrückmeldung

Das Ergebnis der fusionierten Emotionsrepräsentation, dargestellt als z_fusion-Gleichung im Vektorraum ℝ, mathematische Formulierung, theoretische Analyse , wird anschließend als Funktion sowohl für Interaktions-Feedback als auch für die Emotionsvorhersage verwendet. Außerdem wird die Emotionsvorhersage als Multitask-Modell beschrieben, das aus einer Regressionsaufgabe zur Erkennung kontinuierlicher Emotionsintensität und einer Klassifikationsaufgabe zur Erkennung diskreter Emotionen besteht. Für die Erkennung diskreter Emotionen kommt das folgende auf Softmax basierende Klassifikationsmodell zum Einsatz:

Softmax-Gleichung für die Vorhersage der Ausgabe eines neuronalen Netzwerks; Formel: ŷ = softmax(W_cz^fusion + b_c). (25)

wobei $Prognose, Regressionsgleichung, $\hat{y}$; Graph; Datenanalyse; Bewertung des Vorhersagemodells$ die erwarteten Wahrscheinlichkeiten der Emotionsklassen darstellt und W_c und b_c lernbare Parameter sind. Der Kreuzentropieverlust wird verwendet, um das Klassifikationsziel zu verbessern:

Formel für den Klassifikationsverlust, Lcls=-ΣKk=1 yk log(ŷk), mathematische Gleichung. (26)

wobei y_k das Ground-Truth-Tag und K die Anzahl der Emotionsklassen ist. Ein Regressionszweig wird parallel zur Schätzung der Emotionsintensität verwendet und liefert eine Vorhersage verschiedener kontinuierlicher affektiver Attribute, einschließlich Valenz und Erregung. Geben Sie ihm die folgende Definition:

Gleichung für das statische Gleichgewicht, Formel Ŝ = WrZ^fusion + br, Bildungsinhalt. (27)

wobei die erwartete Emotionsintensität durch Spektroskopiediagramm; Formel ΣFx=0; DNA-Analyseexperiment; optische Anregungsstudie angegeben ist. Zur Verbesserung der Regressionsaufgabe wird der Verlust aufgrund des mittleren quadratischen Fehlers verwendet:

Regularisierungsformel: Lreg = ||s - ŝ||²₂, Gleichung zur Optimierung der Verlustfunktion. (28)

Im Allgemeinen werden die beiden Aufgaben im Vorhersageziel kombiniert:

Gleichung der Verlustfunktion: Lpred = Lcls + λLreg, zur Veranschaulichung von Klassifizierung und Regression. (29)

wobei die Ziele der Regression und Klassifikation durch λ ausgeglichen werden. Es wird eine dynamische Anpassung des Visualisierungsmoduls basierend auf dem ermittelten emotionalen Zustand vorgeschlagen, um eine solche interaktionsbezogene Rückmeldung zu ermöglichen. Der Interaktionskontext zu einem bestimmten Zeitpunkt t wird durch c_t dargestellt. Die Antwort des Visualisierungsmoduls ergibt sich aus:

$Gleichung für die Fusionsumwandlung, $V_t = \Psi(z_t^{fusion}, \hat{y}_t, \hat{s}_t, c_t)$.$ (30)

wobei die Visualisierungsanpassungsfunktion durch Symbol der Quantenwellenfunktion Ψ(x) in einer mathematischen Gleichung, relevant für die Teilchenphysikforschung dargestellt wird. Dies ermöglicht es, die Modalitäts-Heatmaps, Interaktionsgraphen und Emotionsverläufe in Echtzeit basierend auf erwarteten Veränderungen und Emotionen anzupassen. Dies zeigt, dass das System neben einer guten Leistung bei der Vorhersage von emotionalen Zuständen auch erhebliche Unterstützung für Feedback bietet.

Ergebnisse

Diese Arbeit validiert den vorgeschlagenen visuellen Abbildungsansatz für multimodale Emotionsmerkmale hinsichtlich sowohl der interaktionsbezogenen Interpretierbarkeit als auch der Vorhersagegenauigkeit anhand zweier Benchmark-Datensätze, CH-SIMS und CMU-MOSEI. Laut den experimentellen Ergebnissen schneidet der vorgeschlagene Ansatz über verschiedene Metriken hinweg – einschließlich Korrelation, Genauigkeit, F1-Score und mittlerem absoluten Fehler (MAE) – durchgängig besser ab als aktuelle Verfahren zur multimodalen Emotionserkennung. Zur Verbesserung tragen die entkoppelte Emotionsrepräsentation, der graphbasierte multimodale Fusionsmechanismus und die End-to-End-Tiefenlernstrategie für Repräsentationen bei, da sie eine stabilere und semantisch besser ausgerichtete Emotionsmodellierung ermöglichen. Der vorgeschlagene Ansatz liefert durch visuelle Abbildung tiefere Einblicke auf der Merkmalsebene, die über quantitative Verbesserungen hinausgehen und das Verständnis von Modalitätsbeiträgen sowie emotionalen Dynamiken erleichtern. Trotz Unterschieden in Sprache, kulturellem Ausdruck und Datensatzgröße zeigt sich der genannte Leistungszuwachs in beiden Datensätzen konsistent und belegt die starke Generalisierungsfähigkeit des vorgeschlagenen Frameworks.

Die öffentlichen Datensätze CH-SIMS und CMU-MOSEI für multimodale Emotionen werden in der vorgeschlagenen Arbeit verwendet. Der CH-SIMS-Datensatz umfasst 2.281 Videoclips aus Filmen, Fernsehdramen und Unterhaltungssendungen. Synchronisierte Text-, Audio- und visuelle Daten sind in CH-SIMS verfügbar. Sowohl unimodale als auch multimodale Sentiment-Labels sind in die Kategorien positiv, neutral und negativ eingeteilt. Der große englischsprachige multimodale Datensatz CMU-MOSEI enthält etwa 23.453 annotierte Videoclips mit über 1.000 Sprechern, die eine breite Palette von Themen diskutieren. Dieser Datensatz enthält sowohl kontinuierliche Emotionsintensitätsannotationen wie Valenz und Erregung als auch kategoriale Emotionslabels. Durch die Unterstützung einer Vielzahl von sprachlichen, kulturellen und emotionalen Bedingungen stärkt die Experimentierung mit diesen beiden Datensätzen im vorgeschlagenen Framework die Robustheit und Zuverlässigkeit. Tabelle 2 zeigt die Details der Simulationsumgebung.

Die wichtigsten experimentellen und implementierungstechnischen Einstellungen, die zur Bewertung des vorgeschlagenen Frameworks verwendet werden, sind in dieser Simulationsumgebung zusammengefasst. Um eine einheitliche Merkmalsdimensionalität über textbasierte, audio- und visuelle Modalitäten hinweg sicherzustellen, werden transformerbasierte Encoder einheitlich angewendet. Es verwendet einen graphbasierten Attention-Mechanismus für die multimodale Fusion, der ein adaptives Lernen der intermodalen Abhängigkeiten in Bezug auf emotionale Zustände ermöglicht.

Der vorgeschlagene Ansatz extrahiert textuelle, akustische und visuelle Repräsentationen mithilfe modalitysbasierter Transformer-Encoder. Vollständig verbundene Schichten mit ReLU-Aktivierung projizieren die modalitysspezifischen Embeddings in einen gemeinsamen latenten Raum. Anschließend werden separate emotions- und modalitysspezifische Encoder, jeweils mit zwei vollständig verbundenen Schichten sowie nichtlinearer Aktivierung und Normalisierung, verwendet, um entkoppelte Repräsentationen zu lernen. Die latenten Repräsentationen werden in einen 256-dimensionalen Merkmalsraum projiziert, in dem Informationen für jede Modalität und Emotion separat erlernt werden. Um die Modalitätsinformationen zu bewahren und eine effiziente Entkoppelung zu fördern, kommen Rekonstruktions-Decodierer zum Einsatz. Vor der multimodalen Fusion und Vorhersage modelliert das graphenbasierte, multimodale Aufmerksamkeitsmodul emotionale Abhängigkeiten zwischen den Modalitäten anhand der latenten Repräsentationen. Das Netzwerk wurde mit dem Adam-Optimierer bei einer anfänglichen Lernrate von 1 × 10⁻⁴ und einer Batch-Größe von 32 trainiert. Um Überanpassung zu vermeiden, wurde ein frühzeitiges Abbruchkriterium basierend auf dem Validierungsverlust angewandt. Die gesamte Zielfunktion setzte sich aus Klassifizierungs-, Rekonstruktions- und Repräsentationskonsistenzverlusten zusammen, die jeweils durch abstimmbare Hyperparameter gewichtet wurden. Das Modelltraining wurde maximal über 100 Epochen durchgeführt, und das leistungsstärkste Modell auf dem Validierungsdatensatz wurde für die Testphase beibehalten.

Der vorgeschlagene Ansatz wurde anhand von Klassifizierungsmetriken wie Genauigkeit, Präzision, Sensitivität und F1-Score sowie Regressionsmetriken wie dem mittleren absoluten Fehler (MAE) bewertet. Präzision, Sensitivität und F1-Score wurden mittels Makro-Mittelung berechnet, um die Klassenungleichgewichte zwischen den Emotionskategorien zu berücksichtigen. Für die Klassifikationsexperimente wurden die vorgegebenen Emotions- bzw. Stimmungskennzeichnungen der Datensätze CH-SIMS und CMU-MOSEI als Referenzkategorien verwendet. Bei der regressionsbasierten Stimmungsvorhersage dienten die kontinuierlichen Stimmungsintensitätswerte der Datensätze als Zielvariablen. Zur Analyse der klassenspezifischen Vorhersageleistung und Fehlklassifizierungsmuster wurden Konfusionsmatrizen erstellt, jeweils mit einem Konfidenzintervall von 95 %. Zur Gewährleistung der Robustheit wurde jedes Experiment fünfmal mit unterschiedlichen Zufallsinitialisierungen wiederholt, und die angegebenen Ergebnisse entsprechen dem Mittelwert ± Standardabweichung über alle Durchläufe. Die statistische Signifikanz wurde mithilfe geeigneter Hypothesentests überprüft, und Konfidenzintervalle wurden dort berechnet, wo anwendbar. Die Trainingszeit wurde als gesamte verstrichene Zeit bis zur Modellkonvergenz auf der angegebenen Hardwareplattform gemessen.

Eine Reihe repräsentativer Baseline-Modelle, darunter Early Fusion und Late Fusion, kann mit der vorgeschlagenen Methode verglichen werden. Dazu gehören TFN, LSTM-basierte Verfahren, Niederrang-Multimodale-Fusionsmodelle, adaptive multimodale Transformer sowie neuartige, auf Cross-Modal-Attention basierende Architekturen. Diese Baselines spiegeln modernste Techniken wider, die sich hauptsächlich darauf konzentrieren, die Genauigkeit der Emotionserkennung durch verschiedene Fusionsmethoden zu verbessern. Im Gegensatz zu diesen Methoden, die primär auf die Vorhersage auf Ausgabeebene abzielen, verbessert der vorgeschlagene Ansatz durch entkoppeltes Repräsentationslernen und graphbasierte Fusion die Interpretierbarkeit und das Bewusstsein für Interaktionen. LSTM-Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph sowie transformatorbasierte Verfahren sind Beispiele für Baseline-Modelle, die anhand ihrer offiziellen Repositories oder öffentlich zugänglicher Referenzimplementierungen umgesetzt wurden. Dabei wurden die ursprünglichen Hyperparameter-Einstellungen der Autoren verwendet, sofern verfügbar. Alle neu trainierten Baselines wurden anhand derselben Datensatz-Aufteilungen, Vorverarbeitungstechniken, Optimierungsparameter und Evaluierungskriterien bewertet, um einen fairen Vergleich zu gewährleisten. In den Vergleichstabellen werden die entsprechenden Referenzen für Daten, die direkt aus früheren Publikationen stammen, eindeutig gekennzeichnet.

Genauigkeit

Die Genauigkeit der diskreten Emotionsklassifizierung wird für beide Datensätze CH-SIMS und CMU-MOSEI gemessen; der Genauigkeitstrend unterscheidet sich jedoch je nach den Eigenschaften der beiden Datensätze. Da CH-SIMS ein mittelgroßer Datensatz mit einer gleichmäßigen Anzahl von Sentiment-Kategorien und sorgfältig vorverarbeiteten Videoclips ist, ist die Genauigkeit hoch, was darauf hindeutet, dass das Modell subtile multimodale emotionale Informationen mit geringem Rauschen erfassen kann. Die genaue Klassifizierung von Emotionen ist jedoch herausfordernd, da CMU-MOSEI ein umfangreicher Datensatz mit Sprechern aus unterschiedlichen Hintergründen ist. Daher zeigt die Genauigkeit auf dem CMU-MOSEI-Datensatz neben der Fähigkeit des Modells, das Sentiment zu identifizieren, auch dessen Fähigkeit zur Generalisierung und Widerstandsfähigkeit gegenüber einer Vielzahl von Interaktionsszenarien an. Die Verbesserung der Genauigkeit über beide Datensätze hinweg zeigt, dass der vorgeschlagene Ansatz gut auf Datensätze unterschiedlicher Sprachen, Größen und emotionaler Komplexitätsgrade verallgemeinerbar ist.

Die Klassifizierungsgenauigkeiten des vorgeschlagenen Ansatzes und anderer gängiger Baseline-Methoden auf den Datensätzen CH-SIMS und CMU-MOSEI sind in Tabelle 3 dargestellt. Wie Tabelle 3 zeigt, erzielte das vorgeschlagene Framework auf beiden Datensätzen, CH-SIMS und CMU-MOSEI, die höchste Genauigkeit und übertraf dabei die beste Baseline-Methode (Adaptive-Graph) um etwa 3,3 % und 3,1 Prozentpunkte, jeweils. Geringere Werte der Standardabweichung deuten zudem auf eine größere Stabilität über wiederholte experimentelle Durchläufe hin. Traditionelle LSTM-Fusionsansätze weisen aufgrund ihrer begrenzten Fähigkeit, komplexe multimodale Beziehungen zu erfassen, eine geringere Genauigkeit auf. TFN und LMF verbessern die Klassifizierungsgenauigkeit, indem sie multimodale Beziehungen modellieren.

F1-Wert

Bei Problemen der Emotionsklassifizierung wird das Verhältnis zwischen Sensitivität und Präzision anhand des F1-Scores gemessen. Für multimodale Datensätze zur Emotionsklassifizierung, die voraussichtlich eine ungleiche Anzahl von Klassen aufweisen, ist dieser daher besser geeignet. Bei Aufgaben der Emotionsklassifizierung wird das Gleichgewicht zwischen Sensitivität und Präzision mithilfe des F1-Scores bewertet. Da multimodale Datensätze zur Emotionsklassifizierung in der Regel unausgeglichen sind, ist der F1-Score angemessener. Je besser das Modell in der Lage ist, Emotionsklassen zu erkennen, desto höher ist der F1-Score.

Abbildung 3 veranschaulicht die Bewertung des F1-Scores der vorgeschlagenen Technik im Vergleich zu den Baseline-Verfahren auf dem CH-SIMS-Datensatz. Der niedrigste F1-Score des LSTM-basierten Baseline-Verfahrens zeigt dessen begrenzte Fähigkeit, komplexe, übermodale emotionale Beziehungen abzubilden. In Abbildung 3 werden die F1-Scores der evaluierten Techniken auf dem CH-SIMS-Datensatz gegenübergestellt. Wie dargestellt, überbieten anspruchsvollere, graphenbasierte und transformerbasierte Architekturen regelmäßig konventionellere, auf Fusion basierende Methoden. Mit einem F1-Score von 0,71 lag das LSTM-Modell am niedrigsten, gefolgt von TFN (0,74) und LMF (0,76). Der F1-Score wurde mit Adaptive-Graph auf 0,79 weiter erhöht, was den Nutzen der Modellierung intermodaler Verbindungen unterstreicht. Mit einem F1-Score von 0,82 übertraf das vorgeschlagene Framework Adaptive-Graph um 3,8 %, LMF um 7,9 %, TFN um 10,8 % und LSTM um 15,5 %. Diese Ergebnisse zeigen, dass der vorgeschlagene graphenbasierte, übermodale Aufmerksamkeitsmechanismus und das entflochtene Repräsentationslernen ergänzende emotionale Informationen über textuelle, audio- und visuelle Modalitäten hinweg effektiver erfassen und so eine bessere Klassifizierungsleistung ermöglichen.

Die relativen Trends sind konsistent, obwohl alle Methoden im Vergleich zu CH-SIMS einen leichten Rückgang der F1-Score-Werte aufweisen, wie in Abbildung 4 dargestellt. Die Ergebnisse zeigen eine stetige Leistungsverbesserung von traditionellen Fusionsmethoden hin zu graphbasierten multimodalen Lernstrategien. Die Modelle mit den niedrigsten F1-Scores waren LSTM (0,69), TFN (0,72) und LMF (0,74). Die Leistung des Adaptive-Graph-Modells stieg auf 0,77 an, was zeigt, wie gut quersmodale Verbindungen modelliert werden können. Der vorgeschlagene Ansatz übertraf alle anderen Verfahren und erreichte den höchsten F1-Score von 0,80. Die Verbesserung gegenüber dem stärksten Baseline-Verfahren, Adaptive-Graph, verdeutlicht den Beitrag der vorgeschlagenen entflochtenen Lernmethode für Emotionsrepräsentationen und des graphbasierten, quersmodalen Aufmerksamkeitsmechanismus beim Erfassen komplementärer emotionaler Hinweise über textuelle, akustische und visuelle Modalitäten hinweg. Diese Ergebnisse zeigen, dass der vorgeschlagene Rahmen für die multimodale Emotionserkennung zuverlässig und effizient ist. Der vorgeschlagene Ansatz weist eine deutliche Verbesserung sowohl gegenüber dem graphbasierten Ansatz als auch gegenüber der herkömmlichen Fusionsmethode auf, was die starke Generalisierungsfähigkeit der Methode weiter bestätigt. Die Verbesserung des F1-Scores auf dem CMU-MOSEI-Datensatz zeigt, dass der vorgeschlagene Ansatz eine ausgewogene Leistung bei der Emotionsklassifizierung auch in verrauschten, vielfältigen Umgebungen erzielen kann.

Präzision

In intelligenten Kommunikationssystemen ist die Präzision entscheidend, da ein falsches emotionales Signal die Benutzererfahrung beeinträchtigen kann. Als Präzision wird das Verhältnis korrekt vorhergesagter Fälle einer bestimmten Emotion zur Gesamtanzahl der als diese Emotion klassifizierten Fälle bezeichnet. Da die entkoppelten Emotionsrepräsentationen weniger verrauscht sind und in der Modalität weniger Fehlklassifikationen unterliegen, übertrifft das vorgeschlagene Modell die Basismodelle im CH-SIMS-Datensatz in Abbildung 5.

Die Genauigkeit mehrerer multimodaler Emotionserkennungstechniken auf den Datensätzen CH-SIMS und CMU-MOSEI wird in Abbildung 5 gegenübergestellt. Während die Modelle von traditionellen fusionbasierten Techniken zu anspruchsvolleren, graphbasierten Architekturen übergehen, steigt die Präzision stetig an. Der vorgeschlagene Ansatz erreichte auf dem CH-SIMS-Datensatz die höchste Präzision von 0,82, wobei sich die Präzision von 0,71 für LSTM auf 0,74, 0,76 bzw. 0,79 für TFN, LMF und Adaptive-Graph erhöhte. Auf dem CMU-MOSEI-Datensatz stieg die Präzision von 0,69 für LSTM auf 0,72, 0,74 bzw. 0,77 für TFN, LMF und Adaptive-Graph. Der vorgeschlagene Ansatz erzielte die höchste Präzision von 0,80. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) verbesserte der vorgeschlagene Ansatz die Präzision um etwa 3,8 % auf CH-SIMS und um 3,9 % auf CMU-MOSEI. Diese Ergebnisse zeigen, dass der vorgeschlagene Ansatz zur Entflechtung von Repräsentationslernen und der graphbasierten, intermodalen Aufmerksamkeitsmechanismus durch die Erfassung komplementärer emotionaler Informationen über textuelle, akustische und visuelle Modalitäten die Anzahl falsch-positiver Vorhersagen erfolgreich verringert. Die Auswirkung irrelevanter Modalitäten wird durch die graphbasierte, intermodale Aufmerksamkeit weiter abgeschwächt. Die größere Vielfalt an Sprechern und sprachlichen Äußerungen im CMU-MOSEI-Korpus führt zu einer leichten Abnahme der Präzision bei allen Modellen.

Rückruf

Bei Aufgaben zur Emotionserkennung ist der Recall, ein Maß für die Fähigkeit eines Modells, emotionale Instanzen, die einer bestimmten Klasse angehören, korrekt zu klassifizieren, von entscheidender Bedeutung, da das Fehlen emotionaler Informationen die Interaktionsqualität negativ beeinflussen kann. Ein höherer Recall-Wert deutet darauf hin, dass das Modell weniger falsch negative Ergebnisse liefert und mehr tatsächliche emotionale Äußerungen erkennt. Der Recall kann als Maß für die Effizienz betrachtet werden, mit der emotionale Informationen aus Text-, Audio- und visuellen Modalitäten im Kontext der multimodalen Emotionsanalyse extrahiert werden.

Der Vorteil der vorgeschlagenen Technik gegenüber den Baseline-Ansätzen bei den Datensätzen CH-SIMS und CMU-MOSEI zeigt sich im Vergleich der Recall-Werte in Abbildung 6. Während sich die Modelle von herkömmlichen, auf Fusion basierenden Methoden hin zu komplexeren, graphbasierten multimodalen Strukturen weiterentwickeln, zeigen die Ergebnisse durchgängig Verbesserungen beim Recall. Beim CH-SIMS-Datensatz stieg der Recall von 0,70 für LSTM auf 0,73, 0,75 und 0,78 für TFN, LMF bzw. Adaptive-Graph; der maximale Recall von 0,82 wurde durch das vorgeschlagene Framework erreicht. Beim CMU-MOSEI-Datensatz erzielte der vorgeschlagene Ansatz den besten Recall-Wert von 0,80, wobei der Recall von 0,68 für LSTM auf 0,71, 0,73 und 0,76 für TFN, LMF bzw. Adaptive-Graph anstieg. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) erzielte das vorgeschlagene Framework relative Verbesserungen von etwa 5,1 % bei CH-SIMS und 5,3 % bei CMU-MOSEI. Diese Ergebnisse zeigen, dass das vorgeschlagene, auf Entflechtung beruhende Lernen von Repräsentationen und der graphbasierte, intermodale Aufmerksamkeitsmechanismus durch die Erfassung komplementärer emotionaler Hinweise über textuelle, akustische und visuelle Modalitäten die Anzahl falsch-negativer Vorhersagen erfolgreich reduziert und somit die Identifizierung von Emotionsklassen in beiden Datensätzen verbessert. Da herkömmliche Methoden nur begrenzt in der Lage sind, komplexe intermodale Beziehungen abzubilden, weisen sie tendenziell niedrigere Recall-Werte auf. Durch eine explizitere Modellierung der Modalitätsbeziehungen erzielen TFN und LMF moderate Verbesserungen. Durch die Simulation strukturierter Beziehungen zwischen den Modalitäten hat die Adaptive-Graph-Methode den Recall weiter gesteigert. Bei beiden Datensätzen erreicht die vorgeschlagene Methode den höchsten Recall, was auf ihre überlegene Fähigkeit hinweist, emotionale Instanzen in unterschiedlichen Interaktionsszenarien zu erkennen. Die Verbesserung ist beim großskaligen CMU-MOSEI-Datensatz deutlicher ausgeprägt, was die Robustheit und Generalisierungsfähigkeit des vorgeschlagenen Frameworks unterstreicht.

mittlerer absoluter Fehler (MAE)

Der mittlere absolute Fehler (MAE) wird verwendet, um die Leistung bei der Vorhersage kontinuierlicher Emotionsintensitäten, wie beispielsweise der Valenz- oder Erregungsvorhersage, zu bewerten. Im Gegensatz zur Genauigkeit spiegelt der MAE den Abstand der vorhergesagten Emotionsintensität zum tatsächlichen emotionalen Zustand besser wider. Aus diesem Grund eignet sich der MAE besser für Datensätze wie CH-SIMS und CMU-MOSEI, die kontinuierliche affektive Kennzeichnungen aufweisen. Ein niedrigerer MAE-Wert weist auf eine höhere Genauigkeit bei der Vorhersage der Emotionsintensität hin.

Der MAE-Vergleich zwischen dem vorgeschlagenen Framework und den Baseline-Ansätzen auf den Datensätzen CH-SIMS und CMU-MOSEI ist in Tabelle 4 dargestellt. Traditionelle, auf LSTM basierende Fusionsmethoden weisen tendenziell höhere MAE-Werte auf, da ihre Fähigkeit, komplexe multimodale emotionale Abhängigkeiten zu modellieren, begrenzt ist. TFN und LMF können den MAE verringern, indem sie multimodale Interaktionen modellieren, und der Adaptive-Graph-Ansatz reduziert ihn weiter, indem er die Beziehungen zwischen Modalitätsgraphen lernt. Das vorgeschlagene Framework erreicht auf beiden Datensätzen den geringsten MAE, was auf eine genauere Schätzung der Emotionsintensität hinweist. Hervorzuheben ist, dass die Verbesserung beim CMU-MOSEI-Datensatz deutlicher ausfällt, bei dem die hohe Variabilität der Daten und die Sprecherbedingungen die Vorhersageaufgabe anspruchsvoller machen.

Konfusionsmatrix für den CH-SIMS-Datensatz

Die Basismethoden der frühen Fusion LSTM und TFN weisen gemäß den Konfusionsmatrizen für den CH-SIMS-Datensatz erhebliche Verwechslungen zwischen den Klassen der neutralen und positiven Emotionen auf. Dies deutet darauf hin, dass diese Methoden nicht besonders gut darin sind, subtile multimodale emotionale Äußerungen zu erkennen. Im Gegensatz dazu zeigt die vorgeschlagene Methode eine deutliche diagonale Dominanz mit sehr wenigen Elementen außerhalb der Diagonale, wodurch die Klassentrennbarkeit verbessert wird. Der entkoppelte Lernmechanismus für Emotionen der vorgeschlagenen Methode sorgt für eine konsistente Repräsentation von Emotionen über die Modalitäten hinweg, und ihr Graph-Fusionsansatz verbessert die Unterscheidung zwischen eng verwandten Sentiment-Klassen. Abbildung 7A–E zeigt die Konfusionsmatrix für den CH-SIMS-Datensatz mit verschiedenen Basismethoden.

Konfusionsmatrix für den CMU-MOSEI-Datensatz

Der vorgeschlagene Ansatz verwendet modalitysinvariante Emotionseinbettungen und adaptive Attention-Gewichte, um die Fehlklassifizierungsrate signifikant zu senken, insbesondere bei emotional mehrdeutigen Eingaben. Dies bestätigt, dass der vorgeschlagene Ansatz in einer Vielzahl großskaliger multimodaler Interaktionsszenarien gut funktioniert. Aufgrund der Größe des Datensatzes, der Sprechervariation und der kontinuierlichen Natur der Sentiment-Labels weisen die Verwechslungsmatrizen des CMU-MOSEI-Datensatzes eine insgesamt höhere Fehlklassifizierungsrate auf. Die Baseline-Methoden zeigen ein erhebliches Maß an Verwechslungen zwischen verschiedenen Emotionskategorien. Abbildung 8A–E zeigt die Verwechslungsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Methoden.

Trainingszeit pro Epoche

Die rechnerischen Kompromisse fortschrittlicher multimodaler Fusionsverfahren ergeben sich aus dem Vergleich der Trainingszeit pro Epoche. Aufgrund der Transformer-Encoder und der Graph-Attention-Mechanismen benötigt das vorgeschlagene Modell etwas mehr Trainingszeit als die einfachen Fusionsansätze, doch dieser Anstieg ist nicht unzumutbar. Der vorgeschlagene Ansatz zeigte eine starke Leistung auf etablierten Datensätzen für multimodale Emotionsanalyse und weist Potenzial für die Integration in intelligente Mensch-Maschine-Interaktionssysteme auf. Die Eignung für den Echtzeiteinsatz wurde jedoch in der vorliegenden Studie nicht bewertet und erfordert weitere Untersuchungen hinsichtlich Latenz, Durchsatz, Speicherverbrauch und Bereitstellung. Bemerkenswert ist, dass die verbesserte Konvergenzstabilität sowie die überlegene Vorhersage- und Interpretierbarkeitsleistung die zusätzlichen Rechenkosten rechtfertigen. Abbildung 9 zeigt das Ergebnis der Trainingszeit pro Epoche für das vorgeschlagene Verfahren.

Ablationsstudie

Um den Einfluss jedes wichtigen Elements im vorgeschlagenen Framework – wie des visuellen Abbildungsmoduls, der graphbasierten multimodalen Fusion und der entkoppelten Emotionsrepräsentation – zu bestimmen, wurde eine Ablationsstudie durchgeführt. Um die Auswirkungen zu verstehen, wurde jeweils ein Element einzeln entfernt. Laut den experimentellen Ergebnissen verbessert die Graph-Fusionsstrategie die Modellierung der intermodularen Abhängigkeiten, und der Beitrag der entkoppelten Emotionsrepräsentation ist am wichtigsten für die Leistungsstabilität. Die unterstützende Rolle des visuellen Abbildungsmoduls wird durch die geringe Auswirkung auf die Leistung bei dessen Entfernung bestätigt. Die Ergebnisse der Ablationsstudie unter identischen Trainings- und Evaluierungsbedingungen sind in Tabelle 5 dargestellt. Der stärkste Leistungsabfall wurde nach dem Entfernen des graphbasierten multimodalen Attention-Moduls beobachtet, wodurch sich die Genauigkeit von 81,72 % auf 77,88 % und der F1-Score von 0,823 auf 0,776 verringerte. Dies unterstreicht die Bedeutung der Modellierung komplexer intermodaler Interaktionen. Die Rolle des Moduls für das Lernen entkoppelter Repräsentationen beim Erlernen robuster, emotionspezifischer Darstellungen zeigte sich darin, dass dessen Entfernung die Genauigkeit um 2,78 Prozentpunkte und den F1-Score um 0,032 senkte. Der Hauptvorteil des visuellen Abbildungsmoduls liegt in der Interpretierbarkeit und nicht in der Klassifizierungsgenauigkeit, was durch den relativ geringeren Rückgang der Vorhersageleistung bei dessen Wegfall belegt wird. Die Konfiguration „Basic Fusion“ erzielte die schlechtesten Ergebnisse und zeigt, dass die beste Leistung bei der multimodalen Emotionserkennung den kombinierten Einfluss aller vorgeschlagenen Module erfordert.

VERFÜGBARKEIT VON DATEN:

Die in dieser Studie verwendeten Datensätze sind öffentlich zugängliche Benchmark-Datensätze. Der CMU-MOSEI-Datensatz wird vom Carnegie Mellon University Multimodal SDK bereitgestellt und in Zadeh et al. (2018) beschrieben (https://doi.org/10.18653/v1/P18-1208), der Zugriff ist verfügbar unter https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Der CH-SIMS-Datensatz wird in Yu et al. (2020) beschrieben (https://doi.org/10.18653/v1/2020.acl-main.343) und ist öffentlich über von den Autoren bereitgestellte Ressourcen zugänglich, einschließlich https://github.com/thuiar/MMSA. Alle Experimente wurden mit den offiziellen Versionen dieser Datensätze durchgeführt. Die rohen extrahierten Daten, verarbeiteten Datendateien, Vorverarbeitungsergebnisse, Trainings-/Validierungs-/Test-Aufteilungen, abgeleiteten Merkmalsrepräsentationen sowie Implementierungsdetails, die die Ergebnisse dieser Studie unterstützen, sind öffentlich im Zenodo-Repository unter https://doi.org/10.5281/zenodo.21124921 verfügbar.

Diagramm des multimodalen Lernens; Emotionsklassifizierung anhand von Text, Audio und Video mittels Attention-Netzwerk.
Abbildung 1: Schematische Darstellung des vorgeschlagenen multimodalen Rahmens zur visuellen Abbildung von Emotionsmerkmalen. Konzeptionelle Illustration der Gesamtarchitektur, die die multimodale Merkmalsextraktion, das Entwirren der Repräsentationslernung, die graphenbasierte, modalkreuzende Attention-Fusion sowie die Komponenten der visuellen Abbildung für eine interpretierbare multimodale Emotionsanalyse zeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Schema zur multimodalen Emotionsanalyse mit Text, Audio, Video; Aufmerksamkeitsmatrix; Emotions-Embeddings
Abbildung 2: Schematisches Ablaufdiagramm des vorgeschlagenen Rechenverfahrens.
Konzeptionelle Darstellung der End-to-End-Verarbeitungspipeline, einschließlich Datensammlung, Vorverarbeitung, modenspezifischer Merkmalsextraktion, multimodaler Fusion, Visualisierung und Emotionsvorhersage Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Vergleichsdiagramm der F1-Score-Werte der Methoden: LSTM, TFN, LMF, Adaptive-Graph, Vorgeschlagene Methode mit Fehlerbalken.
Abbildung 3: Vergleich der F1-Score-Leistung auf dem CH-SIMS-Datensatz. Mittlere F1-Score-Werte, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5), bei Verwendung unterschiedlicher Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD). Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

F1-Score-Vergleichsgrafik der Methoden (LSTM, TFN, LMF), die die höchste Leistung der vorgeschlagenen Methode zeigt.
Abbildung 4: Vergleich der F1-Score-Leistung auf dem CMU-MOSEI-Datensatz. Mittlere F1-Score-Werte, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5), unter Verwendung unterschiedlicher Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), und die entsprechenden Mittelwert ±± SD-Werte sind über jedem Datenpunkt angegeben. Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Präzisionsvergleichsdiagramm für CH-SIMS, CMU-MOSEI unter Verwendung der Methoden LSTM, TFN, LMF, Adaptive-Graph.
Abbildung 5: Vergleich der Präzision anhand der Datensätze CH-SIMS und CMU-MOSEI. Mittlere Präzisionswerte, erzielt durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz über fünf unabhängige experimentelle Durchläufe (n = 5). Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Durchläufen mit unterschiedlichen Zufallsinitialisierungen. Der vorgeschlagene Ansatz erreicht die höchste Präzision auf beiden Datensätzen und demonstriert eine verbesserte Unterscheidungsfähigkeit von Emotionsklassen durch effektives multimodales Merkmalslernen und graphbasierte multimodale Fusion. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Vergleich der Rückrufquoten für CH-SIMS und CMU-MOSEI über verschiedene Methoden in der Balkendiagrammanalyse.
Abbildung 6: Vergleich der Rückrufraten anhand der Datensätze CH-SIMS und CMU-MOSEI. Mittlere Rückrufergebnisse, erzielt durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz, basierend auf fünf unabhängigen experimentellen Durchläufen (n = 5). Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Experimenten. Der vorgeschlagene Ansatz erreicht auf beiden Datensätzen durchgängig die höchste Rückrufquote, was auf eine überlegene Fähigkeit zur Erfassung multimodaler emotionaler Informationen und zur Verringerung falsch-negativer Vorhersagen hinweist. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Konnusionsmatrix-Diagramme für die Klassifikationsgenauigkeit; vorhergesagte Etiketten: negativ, neutral, positiv.
Abbildung 7: Konfusionsmatrix für den Datensatz CH-SIMS mit verschiedenen Baseline-Methoden. Die Zeilen entsprechen den tatsächlichen Emotionsklassen, die Spalten den vorhergesagten Klassen. Die Zellenwerte geben den Prozentsatz der Stichproben an, normiert bezüglich jeder wahren Klasse. Die Konfusionsmatrix wurde mithilfe der separaten Testpartition von CH-SIMS berechnet. Höhere prozentuale Werte auf der Diagonalen deuten auf eine bessere Erkennungsgenauigkeit für die entsprechende Emotionskategorie hin. Konfusionsmatrizen von (A) Early-Fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) der vorgeschlagenen Methode auf dem CH-SIMS-Datensatz. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Konnusionsmatrizen, die vorhergesagte vs. tatsächliche Klassenbezeichnungen für Klassifikationsmodelle darstellen.
Abbildung 8: Konfusionsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Methoden. Zeilen repräsentieren die tatsächlichen Emotionskategorien und Spalten die vorhergesagten Kategorien. Die Werte sind als klassennormalisierte Prozentanteile auf dem CMU-MOSEI-Testdatensatz angegeben. Die Matrix zeigt sowohl korrekt klassifizierte Stichproben (Einträge auf der Diagonalen) als auch Verwechslungen zwischen Emotionskategorien (Nebendiagonaleinträge). Konfusionsmatrix für CMU-MOSEI (A) Early-fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) vorgeschlagene Methode auf dem CMU-MOSEI-Datensatz. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Vergleichsgrafik der Trainingszeit für die Datensätze CH-SIMS und CMU-MOSEI über 10 Epochen.
Abbildung 9. Vergleich der Trainingszeit pro Epoche auf standardisierten multimodalen Emotionsdatensätzen.
Mittlere Trainingszeit pro Epoche, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5) für die Datensätze CH-SIMS und CMU-MOSEI unter identischen Hardware- und Softwareeinstellungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Experimenten mit unterschiedlichen Zufallsinitialisierungen. Niedrigere Werte deuten auf eine höhere Recheneffizienz hin, während stabile Trainingszeiten über mehrere Durchläufe hinweg eine verbesserte Reproduzierbarkeit und Trainingkonsistenz anzeigen. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Datensatz	Modalitäten	Anzahl der Proben	Sprache	Emotions-/Sentiment-Labels
CH-SIMS³⁴	Video, Audio, Text	2.281 Videosegmente	Chinesisch	Multimodale und unimodale Sentiment-Labels (negativ, neutral, positiv)
CMU-MOSEI³⁵	Video, Audio, Text	~23.453 annotierte Clips	Englisch	Sentiment- und Emotionsintensitäts-Labels (kontinuierlich und kategorisch)

Tabelle 1: Datensatzbeschreibung. Zusammenfassung der in dieser Studie verwendeten Datensätze, Modalitäten, Anzahl der Stichproben, Sprache sowie Emotions- und Stimmungskennzeichnungen für die Datensätze CH-SIMS und CMU-MOSEI.

Komponente	Spezifikation
Programmier-Framework	Python mit PyTorch
Visueller Merkmalsextraktor	Vision Transformer (ViT)
Audiomerkmal-Extraktor	Wav2Vec 2.0
Textmerkmal-Extraktor	RoBERTa
Fusionsstrategie	Graphbasiertes multimodales Attention-Netzwerk
Merkmalsdimension	768 pro Modalität
Trainings-Optimizer	Adam
Lernrate	1.00E-04
Batch-Größe	16
Hardware	NVIDIA-GPU (z. B. RTX-Serie)
Evaluierungsdatensätze	CH-SIMS, CMU-MOSEI
Latente Dimension	2.56E+02
Einbettungsdimension	768
Aktivierungsfunktion	ReLU
Optimizer	Adam
Lernrate	1.00E-04
Batch-Größe	32
Epochen	100
Frühzeitiges Stoppen	Aktiviert
Verlustfunktion	Klassifizierung + Rekonstruktion + Konsistenz

Tabelle 2: Simulationsumgebung. Experimenteller Aufbau und Implementierungsdetails der Simulationsumgebung, wie Modellspezifikationen, Merkmale, Optimierer und verwendete Hardware.

Methode	CH-SIMS Genauigkeit (%)	CMU-MOSEI Genauigkeit (%)
LSTM (frühe/späte Fusion)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Vorgeschlagene Methode	81,72 ± 0,61	79,94 ± 0,69

Tabelle 3: Bewertung der Genauigkeit der vorgeschlagenen Methode im Vergleich zu Baseline-Verfahren auf den Datensätzen CH-SIMS und CMU-MOSEI. Die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben, berechnet aus fünf unabhängigen experimentellen Durchläufen (n = 5), die mit unterschiedlichen Zufallsinitialisierungen durchgeführt wurden. Alle Verfahren wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten.

Methode	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Early/Late Fusion)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Vorgeschlagene Methode	0.298 ± 0.007	0.341 ± 0.008

Tabelle 4: Ergebnis des mittleren absoluten Fehlers. Die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5) mit unterschiedlichen zufälligen Startwerten. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze bewertet, um einen fairen Vergleich zu gewährleisten. Vergleich des MAE für die Vorhersage kontinuierlicher Emotionsintensität mithilfe des vorgeschlagenen Frameworks und baseline-Methoden auf beiden Datensätzen.

Modellvariante	Genauigkeit (%)	F1-Score
Vollmodell	81.72 ± 0.61	0.823 ± 0.008
Ohne Entkopplung	78.94 ± 0.74	0.791 ± 0.010
Ohne Graphfusion	77.88 ± 0.81	0.776 ± 0.011
Ohne visuelle Abbildung	80.11 ± 0.66	0.807 ± 0.009
Einfache Fusion	74.91 ± 0.98	0.742 ± 0.013

Tabelle 5: Ergebnis der Ablationsstudie mit Baseline-Methoden. Die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben, berechnet aus fünf unabhängigen experimentellen Durchläufen (n = 5), die mit unterschiedlichen Zufallsinitialisierungen durchgeführt wurden. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten. Vergleich der Leistung zwischen den Modellvarianten, der die Wirksamkeit des Lernens aus entkoppelten Darstellungen, der graphbasierten Fusion und des visuellen Abbildungsmoduls zeigt.

Zusatzdatei 1: Algorithmus 1 und Algorithmus 2.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene visuelle Abbildungsrahmen für multimodale Emotionseigenschaften auf den Datensätzen CH-SIMS und CMU-MOSEI die derzeitigen Techniken zur multimodalen Emotionserkennung übertrifft. Im Vergleich zu Early- und Late-Fusion-Modellen wie EF-LSTM und TFN erzielt die vorgeschlagene Methode höhere Genauigkeit und F1-Scores, was ihre Robustheit bei der Verarbeitung unterschiedlicher emotionaler Informationen belegt. Die Verbesserung der Methode ist auf die entkoppelte Emotionsrepräsentation zurückzuführen, die modenspezifisches Rauschen unterdrückt und die Emotionskonsistenz über die visuellen, audio und Textmoden hinweg sicherstellt³⁶.

Kürzlich haben transformerbasierte multimodale Modelle wie Adaptive Multimodal Transformers³⁷ und MIAR³⁸ beeindruckende Ergebnisse bei der Modellierung von intermodalen Abhängigkeiten gezeigt. Diese Modelle konzentrieren sich jedoch hauptsächlich auf die Vorhersage und verfügen nicht über Mechanismen, die eine interpretierbare Analyse auf der Ebene der Merkmale ermöglichen. Im Gegensatz dazu kombiniert das vorgeschlagene System eine graphbasierte intermodale Aufmerksamkeit mit einem visuellen Abbildungsmodul, wodurch eine transparente Analyse der Modalitäts- und emotionalen Interaktionen ermöglicht wird. Dieser Aspekt fehlt derzeit in der Literatur, in der emotionale Schlussfolgerungen als Black-Box-Prozess behandelt werden.

Der vorgeschlagene Rahmen zeigte eine konsistente Leistung auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI. Obwohl der Rahmen potenzielle Anwendungen in der intelligenten Mensch-Maschine-Interaktion, der Gesundheitsüberwachung, adaptiven Lernumgebungen und anderen emotionserkennenden Systemen haben könnte, wurde die Methode in der vorliegenden Studie nur unter kontrollierten Benchmark-Bedingungen evaluiert. Es erfolgte keine Echtzeitanwendung, keine Benutzeroberflächenbewertung, kein Usability-Test und keine Evaluation an menschlichen Probanden. Daher bleibt die praktische Wirksamkeit des Rahmens in operationellen Umgebungen noch zu untersuchen. Zukünftige Arbeiten werden sich auf anwendungsorientierte Evaluierungen, nutzerzentrierte Studien, Latenzanalysen, die Bewertung des Speicherverbrauchs sowie die Leistung bei Echtzeitinteraktionen konzentrieren.

Darüber hinaus belegen die Leistungsverbesserungen über verschiedene kulturell und sprachlich vielfältige Datensätze hinweg die Gültigkeit des vorgeschlagenen Frameworks. Im Gegensatz zu früheren Arbeiten, die an einem einzelnen Datensatz oder einem spezifischen Interaktionsszenario validiert wurden, zeigt das vorgeschlagene Framework eine robuste Leistungsfähigkeit über Sprachen, Sprecher und emotionale Ausdrucksformen hinweg. Daher eignet sich das vorgeschlagene Framework besonders gut für praktische intelligente Interaktionssysteme, die eine genaue Emotionserkennung und nachvollziehbare Entscheidungsfindung erfordern.

Die Interpretierbarkeit des vorgeschlagenen Frameworks wurde durch eine visualisierungsbasierte Analyse der erlernten multimodalen Repräsentationen bewertet. Insbesondere latente Emotionseinbettungen, kreuzmodale Aufmerksamkeitskarten, Modaliitätsinteraktionsgraphen und zeitliche Emotionsverläufe wurden untersucht, um Einblicke in den Entscheidungsprozess des Modells und die Beiträge der einzelnen Modalitäten zu gewinnen. Ziel des Visualisierungsmoduls ist es, Transparenz zu erhöhen, indem Wechselwirkungen auf der Merkmalsebene und emotionale Dynamiken beobachtbar gemacht werden. Formale Metriken zur Interpretierbarkeit, Bewertungen der Aufmerksamkeits-Treue sowie Benutzerstudien wurden jedoch in der vorliegenden Arbeit nicht einbezogen. Die berichteten Vorteile hinsichtlich der Interpretierbarkeit sollten daher als visualisierungsbasierte Hinweise verstanden werden und nicht als quantitativ validierte Erklärbarkeitsmaße.

Aus theoretischer Sicht leistet diese Forschung folgende Beiträge zum multimodalen affektiven Computing: Sie schlägt eine systematische Methode zur Modellierung von Emotionen vor, die klar zwischen emotionspezifischen und modalitätsspezifischen Repräsentationen unterscheidet. Indem der vorgeschlagene Ansatz emotionale Konsistenz über Modalitäten hinweg in einem gemeinsamen latenten Raum sicherstellt, trägt er somit zur Theorie des Repräsentationslernens in multimodalen Systemen bei. Die Einbindung graphbasierter Attention-Mechanismen formalisiert zudem die Abhängigkeiten zwischen den verschiedenen Modalitäten bei der Emotionsäußerung weiter.

Aus praktischer Sicht ist das vorgeschlagene Framework für die intelligente Interaktionsgestaltung und emotionssensible Benutzeroberflächen äußerst vorteilhaft. Das visuelle Abbildungsmodul im vorgeschlagenen Framework ermöglicht es Systementwicklern, die Auswirkungen verschiedener Modalitäten auf die Emotionsvorhersage zu verstehen, was für Systementwickler von großer Bedeutung ist. Das vorgeschlagene Framework ist äußerst nützlich für Anwendungen wie affektive Gesprächsagenten, adaptive Lernsysteme, Schnittstellen zur Gesundheitsüberwachung und Plattformen zur Bewertung der Nutzererfahrung.

Der vorgeschlagene Ansatz weist jedoch einige Einschränkungen auf. Die Verwendung von Graph-Attention-Mechanismen und Transformer-Encodern erhöht die Komplexität, was bei Geräten mit begrenzten Kapazitäten problematisch sein könnte. Zudem blendet die vorliegende Studie andere physiologische Signale wie EEG und Eye-Tracking aus, um sich stattdessen auf visuelle, audio- und textbasierte Modalitäten zu konzentrieren. Die rechnerische Effizienz des vorgeschlagenen Frameworks für den Einsatz in Echtzeit wurde nicht spezifisch bewertet, obwohl es eine wettbewerbsfähige Vorhersageleistung und verbesserte Visualisierungsfähigkeiten erzielte. Künftige Untersuchungen werden die Leistung im Einsatz in realen intelligenten Interaktionsszenarien, die Inferenzverzögerung, Durchsatz, Speicherverbrauch sowie Techniken zur Modellkompression analysieren. Um die Genauigkeit der Emotionsmodellierung und die Reaktionsfähigkeit der Interaktion weiter zu verbessern, wird zukünftige Forschung auf die Entwicklung leichtgewichtiger Modelle, Echtzeit-Optimierungsverfahren und die Einbindung zusätzlicher Modalitäten abzielen. Die Leistung bei Echtzeitanwendung wurde nicht evaluiert, und die Verwendung von Transformer-Encodern sowie graphbasierten Attention-Methoden erhöht die rechnerische Komplexität. Zur Validierung der Methodik kamen lediglich die Benchmark-Datensätze CH-SIMS und CMU-MOSEI zum Einsatz, was zu datensatzspezifischen Verzerrungen führen und die Übertragbarkeit auf andere Bereiche, Sprachen und Nutzergruppen einschränken könnte. Außerdem berücksichtigt die aktuelle Studie keine physiologischen Signale wie EEG oder Eye-Tracking-Daten, sondern konzentriert sich ausschließlich auf visuelle, audio- und textuelle Modalitäten. Obwohl detaillierte Beschreibungen der Implementierung und der Simulationsumgebung die Reproduzierbarkeit verbessert haben, sind der Quellcode und vortrainierte Modelle derzeit nicht öffentlich zugänglich.

In dieser Arbeit wird ein neuartiges visuelles Abbildungs-Framework für das multimodale Lernen emotionaler Merkmale zur intelligenten Interaktionsgestaltung verwendet. Die vorgeschlagene Methode integriert eine End-to-End-Repräsentationslernung auf Basis von Transformatoren, eine entkoppelte Emotionsmodellierung sowie eine graphbasierte, multimodale Aufmerksamkeit, um eine hohe Vorhersagegenauigkeit und Interpretierbarkeit zu erreichen. Experimente anhand der Datensätze CH-SIMS und CMU-MOSEI zeigen, dass das vorgeschlagene Framework bei Genauigkeit und F1-Score die derzeit besten multimodalen Modelle zur Emotionserkennung übertrifft. Noch wichtiger ist, dass die vorgeschlagene Lösung zur visuellen Abbildung die Lücke zwischen Emotionserkennung und Interaktionsstrategie schließt und eine neue Richtung für die Entwicklung interpretierbarer, interaktionsbewusster Systeme im Bereich des multimodalen affektiven Rechnens eröffnet.

Um eine interpretierbare, intelligente Interaktionsgestaltung zu unterstützen, wurde in dieser Studie ein neuartiges visuelles Abbildungs-Framework zur Erfassung multimodaler Emotionsmerkmale vorgestellt. Das vorgeschlagene System integriert erfolgreich Emotionserkennung und Interpretierbarkeit in einer einzigen Architektur, indem es transformerbasierte multimodale Merkmalsextraktion, entkoppelte Lernverfahren für Emotionsrepräsentationen, graphbasierte, multimodale Aufmerksamkeitsfusion und visuelle Abbildungsmethoden kombiniert. Neben klaren visuellen Darstellungen der Modalitätsbeiträge, der multimodalen Interaktionen und der zeitlichen Emotionsdynamik zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI eine verbesserte Leistung gegenüber repräsentativen Baseline-Verfahren über mehrere Metriken hinweg, darunter Genauigkeit (Accuracy), Präzision (Precision), Sensitivität (Recall), F1-Score und mittlerer absoluter Fehler (Mean Absolute Error, MAE). Allerdings umfasst diese Studie keine Untersuchungen zur realen Anwendung, nutzerzentrierte Evaluierungen, quantitative Bewertungen der Erklärbarkeit oder die Einbindung physiologischer Modalitäten, da sie auf die Evaluation an zwei Benchmark-Datensätzen beschränkt ist. Zudem können Umgebungen mit begrenzten Ressourcen aufgrund der hohen Rechenkosten der Transformer-Encoder und der graphbasierten Aufmerksamkeitsverfahren vor Herausforderungen stehen. Während zukünftige Arbeiten sich auf umfassendere Validierungen über verschiedene Datensätze, die Integration zusätzlicher Modalitäten, Nutzbarkeitsstudien, die reproduzierbare Veröffentlichung von Ressourcen sowie die Optimierung für Echtzeitanwendungsszenarien konzentrieren werden, zeigt das vorgeschlagene Framework insgesamt das Potenzial einer interpretierbaren multimodalen Emotionsanalyse für Anwendungen im Bereich Affective Computing und intelligente Interaktion.

Offenlegungen

Die Autoren haben keine Interessenkonflikte.

Danksagungen

Die Autoren möchten die Unterstützung durch die School of Housing, Building and Planning, Universiti Sains Malaysia, Penang, Malaysia, sowie durch die School of Design Art, Changsha University of Science & Technology, Changsha, China, danken. Außerdem sprechen sie ihren Dank an die Xiamen Academy of Arts and Design, Fuzhou University, Xiamen, China, für die akademische und forschungsbezogene Unterstützung während dieser Arbeit aus.

Materialien

Liste der in diesem Artikel verwendeten Materialien
Name	Unternehmen	Katalognummer	Kommentare
Adam	PyTorch-Optimierer-Bibliothek	https://pytorch-optimizers.readthedocs.io/en/latest/ (Lernrate = 1 × 10^-4)	Parameteroptimierung während des Modelltrainings
CH-SIMS	Ursprüngliches Datensatz-Repository	Neueste öffentliche Version	Benchmark-Datensatz zur chinesischen multimodalen Sentiment-/Emotionsanalyse
CMU-MOSEI	CMU Multimodal SDK Repository	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Neueste öffentliche Version)	Benchmark-Datensatz zur multimodalen Sentiment- und Emotionserkennung
Entkoppelter Emotions-Encoder	Eigene Implementierung	https://pytorch-geometric.readthedocs.io/en/latest/(Dualer Encoder-Aufbau)	Trennung von emotions- und modalitätsspezifischen latenten Repräsentationen
Graphbasierte multimodale Aufmerksamkeitsschicht	Eigene Implementierung	Mehrfache Aufmerksamkeitsfusion	Lernen feingranularer emotionaler Abhängigkeiten zwischen Modalitäten
Graph Attention Network (GAT)	PyTorch Geometric	Mehrfacher GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellierung von cross-modalen emotionalen Beziehungen und adaptiver Merkmalsfusion
Matplotlib	Matplotlib-Projekt	3.7+	Erstellung von Diagrammen und visuellen Analysen
NetworkX	NetworkX-Projekt	3.0+	Erstellung und Visualisierung von cross-modalen Interaktionsgraphen
NVIDIA-GPU	NVIDIA Corporation	CUDA-fähige GPU	Beschleunigung des Trainings von Transformer- und graphbasierten neuronalen Netzen
Prinzipale Komponentenanalyse (PCA)	Scikit-learn	sklearn.decomposition.PCA	Anfängliche Reduktion hochdimensionaler Emotions-Embeddings
Python	Python Software Foundation	3.8+	Zentrale Programmiersprache zur Implementierung des multimodalen Emotionsanalyse-Frameworks
PyTorch	PyTorch Foundation	2.0+	Entwicklung, Training und Optimierung tiefer neuronaler Netze
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-dim Embeddings)	Extraktion kontextueller linguistischer und semantischer Emotionsrepräsentationen
Seaborn	Seaborn-Projekt	0.12+	Erstellung von Aufmerksamkeits-Heatmaps und statistischen Visualisierungen
t-verteilte stochastische Nachbarn-Einbettung (t-SNE)	Scikit-learn	scikit-learn.org (Perplexität = 30, Iterationen = 1000)	Visualisierung latenter Emotionscluster und -verläufe
Ubuntu Linux	Canonical Ubuntu	20.04 LTS oder neuer	Experimentelle Ausführungsumgebung
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-dim Embeddings	Extraktion emotionsbezogener visueller Repräsentationen aus Videobildern
Wav2Vec 2.0	Meta AI Research	Basis-Modell, 768-dim Embeddings	Extraktion kontextueller akustischer und sprachlicher Emotionsmerkmale

Referenzen

Zhu X, et al. EMVAS: End-to-end multimodal emotion visualization analysis system. Complex Intell Syst. 2025;11:1-15.
Zhu X, et al. A client-server based recognition system: Non-contact single/multiple emotional and behavioral state assessment methods. Comput Methods Programs Biomed. 2025;260:108564.
Lasri I, Riadsolh A, Elbelkacemi M. Facial emotion recognition of deaf and hard-of-hearing students for engagement detection using deep learning. Educ Inf Technol. 2023;28:4069-4092.
Saibene A, Assale M, Giltri M. Expert systems: Definitions, advantages and issues in medical field applications. Expert Syst Appl. 2021;177:114900.
Poria S, Cambria E, Bajpai R, Hussain A. A review of affective computing: From unimodal analysis to multimodal fusion. Inf Fusion. 2017;37:98-125.
Chatterjee R, et al. Real-time speech emotion analysis for smart home assistants. IEEE Trans Consum Electron. 2021;67(1):68-76.
Zhu X, Huang Y, Wang X, Wang R. Emotion recognition based on brain-like multimodal hierarchical perception. Multimed Tools Appl. 2024;83:56039-56057.
Khan M, El Saddik A, Alotaibi FS, Pham NT. AAD-Net: Advanced end-to-end signal processing system for human emotion detection and recognition using attention-based deep echo state network. Knowl Based Syst. 2023;270:110525.
Chaturvedi I, Chen Q, Cambria E, McConnell D. Landmark calibration for facial expressions and fish classification. Signal Image Video Process. 2022;16:377-384.
Li D, Liu J, Yang Z, Sun L, Wang Z. Speech emotion recognition using recurrent neural networks with directional self-attention. Expert Syst Appl. 2021;173:114683.
Zhu X, et al. A review of key technologies for emotion analysis using multimodal information. Cogn Comput. 2024;16:1504-1530.
Wang R, et al. Multimodal emotion recognition using tensor decomposition fusion and self-supervised multitasking. Int J Multimed Inf Retr. 2024;13:39.
Fan C, Lin J, Mao R, Cambria E. Fusing pairwise modalities for emotion recognition in conversations. Inf Fusion. 2024;106:102306.
Williams J, Kleinegesse S, Comanescu R, Radu O. Recognizing emotions in video using multimodal DNN feature fusion. Proceedings of Grand Challenge and Workshop on Human Multimodal Language. Melbourne, Australia. 2018;10.18653/v1/W18-3302.
Zhao Z, Wang Y, Wang Y. Multi-level fusion of Wav2Vec 2.0 and BERT for multimodal emotion recognition. arXiv. 2022;arXiv:2207.04697.
Middya AI, Nag B, Roy S. Deep learning based multimodal emotion recognition using model-level fusion of audio-visual modalities. Knowl Based Syst. 2022;244:108580.
Maithri M, et al. Automated emotion recognition: Current trends and future perspectives. Comput Methods Programs Biomed. 2022;215:106646.
Wu Y, Mi Q, Gao T. A comprehensive review of multimodal emotion recognition: Techniques, challenges, and future directions. Biomimetics. 2025;10(4):418.
Zheng S, Zhang X, Liu Y, Li Z. CMFF: A cross-modal multi-layer feature fusion network for multimodal sentiment analysis. Appl Soft Comput. 2025;184(Pt B):113868.
Yan L, Shi Y, Wei M, Wu Y. Multi-feature fusing local directional ternary pattern for facial expressions signal recognition based on video communication system. Alex Eng J. 2023;63:307-320.
Guo X, Zhang Y, Lu S, Lu Z. Facial expression recognition: A review. Multimed Tools Appl. 2024;83(8):23689-23735.
Liu ZT, Han MT, Wu BH, Rehman A. Audio emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multitask learning. Appl Acoust. 2023;202:109178.
Mirsamadi S, Barsoum E, Zhang C. Automatic audio emotion recognition using recurrent neural networks with local attention. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA, USA. 2017; 10.1109/ICASSP.2017.7952552.
Gu T, He Z, Zhao H, Li M, Ying D. Aspect-based sentiment analysis with multi-granularity information mining and sentiment hint. Expert Syst Appl. 2024;252:124104.
Shen W, Chen J, Quan X, Xie Z. DialogXL: All-in-one XLNet for multi-party conversation emotion recognition. Proc AAAI Conf Artif Intell. 2021;35(15):13789-13797.
Kim T, Vossen P. EmoBERTa: Speaker-aware emotion recognition in conversation with RoBERTa. arXiv. 2021;arXiv:2108.12009.
Li S, Yan H, Qiu X. Contrast and generation make BART a good dialogue emotion recognizer. Proc AAAI Conf Artif Intell. 2022;36(10):11002-11010.
Zhu J, Yu J. MIAR: Modality interaction and alignment representation fusion for multimodal emotion. arXiv. 2026;arXiv:2601.02414.
Praveen RG, Granger E, Cardinal P. Cross attentional audio-visual fusion for dimensional emotion recognition. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), Jodhpur, India. 2021;10.1109/FG52635.2021.9667055.
Salas-Cáceres J, López M, Martínez A, Rodríguez P. Multimodal emotion recognition based on a fusion of audio-visual information with temporal dynamics. Multimed Tools Appl. 2025;84:27327-27343.
Fu J, Zhang Y, Wang L, Chen H. TMFN: A text-based multimodal fusion network with multi-scale feature extraction and unsupervised contrastive learning for multimodal sentiment analysis. Complex Intell Syst. 2025;11:133.
Tuerhong G, Fu F, Wushouer M. Adaptive multimodal transformer based on exchanging for multimodal sentiment analysis. Sci Rep. 2025;15:27265.
Gupta C, Sharma R, Patel S, Verma A. A multimodal fusion model for real-time environment emotion recognition using audio-visual-textual features. J Big Data. 2025;12:256.
Yu W, Li X, Zhang H, Wang Z, Liu Z. CH-SIMS: A Chinese multimodal sentiment analysis dataset with fine-grained annotation of modality. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020; 10.18653/v1/2020.acl-main.343.
Zadeh A, et al. Multimodal language analysis in the wild: CMU-MOSEI dataset and interpretable dynamic fusion graph. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Melbourne, Australia. 2018; 10.18653/v1/P18-1208.
Zadeh A, Chen M, Poria S, Cambria E, Morency LP. Tensor fusion network for multimodal sentiment analysis. arXiv. 2017;arXiv:1707.07250.
Tsai YHH, Bai S, Yamada M, Morency LP, Salakhutdinov R. Multimodal transformer for unaligned multimodal language sequences. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy. 2019; 10.18653/v1/P19-1656.
Moreno M, Rioseco P, Van Den Bosch H. Spectrum of the linearized Vlasov–Poisson equation around steady states from galactic dynamics. arXiv. 2023;arXiv:2305.05749.

Visuelle Kartierung multimodaler Emotionsmerkmale für das Design intelligenter Interaktion

In diesem Artikel

Zusammenfassung

Zusammenfassung

Einleitung

Protokoll

Ergebnisse

Diskussion

Offenlegungen

Danksagungen

Materialien

Referenzen

Nachdrucke und Genehmigungen

Tags