Visuelle Kartierung multimodaler Emotionsmerkmale für das Design intelligenter Interaktion

Zusammenfassung

Die Arbeit schlägt einen End-to-End-Multimodal-Emotionsanalyserahmen vor, der Transformer-Encoder, entkoppelte Emotionsrepräsentationen und eine graphenbasierte, multimodale Aufmerksamkeit mit visueller Abbildung nutzt, um die Genauigkeit der Emotionserkennung über zwei Datensätze hinweg zu verbessern.

Zusammenfassung

Durch die Fähigkeit, maschinelle Systeme menschliche affektive Zustände erfassen, interpretieren und darauf reagieren zu lassen, ist die visuelle Abbildung multimodaler Emotionseigenschaften entscheidend für das Design intelligenter Schnittstellen. Dennoch konzentrieren sich aktuelle Algorithmen zur multimodalen Emotionserkennung hauptsächlich auf die Vorhersageleistung und liefern nur begrenzte Einblicke in Interpretierbarkeit, Interaktionsbewusstsein oder Merkmalsebene-Interaktionen zwischen Modalitäten. In dieser Arbeit wird ein Framework zur visuellen Abbildung multimodaler Emotionsaspekte vorgestellt, das interaktionsorientierte Visualisierung, interpretierbares Repräsentationslernen und Emotionsvorhersage kombiniert. Ohne Verwendung manuell erstellter Merkmale kamen Transformer-basierte Encoder zum Einsatz, um hochgradige Emotionseinbettungen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Zur Verbesserung der Robustheit wurden emotions- und modalitätsspezifische Informationen mithilfe einer entkoppelten Repräsentationslernmethode getrennt. Zusätzlich wurde ein graphbasiertes, multimodales Attention-Netzwerk entwickelt, um mit adaptiver Attention-Gewichtung subtile emotionale Beziehungen zwischen den Modalitäten zu modellieren. Ein mehransichtiger Visualisierungsmodul wurde erstellt, um zeitliche Emotionsverläufe, Verteilungen der multimodalen Attention sowie latente Emotionseinbettungen darzustellen und so die Transparenz zu erhöhen. Das Framework wurde anhand des Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI)-Datensatzes und des Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) evaluiert. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Framework eine verbesserte Interpretierbarkeit auf Merkmalsebene und interaktionsbewusste Visualisierung bietet und dabei hinsichtlich Genauigkeit, F1-Score, Korrelation und mittlerem absoluten Fehler konstant bessere Leistungen erbringt als repräsentative Baseline-Verfahren. Darüber hinaus ermöglichte der Visualisierungsmodul eine qualitative Interpretation multimodaler Emotionsrepräsentationen, multimodaler Interaktionen und zeitlicher Emotionsdynamiken und unterstützte so die interaktionsbewusste Visualisierung und Analyse.

Einleitung

Die Fähigkeit, menschliche Emotionen korrekt zu erkennen und zu verstehen, ist entscheidend geworden, um die Interaktion zwischen Mensch und Maschine zu verbessern. Neben ihrer zentralen Bedeutung für die Verbesserung der Mensch-Computer-Interaktion birgt die Emotionsanalyse das Potenzial, zahlreiche Bereiche zu revolutionieren, darunter die prädiagnostische medizinische Diagnose¹, die Analyse des Klassenraumverhaltens², die psychologische Überwachung von Patienten³, die Erkennung von Müdigkeit in Fahrzeugen⁴ und das intelligente Management in Smart-Home-Umgebungen⁵. Neuere Fortschritte im Bereich des affektiven Rechnens und des Deep Learning⁶ haben das Interesse an der Entwicklung von Echtzeitsystemen, die die Komplexität menschlicher Emotionen erfassen können, verstärkt.

Viele derzeitige Methoden stützen sich hauptsächlich auf unimodale Daten, wie textuelle, grafische oder auditorische Signale^7,8,9Diese Ansätze versagen regelmäßig bei der Erkennung differenzierter Signale wie Sarkasmus oder kontextspezifischer Nuancen. Die Forschung hat sich daher der multimodalen Emotionsbewertung zugewandt, die komplementäre Daten aus mehreren Quellen einbezieht, um diese Einschränkungen zu überwinden.^10,11,12Die Vorteile der Kombination mehrerer Modalitäten wurden durch Basismodelle wie Early Fusion-Long Short-Term Memory (EF-LSTM)13 und Light and FM Deep Neural Networks (LF-DNN) gezeigt.¹⁴, Tensor-Fusionsnetzwerke (TFN) und Ansätze zur multimodalen Fusion mit niedrigem Rang. Die meisten dieser Ansätze stützen sich jedoch auf die Offline-Generierung von Merkmalen und sind daher für dynamische, reale Situationen nicht geeignet.

Um emotionale Zustände zu berücksichtigen, hat die multimodale Emotionserkennung in Forschung und Anwendung in den letzten zehn Jahren stark zugenommen¹⁵. Einer der anspruchsvollsten und bedeutendsten Forschungsbereiche heutzutage ist die kontinuierliche Überwachung emotionaler Zustände mithilfe verschiedener Datenquellen¹⁶. Die Idee der Multimodalität ergab sich ganz natürlich aus dem Aufkommen eines derart vielfältigen Wissenssystems und führte zu zahlreichen Fortschritten bei der Anwendung von Emotionen in Bereichen wie emotionaler Datenverarbeitung, Mensch-Computer-Interaktion (HCI), Lernen, Videospielen, Kundenservice, medizinischer Versorgung, Usability-Tests (UX) usw. Dennoch war es bisher nicht immer einfach, Techniken der Emotionserkennung in der UX-Bewertung anzuwenden.

Einer der Hauptgründe, sich auf die multimodale Erkennung anstelle einmodaler Methoden zu konzentrieren, liegt in den inhärenten Nachteilen der ausschließlichen Nutzung einer einzigen Informationsquelle. Einmodale Systeme zur Emotionserkennung können aufgrund fehlender oder unklarer Daten eine geringere Genauigkeit aufweisen, während MER-Verfahren zuverlässiger sind und durch die Integration mehrerer Datenquellen ein umfassenderes und differenzierteres Verständnis expressiver Zustände ermöglichen¹⁷. Beispielsweise mag die alleinige Analyse der Gesichtssprache nicht ausreichen, um Gefühle präzise zu klassifizieren, insbesondere wenn die Gesten komplex oder unklar sind. Die Kombination von Gesichtsausdrücken mit anderen Kommunikationsformen wie Sprache oder körperlichen Hinweisen könnte hingegen die Genauigkeit der Gefühlserkennung verbessern.

Umfangreiche Forschungsarbeiten zur Emotionserkennung wurden in mehreren Modalitäten durchgeführt. Frühe Studien konzentrierten sich darauf, unterscheidende Merkmale aus verschiedenen Modalitäten wie grafischen, akustischen oder textbasierten Eingaben zu identifizieren. Allerdings wird zunehmend deutlich, dass die Integration verschiedener Modalitäten eine ausgewogene emotionale Information liefert, was zu einer zuverlässigeren und präziseren Stimmungserkennung führt. Dieser Abschnitt behandelt wesentliche Fortschritte in der einmodalen und multimodalen Emotionsanalyse, wobei der Schwerpunkt auf Grundverfahren, deren Schwächen sowie der Begründung für unsere Methode liegt.

Die erste Studie zur Emotionserkennung konzentrierte sich hauptsächlich auf eine einzelne Modalität. Im visuellen Bereich führte bahnbrechende Forschung zur Kategorisierung prototypischer Gesichtsbewegungen²⁰. Spätere Fortschritte umfassten Techniken zur Erfassung zeitlicher Dynamiken, wie visuelle Bewegung²¹ und versteckte Markov-Modelle²², während Gesichtsreaktionen mithilfe des Facial Action Coding System (FACS) in Aktions-Einheiten unterteilt wurden²³. LSTMs und faltende neuronale Netze (CNNs) wurden erfolgreich eingesetzt, um aussagekräftige Merkmale direkt aus rohen Audiosignalen zu extrahieren; Methoden zur Emotionsidentifikation basierend auf Audio haben sich von herkömmlicher Signalverarbeitung hin zum Deep Learning weiterentwickelt²⁴. Die Extraktion kontextueller Stimmungssignale in der textbasierten Emotionsanalyse wurde durch rekurrente neuronale Netze (RNNs) mit Aufmerksamkeitsmechanismen erheblich verbessert und neuerdings durch transformerbasierte Modelle. Trotz ihrer Erfolge sind unimodale Techniken prinzipiell unfähig, die Komplexität menschlicher Erlebnisse genau abzubilden, da ihnen die zusätzliche Information anderer Modalitäten fehlt.

Einige auf Mechanismen der Aufmerksamkeit basierende Modelle, wie das DialogXL-Modell25, wurden 2021 vorgeschlagen, um langfristigere Umgebungsdaten im Bereich der Identifizierung von Stimmungen in Gesprächen zu erfassen. Kim et al.²⁶ stellten das EmoBERTa-Modell im Jahr 2021 vor, um die Genauigkeit der ERC zu erhöhen. Dieses Modell nutzt Sprechdaten, um die Merkmale der Sprecher in Gesprächen und ihre Wechselwirkungen untereinander zu verbessern. Im Jahr 2022 untersuchten Li et al.²⁷ stellte die CoG-BART-Methode vor. Die Organisation nutzt überwachtes kontrastives Lernen, um die Fähigkeit des Modells zur Interpretation relevanter Daten zu verbessern. Es ist darauf hinzuweisen, dass überwachtes Lernen eine erhebliche Menge an annotierten Daten erfordert.

Ein typisches Beispiel dafür ist das Framework für multimodale interaktionsbewusste Repräsentation (Multimodal Interaction-Aware Representation, MIAR)²⁸, das Interaktions-Token für Merkmale und kontrastive Ausrichtung nutzt, um die Generalisierungsfähigkeit über verschiedene Modalitäten hinweg zu verbessern. MIAR verbessert die Ausrichtung der Modalitäten und erzielt eine hohe Leistung über mehrere Datensätze hinweg; es konzentriert sich jedoch hauptsächlich auf die Vorhersagegenauigkeit, ohne die visuelle Abbildung zu berücksichtigen. Ebenso erfasst das Modell zur cross-attentiven audiovisuellen Fusion²⁹ feinabgestufte audiovisuelle Interaktionen effektiv zur Vorhersage von Valenz und Erregung, ist jedoch auf zwei Modalitäten beschränkt und verfügt nicht über Visualisierungsfunktionen. Ansätze zur zeitlichen Modellierung, die auf LSTM-Netzwerken und Autoencoder-Fusion basieren, erfassen die zeitlichen Dynamiken von Emotionen erfolgreich, liefern jedoch nur begrenzte Einblicke in die Wechselwirkungen zwischen Modalitäten und die gelernten emotionalen Repräsentationen. Neuerdings haben auf Transformatoren basierende Methoden wie das Transformer-basierte multimodale Fusionsnetzwerk (Transformer-based Multimodal Fusion Network, TMFN)³⁰ durch verbesserte multimodale Fusion und kontrastives Lernen eine hohe Leistung auf CMU-MOSI und CMU-MOSEI gezeigt. Dennoch bleiben diese Ansätze vorwiegend leistungsorientiert und bieten nur begrenzte Unterstützung für Erklärbarkeit, interpretationsfähige Merkmalsebenen und visualisierungsorientierte Darstellung von Interaktionen.

Um die Integration von textuellen, akustischen und visuellen Daten zu verbessern, wurden mehrere Techniken zur multimodalen Emotionserkennung vorgeschlagen. Obwohl frühe Fusionsverfahren wie EF-LSTM und LF-DNN die Vorteile der Nutzung multimodaler Informationen für die Stimmungs- und Emotionsanalyse aufzeigten, konnten sie komplexe intermodale Wechselwirkungen nicht erfassen. Der TFN verbesserte zwar die Leistung auf etablierten Datensätzen wie CMU-MOSI und CMU-MOSEI und führte eine explizite Modellierung intermodaler Interaktionen ein, doch seine begrenzte Interpretierbarkeit und hohe Rechenkomplexität beeinträchtigten seine Nützlichkeit. Um die Modali­ätsausrichtung und dynamische Merkmalsfusion zu verbessern, setzen neuere Verfahren wie MIAR, cross-attentionale Fusionsmodelle, TMFN und adaptive multimodale Transformer auf Transformer-Architekturen und Attention-Mechanismen. Diese Methoden konzentrieren sich hauptsächlich auf die Vorhersageleistung und liefern trotz konkurrenzfähiger Ergebnisse über gängige Evaluierungskennzahlen wie Genauigkeit, F1-Score und mittleren absoluten Fehler hinweg nur geringe Einblicke in emotionale Repräsentationen auf Merkmalsebene und intermodale Abhängigkeiten. Zudem haben nur wenige Studien Visualisierungstechniken entwickelt, die latente Emotionseinbettungen, Attention-Verteilungen und zeitliche Emotionsdynamiken offenlegen können, oder sie nutzen graphenbasierte Modellierungen intermodaler Interaktionen. Der vorgeschlagene Ansatz kombiniert Mehransichts-Visualisierung, graphenbasierte cross-modale Attention-Fusion und entkoppelte Repräsentationslernverfahren, um diese Nachteile zu überwinden und die Leistung der multimodalen Emotionserkennung zu steigern.

Ebenso schlägt der Adaptive Multimodale Transformer³² eine austauschbasierte Fusion vor, um adaptiv verrauschte oder fehlende modale Informationen zu reduzieren und dadurch die Leistung der Sentiment-Klassifizierung zu verbessern. Obwohl dieser Ansatz effektiv Diskrepanzen in der Verteilung modalitätsbezogener Informationen adressieren kann, ist sein Aufbau spezifisch auf die Sentiment-Analyse ausgerichtet und liefert nur begrenzte Erkenntnisse über die gelernten emotionalen Repräsentationen. Ein weiterer bedeutender Beitrag ist das Multimodale Fusionsmodell³³, das Faltungsneuronale Netze (CNNs), multiplikative LSTMs und eine Transformer-basierte Aufmerksamkeit für die Echtzeit-Erkennung multimodaler Emotionen integriert. Das Modell führt eine vollständige Fusion von Video-, Audio- und Textmodalitäten durch und zeigt eine robuste Erkennungsleistung. Dennoch konzentriert auch es sich wie andere bestehende Modelle hauptsächlich auf Vorhersagegenauigkeit und weist nur unzureichende explizite Merkmale für Visualisierung und interaktionsorientierte Interpretierbarkeit auf.

Zusammenfassend lässt sich sagen, dass die derzeitigen multimodalen Ansätze zur Emotionserkennung zwar beträchtliche Fortschritte bei der Erfassung von intermodalen Wechselwirkungen und der Verbesserung der Vorhersagegenauigkeit erzielt haben, sich die meisten jedoch auf erkennungsorientierte Aufgaben konzentrieren. Aspekte wie die Interpretierbarkeit auf der Ebene von Merkmalen, die Visualisierung emotionaler Repräsentationen im Bildraum sowie die Einbindung des vorgeschlagenen Frameworks in die intelligente Interaktionsgestaltung wurden bisher wenig beachtet. Vor dem Hintergrund dieser Herausforderungen wird das vorgeschlagene Framework eingeführt.

Die meisten derzeitigen Methoden konzentrieren sich hauptsächlich auf die Verbesserung der Vorhersagegenauigkeit, bieten jedoch trotz bemerkenswerter Fortschritte bei der multimodalen Emotionserkennung^28,29 nur geringe Interpretierbarkeit der gelernten emotionalen Repräsentationen und der Interaktionen zwischen den Modalitäten. Komplexe Wechselwirkungen zwischen textuellen, akustischen und visuellen Modalitäten sind für aktuelle Fusionsstrategien häufig schwer modellierbar, insbesondere bei Diskrepanzen zwischen den Modalitäten und Informationsdefiziten^28,31. Obwohl transformerbasierte Architekturen und Aufmerksamkeitsmechanismen das Repräsentationslernen verbessert haben, wird ihre Transparenz und Interpretierbarkeit oft durch das Fehlen einer expliziten Trennung von emotionspezifischen und modalitätsspezifischen Informationen beeinträchtigt^31,32,33. Zudem haben bisher nur wenige Studien graphbasierte Modellierungen intermodaler Interaktionen untersucht oder Visualisierungsrahmenwerke entwickelt, die zeitliche Emotionsdynamiken, Verteilungen der Aufmerksamkeit und Emotionsembeddings aufdecken können. Diese Nachteile verdeutlichen die Notwendigkeit eines interpretierbaren multimodalen Frameworks für intelligente Mensch-Maschine-Interaktionen, das interaktionsorientierte visuelle Abbildungen mit leistungsstarkem lernbasiertem Quermodal-Lernen kombiniert.

Diese Arbeit stellt einen interpretierbaren Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte im intelligenten Schnittstellendesign vor. Ohne auf manuell erstellte Merkmale angewiesen zu sein, nutzt das System ein End-to-End-Deep-Learning-Verfahren, um hochwertige emotionale Repräsentationen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Quermodale emotionale Interaktionen werden mithilfe eines graphenbasierten Attention-Fusionsmechanismus modelliert, der emotionspezifische und modalitätsspezifische Informationen trennt, wodurch eine entkoppelte Repräsentationslernung ermöglicht und die Interpretierbarkeit sowie Robustheit verbessert wird. Zusätzlich wird ein Visualisierungsmodul mit mehreren Ansichten erstellt, um zeitliche Emotionsdynamiken, quermodale Attention-Muster und Emotions-Embeddings darzustellen. Die Wirksamkeit und Eignung des vorgeschlagenen Frameworks in intelligenten Mensch-Maschine-Interaktionssystemen wird durch Validierung an etablierten multimodalen Datensätzen zur Emotionserkennung überprüft.

Diese Arbeit bietet einen einzigartigen Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte, der über herkömmliche, auf Vorhersage ausgerichtete Ansätze hinausgeht, um die unzureichende Modellierung von Quermodaleffekten und die begrenzte Interpretierbarkeit aktueller Systeme zur multimodalen Emotionsidentifikation zu überwinden. Innerhalb einer einzigen Architektur kombiniert der vorgeschlagene Ansatz transformerbasiertes multimodales Repräsentationslernen, entkoppeltes, emotionsbewusstes Merkmalsmodellieren, graphbasierte Fusion mittels Quermodal-Aufmerksamkeit sowie eine auf Interaktionen ausgerichtete Visualisierung. Im Gegensatz zu bestehenden Ansätzen, die hauptsächlich auf Klassifikationsleistung abzielen, trennt der Rahmen eindeutig emotions- und modalitätsspezifische Repräsentationen, um Interpretierbarkeit, Robustheit und Quermodal-Konsistenz zu verbessern. Zusätzlich wird ein graphbasiertes Aufmerksamkeitsverfahren vorgestellt, das eine adaptive Modellierung intermodaler Interaktionen ermöglicht, indem es feingliedrige emotionale Abhängigkeiten zwischen textuellen, auditiven und visuellen Modalitäten erfasst. Ein Visualisierungsmodul mit mehreren Ansichten wird entwickelt, um Transparenz zu erhöhen, indem zeitliche Emotionsverläufe, Muster der Quermodal-Aufmerksamkeit und latente Emotions-Embeddings sichtbar gemacht werden, die intuitive Einblicke in den Entscheidungsprozess des Modells liefern. Neben einer verbesserten Visualisierung und Interpretierbarkeit multimodaler emotionaler Dynamiken zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI wettbewerbsfähige Leistung hinsichtlich Genauigkeit, F1-Score, mittlerem absoluten Fehler und Korrelation.

Protokoll

Die vorgeschlagene Arbeit zielt darauf ab, das intelligente Interaktionsdesign durch einen interpretierbaren Rahmen für die visuelle Abbildung multimodaler Emotionsmerkmale zu verbessern. Für diese Arbeit wurden die öffentlich zugänglichen Datenbanken CH-SIMS und CMU-MOSEI verwendet. Beide Datensätze wurden von ihren offiziellen Quellen bezogen und im Einklang mit den vom jeweiligen Ersteller festgelegten Nutzungsrichtlinien, Forschungsstandards und Lizenzbedingungen genutzt. Der multimodale Inhalt der Datensätze, einschließlich Text-, Audio- und Videodaten, wurde zunächst von den Datensatzanbietern gemäß deren autorisierten Teilnehmergenehmigungen und Daten­erhebungsprotokollen gesammelt und annotiert. In dieser Studie fand keine direkte menschliche Interaktion statt, es wurden keine neuen Teilnehmer rekrutiert und keine personenbezogenen Daten erhoben. Alle Analysen wurden anhand öffentlich verfügbarer Forschungsdatensätze durchgeführt. Daher war für unsere sekundäre Datenanalyse keine zusätzliche ethische Genehmigung oder Prüfung durch eine zuständige Ethikkommission (Institutional Review Board, IRB) erforderlich. Die Studie wurde in Übereinstimmung mit den geltenden institutionellen Normen zur Nutzung öffentlich zugänglicher Datensätze, ethischen Forschungsverfahren und anwendbaren Daten­nutzungs­richtlinien durchgeführt.

Ein graphbasiertes, multimodales Aufmerksamkeitsverfahren wurde eingesetzt, um Emotionscharakterisierungen über verschiedene Modalitäten hinweg mithilfe emotions- oder modalitätsspezifischer Merkmale zu erlernen und so das Verständnis zu verbessern. Eine Multiview-Visualisierungskomponente wird verwendet, um die Echtzeit-Emotionswahrnehmung in interaktiven Designs zu verbessern, und ihre Effizienz wird hinsichtlich der Emotionserkennung bewertet. Die Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl die Interpretierbarkeit als auch die Effizienz von emotionsbewussten, intelligenten Benutzerschnittstellen in realen Anwendungen verbessert. Abbildung 1 zeigt den architektonischen Arbeitsablauf der vorgeschlagenen Methode. Abbildung 1 zeigt den vollständigen Arbeitsablauf des vorgeschlagenen Visualisierungsrahmens für das multimodale Lernen von Emotionsmerkmalen im Kontext intelligenter Interaktionssysteme. Der Arbeitsablauf beginnt mit drei synchronisierten Eingabemodalitäten, nämlich Text, Audio und Video, die jeweils komplementäre emotionale Informationen aus den sprachlichen, prosodischen und Gesichtsausdrucksmodalitäten erfassen. Ein modalitätsspezifischer Transformer-Encoder verarbeitet jede Modalität, um hochwertige Repräsentationen der Rohdaten zu erhalten. Diese Repräsentationen werden anschließend in ein Modul zur entflochtenen Repräsentationslernung eingespeist, in dem die emotionspezifischen Einbettungen von den modalitätsspezifischen Merkmalen getrennt werden, um Konsistenz der erlernten Emotionen über heterogene Datenquellen hinweg sicherzustellen. Die emotionspezifischen Einbettungen jeder Modalität werden dann durch ein graphbasiertes, multimodales Aufmerksamkeitsnetzwerk aggregiert, das die intermodale emotionale Abhängigkeit modelliert und jeder Modalität dynamische Gewichtungen entsprechend dem Interaktionskontext zuweist. Schließlich liefert das Framework sowohl Ergebnisse zur Emotionsklassifizierung als auch Einblicke in die Interaktion, die transparente, emotionsbewusste Entscheidungsfindung sowie ein adaptives, intelligentes Interaktionsdesign ermöglichen.

MultiModale Datenerfassung

Die Datensätze CH-SIMS und CMU-MOSEI sind zwei bereits vorhandene öffentliche multimodale Datensätze, die multimodale Informationen wie synchronisierte Videos, Audio- und Textdaten erfasst haben. Der CH-SIMS-Datensatz umfasst multimodale Untersuchungen chinesischer Personen, darunter 2.281 Videosegmente, die aus mehreren Videosegmenten von Filmen, Fernsehdramen und Unterhaltungssendungen stammen. Die Hinzunahme entsprechender Audio- und Textdaten zu diesen Videosegmenten macht Studien zur multimodalen Analyse von Emotionen anhand multimodaler Daten ansprechender und durchführbarer. Der CMU-MOSEI-Datensatz hingegen ist einer der größten multimodalen Datensätze zur Untersuchung von Meinungen, Gefühlen und Emotionen und wurde aus über 23.000 Videoclips mit Aussagen von mehr als 1.000 Sprechern zu einer Vielzahl von Themen zusammengestellt. Der Datensatz wurde zufällig in Trainings- (70 %), Validierungs- (15 %) und Testanteile (15 %) unter Beibehaltung der Klassenverteilung unterteilt.

Schriftliche Transkripte, Audiosignale und Videobilder werden erfasst und feingranular zeitlich synchronisiert. Die Integration auf Ebene einzelner Bilder gewährleistet, dass die vorgeschlagenen Verfahren zum Erlernen von Repräsentationen und die graphenbasierten Fusionsmechanismen gemeinsam emotionale Inhalte modellieren und nutzen können, die sich aus visuellen Ausdrücken, stimmlichen Tönen und sprachlichem Inhalt ergeben. Durch diese Art der multimodalen Erfassungstechnik wird eine effektive Extraktion intermodaler emotionaler Dynamiken ermöglicht, was für das Design intelligenter Interaktionen und verständliche visuelle Abbildungen unerlässlich ist.

Tabelle 1 zeigt die wichtigsten Strukturen der multimodalen Emotionsdatensätze, die in der vorgeschlagenen Methode verwendet werden. Um ein breiteres Spektrum verwandter Gefühle wie gesprochener Wörter, Stimmintonationen und Gesichtsausdrücke zu erfassen, integrieren CH-SIMS und CMU-MOSEI Video-, Audio- und Textmodalitäten aus diesen Datensätzen. Außerdem sind in CH-SIMS nur begrenzte Datenproben verfügbar, was eine gründliche Untersuchung der Modalitätsinteraktionen und emotionalen Variationen in China ermöglicht. Im Gegensatz dazu ist der CMU-MOSEI-Datensatz aufgrund seiner umfangreichen Daten über verschiedene Sprachen, Probanden und annotierte Emotionsstufen bedeutender für die Bewertung der Robustheit der in dieser Arbeit behandelten Repräsentationslern- und zugehörigen Visualisierungsalgorithmen. Zusätzlich verringert er im Vergleich zu früheren Studien die Schwierigkeiten bei der Informationsauswahl beim Testen von Modellen.

Multimodale Vorverarbeitung und Synchronisierung

Die Zeitstempel-Anmerkungen aus den Datensätzen CH-SIMS und CMU-MOSEI wurden verwendet, um textuelle, akustische und visuelle Modalitäten zu synchronisieren und ein konsistentes multimodales Repräsentationslernen sicherzustellen. Jede Äußerung fungierte als grundlegende Analyseeinheit und wurde mit passenden Audio- und Videosegmenten innerhalb desselben Zeitintervalls verknüpft. Die Ausrichtung erfolgte auf Ebene der Äußerungen. Das Transkript wurde anhand der Start- und End-Zeitstempel jeder Äußerung in Segmente unterteilt. Die Korrespondenz zwischen Transkript, Audio und Video wurde hergestellt, indem die entsprechenden Videobilder und Audiosignale extrahiert wurden, die innerhalb desselben Zeitintervalls lagen. Während Audiosegmente mithilfe von Wav2Vec 2.0 verarbeitet wurden, um akustische Repräsentationen zu erzeugen, wurden visuelle Bilder aus dem Videosegment mit einer vordefinierten Rate abgetastet und mit dem Vision Transformer (ViT) kodiert. Der RoBERTa-Encoder wurde verwendet, um textuelle Einbettungen aus den Transkripten der Äußerungen zu erstellen. Die zeitliche Synchronisation wurde erreicht, indem alle Modalitätsmerkmale an eine einheitliche Äußerungsgrenze angepasst wurden, da die drei Modalitäten Merkmalssequenzen unterschiedlicher Länge erzeugten. Ein Format fester Länge wurde verwendet, um Sequenzen unterschiedlicher Länge zu normalisieren. Längere Sequenzen wurden auf die maximal zulässige Sequenzlänge verkürzt, kürzere Sequenzen hingegen mit Nullen aufgefüllt. Während des Trainings kamen Aufmerksamkeitsmasken zum Einsatz, um gepaddete Elemente von legitimen Merkmalspositionen zu trennen. Modalitysspezifische Einbettungen wurden vor der Fusion in einen gemeinsamen latenten Raum projiziert, um unterschiedliche Sequenzlängen zwischen den Modalitäten zu überwinden. Dies gewährleistete dimensionsale Konsistenz und ermöglichte es dem graphbasierten Aufmerksamkeitsmechanismus, effektives lernbasiertes Wechselwirken zwischen den Modalitäten zu fördern. Um die Datenqualität und Integrität der Synchronisation zu bewahren, wurden Proben mit beschädigten Dateien, fehlenden Anmerkungen oder unvollständigen Modalitätsinformationen von den Untersuchungen ausgeschlossen.

Merkmalsextraktion auf Basis von Transformatoren

Eine Deep-Learning-Methode wird verwendet, um hochgradige, emotionsbewusste Merkmalsdarstellungen aus Informationen mehrerer Modalitäten wie Bild, Audio und Text auf end-to-end-Art und Weise zu erlernen, nachdem die multimodalen Daten ausgerichtet und alle erforderlichen Vorverarbeitungsschritte durchgeführt wurden. Indem ein Transformer-Encoder eingesetzt wird, um intrinsisch diskriminative Merkmalsdarstellungen aus rohen multimodalen Daten zu lernen, entfällt bei der vorgeschlagenen Methode die Notwendigkeit des Feature-Engineerings. Um die Konsistenz über die in dem vorgeschlagenen Ansatz verwendeten Datensätze hinweg zu gewährleisten, wird für jede Modalität ein Einbettungsvektor fester Größe gelernt. Beispielsweise werden 768-dimensionale Merkmals-Embeddings über jede einzelne Modalität hinweg gelernt, einschließlich Bild-, Audio- und Textmodalitäten, die gemeinsam einen einheitlichen Merkmalsraum bilden, der im gesamten Ansatz verwendet wird, insbesondere bei einem Merkmalsextraktionsansatz, der auf dem vorgeschlagenen CH-SIMS-Datensatz und dem CMU-MOSEI-Datensatz angewendet wird, um hochgradige Merkmale aus Daten unterschiedlicher Größe zu erlernen.

Visuelle Modalität: Visionstransformator für emotionsbewusste Frame-Embeddings

Ein Vision-Transformer-(ViT-Base-)Modell wurde verwendet, um visuelle Informationen aus Videobildern zu extrahieren, um räumliche, emotionsrelevante Darstellungen zu erhalten. Vor der Merkmalsextraktion wurden die Bilder jedes Videosegments auf (224 × 224) Pixel skaliert und in regelmäßigen zeitlichen Abständen abgetastet. Mit einer Patch-Größe von 16 × 16 Pixeln erzeugt die ViT-Base-Architektur eine Reihe visueller Token, die von 12 Transformer-Encoder-Schichten verarbeitet werden. Die gewonnenen Frame-Ebene-Darstellungen wurden mithilfe eines vortrainierten ViT-Modells als visuellem Backbone in einen 768-dimensionalen Einbettungsraum projiziert. Die Frame-Ebene-Einbettungen wurden durch Mittelwert-Pooling aggregiert, um die endgültige visuelle Darstellung für jedes Segment zu erzeugen. Während des Trainings wurden Bildnormalisierung und gängige Erweiterungsmethoden wie zufälliges Zuschneiden und horizontales Spiegeln verwendet, um die Generalisierungsfähigkeit zu verbessern. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um diese visuellen Einbettungen mit textuellen und auditiven Darstellungen zu kombinieren.

Um die zeitlichen Dynamiken der Emotion beizubehalten, werden Videobeispiele aus den Datensätzen CH-SIMS und CMU-MOSEI für die visuelle Modalität gleichmäßig abgetastet. Die Einzelbilder jedes Videos, , können in N Abschnitte fester Größe unterteilt werden, die anschließend abgeflacht und invers in einen latenten Einbettungsraum der Dimension überführt werden. Eine Serie wird durch Hinzufügen von Positions-Embeddings und eines lernbaren Gruppierungstokens erstellt:

   (1)

wobei   für die Positions-Codierung steht und   die Patch-Einbettungsmatrix ist.

Geschachtelte Transformer-Encoder-Schichten, bestehend aus Feed-Forward-Netzwerken und Multi-Head-Self-Attention, werden verwendet, um die eingebettete Patch-Sequenz zu verarbeiten. Die Transformation in Schicht l wird wie folgt beschrieben:

   (2)

   (3)

Um den emotionsbewussten visuellen Merkmalsvektor zu erhalten, wird die dem Klassentoken entsprechende Ausgabe als Merkmalsvektor extrahiert . Um konsistente visuelle Emotionsrepräsentationen zu erreichen, trotz sprachlicher und inhaltlicher Unterschiede zwischen Datensätzen, werden Frame-Einbettungen aus jedem Videosegment kombiniert, um Gesichtsausdrücke und die Entwicklung von Emotionen zu erfassen.

Audio-Modalität unter Verwendung von Wav2Vec 2.0 für Prosodie- und semantische akustische Einbettungen Kontextualisierte Sprach-Einbettungen wurden mithilfe eines vortrainierten Wav2Vec-2.0-Encoders als akustischem Grundgerüst erzeugt. Ein akustischer Merkmalsvektor fester Länge für jeden Satz wurde durch Aggregation der ausgegebenen verborgenen Repräsentationen mittels Mittelwert-Pooling gewonnen. Das Wav2Vec-2.0-Modell diente der Extraktion akustischer Repräsentationen aus Audiosignalen, um kontextuelle und emotionsrelevante Sprachmerkmale zu erfassen. Vor der Merkmalsextraktion wurden die Tonaufnahmen normalisiert und auf 16 kHz neu abgetastet. Um die Synchronisation zwischen textueller und visueller Modalität sicherzustellen, wurde jeder audioseitige Äußerungsabschnitt anhand der zeitlichen Grenzen aus den Datensatzannotationen isoliert. Der vortrainierte akustische Encoder wurde während des Modelltrainings angepasst, um eine aufgabenspezifische Anpassung zu verbessern und die abgeleiteten Repräsentationen präziser hinsichtlich emotionaler Aspekte der Sprachsignale zu gestalten. Anschließend erfolgten die graphbasierte multimodale Aufmerksamkeitsfusion und das lernbasierte Entflechten von Repräsentationen unter Verwendung der finalen Audio-Einbettungen.

In der Audio-Modalität wird Wav2Vec-2.0 verwendet, um Sprachsignale aus den anfänglichen Sprachinformationen der Datensätze CH-SIMS und CMU-MOSEI zu modellieren und direkt audiovisuelle Merkmale in Bezug auf Emotionen zu extrahieren. Für jedes Eingabe-Sprachsignal existiert eine faltungs-basierte Merkmalskodierung :

   (4)

wobei Z für prosodische Merkmale auf niedriger Ebene wie Melodie, Tonhöhe und Energie steht. Ein auf Transformatoren basierendes Kontextnetzwerk ist für die oben genannten Strukturen nützlich, da es zeitbasierte Abhängigkeiten über längere Zeiträume hinweg darstellt:

   (5)

Prosodische und semantische akustische Daten, die für die Ausdrucksweise von Emotionen wesentlich sind, sind in diesen kontextuellen akustischen Repräsentationen enthalten. Ein Audio-Embedding fester Länge wird durch Durchführung eines zeitlichen Pooling-Verfahrens erstellt:

   (6)

Das Verfahren verzichtet auf die Verwendung akustischer Merkmale wie MFCCs und erreicht Robustheit, indem einfach Repräsentationen aus Wellenformen unter Nutzung englischer Sprachdaten von CMU-MOSEI und chinesischer Sprachdaten von CH-SIMS extrahiert werden.

Textmodus unter Verwendung von RoBERTa für kontextuelle Emotionseinbettungen

Für die textuelle Modalität wird der tiefe bidirektionale Transformer RoBERTa auf die Sprachtranskripte aus den beiden Datensätzen angewendet, um kontextuelle Semantik und affektive Bedeutung zu generieren. RoBERTa-basierte Transformer-Encoder wurden verwendet, um textuelle Repräsentationen aus den Transkriptdaten zu extrahieren und so kontextuelle semantische sowie emotionale Informationen zu erfassen. Für den englischsprachigen Datensatz CMU-MOSEI kam ein vortrainiertes RoBERTa-Modell zum Einsatz, während für den chinesischen Datensatz CH-SIMS eine chinesische RoBERTa-Variante verwendet wurde, um sprachspezifische linguistische Merkmale besser berücksichtigen zu können. Die Textvorverarbeitung umfasste die Tokenisierung mithilfe des jeweils passenden RoBERTa-Tokenisierers pro Sprache sowie die Textnormalisierung. Um eine konsistente Batch-Verarbeitung sicherzustellen, wurden Eingabesequenzen in Token-Embeddings umgewandelt und entweder aufgefüllt oder gekürzt, um eine vordefinierte maximale Sequenzlänge einzuhalten. Gemäß dem RoBERTa-Eingabeformat wurden spezielle Klassifizierungs- und Trenntoken eingeführt. Ein festlanges textliches Embedding wurde durch Aggregation der kontextualisierten Token-Repräsentationen, die vom Transformer-Encoder erzeugt wurden, unter Verwendung der finalen [CLS]-äquivalenten Satzrepräsentation gewonnen. Um die erlernten Repräsentationen an die Aufgabe der Emotionserkennung anzupassen, wurden die vortrainierten RoBERTa-Encoder durch multimodales Training verfeinert. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um die textuellen Embeddings mit den audiovisuellen Merkmalen zu kombinieren.

Die Token-Embeddings und Positionsencodierungen können für jede tokenisierte Eingabe kombiniert werden, , um die Eingaberepräsentation in der tiefen bidirektionalen Transformationsmethode namens

   (7)

Diese Form wird durch die Schichten des L-Transformers dargestellt, der Selbst-Attention verwendet, um die kontextuellen Abhängigkeiten zwischen Wörtern zu erkennen:

  (8)

Das kontextuelle Emotions-Embedding wird unter Verwendung des endgültigen versteckten Zustands des Klassifikationstokens erhalten:

   (9)

Stimmungspolarität, intensive Emotionen und damit verbundene Implikationen sind Beispiele für emotionsbezogene sprachliche Merkmale, die durch diese Einbettung repräsentiert werden. RoBERTa vereinfacht die sprachunabhängige Modellierung. Dies ermöglicht dem System, dieselbe Einbettungsgröße sowohl für englische Texte aus dem CMU-MOSEI-Datensatz als auch für chinesische Texte aus dem CH-SIMS-Datensatz zu verwenden.

Drei modalitysspezifische Merkmalsvektoren mit jeweils 768 Dimensionen – für die visuelle f_v, auditive f_a und textuelle f_t Modalität – werden durch den vorgeschlagenen Schritt des tiefen Lernens zur Merkmalsdarstellung extrahiert. In der intelligenten Interaktionsgestaltung erzeugen diese gelernten Darstellungen einen einheitlichen multimodalen Merkmalsraum, der als Grundlage für die merkmalsbasierte visuelle Abbildung, die graphenbasierte multimodale Fusion sowie das entkoppelte Lernen von Darstellungen dient.

Lernen entkoppelter Darstellungen

Nachdem eine tiefe Merkmalsrepräsentation gelernt wurde, kann eine zusätzliche Verarbeitung der multimodalen Merkmalsvektoren aus den visuellen, auditiven und textlichen Modalitäten eine getrennte Emotionsbeschreibung liefern. Wenn die modalitysspezifischen Merkmalseinbettungen der auditiven, visuellen und textlichen Modalitäten, die im vorherigen Schritt verwendet wurden, entsprechend durch f_v, f_a und f_t dargestellt werden, sodass  und , besteht das Ziel dieses Schritts darin, alle Modalmerekmale in zwei unterschiedliche latente Darstellungen zu zerlegen, wozu auch die Emotionsdarstellungen gehören, nachdem die vorherigen Semantiken der einzelnen Modalitäten berücksichtigt wurden.

Dies wird erreicht, indem jedes Modalitätsmerkmal f_m in zwei parallele Projektionsnetzwerke eingespeist wird: einen Emotions-Encoder  und einen Modalitäts-Encoder , wobei die beiden Kodierungen erzeugt werden.

  (10)

Wobei  die latente, mit der Emotion verknüpfte Eigenschaft darstellt, die durch  repräsentiert wird und eine modenspezifische latente Eigenschaft darstellt. Dies ermöglicht es emotionsbezogenen Einbettungen, wiederholt über mehrere Eingaben hinweg – einschließlich Audio, visuelle Signale und Text – miteinander zu kommunizieren, während gleichzeitig die den einzelnen Modalitäten zugehörigen einzigartigen strukturellen Daten erhalten bleiben.

Eine wirksame Trennung wird durch die Rekonstruktion mit Unabhängigkeitsbeschränkungen erzwungen. Die Rekonstruktion des ursprünglichen Modalitätsmerkmals ergibt sich aus:

  (11)

wobei   ein Decoder-Netzwerk ist. Der Rekonstruktionsverlust erhält die folgenden Daten:

   (12)

Zusätzlich beschränkt die Orthogonalität oder Entkorrelation zwischen Emotion und modalitytspezifischen Darstellungen häufig die Informationsüberlappung:

   (13)

Indem diese Ziele erreicht werden, könnte das Modell Emotionsrepräsentationen erlernen, die zuverlässig, verständlich und widerstandsfähig gegenüber Modalitätsvariabilität sind. Spätere graphbasierte multimodale Fusionen und visuelle Abbildungsmerkmale, insbesondere für die intelligente Interaktionsgestaltung, hängen stark von interpretierbaren, strukturierten Emotionsrepräsentationen ab.

Emotionale Konsistenz über Modalitäten hinweg

Die Berücksichtigung der Emotionskonsistenz verbessert deutlich die Wirksamkeit der Fusion zwischen den Modalitäten. Dies liegt daran, dass bei den Fusionsstrategien keine großen Unterschiede zwischen den beiden Darstellungen mehr berücksichtigt werden müssen, da die modalitysspezifischen Emotionseinbettungen einen latenten Raum teilen. Die kombinierte Darstellung der beiden Emotionen wird wie folgt beschrieben . Die gewichtete Fusion wird stabiler sein, wenn die emotionspezifischen Darstellungen konsistent sind, da Variationen zwischen Signalen verschiedener Modalitäten dann keinen Einfluss mehr auf das Ergebnis haben.

   (14)

Durch die Durchsetzung einer semantischen Ausrichtung emotionaler Informationen minimiert dieses Ziel Diskrepanzen zwischen den Modalitäten und stellt sicher, dass die Emotionswahrnehmung unabhängig von der zur Ausdrucksweise verwendeten Modalität konsistent bleibt. Folglich wird ein kohärenter und affektiver Repräsentationsraum geschaffen, indem emotionale Hinweise, die aus Sprachsignalen, Gesichtsausdrücken und sprachlichem Inhalt gewonnen werden, projiziert werden.

Auswirkungen auf die multimodale Fusion

Die multimodale Fusion wird effektiver, wenn emotionale Konsistenz über die Modalitäten hinweg eingeführt wird. Die Fusionsmechanismen müssen nicht mehr signifikante intermodale Repräsentationsunterschiede ausgleichen, da die emotionspezifischen Einbettungen in einem gemeinsamen latenten Raum ausgerichtet sind. Die fusionierte Emotionsrepräsentation ist wie folgt definiert:

  (15)

Dabei repräsentiert  α_m das Gewicht der Aufmerksamkeit, das der Modalität m zugewiesen wird. Die gewichtete Fusion wird stabiler und verständlicher, wenn die emotionspezifischen Repräsentationen konsistent sind, da das Fusionsergebnis komplementäre emotionale Hinweise anzeigt statt widersprüchlicher Modalitätssignale.

Mathematisch entspricht die Verringerung der  Varianz zwischen verschiedenen emotionspezifischen Repräsentationstypen in Bezug auf  folgendem:

   (16)

wobei   den mittleren Emotionsausdruck darstellt. Eine verringerte Varianz führt dazu, dass die Eingabemodalitäten entsprechend ihrer genauen emotionalen Bedeutung und nicht aufgrund von Modalitätsrauschen gewichtet werden, was eine verbesserte Netzwerkkonvergenz und eine genauere Aufmerksamkeitsbewertung sicherstellt.

Das endgültige Lernziel entkoppelter Emotionsvisualisierungen besteht darin, Fragmentierung, Rekonstruktion und emotionale Einheitlichkeit zu kombinieren:

   (17)

wobei zwei Hyperparameter, λ₁ und λ₂, die Beziehung zwischen der zuverlässigen Erkennung von Emotionen über verschiedene Modalitäten hinweg und deren Abgrenzung steuern. Das vorgeschlagene Modell erfasst modusunabhängige, interpretierbare und fusionierbare emotionale Repräsentationen, um dies zu erreichen, wobei der Schwerpunkt darauf liegt, eine solide Grundlage für die spätere, auf Graphen basierende Fusion sowie für die Repräsentation auf der Merkmalsebene bei der Gestaltung intelligenter Schnittstellen zu schaffen.

Graphbasierte, multimodale Aufmerksamkeitsfusion

Ein graphbasiertes, multimodales Attention-Netzwerk wurde verwendet, um feinkörnige emotionale Beziehungen zwischen den Modalitäten zu simulieren. Um den Informationsfluss zwischen den Modalitäten zu erleichtern, wurde ein vollständig verbundener multimodaler Graph erstellt, wobei jede modalityspezifische Einbettung (Text, Audio und visuell) als Knoten im Graphen repräsentiert wurde. Die Beziehungen zwischen den Modalitäten dienten zur Erstellung der Adjazenzmatrix des Graphen, die anschließend mithilfe einer lernbaren Attention-Methode verbessert wurde. Ein gemeinsamer latenter Raum wurde durch Verkettung und Projektion der Ausgaben mehrerer Attention-Köpfe erzeugt. Eine einheitliche, multimodale Emotionsrepräsentation entstand dann durch Aggregation der Knotenrepräsentationen mittels attentiongewichteter Pooling-Verfahren. Diese fusionierte Repräsentation wurde anschließend an die Vorhersage- und Visualisierungsmoduln für die interaktionsbezogene Analyse und Emotionserkennung weitergeleitet. Das Graph-Fusion-Modul wies eine latente Darstellungsdimension von 256 auf und enthielt zwei Graph-Attention-Schichten, jeweils mit acht Attention-Köpfen. Um die relative Wichtigkeit benachbarter Modalitäten zu ermitteln, wurden die Attention-Koeffizienten zwischen verbundenen Knoten berechnet und mittels der Softmax-Funktion standardisiert. Jede Graph-Attention-Schicht wurde durch eine Layer-Normalisierung, Residualverbindungen und eine Dropout-Rate von 0,2 ergänzt, um die Stabilität des Trainings zu erhöhen und Überanpassung zu reduzieren. Nach der Verkettung und Projektion der Ausgaben mehrerer Attention-Köpfe in einen gemeinsamen latenten Raum wurden die Knotenrepräsentationen mittels attentiongewichtetem Pooling zu einer einzigen, multimodalen Emotionseinbettung kombiniert. Anschließend wurde die fusionierte Repräsentation für die multiviewige visuelle Abbildung und Emotionsvorhersage verwendet.

Unterschiedliche multimodale Wechselwirkungen wurden mithilfe einer Multi-Head-Graph-Attention erfasst. Die Softmax-Funktion diente der Normalisierung der Attention-Koeffizienten zwischen verbundenen Knoten für jeden Knoten. Um die Stabilität des Trainings zu erhöhen und Überanpassung zu vermeiden, folgten auf die gestapelten Graph-Attention-Schichten des Graph-Fusion-Moduls Residualverbindungen, Layer-Normalisierung und Dropout-Regularisierung.

Die Terme   stellen jeweils die Darstellungen der spezifischen Emotionen dar, die durch die visuellen, auditiven und textlichen Modalitäten erfasst wurden; jede Komponente befindet sich innerhalb des gemeinsamen latenten Raums . Die Modelle für die Modalitätsknoten verwenden eine Notation für den Graphen , wobei die Knoten der Sammlung   den drei Modalitätsknoten selbst entsprechen, um die emotionalen Abhängigkeiten zwischen den verschiedenen Modalitätsdarstellungen explizit zu verstärken.

Nach der Zuweisung eines emotionspezifischen Merkmalsvektors zu jedem Knoten im Graphen haben wir:

   (18)

Im Gegensatz zu herkömmlichen Fusionsmethoden, die vorbestimmte oder feste Fusionsgewichte verwenden, lernt das vorgeschlagene Verfahren adaptive Kantengewichte basierend auf deren Bedeutung und wechselseitigen Abhängigkeiten, sowohl über die Kanäle als auch über die emotionalen Situationen hinweg.

Ein Graph Attention Network (GAT) wird für die multimodale Fusion verwendet. Ein Aufmerksamkeitskoeffizient wird für jeden Knoten i und seine benachbarten Knoten, also Knoten j, berechnet:

   (19)

Die emotionale Wirkung des Wechsels von Modus j zu Modalität i wird durch die normalisierten Gewichte α_ij gemessen.

Anschließend wird das fusionierte Erscheinungsbild jedes Modalitätsknotens als gewichtete Gruppierung seiner Nachbarn berechnet:

   (20)

wobei die Aktivierungsfunktion   nichtlinear ist. Letztendlich werden die aktualisierten Merkmale jedes Knotens kombiniert, um eine globale, fusionierte Emotionsrepräsentation zu erhalten:

   (21)

Es handelt sich um eine nützliche Technik für interpretierbare Emotionsmodellierung und anschließende visuelle Abbildung, da sie komplementäre Informationen aus verschiedenen Modalitäten erfasst und dabei komplexe intermodale Beziehungen bewahrt.

Algorithmus 1 (Supplementary File 1) liefert das allgemeine Schema zur Durchführung der graphbasierten multimodalen Fusion. Zunächst wird ein Graph erstellt, der die emotionspezifischen Merkmale mit jeder der visuellen, auditiven und textuellen Modalitäten verknüpft. Anschließend werden die Attention-Scores für jedes Paar von Knoten im Graphen berechnet, die die Kombination emotionaler Abhängigkeiten repräsentieren. Die Attention-Scores werden dann normalisiert, um den relativen Beitrag jeder Modalität zum festgelegten emotionalen Kontext anzugeben, wodurch das Lernen der Attention-Gewichte ermöglicht wird. Das allgemeine Emotions-Embedding wird in der letzten Phase durch Aggregation der mit den Knoten des Graphen verknüpften Merkmale erzeugt. In diesem Sinne zeigt die allgemeine Fusion multimodaler Merkmale, die mit den festgelegten Emotionen verknüpft sind, vielversprechende Eigenschaften hinsichtlich Anpassungsfähigkeit, Interpretierbarkeit und kontextueller Intelligenz.

Abbildung 2 zeigt die Struktur und Funktionsweise des vorgeschlagenen multimodalen Netzwerks mit Quermodalitätsaufmerksamkeit zur Fusion multimodaler Stimmungen. Die emotionspezifischen Einbettungen, die unabhängig für die Modalitäten Text, Audio und Video gewonnen werden, durchlaufen zunächst auf Modalitätsebene angesiedelte Aufmerksamkeitsmechanismen, die die relative Bedeutung sprachlicher, stimmlicher und mimischer Informationen für einen gegebenen emotionalen Kontext erlernen. Die durch Aufmerksamkeitsgewichtung verfeinerten Repräsentationen der Modalitäten werden anschließend zu einer einheitlichen Emotionseinbettung kombiniert, wobei die Aufmerksamkeitsmatrix die intermodalen Abhängigkeiten und Wechselwirkungsstärken erfasst. Die vom Netzwerk gelernte Aufmerksamkeitsmatrix moduliert dynamisch die Beiträge der einzelnen Modalitäten, sodass das Netzwerk sich auf die aussagekräftigste Informationsquelle konzentrieren und gleichzeitig störanfällige oder wenig informative Modalitäten ausblenden kann. Die fusionierte Emotionsrepräsentation ermöglicht eine präzise Erkennung von Emotionen sowie eine differenzierte Analyse emotionaler Zustände wie neutral, Zuneigung und Besorgnis.

Visuelles Abbildungsmodul

Mit Hilfe des speziell für diesen Zweck erstellten visuellen Abbildungsabschnitts kann ein intelligenter Interaktionsdesigner die vereinheitlichte Darstellung des emotionalen Zustands anhand des Graphen nach dem multimodalen Fusionierungsprozess in eine visuelle Form umwandeln, die verständlich und leicht verarbeitbar ist.

Um latente emotionale Darstellungen leichter erfassbar zu machen, wurden Dimensionsreduktionsverfahren eingesetzt, um die gelernten multimodalen Emotionseinbettungen zu visualisieren. Nach der Reduktion der Merkmalsdimensionalität unter Beibehaltung des größten Teils der Varianz mittels Hauptkomponentenanalyse (PCA) wurden die Einbettungen mithilfe von t-verteiltem stochastischem Nachbarn-Einbetten (t-SNE) in einen zweidimensionalen Raum projiziert, um sie darzustellen. Für t-SNE wurden eine Perplexitätszahl von 30, eine Lernrate von 200 und 1.000 Optimierungsiterationen verwendet. Emotionsspezifische Cluster und Modalitätsbeziehungen wurden anhand der erhaltenen Projektionen visualisiert. Die normalisierten cross-modalen Aufmerksamkeitsgewichte, die durch das graphenbasierte Aufmerksamkeitsnetzwerk ermittelt wurden, dienten zur Erstellung von Aufmerksamkeits-Heatmaps. In diesen Heatmaps sind die relativen Beiträge der textuellen, audio- und visuellen Modalitäten während der Emotionsvorhersage dargestellt. Die gelernten Aufmerksamkeitskoeffizienten wurden als Kantengewichte verwendet, um cross-modale Interaktionsgraphen zu erstellen, wodurch eine visuelle Untersuchung der intermodalen Beziehungen und des Informationsflusses innerhalb des Fusionierungsrahmens ermöglicht wurde. Emotionsverlaufsdiagramme wurden erstellt, indem die Entwicklung latenter Emotionseinbettungen über aufeinanderfolgende Äußerungen hinweg verfolgt wurde, um zeitliche emotionale Dynamiken zu untersuchen. Diese Verläufe liefern Erkenntnisse darüber, wie sich emotionale Zustände und Modalitätsbeiträge im Laufe der Zeit entwickeln. Alle Visualisierungen wurden mit den Python-Paketen Matplotlib und Scikit-learn erstellt. Zur Bewertung der Interpretierbarkeit, der Clusterbildung, der Modalitätsbeiträge und der zeitlichen Emotionsdynamiken wurden qualitative Analysen der Einbettungsvisualisierungen, Interaktionsgraphen und Aufmerksamkeits-Heatmaps durchgeführt.

Der Variable   soll die fusionierte Darstellung des emotionalen Zustands durch die Graph-Attention-Netzwerk-Funktion repräsentieren. Im Gegensatz zur Visualisierung auf Ausgabeebene der Darstellungen des emotionalen Zustands besteht das Hauptziel des Moduls darin, die Darstellungen des emotionalen Zustands und die entsprechenden Gewichtungen des Attention-Mechanismus in eine verständliche visuelle Form umzuwandeln.

Mithilfe des erlernten α_ji wird eine Attention-Heatmap erstellt, um den Beitrag jeder Modalität visuell zu überprüfen. Die eingehenden Attention-Gewichte werden anschließend addiert, um einen zusammengesetzten Wichtigkeitsscore für jede Modalität zu bestimmen:

    (22)

wobei s_i den relativen emotionalen Beitrag der Modalität I darstellt. Um eine Aufmerksamkeits-Heatmap zu erstellen, werden die erhaltenen Werte normalisiert und einer Farbskala zugeordnet, die es dem Benutzer erleichtert, die dominierende Modalität in verschiedenen Zeitschritten oder interaktiven Zuständen zu identifizieren. Durch verschiedene visuelle, akustische oder textbasierte Eingabemodalitäten hilft eine solche Schnittstelle dem Benutzer dabei zu verstehen, wie der Aufmerksamkeitsmechanismus des Systems funktioniert.

Der erlernte Graph wird speziell als „gewichteter Interaktionsgraph“ modelliert, um die multimodalen Abhängigkeiten menschlicher Emotionen darzustellen. Jede Modalität wird durch einen Knoten im Graphen repräsentiert, und die Stärke der Wechselwirkungen im Zusammenhang mit menschlichen Emotionen wird durch Gewichtungen in Form von α_ji auf den sie verbindenden Kanten ausgedrückt. Der obige gewichtete Graph veranschaulicht die Intensität emotionaler Wechselwirkungen beim Menschen. Die Definition von i und j lautet:

   (23)

Die Linienstärke oder Transparenz der Graphdarstellung wird dank dieser Gewichtungen angemessen dargestellt. Dadurch wird verständlicher, wie die Modalitäten interagieren. Mithilfe von intermodalen Interaktionsgraphen kann der Entwickler besser nachvollziehen, wie sich emotionale Indikatoren während des Fusionierungsprozesses beeinflussen.

Die fusionierten Emotionseinbettungen  zu verschiedenen Zeitpunkten werden mithilfe eines Dimensionsreduktionsalgorithmus wie PCA oder t-SNE auf einen niedrigdimensionalen Raum projiziert, um die zeitliche Entwicklung der Emotionen darzustellen:

   (24)

wobei die Projektionsfunktion durch dargestellt wird. Das Entstehen von 2D/3D-Emotionsverläufen, die Emotionsübergänge, -intensitäten und -stabilität in Interaktionen zeigen, kann als intuitive Darstellung der zeitlichen Entwicklung emotionaler Zustände interpretiert werden. Diese Aspekte können für intelligente Interaktion, Entscheidungsfindung und Echtzeitüberwachung genutzt werden.

Im Gegensatz zu herkömmlichen Emotionssystemen, die lediglich Abbildungen auf bestimmte Klassen oder Bewertungen bereitstellen, konzentriert sich dieses System darauf, zu demonstrieren, wie menschliche Emotionen innerhalb desselben entstehen. Es offenbart seinen Entscheidungsprozess, indem es Visualisierungen von Zwischenmerkmalen bereitstellt, einschließlich Gewichtungsfaktoren, Wechselwirkungen zwischen Modellen und deren entsprechenden Pfaden. Dies ermöglicht es dem Nutzer, nachzuvollziehen, wie jeder Faktor – visuell, stimmlich oder sprachlich – die Erzeugung der Antworten des Systems auf menschliche Emotionen beeinflusst.

Die Abbildung von Emotionen in verständliche Formen mithilfe visueller Darstellungen kann somit die Lücke zwischen der Emotionsanalyse mittels Deep-Learning-Methoden und deren Integration in die intelligente Gestaltung von Schnittstellen schließen. Die aus beiden Ansätzen gewonnenen Daten können anschließend genutzt werden, um präzisere Benutzeroberflächen zu entwickeln. Der vorgeschlagene Ansatz kann Interaktionsgestaltern daher wesentliche Informationen liefern, um genauere Benutzeroberflächen zu entwerfen. Mit anderen Worten wird das Verständnis von Emotionen zu einem aktiven Bestandteil des Interaktionsdesigns. Nur wenn das Verständnis von Emotionen aktiv in das Interaktionsdesign eingebunden wird, kann die Genauigkeit weiter steigen.

Das visuelle Abbildungsmodul ermöglicht Erklärbarkeit auf verschiedene miteinander verbundene, aber unterschiedliche Weisen: Die Erklärbarkeit auf Feature-Ebene offenbart die zugrundeliegenden Repräsentationen von Emotionen, die durch das DNN erzeugt werden, und ermöglicht es uns, die Semantik zu verstehen, die zur Beschreibung jedes mit Emotionen verbundenen Features verwendet wird; die Erklärbarkeit auf Modalitätsebene nutzt Daten aus den Interaktionsgraphen und den visuellen Aufmerksamkeits-Heatmaps, um zu beschreiben, wie jede Modalität – visuell, audio oder textuell – zu den Entscheidungen über die Ausdrucksweise von Emotionen beiträgt; und schließlich ermöglichen es uns die aus dem Emotionen-Embedding resultierenden Trajektorien, zu verstehen, wie sich jede visuelle und textuelle Modalität im Zeitverlauf aus einer dynamischen Interaktionsperspektive betrachtet verändert. Siehe hierzu Algorithmus 2 (Supplementary File 1).

Die fusionierten multimodalen emotionalen Merkmale werden mithilfe des vorgeschlagenen visuellen Abbildungs-Algorithmus 2 auf visuell bedeutende Darstellungen abgebildet, um ein intelligentes Interaktionsdesign zu ermöglichen. Die graphbasierten multimodalen Aufmerksamkeitsgewichte dienen dazu, Unterschiede zwischen den Eingabeelementen im visuellen, audiovisuellen und textuellen Bereich zu jedem Zeitpunkt zu quantifizieren. Diese Unterschiede werden anschließend visuellen Darstellungen zugeordnet, um die Hauptfaktoren, die die Emotionen beeinflussen, mithilfe von Heatmap-Visualisierungen hervorzuheben. Um einen aufschlussreichen Einblick in die Wechselwirkungen zwischen den Eingabeelementen zu gewinnen und die durch die multimodalen Eingabeelemente erzeugte emotionale Entwicklung darzustellen, werden anschließend paarweise Interaktionsstärken berechnet, um die multimodalen Interaktionsgewichte zu erzeugen. Gleichzeitig wird eine Darstellung der emotionalen Entwicklung erzeugt, indem die über die Zeit gesammelten fusionierten emotionalen Elemente in einen niederdimensionalen Raum abgebildet werden, um eine kontinuierliche Entwicklung der emotionalen Elemente darzustellen.

Emotionsvorhersage und Interaktionsrückmeldung

Das Ergebnis der fusionierten Emotionsrepräsentation, dargestellt als , wird anschließend als Funktion sowohl für Interaktionsrückmeldungen als auch für die Emotionsvorhersage verwendet. Außerdem wird die Emotionsvorhersage als Multitask-Modell beschrieben, das aus einer Regressionsaufgabe zur Erkennung kontinuierlicher Emotionsintensität und einer Klassifikationsaufgabe zur Erkennung diskreter Emotionen besteht. Für die Erkennung diskreter Emotionen kommt das folgende auf Softmax basierende Klassifikationsmodell zum Einsatz:

   (25)

wobei  die erwarteten Wahrscheinlichkeiten der Emotionsklassen darstellt und W_c und b_c lernbare Parameter sind. Der Kreuzentropieverlust wird verwendet, um das Klassifizierungsziel zu verbessern:

  (26)

wobei y_k das tatsächliche Tag ist und K die Anzahl der Emotionsklassen bezeichnet. Ein Regressionszweig wird parallel zur Schätzung der Emotionalität eingesetzt und liefert eine Vorhersage verschiedener kontinuierlicher affektiver Attribute, einschließlich Valenz und Erregung. Verwenden Sie dazu die folgende Definition:

   (27)

wobei die erwartete Emotionsintensitätsbewertung durch angegeben ist. Der mittlere quadratische Fehler wird verwendet, um die Regressionsaufgabe zu verbessern:

   (28)

Im Allgemeinen werden die beiden Aufgaben im Vorhersageziel kombiniert:

   (29)

wobei die Ziele der Regression und Klassifikation durch λ ausgeglichen werden. Es wird eine dynamische Anpassung des Visualisierungsmoduls basierend auf dem ermittelten Emotionszustand vorgeschlagen, um eine solche interaktionsbezogene Rückmeldung zu ermöglichen. Der Interaktionskontext zu einem bestimmten Zeitpunkt t wird durch c_t dargestellt. Die Reaktion des Visualisierungsmoduls ergibt sich aus:

    (30)

wobei die Visualisierungsanpassungsfunktion durch dargestellt wird. Dadurch ist es möglich, die Modalität-Heatmaps, Interaktionsgraphen und Emotionsverläufe in Echtzeit basierend auf erwarteten Veränderungen und Emotionen anzupassen. Dies zeigt an, dass das System neben einer guten Leistung bei der Vorhersage von emotionalen Zuständen auch erhebliche Unterstützung bei der Rückmeldung bietet.

Ergebnisse

Diese Arbeit validiert den vorgeschlagenen visuellen Abbildungsansatz für multimodale Emotionsmerkmale hinsichtlich sowohl der interaktionsbezogenen Interpretierbarkeit als auch der Vorhersageleistung anhand zweier Benchmark-Datensätze, CH-SIMS und CMU-MOSEI. Laut den experimentellen Ergebnissen schneidet der vorgeschlagene Ansatz über verschiedene Metriken hinweg, darunter Korrelation, Genauigkeit, F1-Score und mittlerer absoluter Fehler (MAE), durchgängig besser ab als aktuelle Verfahren zur multimodalen Emotionserkennung. Die entkoppelte Emotionsrepräsentation, der graphbasierte multimodale Fusionsmechanismus und die End-to-End-Strategie des tiefen Repräsentationslernens tragen gemeinsam zu dieser Verbesserung bei, indem sie eine stabilere und semantisch besser ausgerichtete Emotionsmodellierung ermöglichen. Der vorgeschlagene Ansatz liefert durch die visuelle Abbildung tiefere Einblicke auf der Merkmalsebene, die über quantitative Verbesserungen hinausgehen und das Verständnis der Modalitätsbeiträge sowie der emotionalen Dynamiken erleichtern. Trotz Unterschieden in Sprache, kulturellem Ausdruck und Datensatzgröße zeigt sich der genannte Leistungszuwachs in beiden Datensätzen konsistent, was die starke Generalisierungsfähigkeit des vorgeschlagenen Frameworks belegt.

Die öffentlichen Datensätze CH-SIMS und CMU-MOSEI für multimodale Emotionen werden in der vorgeschlagenen Arbeit verwendet. Der CH-SIMS-Datensatz umfasst 2.281 Videoclips aus Filmen, Fernsehserien und Unterhaltungsshows. Synchronisierte Text-, Audio- und visuelle Daten sind in CH-SIMS verfügbar. Sowohl unimodale als auch multimodale Sentiment-Labels sind in die Kategorien positiv, neutral und negativ eingeteilt. Der große englischsprachige multimodale Datensatz CMU-MOSEI enthält etwa 23.453 annotierte Videoclips mit über 1.000 Sprechern, die eine breite Palette von Themen diskutieren. Dieser Datensatz enthält sowohl kontinuierliche Emotionsintensitätsannotationen wie Valenz und Erregung als auch kategoriale Emotionslabels. Die Durchführung von Experimenten an diesen beiden Datensätzen mithilfe des vorgeschlagenen Frameworks stärkt die Robustheit und Zuverlässigkeit, da eine Vielzahl sprachlicher, kultureller und emotionaler Bedingungen unterstützt wird. Tabelle 2 zeigt die Details der Simulationsumgebung.

Die wichtigsten experimentellen und implementierungstechnischen Einstellungen, die zur Bewertung des vorgeschlagenen Frameworks verwendet werden, sind in diesem Simulationsumfeld zusammengefasst. Um eine einheitliche Merkmalsdimensionalität über textbasierte, audio- und visuelle Modalitäten hinweg sicherzustellen, werden transformerbasierte Encoder einheitlich angewendet. Es verwendet einen graphbasierten Attention-Mechanismus für die multimodale Fusion, der ein adaptives Lernen der intermodalen Abhängigkeiten in Bezug auf emotionale Zustände ermöglicht.

Der vorgeschlagene Ansatz extrahiert textuelle, akustische und visuelle Repräsentationen mithilfe modalitysbasierter Transformer-Encoder. Voll verbundene Schichten mit ReLU-Aktivierung projizieren die modalitysspezifischen Embeddings in einen gemeinsamen latenten Raum. Anschließend werden separate emotions- und modalitysspezifische Encoder, jeweils mit zwei voll verbundenen Schichten sowie nichtlinearer Aktivierung und Normalisierung, verwendet, um entkoppelte Repräsentationen zu lernen. Die latenten Repräsentationen werden in einen 256-dimensionalen Merkmalsraum projiziert, in dem Informationen für jede Modalität und Emotion separat erlernt werden. Um die Modalitätsinformationen zu bewahren und eine effiziente Entkoppelung zu fördern, kommen Rekonstruktions-Decodierer zum Einsatz. Vor der multimodalen Fusion und Vorhersage modelliert das graphenbasierte, multimodale Aufmerksamkeitsmodul emotionale Abhängigkeiten zwischen den Modalitäten anhand der latenten Repräsentationen. Das Netzwerk wurde mit dem Adam-Optimierer bei einer anfänglichen Lernrate von 1 × 10⁻⁴ und einer Batch-Größe von 32 trainiert. Um Überanpassung zu vermeiden, wurde Early Stopping basierend auf dem Validierungsverlust angewandt. Die gesamte Zielfunktion setzte sich aus Klassifizierungs-, Rekonstruktions- und Repräsentationskonsistenz-Verlusten zusammen, die jeweils durch abstimmbare Hyperparameter gewichtet wurden. Das Modelltraining wurde maximal 100 Epochen lang durchgeführt, und das leistungsstärkste Modell auf dem Validierungsdatensatz wurde für die Testphase beibehalten.

Der vorgeschlagene Ansatz wurde anhand von Klassifizierungsmetriken wie Genauigkeit, Präzision, Sensitivität und F1-Score sowie Regressionsmetriken wie dem mittleren absoluten Fehler (MAE) bewertet. Präzision, Sensitivität und F1-Score wurden mittels Makro-Mittelung berechnet, um die Klassenungleichgewichte zwischen den Emotionskategorien zu berücksichtigen. Für die Klassifikationsexperimente wurden die vorgegebenen Emotions- und Stimmungskennzeichnungen der Datensätze CH-SIMS und CMU-MOSEI als Referenzkategorien verwendet. Für die regressive Stimmungsvorhersage dienten die kontinuierlichen Stimmungsintensitätswerte der Datensätze als Zielvariablen. Zur Analyse der klassenspezifischen Vorhersageleistung und Fehlklassifizierungsmuster wurden Konfusionsmatrizen erstellt, jeweils mit einem Konfidenzintervall von 95 %. Zur Gewährleistung der Robustheit wurde jedes Experiment fünfmal mit unterschiedlichen Zufallsinitialisierungen wiederholt, und die angegebenen Ergebnisse entsprechen dem Mittelwert ±± Standardabweichung über alle Durchläufe. Die statistische Signifikanz wurde mithilfe geeigneter Hypothesentests überprüft, und Konfidenzintervalle wurden dort berechnet, wo anwendbar. Die Trainingszeit wurde als gesamte verstrichene Zeit bis zur Modellkonvergenz auf der angegebenen Hardwareplattform gemessen.

Eine Reihe repräsentativer Basismodelle, darunter frühe Fusion und späte Fusion, kann mit der vorgeschlagenen Methode verglichen werden. Dazu gehören TFN, LSTM-basierte Methoden, Niederrang-Multimodale-Fusionsmodelle, adaptive multimodale Transformer und neuartige, auf Cross-Modal-Attention basierende Architekturen. Diese Basismodelle spiegeln modernste Techniken wider, die sich hauptsächlich darauf konzentrieren, die Genauigkeit der Emotionserkennung durch verschiedene Fusionsmethoden zu verbessern. Im Gegensatz zu diesen Methoden, die primär auf die Vorhersage auf Ausgabeebene abzielen, verbessert der vorgeschlagene Ansatz durch entkoppeltes Repräsentationslernen und graphenbasierte Fusion die Interpretierbarkeit und das Bewusstsein für Interaktionen. LSTM-Fusion, TFN, Niederrang-Multimodale Fusion (LMF), Adaptive-Graph und transformerbasierte Verfahren sind Beispiele für Basismodelle, die anhand ihrer offiziellen Repositories oder öffentlich zugänglicher Referenzimplementierungen implementiert wurden. Dabei wurden die ursprünglichen Hyperparameter-Einstellungen der Autoren verwendet, sofern verfügbar. Alle neu trainierten Basismodelle wurden anhand derselben Datensatz-Aufteilungen, Vorverarbeitungstechniken, Optimierungsparameter und Evaluierungskriterien bewertet, um einen fairen Vergleich zu gewährleisten. In den Vergleichstabellen werden die entsprechenden Referenzen für Daten, die direkt aus früheren Publikationen stammen, eindeutig angegeben.

Genauigkeit

Die Genauigkeit der diskreten Emotionsklassifizierung wird sowohl für CH-SIMS als auch für CMU-MOSEI gemessen; der Genauigkeitstrend unterscheidet sich jedoch je nach den Eigenschaften der beiden Datensätze. Da CH-SIMS ein mittelgroßer Datensatz mit gleicher Anzahl von Sentiment-Kategorien und sorgfältig vorverarbeiteten Videoclips ist, ist die Genauigkeit hoch, was darauf hindeutet, dass das Modell subtile multimodale emotionale Informationen mit geringem Rauschen erfassen kann. Die genaue Klassifizierung von Emotionen ist jedoch herausfordernd, da CMU-MOSEI ein umfangreicher Datensatz mit Sprechern aus unterschiedlichen Hintergründen ist. Daher zeigt die Genauigkeit auf dem CMU-MOSEI-Datensatz neben der Fähigkeit des Modells, das Sentiment zu identifizieren, auch seine Fähigkeit zur Generalisierung und Widerstandsfähigkeit gegenüber einer Vielzahl von Interaktionsszenarien an. Die Verbesserung der Genauigkeit über beide Datensätze hinweg zeigt, dass der vorgeschlagene Ansatz gut auf Datensätze unterschiedlicher Sprachen, Größen und emotionaler Komplexitätsgrade verallgemeinerbar ist.

Die Klassifizierungsgenauigkeiten des vorgeschlagenen Ansatzes und anderer gängiger Baseline-Methoden auf den Datensätzen CH-SIMS und CMU-MOSEI sind in Tabelle 3 dargestellt. Wie Tabelle 3 zeigt, erzielte der vorgeschlagene Rahmen die höchste Genauigkeit sowohl auf dem CH-SIMS- als auch auf dem CMU-MOSEI-Datensatz und übertraf dabei die beste Baseline-Methode (Adaptive-Graph) um etwa 3,3 % und 3,1 Prozentpunkte, jeweils. Niedrigere Werte der Standardabweichung deuten zudem auf eine größere Stabilität über wiederholte Experimentdurchläufe hin. Traditionelle LSTM-Fusionsansätze weisen aufgrund ihrer begrenzten Fähigkeit, komplexe multimodale Beziehungen zu erfassen, eine geringere Genauigkeit auf. TFN und LMF verbessern die Klassifizierungsgenauigkeit, indem sie multimodale Beziehungen modellieren.

F1-Wert

Bei Problemen der Emotionsklassifizierung wird das Verhältnis zwischen Sensitivität und Präzision anhand des F1-Scores gemessen. Für multimodale Datensätze zur Emotionsklassifizierung, die voraussichtlich eine ungleiche Anzahl von Klassen aufweisen, ist dieser daher besser geeignet. Bei Aufgaben der Emotionsklassifizierung wird das Gleichgewicht zwischen Sensitivität und Präzision mithilfe des F1-Scores bewertet. Da erwartet wird, dass multimodale Datensätze zur Emotionsklassifizierung unausgeglichen sind, ist der F1-Score angemessener. Je besser das Modell in der Lage ist, Emotionsklassen zu erkennen, desto höher ist der F1-Score.

Abbildung 3 veranschaulicht die Bewertung des F1-Scores der vorgeschlagenen Technik im Vergleich zu den Baseline-Verfahren auf dem CH-SIMS-Datensatz. Der niedrigste F1-Score des LSTM-basierten Baseline-Verfahrens zeigt dessen begrenzte Fähigkeit, komplexe, übermodale emotionale Beziehungen abzubilden. In Abbildung 3 werden die F1-Scores der evaluierten Techniken auf dem CH-SIMS-Datensatz gegenübergestellt. Wie gezeigt, überbieten anspruchsvollere, graphenbasierte und transformerbasierte Architekturen regelmäßig konventionellere, auf Fusion basierende Methoden. Mit einem F1-Score von 0,71 lag das LSTM-Modell am niedrigsten, gefolgt von TFN (0,74) und LMF (0,76). Der F1-Score wurde mit Adaptive-Graph auf 0,79 weiter erhöht, was den Nutzen der Modellierung intermodaler Verbindungen unterstreicht. Mit einem F1-Score von 0,82 übertraf das vorgeschlagene Framework Adaptive-Graph um 3,8 %, LMF um 7,9 %, TFN um 10,8 % und LSTM um 15,5 %. Diese Ergebnisse zeigen, dass der vorgeschlagene graphenbasierte, übermodale Aufmerksamkeitsmechanismus und das entflochtene Repräsentationslernen ergänzende emotionale Informationen über textuelle, audio- und visuelle Modalitäten hinweg effektiver erfassen und so eine bessere Klassifikationsleistung ermöglichen.

Die relativen Trends sind konsistent, auch wenn alle Methoden im Vergleich zu CH-SIMS einen leichten Rückgang der F1-Score-Werte aufweisen, wie in Abbildung 4 dargestellt. Die Ergebnisse zeigen eine stetige Leistungsverbesserung von traditionellen Fusionsmethoden hin zu graphbasierten multimodalen Lernstrategien. Die Modelle mit den niedrigsten F1-Scores waren LSTM (0,69), TFN (0,72) und LMF (0,74). Die Leistung des Adaptive-Graph-Modells stieg auf 0,77 an, was verdeutlicht, wie gut quersmodale Verbindungen modelliert werden können. Der vorgeschlagene Ansatz übertraf alle anderen Verfahren und erreichte den höchsten F1-Score von 0,80. Die Verbesserung gegenüber dem stärksten Baseline-Verfahren, Adaptive-Graph, zeigt den Beitrag des vorgeschlagenen entflochtenen Lernens der Emotionsrepräsentation sowie des graphbasierten quersmodalen Aufmerksamkeitsmechanismus beim Erfassen komplementärer emotionaler Hinweise über textuelle, akustische und visuelle Modalitäten. Diese Ergebnisse belegen, dass der vorgeschlagene Rahmen für die multimodale Emotionserkennung zuverlässig und effizient ist. Der vorgeschlagene Ansatz weist eine signifikante Verbesserung sowohl gegenüber dem graphbasierten Ansatz als auch gegenüber der herkömmlichen Fusionsmethode auf, was die starke Generalisierungsfähigkeit der Methode weiter bestätigt. Die Verbesserung des F1-Scores auf dem CMU-MOSEI-Datensatz zeigt, dass der vorgeschlagene Ansatz eine ausgewogene Leistung bei der Emotionsklassifizierung auch in verrauschten, vielfältigen Umgebungen erzielen kann.

Präzision

In intelligenten Kommunikationssystemen ist die Präzision entscheidend, da ein falsches emotionales Signal die Benutzererfahrung beeinträchtigen kann. Als Präzision wird das Verhältnis korrekt vorhergesagter Fälle einer bestimmten Emotion zur Gesamtanzahl der als diese Emotion klassifizierten Fälle bezeichnet. Da die entkoppelten Emotionsrepräsentationen weniger verrauscht sind und in der Modalität weniger fehlerhafte Klassifizierungen aufweisen, übertrifft das vorgeschlagene Modell die Basismodelle im CH-SIMS-Datensatz in Abbildung 5.

Die Genauigkeit mehrerer multimodaler Emotionserkennungstechniken auf den Datensätzen CH-SIMS und CMU-MOSEI wird in Abbildung 5 gegenübergestellt. Während die Modelle von traditionellen fusionbasierten Techniken zu anspruchsvolleren, graphbasierten Architekturen übergehen, steigt die Präzision stetig an. Der vorgeschlagene Ansatz erreichte auf dem CH-SIMS-Datensatz die höchste Präzision von 0,82, wobei sich die Präzision von 0,71 für LSTM auf 0,74, 0,76 bzw. 0,79 für TFN, LMF und Adaptive-Graph erhöhte. Auf dem CMU-MOSEI-Datensatz stieg die Präzision von 0,69 für LSTM auf 0,72, 0,74 bzw. 0,77 für TFN, LMF und Adaptive-Graph. Der vorgeschlagene Ansatz erzielte die höchste Präzision von 0,80. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) verbesserte der vorgeschlagene Ansatz die Präzision um etwa 3,8 % auf CH-SIMS und um 3,9 % auf CMU-MOSEI. Diese Ergebnisse zeigen, dass der vorgeschlagene Ansatz zur Entflechtung der Repräsentationslernens und der graphbasierten, intermodalen Aufmerksamkeitsmechanismen durch die Erfassung komplementärer emotionaler Informationen über textuelle, akustische und visuelle Modalitäten die Anzahl falsch-positiver Vorhersagen erfolgreich verringert. Der Einfluss irrelevanter Modalitäten wird durch die graphbasierte, intermodale Aufmerksamkeit weiter abgeschwächt. Die größere Vielfalt an Sprechern und sprachlichen Ausdrucksformen im CMU-MOSEI-Korpus führt zu einer leichten Abnahme der Präzision bei allen Modellen.

Rückruf

Bei Aufgaben zur Emotionserkennung ist der Recall, ein Maß für die Fähigkeit eines Modells, emotionale Instanzen, die einer bestimmten Klasse angehören, korrekt zu klassifizieren, von entscheidender Bedeutung, da das Fehlen emotionaler Informationen die Interaktionsqualität negativ beeinflussen kann. Ein höherer Recall-Wert deutet darauf hin, dass das Modell weniger falsch negative Ergebnisse liefert und mehr tatsächliche emotionale Äußerungen erkennt. Der Recall kann als Maß für die Effizienz betrachtet werden, mit der emotionale Informationen aus Text-, Audio- und visuellen Modalitäten im Kontext der multimodalen Emotionsanalyse extrahiert werden.

Der Vorteil der vorgeschlagenen Technik gegenüber den Baseline-Ansätzen bei den Datensätzen CH-SIMS und CMU-MOSEI zeigt sich im Vergleich der Recall-Werte in Abbildung 6. Während sich die Modelle von herkömmlichen, auf Fusion basierenden Methoden hin zu anspruchsvolleren, graphbasierten multimodalen Strukturen weiterentwickeln, zeigen die Ergebnisse durchgängig Verbesserungen beim Recall. Beim CH-SIMS-Datensatz stieg der Recall von 0,70 für LSTM auf 0,73, 0,75 und 0,78 für TFN, LMF bzw. Adaptive-Graph; der maximale Recall von 0,82 wurde durch das vorgeschlagene Framework erreicht. Beim CMU-MOSEI-Datensatz erzielte der vorgeschlagene Ansatz den besten Recall-Wert von 0,80, wobei der Recall von 0,68 für LSTM auf 0,71, 0,73 und 0,76 für TFN, LMF bzw. Adaptive-Graph anstieg. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) erzielte das vorgeschlagene Framework relative Verbesserungen von etwa 5,1 % bei CH-SIMS und 5,3 % bei CMU-MOSEI. Diese Ergebnisse zeigen, dass das vorgeschlagene Verfahren zur Lernung entkoppelter Repräsentationen und der graphbasierten, intermodalen Aufmerksamkeitsmechanismen durch die Erfassung komplementärer emotionaler Hinweise über die modalitätsübergreifenden Kanäle Text, Akustik und Bild die Anzahl falsch-negativer Vorhersagen erfolgreich reduziert und dadurch die Identifizierung von Emotionsklassen bei beiden Datensätzen verbessert. Da herkömmliche Methoden nur begrenzt in der Lage sind, komplexe intermodale Beziehungen abzubilden, weisen sie tendenziell niedrigere Recall-Werte auf. Durch eine explizitere Modellierung der Modalitätsbeziehungen erzielen TFN und LMF moderate Verbesserungen. Durch die Simulation strukturierter Beziehungen zwischen den Modalitäten hat die Adaptive-Graph-Methode den Recall weiter gesteigert. Bei beiden Datensätzen erreicht die vorgeschlagene Methode den höchsten Recall, was auf ihre überlegene Fähigkeit hinweist, emotionale Instanzen in unterschiedlichen Interaktionsszenarien zu erkennen. Die Verbesserung fällt beim großskaligen CMU-MOSEI-Datensatz besonders deutlich aus, was die Robustheit und Generalisierungsfähigkeit des vorgeschlagenen Frameworks unterstreicht.

mittlerer absoluter Fehler (MAE)

Der mittlere absolute Fehler (MAE) wird verwendet, um die Leistung bei der Vorhersage kontinuierlicher Emotionsintensitäten zu bewerten, beispielsweise bei der Vorhersage von Valenz oder Erregung. Im Gegensatz zur Genauigkeit spiegelt der MAE den Abstand der vorhergesagten Emotionsintensität zum tatsächlichen emotionalen Zustand besser wider. Aus diesem Grund eignet sich der MAE besser für Datensätze wie CH-SIMS und CMU-MOSEI, die kontinuierliche affektive Kennzeichnungen aufweisen. Ein niedrigerer MAE-Wert weist auf eine höhere Genauigkeit bei der Vorhersage der Emotionsintensität hin.

Der MAE-Vergleich zwischen dem vorgeschlagenen Framework und den Baseline-Ansätzen auf den Datensätzen CH-SIMS und CMU-MOSEI ist in Tabelle 4 dargestellt. Traditionelle, auf LSTM basierende Fusionsmethoden weisen tendenziell höhere MAE-Werte auf, da ihre Fähigkeit, komplexe multimodale emotionale Abhängigkeiten zu modellieren, begrenzt ist. TFN und LMF können den MAE verringern, indem sie multimodale Interaktionen modellieren, und der Adaptive-Graph-Ansatz reduziert ihn weiter, indem er die Beziehungen zwischen Modalitätsgraphen lernt. Das vorgeschlagene Framework erreicht auf beiden Datensätzen den geringsten MAE, was auf eine genauere Schätzung der Emotionsintensität hinweist. Hervorzuheben ist, dass die Verbesserung beim CMU-MOSEI-Datensatz deutlicher ausfällt, bei dem die hohe Variabilität der Daten und die Sprecherbedingungen die Vorhersageaufgabe anspruchsvoller machen.

Konfusionsmatrix für den CH-SIMS-Datensatz

Die Basismethoden der frühen Fusion LSTM und TFN weisen gemäß den Konfusionsmatrizen für den CH-SIMS-Datensatz erhebliche Verwechslungen zwischen den Klassen der neutralen und positiven Emotionen auf. Dies deutet darauf hin, dass diese Methoden nicht besonders gut darin sind, subtile multimodale emotionale Äußerungen zu erkennen. Im Gegensatz dazu zeigt die vorgeschlagene Methode eine deutliche diagonale Dominanz mit sehr wenigen Elementen außerhalb der Diagonale, wodurch die Klassentrennbarkeit verbessert wird. Der entkoppelte Lernmechanismus für Emotionen der vorgeschlagenen Methode sorgt für eine konsistente Repräsentation von Emotionen über die Modalitäten hinweg, und ihr Graph-Fusionsansatz verbessert die Unterscheidung zwischen eng verwandten Sentiment-Klassen. Abbildung 7A–E zeigt die Konfusionsmatrix für den CH-SIMS-Datensatz mit verschiedenen Basismethoden.

Konfusionsmatrix für den CMU-MOSEI-Datensatz

Der vorgeschlagene Ansatz verwendet modenspezifische emotionale Einbettungen und adaptive Aufmerksamkeitsgewichtungen, um die Fehlklassifizierungsrate signifikant zu senken, insbesondere bei emotional mehrdeutigen Eingaben. Dies bestätigt, dass der vorgeschlagene Ansatz in einer Vielzahl großskaliger multimodaler Interaktionsszenarien gut funktioniert. Aufgrund der Größe des Datensatzes, der Sprechervielfalt und der kontinuierlichen Natur der Sentiment-Labels weisen die Verwechslungsmatrizen des CMU-MOSEI-Datensatzes eine insgesamt höhere Fehlklassifizierungsrate auf. Die Baseline-Methoden zeigen ein erhebliches Maß an Verwechslungen zwischen verschiedenen Emotionskategorien. Abbildung 8A–E zeigt die Verwechslungsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Methoden.

Trainingszeit pro Epoche

Die rechnerischen Kompromisse fortschrittlicher multimodaler Fusionsverfahren werden durch den Vergleich der Trainingszeit pro Epoche verdeutlicht. Aufgrund der Transformer-Encoder und der Graph-Attention-Mechanismen benötigt das vorgeschlagene Modell etwas mehr Trainingszeit als die einfachen Fusionsansätze, doch dieser Anstieg ist nicht unzumutbar. Der vorgeschlagene Ansatz zeigte eine starke Leistung auf etablierten Datensätzen für multimodale Emotionsanalyse und weist Potenzial für die Integration in intelligente Mensch-Maschine-Interaktionssysteme auf. Die Eignung für den Echtzeiteinsatz wurde jedoch in der vorliegenden Studie nicht bewertet und erfordert weitere Untersuchungen hinsichtlich Latenz, Durchsatz, Speicherverbrauch und Bereitstellung. Bemerkenswert ist, dass die verbesserte Stabilität der Konvergenz sowie die überlegene Vorhersage- und Interpretierbarkeitsleistung die zusätzlichen Rechenkosten rechtfertigen. Abbildung 9 zeigt das Ergebnis der Trainingszeit pro Epoche für das vorgeschlagene Verfahren.

Ablationsstudie

Um den Einfluss jedes wichtigen Elements im vorgeschlagenen Framework – wie des visuellen Abbildungsmoduls, der graphbasierten multimodalen Fusion und der entkoppelten Emotionsrepräsentation – zu bestimmen, wurde eine Ablationsstudie durchgeführt. Um die Auswirkungen zu verstehen, wurde jeweils ein Element einzeln entfernt. Laut den experimentellen Ergebnissen verbessert die Graph-Fusionsstrategie die Modellierung der intermodalen Abhängigkeiten, und der Beitrag der entkoppelten Emotionsrepräsentation ist am wichtigsten für die Leistungsstabilität. Die unterstützende Rolle des visuellen Abbildungsmoduls wird durch die geringe Auswirkung auf die Leistung bei dessen Entfernung bestätigt. Die Ergebnisse der Ablationsstudie unter identischen Trainings- und Evaluierungsbedingungen sind in Tabelle 5 dargestellt. Der stärkste Leistungsabfall wurde nach dem Entfernen des graphbasierten multimodalen Attention-Moduls beobachtet, wodurch sich die Genauigkeit von 81,72 % auf 77,88 % und der F1-Score von 0,823 auf 0,776 verringerte. Dies unterstreicht die Bedeutung der Modellierung komplexer intermodaler Interaktionen. Die Rolle des Moduls für entkoppeltes Repräsentationslernen beim Erlernen robuster, emotionspezifischer Repräsentationen zeigte sich darin, dass dessen Entfernung die Genauigkeit um 2,78 Prozentpunkte und den F1-Score um 0,032 senkte. Der Hauptvorteil des visuellen Abbildungsmoduls liegt in der Interpretierbarkeit und nicht in der Klassifizierungsgenauigkeit, was durch den relativ geringeren Rückgang der Vorhersageleistung bei dessen Wegfall belegt wird. Die Konfiguration „Basic Fusion“ erzielte die schlechtesten Ergebnisse, was zeigt, dass die beste Leistung bei der multimodalen Emotionserkennung den kombinierten Einfluss aller vorgeschlagenen Module erfordert.

VERFÜGBARKEIT VON DATEN:

Die in dieser Studie verwendeten Datensätze sind öffentlich zugängliche Benchmark-Datensätze. Der CMU-MOSEI-Datensatz wird vom Carnegie Mellon University Multimodal SDK bereitgestellt und in Zadeh et al. (2018) beschrieben (https://doi.org/10.18653/v1/P18-1208), der Zugriff ist verfügbar unter https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Der CH-SIMS-Datensatz wird in Yu et al. (2020) beschrieben (https://doi.org/10.18653/v1/2020.acl-main.343) und ist öffentlich über von den Autoren bereitgestellte Ressourcen zugänglich, einschließlich https://github.com/thuiar/MMSA. Alle Experimente wurden mit den offiziellen Versionen dieser Datensätze durchgeführt. Die rohen extrahierten Daten, verarbeiteten Datendateien, Vorverarbeitungsergebnisse, Trainings-/Validierungs-/Test-Aufteilungen, abgeleiteten Merkmalsdarstellungen sowie Implementierungsdetails, die die Ergebnisse dieser Studie unterstützen, sind öffentlich im Zenodo-Repository unter https://doi.org/10.5281/zenodo.21124921 verfügbar.

Abbildung 1: Schematische Darstellung des vorgeschlagenen multimodalen Emotionsmerkmals-Visualisierungs-Frameworks. Konzeptionelle Illustration der Gesamtarchitektur, die die multimodale Merkmalsextraktion, das Entkoppelte Repräsentationslernen, die graphbasierte, multimodale Aufmerksamkeitsfusion sowie die Visualisierungskomponenten für eine interpretierbare multimodale Emotionsanalyse zeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2: Schematisches Ablaufdiagramm des vorgeschlagenen computerbasierten Protokolls.
Konzeptionelle Darstellung der durchgängigen Verarbeitungspipeline, einschließlich Datensatzerfassung, Vorverarbeitung, modalitätsspezifischer Merkmalsextraktion, multimodaler Fusion, Visualisierung und Stadien der Emotionsvorhersage Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3: Vergleich der F1-Score-Leistung auf dem CH-SIMS-Datensatz. Mittlere F1-Score-Werte, erhalten aus fünf unabhängigen experimentellen Durchläufen (n = 5), unter Verwendung unterschiedlicher Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD). Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4: Vergleich der F1-Score-Leistung auf dem CMU-MOSEI-Datensatz. Mittlere F1-Score-Werte, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5), unter Verwendung verschiedener Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), und die entsprechenden Mittelwert ±± SD-Werte sind über jedem Datenpunkt angegeben. Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5: Genauigkeitsvergleich anhand der Datensätze CH-SIMS und CMU-MOSEI. Mittlere Genauigkeitswerte, die durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz über fünf unabhängige experimentelle Durchläufe (n = 5) erzielt wurden. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Durchläufen mit unterschiedlichen Zufallsinitialisierungen. Der vorgeschlagene Ansatz erreicht auf beiden Datensätzen die höchste Genauigkeit und demonstriert eine verbesserte Unterscheidungsfähigkeit zwischen Emotionsklassen durch effektives multimodales Merkmalslernen und graphbasierte multimodale Fusion. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 6: Vergleich der Rückrufwerte auf den Datensätzen CH-SIMS und CMU-MOSEI. Mittlere Rückrufwerte, erzielt durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz über fünf unabhängige experimentelle Durchläufe (n = 5). Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Experimenten. Der vorgeschlagene Ansatz erreicht auf beiden Datensätzen durchgängig die höchsten Rückrufwerte, was auf eine überlegene Fähigkeit zur Erfassung multimodaler emotionaler Informationen und zur Verringerung falsch-negativer Vorhersagen hinweist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 7: Konfusionsmatrix für den Datensatz CH-SIMS mit verschiedenen Baseline-Methoden. Die Zeilen entsprechen den tatsächlichen Emotionsklassen, die Spalten den vorhergesagten Klassen. Die Zellenwerte geben den Prozentsatz der Stichproben an, normiert bezüglich jeder wahren Klasse. Die Konfusionsmatrix wurde mithilfe der separaten Testpartition von CH-SIMS berechnet. Höhere prozentuale Werte auf der Diagonalen weisen auf eine bessere Erkennungsgenauigkeit für die entsprechende Emotionskategorie hin. Konfusionsmatrizen von (A) Early-Fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) der vorgeschlagenen Methode auf dem CH-SIMS-Datensatz. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 8: Konfusionsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Methoden. Zeilen repräsentieren tatsächliche Emotionslabels und Spalten repräsentieren vorhergesagte Labels. Die Werte sind als klassennormalisierte Prozentanteile auf dem CMU-MOSEI-Testset angegeben. Die Matrix veranschaulicht sowohl korrekt klassifizierte Stichproben (Einträge auf der Diagonalen) als auch Verwechslungen zwischen Emotionskategorien (Nichtdiagonaleinträge). Konfusionsmatrix für CMU-MOSEI (A) Early-fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) vorgeschlagene Methode auf dem CMU-MOSEI-Datensatz. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 9. Vergleich der Trainingszeit pro Epoche auf multimodalen Emotions-Benchmark-Datensätzen.
Mittlere Trainingszeit pro Epoche, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5) für die Datensätze CH-SIMS und CMU-MOSEI unter identischen Hardware- und Softwareeinstellungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Experimenten mit unterschiedlichen Zufallsinitialisierungen. Niedrigere Werte deuten auf eine höhere Recheneffizienz hin, während stabile Trainingszeiten über die Durchläufe hinweg eine verbesserte Reproduzierbarkeit und Trainingkonsistenz anzeigen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datensatz	Modalitäten	Anzahl der Proben	Sprache	Emotions-/Sentiment-Kennzeichnungen
CH-SIMS34	Video, Audio, Text	2.281 Videosegmente	Chinesisch	Multimodale und unimodale Sentiment-Kennzeichnungen (negativ, neutral, positiv)
CMU-MOSEI35	Video, Audio, Text	~23.453 annotierte Clips	Englisch	Kennzeichnungen der Sentiment- und Emotionsintensität (kontinuierlich und kategorisch)

Tabelle 1: Datensatzbeschreibung. Zusammenfassung der in dieser Studie verwendeten Datensätze, Modalitäten, Anzahl der Stichproben, Sprache sowie Emotions-/Sentiment-Labels für die Datensätze CH-SIMS und CMU-MOSEI.

Komponente	Spezifikation
Programmier-Framework	Python mit PyTorch
Visueller Merkmalsextraktor	Vision Transformer (ViT)
Audiomerkmal-Extraktor	Wav2Vec 2.0
Textmerkmal-Extraktor	RoBERTa
Fusionsstrategie	Graphbasiertes multimodales Attention-Netzwerk
Merkmalsdimension	768 pro Modalität
Trainings-Optimizer	Adam
Lernrate	1.00E-04
Batch-Größe	16
Hardware	NVIDIA-GPU (z. B. RTX-Serie)
Evaluierungsdatensätze	CH-SIMS, CMU-MOSEI
Latente Dimension	2.56E+02
Einbettungsdimension	768
Aktivierungsfunktion	ReLU
Optimizer	Adam
Lernrate	1.00E-04
Batch-Größe	32
Epochen	100
Frühzeitiges Stoppen	Aktiviert
Verlustfunktion	Klassifizierung + Rekonstruktion + Konsistenz

Tabelle 2: Simulationsumgebung. Experimenteller Aufbau und Implementierungsdetails der Simulationsumgebung, wie Modellspezifikationen, Merkmale, Optimierer und verwendete Hardware.

Methode	CH-SIMS-Genauigkeit (%)	CMU-MOSEI-Genauigkeit (%)
LSTM (frühe/späte Fusion)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Vorgeschlagene Methode	81,72 ± 0,61	79,94 ± 0,69

Tabelle 3: Bewertung der Genauigkeit der vorgeschlagenen Methode im Vergleich zu Baseline-Verfahren auf den Datensätzen CH-SIMS und CMU-MOSEI. Die Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung unterschiedlicher Zufalls-Saatgut-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten.

Methode	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Early/Late Fusion)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Vorgeschlagene Methode	0.298 ± 0.007	0.341 ± 0.008

Tabelle 4: Ergebnis des mittleren absoluten Fehlers. Die Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung verschiedener Zufalls-Seed-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten. Vergleich des mittleren absoluten Fehlers (MAE) für die Vorhersage kontinuierlicher Emotionsintensitäten mittels des vorgeschlagenen Frameworks und baseline-Methoden auf beiden Datensätzen.

Modellvariante	Genauigkeit (%)	F1-Score
Vollständiges Modell	81.72 ± 0.61	0.823 ± 0.008
Ohne Entkopplung	78.94 ± 0.74	0.791 ± 0.010
Ohne Graphfusion	77.88 ± 0.81	0.776 ± 0.011
Ohne visuelle Abbildung	80.11 ± 0.66	0.807 ± 0.009
Einfache Fusion	74.91 ± 0.98	0.742 ± 0.013

Tabelle 5: Ergebnis der Ablationsstudie mit Baseline-Methoden. Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung unterschiedlicher Zufalls-Seed-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten. Vergleich der Leistung zwischen den Modellvarianten, der die Wirksamkeit des Lernens aus entkoppelten Repräsentationen, der graphbasierten Fusion und des visuellen Abbildungsmoduls zeigt.

Zusatzdatei 1: Algorithmus 1 und Algorithmus 2.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene visuelle Abbildungsrahmen für multimodale Emotionseigenschaften auf den Datensätzen CH-SIMS und CMU-MOSEI die derzeitigen Techniken zur multimodalen Emotionserkennung übertrifft. Im Vergleich zu Early- und Late-Fusion-Modellen wie EF-LSTM und TFN erzielt die vorgeschlagene Methode höhere Genauigkeit und F1-Scores, was ihre Robustheit bei der Verarbeitung unterschiedlicher emotionaler Informationen belegt. Die Verbesserung der Methode ist auf die entkoppelte Emotionsrepräsentation zurückzuführen, die modenspezifisches Rauschen unterdrückt und die Emotionskonsistenz über die visuellen, audio und Textmoden hinweg sicherstellt³⁶.

Kürzlich haben transformerbasierte multimodale Modelle wie Adaptive Multimodal Transformers³⁷ und MIAR³⁸ beeindruckende Ergebnisse bei der Modellierung von intermodalen Abhängigkeiten gezeigt. Diese Modelle konzentrieren sich jedoch hauptsächlich auf die Vorhersage und verfügen nicht über Mechanismen, die eine interpretierbare Analyse auf der Ebene der Merkmale ermöglichen. Im Gegensatz dazu kombiniert das vorgeschlagene System eine graphbasierte intermodale Aufmerksamkeit mit einem visuellen Abbildungsmodul, wodurch eine transparente Analyse der Modalitäts- und emotionalen Interaktionen ermöglicht wird. Dieser Aspekt fehlt derzeit in der Literatur, in der emotionale Schlussfolgerungen als Black-Box-Prozess behandelt werden.

Der vorgeschlagene Rahmen zeigte eine konsistente Leistung auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI. Obwohl der Rahmen potenzielle Anwendungen in der intelligenten Mensch-Maschine-Interaktion, der Gesundheitsüberwachung, adaptiven Lernumgebungen und anderen emotionserkennenden Systemen haben könnte, wurde die Methode in der vorliegenden Studie nur unter kontrollierten Benchmark-Bedingungen evaluiert. Es erfolgte keine Echtzeitanwendung, keine Benutzeroberflächenbewertung, kein Usability-Test und keine Evaluation an menschlichen Probanden. Daher bleibt die praktische Wirksamkeit des Rahmens in operationellen Umgebungen noch zu untersuchen. Zukünftige Arbeiten werden sich auf anwendungsorientierte Evaluierungen, nutzerzentrierte Studien, Latenzanalysen, die Bewertung des Speicherverbrauchs sowie die Leistung bei Echtzeitinteraktionen konzentrieren.

Darüber hinaus belegen die Leistungsverbesserungen über verschiedene kulturell und sprachlich vielfältige Datensätze hinweg die Gültigkeit des vorgeschlagenen Frameworks. Im Gegensatz zu früheren Arbeiten, die an einem einzelnen Datensatz oder einem spezifischen Interaktionsszenario validiert wurden, zeigt das vorgeschlagene Framework eine robuste Leistungsfähigkeit über Sprachen, Sprecher und emotionale Ausdrucksformen hinweg. Daher eignet sich das vorgeschlagene Framework besonders gut für praktische intelligente Interaktionssysteme, die eine genaue Emotionserkennung und nachvollziehbare Entscheidungsfindung erfordern.

Die Interpretierbarkeit des vorgeschlagenen Frameworks wurde durch eine visualisierungsbasierte Analyse der erlernten multimodalen Repräsentationen bewertet. Insbesondere latente Emotionseinbettungen, kreuzmodale Aufmerksamkeitskarten, Modali­itätsinteraktionsgraphen und zeitliche Emotionsverläufe wurden untersucht, um Einblicke in den Entscheidungsprozess des Modells und die Beiträge der einzelnen Modalitäten zu gewinnen. Ziel des Visualisierungsmoduls ist es, Transparenz zu erhöhen, indem Wechselwirkungen auf der Merkmalsebene und emotionale Dynamiken beobachtbar gemacht werden. Formale Metriken zur Interpretierbarkeit, Bewertungen der Aufmerksamkeits-Treue sowie Benutzerstudien wurden jedoch in der vorliegenden Arbeit nicht einbezogen. Die berichteten Vorteile hinsichtlich der Interpretierbarkeit sollten daher als visualisierungsbasierte Hinweise verstanden werden und nicht als quantitativ validierte Erklärbarkeitsmaße.

Aus theoretischer Sicht leistet diese Forschung folgende Beiträge zum multimodalen affektiven Computing: Sie schlägt eine systematische Methode zur Modellierung von Emotionen vor, die klar zwischen emotionspezifischen und modalitätsspezifischen Repräsentationen unterscheidet. Indem der vorgeschlagene Ansatz emotionale Konsistenz über Modalitäten hinweg in einem gemeinsamen latenten Raum sicherstellt, trägt er somit zur Theorie des Repräsentationslernens in multimodalen Systemen bei. Die Einbindung graphbasierter Attention-Mechanismen formalisiert zudem die Abhängigkeiten zwischen den verschiedenen Modalitäten bei der Emotionsäußerung weiter.

Aus praktischer Sicht ist das vorgeschlagene Framework für die intelligente Interaktionsgestaltung und emotionssensible Benutzeroberflächen äußerst vorteilhaft. Das visuelle Abbildungsmodul im vorgeschlagenen Framework ermöglicht es Systementwicklern, die Auswirkungen verschiedener Modalitäten auf die Emotionsvorhersage zu verstehen, was für Systementwickler von großer Bedeutung ist. Das vorgeschlagene Framework ist äußerst nützlich für Anwendungen wie affektive Gesprächsagenten, adaptive Lernsysteme, Schnittstellen zur Gesundheitsüberwachung und Plattformen zur Bewertung der Nutzererfahrung.

Der vorgeschlagene Ansatz weist jedoch einige Einschränkungen auf. Die Verwendung von Graph-Attention-Mechanismen und Transformer-Encodern erhöht die Komplexität, was bei Geräten mit begrenzten Kapazitäten problematisch sein könnte. Zudem blendet die vorliegende Studie andere physiologische Signale wie EEG und Eye-Tracking aus, um sich stattdessen auf visuelle, audio- und textbasierte Modalitäten zu konzentrieren. Die rechnerische Effizienz des vorgeschlagenen Frameworks für den Einsatz in Echtzeit wurde nicht spezifisch bewertet, obwohl es eine wettbewerbsfähige Vorhersageleistung und verbesserte Visualisierungsfähigkeiten erzielte. Künftige Untersuchungen werden die Leistung im Einsatz in realen intelligenten Interaktionsszenarien, die Inferenzverzögerung, Durchsatz, Speicherverbrauch sowie Techniken zur Modellkompression analysieren. Um die Genauigkeit der Emotionsmodellierung und die Reaktionsfähigkeit der Interaktion weiter zu verbessern, wird zukünftige Forschung auf die Entwicklung leichtgewichtiger Modelle, Echtzeit-Optimierungsverfahren und die Einbindung zusätzlicher Modalitäten abzielen. Die Leistung bei Echtzeitanwendung wurde nicht evaluiert, und die Verwendung von Transformer-Encodern sowie graphbasierten Attention-Methoden erhöht die rechnerische Komplexität. Zur Validierung der Methodik kamen lediglich die Benchmark-Datensätze CH-SIMS und CMU-MOSEI zum Einsatz, was zu datensatzspezifischen Verzerrungen führen und die Übertragbarkeit auf andere Bereiche, Sprachen und Nutzergruppen einschränken könnte. Außerdem berücksichtigt die aktuelle Studie keine physiologischen Signale wie EEG oder Eye-Tracking-Daten, sondern konzentriert sich ausschließlich auf visuelle, audio- und textuelle Modalitäten. Obwohl detaillierte Beschreibungen der Implementierung und der Simulationsumgebung die Reproduzierbarkeit verbessert haben, sind der Quellcode und vortrainierte Modelle derzeit nicht öffentlich zugänglich.

In dieser Arbeit wird ein neuartiges visuelles Abbildungs-Framework für das multimodale Lernen emotionaler Merkmale zur intelligenten Interaktionsgestaltung verwendet. Die vorgeschlagene Methode integriert eine End-to-End-Repräsentationslernung auf Basis von Transformatoren, eine entkoppelte Emotionsmodellierung sowie eine graphbasierte, multimodale Aufmerksamkeit, um eine hohe Vorhersagegenauigkeit und Interpretierbarkeit zu erreichen. Experimente anhand der Datensätze CH-SIMS und CMU-MOSEI zeigen, dass das vorgeschlagene Framework bei Genauigkeit und F1-Score die derzeit besten multimodalen Modelle zur Emotionserkennung übertrifft. Noch wichtiger ist, dass die vorgeschlagene Lösung zur visuellen Abbildung die Lücke zwischen Emotionserkennung und Interaktionsstrategie schließt und eine neue Richtung für die Entwicklung interpretierbarer, interaktionsbewusster Systeme im Bereich des multimodalen affektiven Rechnens eröffnet.

Um eine interpretierbare, intelligente Interaktionsgestaltung zu unterstützen, wurde in dieser Studie ein neuartiges visuelles Abbildungs-Framework zur Erfassung multimodaler Emotionsmerkmale vorgestellt. Das vorgeschlagene System integriert erfolgreich Emotionserkennung und Interpretierbarkeit in einer einzigen Architektur, indem es transformerbasierte multimodale Merkmalsextraktion, entkoppelte Lernverfahren für Emotionsrepräsentationen, graphbasierte, multimodale Aufmerksamkeitsfusion und visuelle Abbildungsmethoden kombiniert. Neben klaren visuellen Darstellungen der Modalitätsbeiträge, der multimodalen Interaktionen und der zeitlichen Emotionsdynamik zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI eine verbesserte Leistung gegenüber repräsentativen Baseline-Verfahren über mehrere Metriken hinweg, darunter Genauigkeit (Accuracy), Präzision (Precision), Sensitivität (Recall), F1-Score und mittlerer absoluter Fehler (Mean Absolute Error, MAE). Allerdings umfasst diese Studie keine Untersuchungen zur realen Anwendung, nutzerzentrierte Evaluierungen, quantitative Bewertungen der Erklärbarkeit oder die Einbindung physiologischer Modalitäten, da sie auf die Evaluation an zwei Benchmark-Datensätzen beschränkt ist. Zudem können Umgebungen mit begrenzten Ressourcen aufgrund der hohen Rechenkosten der Transformer-Encoder und der graphbasierten Aufmerksamkeitsverfahren vor Herausforderungen stehen. Während zukünftige Arbeiten sich auf umfassendere Validierungen über verschiedene Datensätze, die Integration zusätzlicher Modalitäten, Nutzbarkeitsstudien, die reproduzierbare Veröffentlichung von Ressourcen sowie die Optimierung für Echtzeitanwendungsszenarien konzentrieren werden, zeigt das vorgeschlagene Framework insgesamt das Potenzial einer interpretierbaren multimodalen Emotionsanalyse für Anwendungen im Bereich Affective Computing und intelligente Interaktion.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Adam	PyTorch-Optimierer-Bibliothek	https://pytorch-optimizers.readthedocs.io/en/latest/ (Lernrate = 1 × 10-4)	Parameteroptimierung während des Modelltrainings
CH-SIMS	Ursprüngliches Datensatz-Repository	Neueste öffentliche Version	Benchmark-Datensatz zur chinesischen multimodalen Sentiment-/Emotionsanalyse
CMU-MOSEI	CMU Multimodal SDK Repository	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Neueste öffentliche Version)	Benchmark-Datensatz zur multimodalen Sentiment- und Emotionserkennung
Entkoppelter Emotions-Encoder	Eigene Implementierung	https://pytorch-geometric.readthedocs.io/en/latest/(Dualer Encoder-Aufbau)	Trennung von emotions- und modalitätsspezifischen latenten Repräsentationen
Graphbasierte multimodale Aufmerksamkeitsschicht	Eigene Implementierung	Mehrfache Aufmerksamkeitsfusion	Lernen feingranularer emotionaler Abhängigkeiten zwischen Modalitäten
Graph Attention Network (GAT)	PyTorch Geometric	Mehrfacher GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellierung von cross-modalen emotionalen Beziehungen und adaptiver Merkmalsfusion
Matplotlib	Matplotlib-Projekt	3.7+	Erstellung von Diagrammen und visuellen Analysen
NetworkX	NetworkX-Projekt	3.0+	Erstellung und Visualisierung von cross-modalen Interaktionsgraphen
NVIDIA-GPU	NVIDIA Corporation	CUDA-fähige GPU	Beschleunigung des Trainings von Transformer- und graphbasierten neuronalen Netzen
Prinzipale Komponentenanalyse (PCA)	Scikit-learn	sklearn.decomposition.PCA	Anfängliche Reduktion hochdimensionaler Emotions-Embeddings
Python	Python Software Foundation	3.8+	Zentrale Programmiersprache zur Implementierung des multimodalen Emotionsanalyse-Frameworks
PyTorch	PyTorch Foundation	2.0+	Entwicklung, Training und Optimierung tiefer neuronaler Netze
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-dim Embeddings)	Extraktion kontextueller linguistischer und semantischer Emotionsrepräsentationen
Seaborn	Seaborn-Projekt	0.12+	Erstellung von Aufmerksamkeits-Heatmaps und statistischen Visualisierungen
t-verteilte stochastische Nachbarn-Einbettung (t-SNE)	Scikit-learn	scikit-learn.org (Perplexität = 30, Iterationen = 1000)	Visualisierung latenter Emotionscluster und -verläufe
Ubuntu Linux	Canonical Ubuntu	20.04 LTS oder neuer	Experimentelle Ausführungsumgebung
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-dim Embeddings	Extraktion emotionsbezogener visueller Repräsentationen aus Videobildern
Wav2Vec 2.0	Meta AI Research	Basis-Modell, 768-dim Embeddings	Extraktion kontextueller akustischer und sprachlicher Emotionsmerkmale