Dual-Branch-Cross-Attention-Netzwerk für Elektroenzephalographie und multimodale Gesichtsemotionserkennung während der Malbeobachtung

Lei Zha; YuXue Feng; Zhe Liang

doi:10.3791/70600

Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.

Methodenartikel

Dual-Branch-Cross-Attention-Netzwerk für Elektroenzephalographie und multimodale Gesichtsemotionserkennung während der Malbeobachtung

105 Aufrufe

⸱

DOI:

10.3791/70600

⸱

12. Mai 2026

Lei Zha¹^,² , YuXue Feng³ , Zhe Liang⁴^,⁵

¹College of Art, Minzu Normal University of Xingyi, ²Department of Electrical, Electronic and Automatic Engineering, University of Girona, ³College of Sericulture, Textile and Biomass Sciences, Southwest University, ⁴College of Art and Design, Zhengzhou University of Light Industry, ⁵Faculty of Education and Psychology, University of Girona

In diesem Artikel

Zusammenfassung

Dieses Protokoll beschreibt die synchronisierte Erfassung von Elektroenzephalographie und Gesichtsdaten in Malerei-Betrachtungsumgebungen sowie ein zweiteiliges Cross-Attention-Netzwerk für multimodale Emotionserkennung, einschließlich Vorverarbeitung, Merkmalsfusion und Klassifizierung von vier emotionalen Zuständen.

Zusammenfassung

Die Emotionserkennung während der Malerei bleibt schwierig, da ästhetische Reaktionen dynamisch, kontextabhängig und nur teilweise durch äußeres Verhalten beobachtbar sind. Unimodale Ansätze, die ausschließlich auf Gesichtsausdrücken oder nur auf physiologischen Signalen basieren, liefern daher oft unvollständige Darstellungen der Erfahrung des Betrachters. Dieser Artikel beschreibt eine reproduzierbare Methode zum Aufbau eines zweivernetzten Cross-Attention-Netzwerks, das Gesichtsvideo mit Elektroenzephalographie (EEG)-Daten für multimodale Emotionserkennung im Kontext einer Gemäldeausstellung integriert. Das Protokoll beginnt mit der Einrichtung einer synchronisierten Aufnahmeumgebung unter Verwendung eines 64-Kanal-EEG-Systems und einer hochauflösenden Kamera für gleichzeitige Aufnahmen während der Malbeobachtung. Das anschließende Verfahren beschreibt die Signalvorverarbeitung, einschließlich EEG-Filterung, Segmentierung und Extraktion unterschiedlicher Entropiemerkmale sowie Gesichtserkennung, Ausrichtung und Bildvorbereitung für die Videoanalyse. Das neuronale Netzwerk enthält zwei modalitätsspezifische Zweige. Der EEG-Zweig verwendet ein konvolutionales neuronales Netzwerk und ein bidirektionales Langzeitgedächtnisnetzwerk, um räumlich-zeitliche neuronale Merkmale zu modellieren, während der Gesichtszweig ein koordinatiertes, aufmerksamkeitsverstärktes, leichtes Faltungsnetzwerk verwendet, um visuelle Ausdrucksmerkmale zu extrahieren. Ein Multi-Head-Cross-Attention-Modul wird dann verwendet, um die beiden Ströme durch das Erlernen der intermodalen Relevanz zu verbinden. Unter den hier berichteten experimentellen Bedingungen erreichte das multimodale Rahmenwerk eine höhere Klassifikationsgenauigkeit als die unimodalen Vergleichsmodelle bei der Emotionserkennung mit vier Kategorien. Diese Methode eignet sich am besten für Offline-Analysen in kontrollierten Erfassungsumgebungen und bietet einen praktischen Rahmen für affektives Rechnen, empirische Ästhetik und ausstellungsorientierte Mensch-Computer-Interaktionsforschung.

Einleitung

Emotion ist ein multidimensionaler psychologischer und physiologischer Prozess, der durch äußere Reize, innere Einschätzung und fortlaufende kognitive Regulation geprägt wird und daher eine zentrale Rolle in der Mensch-Computer-Interaktion sowie in der Kognitionswissenschaft^einnimmt. In Malausstellungen vermittelt Emotion auch die Beziehung zwischen visuellen Kunstwerken und Betrachterinterpretation. Aus diesem Grund hat die Identifikation der Empfangszustände des Betrachters praktischen Wert für die Ausstellungsbewertung, das räumliche Design und empirische Studien ästhetischer Erfahrung²