Wizualne mapowanie multimodalnych cech emocji dla projektowania inteligentnych interakcji

Podsumowanie

W pracy zaproponowano kompleksowy, multimodalny system analizy emocji, który wykorzystuje koderach transformera, rozdzielone reprezentacje emocji oraz oparty na grafach mechanizm uwagi między-modalnej z mapowaniem wizualnym w celu zwiększenia dokładności rozpoznawania emocji w dwóch zbiorach danych.

Streszczenie

Wizualne mapowanie multimodalnych cech emocjonalnych ma kluczowe znaczenie dla projektowania inteligentnych interfejsów, umożliwiając maszynom rozumienie, interpretowanie i reagowanie na afektywne stany człowieka. Niemniej jednak obecne algorytmy multimodalnego wykrywania emocji koncentrują się głównie na wydajności predykcyjnej, oferując niewielki wgląd w interpretowalność, świadomość interakcji czy międzymodalne interakcje na poziomie cech. W niniejszej pracy przedstawiono ramy wizualnego mapowania aspektów emocji multimodalnych, które łączą wizualizację zorientowaną na interakcję, interpretowalną naukę reprezentacji oraz predykcję emocji. Bez użycia ręcznie tworzonych cech, do ekstrakcji wysokopoziomowych osadzeń emocjonalnych z modalności tekstowej, dźwiękowej i wizualnej wykorzystano koderów opartych na transformerach. W celu zwiększenia odporności, informacje specyficzne dla emocji oraz specyficzne dla modalności zostały rozdzielone za pomocą techniki rozplątanej nauki reprezentacji. Dodatkowo stworzono opartą na grafach sieć uwagi międzymodalnej, wykorzystującą adaptacyjne ważenie uwagi do symulowania subtelnych relacji emocjonalnych między modalnościami. W celu zwiększenia przejrzystości opracowano moduł wielowidokowego mapowania wizualnego, który obrazuje czasowe trajektorie emocji, rozkłady uwagi międzymodalnej oraz ukryte osadzenia emocjonalne. Do oceny zaproponowanych ram wykorzystano zbiór danych Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) oraz Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS). Wyniki eksperymentalne wykazały, że zaproponowane ramy zapewniły lepszą interpretowalność na poziomie cech i wizualizację świadomą interakcji, konsekwentnie przewyższając reprezentatywne techniki bazowe pod względem dokładności, wskaźnika F1, korelacji oraz średniego błędu absolutnego. Ponadto moduł mapowania wizualnego umożliwił jakościową interpretację multimodalnych reprezentacji emocji, interakcji międzymodalnych i czasowej dynamiki emocji, wspierając analizę i wizualizację świadomą interakcji.

Wprowadzenie

Zdolność do prawidłowej identyfikacji i rozumienia ludzkich emocji stała się kluczowa dla usprawnienia interakcji między ludźmi a maszynami. Analiza emocji, poza tym że jest niezbędna do poprawy interakcji człowiek-komputer, ma potencjał zrewolucjonizować szereg dziedzin, w tym przeddiagnostykę medyczną¹, analizę behawioralną w klasie², monitorowanie psychologiczne pacjentów³, identyfikację zmęczenia w pojazdach⁴ oraz inteligentne zarządzanie w środowiskach inteligentnego domu⁵. Ostatnie osiągnięcia w dziedzinie informatyki afektywnej i uczenia głębokiego⁶ zwiększyły zainteresowanie tworzeniem systemów czasu rzeczywistego, które potrafią uchwycić złożoność ludzkich emocji.

Wiele obecnych metod opiera się głównie na danych unimodalnych, takich jak sygnały tekstowe, graficzne lub słuchowe^7,8,9. Podejścia te wielokrotnie zawodzą w wykrywaniu subtelnych sygnałów, takich jak sarkazm czy niuanse zależne od kontekstu. Badania przesunęły się w stronę multimodalnej oceny emocji, która w celu przełamania tych ograniczeń łączy komplementarne dane z wielu źródeł^10,11,12. Zalety łączenia wielu modalności zostały wykazane w modelach bazowych, takich jak wczesna fuzja z długo-krótkotrwałą pamięcią (EF-LSTM)13, lekkie głębokie sieci neuronowe FM (LF-DNN)¹⁴, sieci fuzji tensorowej (TFN) oraz podejścia oparte na fuzji multimodalnej o niskim rzędzie. Jednak większość tych metod opiera się na offline'owej generacji cech i nie nadaje się do dynamicznych sytuacji w świecie rzeczywistym.

W celu uwzględnienia stanów emocjonalnych, w ciągu ostatnich dziesięciu lat rozwinęły się badania i zastosowania w zakresie multimodalnej identyfikacji emocji¹⁵. Jednym z najbardziej wymagających i istotnych obszarów współczesnych badań jest ciągłe monitorowanie stanów emocjonalnych z wykorzystaniem różnorodnych źródeł danych¹⁶. Koncepcja multimodalności pojawiła się w sposób naturalny wraz z powstaniem tak zróżnicowanego systemu wiedzy, co doprowadziło do wielu postępów w wykorzystaniu emocji w dziedzinach takich jak obliczenia emocjonalne, interakcja człowiek-komputer (HCI), uczenie się, gry wideo, obsługa klienta, opieka medyczna, ocena doświadczeń użytkownika (UX) itp. Jednak zastosowanie technik rozpoznawania emocji w ewaluacji UX nie zawsze było tak proste.

Jednym z głównych powodów skupienia się na rozpoznawaniu multimodalnym, a nie na metodach unimodalnych, są immanentne wady polegania na pojedynczym źródle informacji. Systemy unimodalnego wykrywania emocji mogą cechować się niższą dokładnością z powodu brakujących lub niejasnych danych, podczas gdy schematy MER są bardziej niezawodne i oferują bardziej kompleksowe oraz wnikliwe zrozumienie stanów ekspresyjnych poprzez integrację wielu źródeł danych¹⁷. Na przykład sam język mimiki może być niewystarczający do precyzyjnej klasyfikacji uczuć, szczególnie gdy gesty są złożone lub niejasne. Jednak połączenie wyrazów twarzy z innymi formami komunikacji, takimi jak język lub sygnały fizyczne, może zwiększyć dokładność rozpoznawania uczuć.

Przeprowadzono szeroko zakrojone badania nad rozpoznawaniem emocji z wykorzystaniem kilku modalności. Wczesne studia koncentrowały się na identyfikacji cech wyróżniających w różnych modalnościach, takich jak dane graficzne, akustyczne lub tekstowe. Coraz bardziej oczywiste staje się jednak, że integracja różnych modalności może dostarczyć zrównoważonych informacji emocjonalnych, co prowadzi do bardziej wiarygodnego i precyzyjnego wykrywania sentymentu. Niniejszy segment omawia kluczowe postępy w jednowymiarowej i multimodalnej analizie emocji, koncentrując się na podejściach bazowych, ich niedociągnięciach oraz uzasadnieniu zastosowanej przez nas metody.

Wstępne badania nad rozpoznawaniem emocji koncentrowały się głównie na pojedynczej modalności. W obszarze wizualnym przełomowe badania doprowadziły do kategoryzacji prototypowych ruchów twarzy²⁰. Kolejne postępy obejmowały techniki rejestrowania dynamiki czasowej, takie jak ruch wizualny²¹ oraz ukryte modele Markowa²², podczas gdy reakcje twarzy zostały podzielone na jednostki akcji przy użyciu Systemu Kodowania Ruchów Twarzy (FACS)²³. Sieci LSTM oraz konwolucyjne sieci neuronowe (CNN) były z sukcesem wykorzystywane do ekstrakcji istotnych cech bezpośrednio z surowych sygnałów audio; metodologie identyfikacji emocji na podstawie dźwięku ewoluowały od konwencjonalnego przetwarzania sygnałów do głębokiego uczenia²⁴. Ekstrakcja kontekstowych sygnałów sentymentu w tekstowej analizie emocji została znacznie usprawniona dzięki rekurencyjnym sieciom neuronowym (RNN) z wbudowanymi mechanizmami uwagi, a w ostatnim czasie przez modele oparte na transformerach. Pomimo tych osiągnięć, techniki unimodalne są z natury niezdolne do dokładnego odwzorowania złożoności doświadczeń ludzkich, ponieważ brakuje im informacji uzupełniających dostępnych w innych modalnościach.

W 2021 roku zaproponowano niektóre modele oparte na mechanizmach uwagi, takie jak model DialogXL25, w celu gromadzenia długoterminowych danych środowiskowych w obszarze identyfikacji sentymentu w konwersacjach. Kim i wsp.²⁶ wprowadzili w 2021 roku model EmoBERTa, aby zwiększyć dokładność ERC. Model ten wykorzystuje dane o mówcach w celu ulepszenia cech uczestników rozmów oraz ich wzajemnych interakcji. W 2022 roku Li i wsp.²⁷ zaprezentowali metodę CoG-BART. Organizacja ta wykorzystuje nadzorowane uczenie kontrastowe, aby poprawić zdolność modelu do interpretacji istotnych danych. Należy zauważyć, że uczenie nadzorowane wymaga znacznej ilości etykietowanych danych.

Typowym przykładem takich prac jest framework Multimodal Interaction-Aware Representation (MIAR)²⁸, który wykorzystuje tokeny interakcji cech oraz wyrównanie kontrastowe w celu poprawy generalizacji między modalnościami. MIAR poprawia wyrównanie modalności i osiąga wysoką skuteczność w wielu zbiorach danych; jednak koncentruje się on przede wszystkim na dokładności predykcji, nie zajmując się odwzorowaniem wizualnym. Podobnie model Cross-Attentional Audio-Visual Fusion²⁹ skutecznie rejestruje szczegółowe interakcje audiowizualne dla predykcji walencji i pobudzenia, ale jest ograniczony do dwóch modalności i nie posiada możliwości wizualizacji. Podejścia do modelowania czasowego oparte na sieciach LSTM i fuzji autoenkoderów pomyślnie oddają dynamikę czasową emocji, lecz zapewniają ograniczony wgląd w interakcje modalności i wyuczone reprezentacje emocjonalne. W ostatnim czasie metody oparte na transformerach, takie jak Transformer-based Multimodal Fusion Network (TMFN)³⁰, wykazały wysoką skuteczność w zbiorach CMU-MOSI i CMU-MOSEI dzięki ulepszonej fuzji multimodalnej i uczeniu kontrastowemu. Niemniej jednak, podejścia te pozostają głównie zorientowane na wydajność i oferują ograniczone wsparcie dla wyjaśnialności, interpretacji na poziomie cech oraz wizualizacji zorientowanej na interakcje.

W celu usprawnienia integracji danych tekstowych, akustycznych i wizualnych zaproponowano szereg multimodalnych technik rozpoznawania emocji. Choć wczesne techniki fuzji, takie jak EF-LSTM i LF-DNN, nie były w stanie uchwycić złożonych interakcji międzymodalnych, wykazały one zalety wykorzystania informacji multimodalnych w analizie sentymentu i emocji. Mimo że model TFN poprawił wyniki na zbiorach referencyjnych, takich jak CMU-MOSI i CMU-MOSEI, oraz wprowadził jawne modelowanie interakcji międzymodalnych, jego użyteczność była ograniczona przez niską interpretowalność i wysoką złożoność obliczeniową. Aby poprawić dopasowanie modalności oraz dynamiczną fuzję cech, nowsze techniki, takie jak MIAR, modele fuzji z wzajemną uwagą (cross-attentional fusion), TMFN oraz adaptacyjne transformery multimodalne, wykorzystały topologie transformerów i mechanizmy uwagi. Metody te koncentrowały się przede wszystkim na wydajności predykcyjnej, oferując niewielki wgląd w reprezentacje emocjonalne na poziomie cech i zależności międzymodalne, mimo osiągnięcia konkurencyjnych wyników w powszechnych metrykach ewaluacyjnych, takich jak dokładność (accuracy), F1-score oraz średni błąd bezwzględny (mean absolute error). Ponadto niewiele badań opracowało techniki wizualizacji zdolne do ujawnienia ukrytych osadzeń emocji (latent emotion embeddings), rozkładów uwagi i czasowej dynamiki emocji, lub zintegrowało modelowanie interakcji międzymodalnych oparte na grafach. Zaproponowane podejście łączy wielowidokowe mapowanie wizualne, fuzję uwagi międzymodalnej opartą na grafach oraz uczenie reprezentacji rozplecionych (disentangled representation learning), aby wyeliminować te wady i zwiększyć wydajność multimodalnego rozpoznawania emocji.

Podobnie, Adaptive Multimodal Transformer³² proponuje fuzję opartą na wymianie, aby adaptacyjnie niwelować zakłócenia lub brakujące informacje modalne, zwiększając tym samym skuteczność klasyfikacji sentymentu. Chociaż podejście to może efektywnie rozwiązywać rozbieżności w rozkładzie informacji modalnych, jego konstrukcja jest specyficzna dla zadania analizy sentymentu i dostarcza ograniczonych informacji na temat wyuczonych reprezentacji emocjonalnych. Innym istotnym wkładem jest Multimodal Fusion Model³³, który integruje sieci CNN, multiplikatywne sieci LSTM oraz mechanizm uwagi oparty na transformerach w celu rozpoznawania emocji multimodalnych w czasie rzeczywistym. Model ten przeprowadza pełną fuzję modalności wideo, audio i tekstu, wykazując wysoką skuteczność rozpoznawania. Niemniej jednak, podobnie jak inne istniejące modele, koncentruje się on głównie na dokładności predykcyjnej i brakuje mu jawnych cech umożliwiających wizualizację oraz interpretowalność zorientowaną na interakcję.

Podsumowując, choć obecne, najnowocześniejsze podejścia do multimodalnego rozpoznawania emocji odniosły znaczny sukces w przechwytywaniu interakcji międzymodalnych i zwiększaniu dokładności predykcji, większość z nich koncentruje się na zadaniach zorientowanych na samo rozpoznawanie. Mało uwagi poświęcono obszarom takim jak interpretowalność na poziomie cech, wizualizacja reprezentacji emocjonalnych w przestrzeni obrazu oraz włączanie proponowanego frameworka do projektowania inteligentnych interakcji. To właśnie z myślą o tych wyzwaniach wprowadzono proponowany framework.

Większość obecnych metod koncentruje się przede wszystkim na poprawie wydajności predykcyjnej, oferując niewielką interpretowalność wyuczonych reprezentacji emocjonalnych oraz interakcji między-modalnych, pomimo znaczących postępów w multimodalnym rozpoznawaniu emocji^28,29. Złożone interakcje między modalnościami tekstową, akustyczną i wizualną są często trudne do wymodelowania dla obecnych strategii fuzji, szczególnie w przypadku wystąpienia rozbieżności między modalnościami oraz braków w informacjach ^28,31. Chociaż architektury oparte na transformerach i mechanizmy uwagi usprawniły uczenie reprezentacji, ich przejrzystość i interpretowalność są często ograniczane przez brak wyraźnego oddzielenia informacji specyficznych dla emocji od informacji specyficznych dla modalności^31,32,33. Ponadto tylko niewielka liczba badań analizowała modelowanie interakcji intermodalnych w oparciu o grafy lub tworzyła frameworki wizualizacyjne zdolne do ujawnienia temporalnej dynamiki emocji, rozkładów uwagi oraz embeddingów emocjonalnych. Wady te wskazują na konieczność opracowania interpretowalnego frameworka multimodalnego dla inteligentnej interakcji człowiek-maszyna, który łączyłby zorientowane na interakcję mapowanie wizualne z silnym uczeniem między-modalnym.

Niniejsza praca przedstawia interpretowalny model wizualnego mapowania multimodalnych aspektów emocji w projektowaniu inteligentnych interfejsów. Bez konieczności ręcznego tworzenia cech, system wykorzystuje głębokie uczenie end-to-end do ekstrakcji wysokopoziomowych reprezentacji emocjonalnych z modalności tekstowej, audio i wizualnej. Międzymodalne interakcje emocjonalne są modelowane za pomocą grafowego mechanizmu fuzji uwagi, który oddziela informacje specyficzne dla emocji od informacji specyficznych dla modalności, co umożliwia naukę rozplątanych reprezentacji oraz poprawia interpretowalność i odporność modelu. Dodatkowo stworzono moduł wizualizacji wielowidokowej, aby przedstawić czasową dynamikę emocji, międzymodalne wzorce uwagi oraz osadzenia emocji. Skuteczność i przydatność proponowanego modelu w inteligentnych systemach interakcji człowiek-maszyna zostały ocenione poprzez walidację na referencyjnych zbiorach danych do multimodalnego rozpoznawania emocji.

Niniejsza praca oferuje unikalne ramy dla wizualnego mapowania multimodalnych aspektów emocji, które wykraczają poza tradycyjne podejścia zorientowane na predykcję, aby przezwyciężyć słabe modelowanie interakcji międzymodalnych oraz ograniczoną interpretowalność w obecnych systemach identyfikacji emocji multimodalnych. W ramach jednej architektury zaproponowane podejście łączy multimodalne uczenie reprezentacji oparte na transformatorach, rozplecione (disentangled) modelowanie cech świadomych emocji, fuzję uwagi międzymodalnej opartą na grafach oraz wizualizację zorientowaną na interakcje. W przeciwieństwie do obecnych podejść, które koncentrują się głównie na wydajności klasyfikacji, opracowane ramy wyraźnie oddzielają reprezentacje specyficzne dla emocji od reprezentacji specyficznych dla modalności, co poprawia interpretowalność, odporność i spójność międzymodalną. Dodatkowo przedstawiono mechanizm uwagi oparty na grafach, aby umożliwić adaptacyjne modelowanie interakcji międzymodalnych poprzez przechwytywanie drobnoziarnistych współzależności emocjonalnych pomiędzy modalnościami tekstową, dźwiękową i wizualną. Stworzono moduł wizualnego mapowania wielowidokowego w celu zwiększenia przejrzystości poprzez ujawnienie czasowych trajektorii emocji, wzorców uwagi międzymodalnej i ukrytych osadzeń (embeddings) emocji, co zapewnia intuicyjny wgląd w proces podejmowania decyzji przez model. Oprócz zapewnienia lepszej wizualizacji i interpretowalności multimodalnej dynamiki emocjonalnej, ocena eksperymentalna na zbiorach danych referencyjnych CH-SIMS i CMU-MOSEI wykazała konkurencyjną wydajność pod względem dokładności, miary F1-score, średniego błędu bezwzględnego oraz korelacji.

Protokół

Proponowana praca ma na celu ulepszenie projektowania inteligentnych interakcji poprzez stworzenie interpretowalnego modelu wizualnego mapowania multimodalnych cech emocjonalnych. W pracy wykorzystano ogólnodostępne bazy danych CH-SIMS oraz CMU-MOSEI. Oba zbiory danych zostały pobrane z oficjalnych źródeł i wykorzystane zgodnie z wytycznymi dotyczącymi użytkowania, standardami badawczymi oraz warunkami licencjonowania określonymi przez ich twórców. Multimodalna zawartość zbiorów, obejmująca dane tekstowe, audio i wideo, została uprzednio zgromadzona i adnotowana przez dostawców danych zgodnie z autoryzowanymi zgodami uczestników i protokołami gromadzenia danych. W niniejszym badaniu nie wystąpiły bezpośrednie interakcje z ludźmi, nie rekrutowano nowych uczestników ani nie gromadzono danych osobowych. Wszystkie analizy zostały przeprowadzone z wykorzystaniem publicznie dostępnych zbiorów danych badawczych. W związku z tym wtórna analiza danych nie wymagała dodatkowej zgody etycznej ani recenzji Instytucjonalnej Komisji Bioetycznej (IRB). Badanie zostało przeprowadzone zgodnie z odpowiednimi normami instytucjonalnymi regulującymi korzystanie z publicznie dostępnych zbiorów danych, etycznymi procedurami badawczymi oraz obowiązującymi politykami wykorzystania danych.

Zastosowano mechanizm uwagi cross-modalnej oparty na grafach, aby nauczyć się charakterystyk emocji w różnych modalnościach, wykorzystując cechy specyficzne dla emocji lub modalności w celu poprawy zrozumienia. Komponent wielowidokowego mapowania wizualnego służy do usprawnienia interaktywnego projektowania w czasie rzeczywistym z uwzględnieniem emocji, a jego efektywność została oszacowana dla rozpoznawania emocji. Wyniki pokazują, że proponowana metoda poprawia zarówno interpretowalność, jak i wydajność inteligentnych interfejsów użytkownika reagujących na emocje w świecie rzeczywistym. Rysunek 1 przedstawia schemat architektury proponowanego rozwiązania. Rysunek 1 pokazuje pełny przebieg sugerowanego frameworka mapowania wizualnego dla uczenia cech emocji multimodalnych w kontekście inteligentnych systemów interakcji. Proces rozpoczyna się od trzech zsynchronizowanych modalności wejściowych: tekstu, dźwięku i wideo, które przechwytują uzupełniające się informacje emocjonalne odpowiednio z modalności lingwistycznej, prozodycznej i ekspresji twarzy. Koder transformera specyficzny dla danej modalności przetwarza każdą z nich w celu uzyskania wysokopoziomowych reprezentacji surowych danych wejściowych. Reprezentacje te są następnie przekazywane do modułu uczenia reprezentacji rozplątanej, w którym osadzenia specyficzne dla emocji są oddzielane od cech specyficznych dla modalności, aby zapewnić spójność wyuczonych emocji w heterogenicznych źródłach danych. Osadzenia specyficzne dla emocji z każdej modalności są następnie agregowane przez sieć uwagi cross-modalnej opartą na grafach, która modeluje zależności emocjonalne między modalnościami i przypisuje dynamiczne wagi ważności do każdej modalności w oparciu o kontekst interakcji. Ostatecznie framework dostarcza zarówno wyniki klasyfikacji emocji, jak i spostrzeżeń dotyczących interakcji, co ułatwia przejrzyste podejmowanie decyzji z uwzględnieniem emocji oraz adaptacyjny projekt inteligentnych interakcji.

Multimodalne pozyskiwanie danych

Zbiory danych CH-SIMS oraz CMU-MOSEI to dwa istniejące, publicznie dostępne multimodalne zbiory danych, zawierające informacje multimodalne, takie jak zsynchronizowane wideo, audio i tekst. Zbiór CH-SIMS obejmuje multimodalne analizy osób pochodzenia chińskiego i składa się z 2 281 segmentów wideo, pochodzących z różnych fragmentów filmów, seriali telewizyjnych i programów rozrywkowych. Badania nad multimodalną analizą emocji z wykorzystaniem danych multimodalnych stają się bardziej angażujące i wykonalne dzięki dodaniu do tych segmentów wideo odpowiadających im ścieżek audio i tekstu. Z kolei zbiór CMU-MOSEI jest jednym z największych multimodalnych zbiorów danych służących do badania opinii, uczuć i emocji; został on stworzony z ponad 23 000 klipów wideo zawierających wypowiedzi ponad 1 000 mówców na różnorodne tematy. Zbiór ten został losowo podzielony na podzbiory treningowy (70%), walidacyjny (15%) i testowy (15%), przy zachowaniu rozkładu klas.

Transkrypcje tekstowe, sygnały audio i klatki wideo są pozyskiwane i wyrównywane czasowo, aby dopasować je na precyzyjnym poziomie temporalnym. Integracja na poziomie klatek zapewnia, że proponowane mechanizmy uczenia reprezentacji i fuzji opartej na grafach mogą wspólnie modelować i wykorzystywać treść emocjonalną wynikającą z ekspresji wizualnych, tonu głosu oraz treści lingwistycznej. Tego typu technika akwizycji multimodalnej umożliwia skuttywną ekstrakcję intermodalnej dynamiki emocjonalnej, co jest niezbędne dla projektowania inteligentnych interakcji i zrozumiałego mapowania wizualnego.

Tabela 1 przedstawia kluczowe struktury multimodalnych zbiorów danych emocjonalnych wykorzystanych w proponowanej metodzie. Aby uzyskać szerszy zakres powiązanych uczuć, takich jak wypowiadane słowa, intonacja głosu i ekspresja twarzy, zbiory CH-SIMS oraz CMU-MOSEI integrują modalności wideo, audio i tekstowe. Co więcej, w zbiorze CH-SIMS dostępna jest ograniczona liczba próbek danych, co umożliwia dokładne zbadanie interakcji modalności i zmienności emocji w Chinach. Z kolei zbiór danych CMU-MOSEI jest istotniejszy dla oceny trwałości uczenia reprezentacji oraz powiązanych algorytmów wizualizacji omówionych w niniejszej pracy, ponieważ zawiera dużą ilość danych obejmujących różne języki, podmioty i adnotowane poziomy emocji. Dodatkowo, w porównaniu z wcześniejszymi badaniami, redukuje on trudności w doborze informacji podczas testowania modeli.

Multimodalny preprocessing i synchronizacja

Adnotacje znaczników czasowych z zestawów danych CH-SIMS oraz CMU-MOSEI zostały wykorzystane do synchronizacji modalności tekstowych, słuchowych i wizualnych, co zapewniło spójną reprezentację w procesie uczenia multimodalnego. Każna wypowiedź stanowiła podstawową jednostkę analizy i została powiązana z odpowiadającymi jej segmentami audio i wideo w tym samym przedziale czasowym. Dopasowanie przeprowadzono na poziomie poszczególnych wypowiedzi. Transkrypcja została podzielona na segmenty w oparciu o znaczniki czasu rozpoczęcia i zakończenia każdej wypowiedzi. Korespondencję transkrypcja-audio-wizja ustalono poprzez wyodrębnienie odpowiednich klatek wideo i sygnałów audio, które mieściły się w tym samym przedziale czasowym. Podczas gdy segmenty audio były przetwarzane przy użyciu modelu Wav2Vec 2.0 w celu wygenerowania reprezentacji akustycznych, klatki wizualne z segmentu wideo pobierano z określoną częstotliwością i kodowano za pomocą Vision Transformer (ViT). Do tworzenia osadzeń tekstowych z transkrypcji wypowiedzi wykorzystano koder RoBERTa. Synchronizację czasową osiągnięto poprzez dopasowanie wszystkich cech poszczególnych modalności do jednej granicy wypowiedzi, ponieważ trzy modalności generowały sekwencje cech o różnej długości. W celu normalizacji sekwencji o zróżnicowanej długości zastosowano format o stałej długości. Dłuższe sekwencje skracano do maksymalnie dopuszczalnej długości sekwencji, natomiast krótsze uzupełniano zerami (zero-padding). Podczas treningu zastosowano maski uwagi (attention masks), aby oddzielić elementy dopełniające od rzeczywistych pozycji cech. Przed fuzją osadzenia specyficzne dla danej modalności rzutowano na wspólną przestrzeń latentną, aby zniwelować różnice w długości sekwencji między modalnościami. Zapewniło to spójność wymiarową i umożliwiło mechanizmowi uwagi opartemu na grafach efektywne uczenie interakcji międzymodalnych. Aby zachować jakość danych i integralność synchronizacji, z badań wykluczono próbki z uszkodzonymi plikami, brakującymi adnotacjami lub niepełnymi informacjami o modalnościach.

Ekstrakcja cech oparta na modelu Transformer

Metoda głębokiego uczenia jest wykorzystywana do nauki wysokopoziomowych reprezentacji cech uwzględniających emocje z informacji pochodzących z wielu modalności, takich jak obraz, dźwięk i tekst, w sposób end-to-end, po wyrównaniu danych multimodalnych i przeprowadzeniu niezbędnego przetwarzania wstępnego. Dzięki zastosowaniu kodera transformera do nauki wewnętrznie dyskryminatywnych reprezentacji cech z surowych danych multimodalnych, proponowana metoda eliminuje potrzebę inżynierii cech. Aby zapewnić spójność między zbiorami danych wykorzystanymi w proponowanym podejściu, dla każdej modalności uczone jest osadzenie (embedding) o stałym rozmiarze. Przykładowo, uczone są 768-wymiarowe osadzenia cech dla każdej z poszczególnych modalności, w tym obrazu, dźwięku i tekstu, co wspólnie tworzy ujednoliconą przestrzeń cech wykorzystywaną w całym podejściu, a w szczególności w metodzie ekstrakcji cech zastosowanej w proponowanym zbiorze danych CH-SIMS oraz zbiorze danych CMU-MOSEI w celu nauki wysokopoziomowych cech z danych o różnych rozmiarach.

Modalność wizualna: Transformer wizyjny dla embeddingów klatek uwzględniających emocje

Do wyodrębnienia informacji wizualnych z klatek wideo w celu uzyskania reprezentacji przestrzennych istotnych dla emocji wykorzystano model Vision Transformer (ViT-Base). Przed ekstrakcją cech klatki każdego segmentu wideo zostały przeskalowane do rozmiaru (224 × 224) pikseli i pobrane w regularnych odstępach czasowych. Przy zastosowaniu rozmiaru patcha 16 × 16 pikseli, architektura ViT-Base generuje serię tokenów wizualnych, które są przetwarzane przez 12 warstw enkodera transformera. Uzyskane reprezentacje na poziomie klatek zostały rzutowane na 768-wymiarową przestrzeń osadzeń (embedding space) z wykorzystaniem wstępnie wytrenowanego modelu ViT jako szkieletu wizualnego (visual backbone). Osadzenia na poziomie klatek zagregowano za pomocą średniego pulingu (mean pooling), aby stworzyć ostateczną reprezentację wizualną dla każdego segmentu. Podczas trenowania, w celu zwiększenia generalizacji, zastosowano normalizację obrazu oraz powszechne metody augmentacji, takie jak losowe przycinanie (random cropping) i poziome odbicie lustrzane (horizontal flipping). Następnie wykorzystano zaproponowany wielomodalny system fuzji do połączenia tych osadzeń wizualnych z reprezentacjami tekstowymi i słuchowymi.

Aby zachować dynamikę czasową emocji, próbki wideo z zestawów danych CH-SIMS oraz CMU-MOSEI zostaną pobrane w sposób jednolity dla modalności wizualnej. Klatki każdego filmu, , mogą zostać podzielone na N sekcji o stałym rozmiarze, które następnie zostaną spłaszczone i przeniesione odwrotnie do przestrzeni osadzeń latentnych o wymiarze . Seria jest tworzona poprzez dodanie osadzeń pozycyjnych oraz uczonego tokenu grupowania:

   (1)

gdzie  oznacza kodowanie pozycyjne, a  jest macierzą osadzania patchy.

Skumulowane warstwy kodera transformera, składające się z sieci jednokierunkowych (feed-forward) i wielogłowicowej mechaniki uwagi (multi-head self-attention), są wykorzystywane do przetwarzania sekwencji osadzonych patchy. Przekształcenie w warstwie l opisuje się następująco:

   (2)

   (3)

Aby uzyskać wektor cech wizualnych uwzględniający emocje, wyodrębniono wyjście odpowiadające tokenowi klasy jako wektor cech . Aby zapewnić spójne wizualne reprezentacje emocji pomimo różnic w języku i treści między zbiorami danych, połączono osadzenia na poziomie klatek z każdego segmentu wideo w celu uchwycenia ekspresji twarzy oraz ewolucji emocji.

Modalność audio z wykorzystaniem Wav2Vec 2.0 dla prozodii i semantycznych osadzeń akustycznych Kontekstowe osadzenia mowy zostały wygenerowane przy użyciu wstępnie wytrenowanego koder Wav2Vec 2.0 jako szkieletu akustycznego. Wektor cech akustycznych o stałej długości dla każdej frazy uzyskano poprzez agregację wyjściowych reprezentacji ukrytych z wykorzystaniem uśredniania (mean pooling). Model Wav2Vec 2.0 posłużył do ekstrakcji reprezentacji akustycznych z sygnałów audio w celu uchwycenia kontekstowych i istotnych dla emocji cech mowy. Przed ekstrakcją cech nagrania audio zostały znormalizowane i przesamplowane do 16 kHz. Aby zapewnić synchronizację między modalnościami tekstową i wizualną, każdy segment audio na poziomie wypowiedzi został wyizolowany przy użyciu granic znaczników czasowych zawartych w adnotacjach zbioru danych. Wstępnie wytrenowany koder akustyczny był dostrajany podczas trenowania modelu w celu zwiększenia adaptacji do konkretnego zadania, co pozwoliło uzyskanym reprezentacjom dokładniej odzwierciedlać aspekty emocjonalne sygnałów mowy. Następnie, z wykorzystaniem końcowych osadzeń audio, przeprowadzono fuzję uwagi międzymodalnej opartą na grafach oraz uczenie reprezentacji rozplątanych (disentangled representation learning).

W trybie audio model Wav2Vec-2.0 jest wykorzystywany do modelowania sygnałów mowy pochodzących z początkowych informacji mowy w zbiorach danych CH-SIMS oraz CMU-MOSEI, bezpośrednio ekstrahując cechy audio związane z emocjami. Dla każdego wejściowego sygnału mowy istnieje splotowe kodowanie cech :

   (4)

gdzie Z oznacza niskopoziomowe cechy prozodyczne, takie jak melodia, ton i energia. Sieć kontekstowa oparta na transformatorze jest przydatna dla wspomnianych struktur, reprezentując długodystansowe zależności czasowe:

   (5)

Dane prozodyczne i semantyczne, które są niezbędne do wyrażania emocji, są zawarte w tych kontekstowych reprezentacjach akustycznych. Osadzenie audio o określonej długości jest tworzone poprzez przeprowadzenie procedury poolingu czasowego:

   (6)

Projekt ten eliminuje konieczność wykorzystania cech akustycznych, takich jak MFCC, i osiąga trwałość, wykorzystując dane mowy w języku angielskim z CMU-MOSEI oraz dane mowy w języku chińskim z CH-SIMS poprzez proste wyodrębnianie reprezentacji z przebiegów falowych.

Modalność tekstu z wykorzystaniem modelu RoBERTa dla kontekstowych zanurzeń emocjonalnych

W przypadku modalności tekstowej zastosowano głęboki dwukierunkowy transformator RoBERTa do transkrypcji mowy z dwóch zbiorów danych, aby wygenerować semantykę kontekstową i znaczenie afektywne. Do wyodrębnienia reprezentacji tekstowych z danych transkrypcyjnych w celu uchwycenia kontekstowych informacji semantycznych i emocjonalnych wykorzystano kodery transformatora oparte na RoBERTa. Dla anglojęzycznego zbioru danych CMU-MOSEI użyto wstępnie wytrenowanego modelu RoBERTa, natomiast dla chińskiego zbioru danych CH-SIMS zastosowano wariant RoBERTa dla języka chińskiego, aby lepiej uwzględnić specyficzne dla tego języka cechy lingwistyczne. Przetwarzanie wstępne tekstu obejmowało tokenizację przy użyciu odpowiedniego tokenizatora RoBERTa dla każdego języka oraz normalizację tekstu. Aby zapewnić spójne przetwarzanie partiami, sekwencje wejściowe przekształcono w osadzenia tokenów (token embeddings), a następnie uzupełniono do określonej maksymalnej długości sekwencji lub przycięto. Zgodnie z formatem wejściowym RoBERTa wprowadzono specjalne tokeny klasyfikacyjne i separatorowe. Stało-wymiarowe osadzenie tekstowe uzyskano poprzez agregację kontekstowych reprezentacji tokenów wygenerowanych przez koder transformatora, wykorzystując końcową reprezentację zdania równoważną tokenowi [CLS]. Aby dostosować wyuczone reprezentacje do zadania rozpoznawania emocji, wstępnie wytrenowane kodery RoBERTa zostały dopracowane poprzez trenowanie multimodalne. Następnie zastosowano zaproponowany framework fuzji multimodalnej w celu połączenia osadzeń tekstowych z cechami audio i wizualnymi.

Osadzenia tokenów i kodowania pozycyjne mogą być łączone dla każdego tokenizowanego wejścia, , aby stworzyć reprezentację wejściową w technice głębokiej dwukierunkowej transformacji znanej jako

   (7)

Forma ta jest reprezentowana poprzez warstwy transformatora L, który wykorzystuje mechanizm self-attention do wykrywania zależności kontekstowych między słowami:

  (8)

Kontekstowe zanurzenie emocji (contextual emotion embedding) jest uzyskiwane przy użyciu końcowego stanu ukrytego tokena klasyfikacji:

   (9)

Polaryzacja sentymentu, intensywne emocje i powiązane z nimi implikacje są przykładami cech lingwistycznych związanych z emocjami, które zostaną reprezentowane przez to osadzenie. RoBERTa ułatwia modelowanie niezależne od języka. Pozwala to systemowi na zastosowanie tej samej wielkości osadzenia zarówno dla tekstów w języku angielskim z zestawu danych CMU-MOSEI, jak i tekstów w języku chińskim z zestawu danych CH-SIMS.

Sugerowany etap uczenia reprezentacji cech głębokich pozwala na wyodrębnienie trzech specyficznych dla danej modalności wektorów cech o wymiarze 768, odpowiednio dla modalności wizualnej f_v, dźwiękowej f_a oraz tekstowej f_t . W inteligentnym projekcie interakcji wyuczone reprezentacje te tworzą ujednoliconą multimodalną przestrzeń cech, która stanowi podstawę dla mapowania wizualnego na poziomie cech, fuzji międzymodalnej opartej na grafach oraz uczenia reprezentacji rozplątanej.

Uczenie reprezentacji rozplątanych

Po wyuczeniu głębokiej reprezentacji cech, dodatkowa analiza multimodalnych wektorów cech z modalności wizualnej, słuchowej i tekstowej może pozwolić na uzyskanie rozdzielonego opisu emocji. Jeśli osadzenia cech specyficznych dla poszczególnych modalności słuchowej, wizualnej i tekstowej wykorzystane w poprzednim kroku są reprezentowane odpowiednio przez f_v, f_a oraz f_t, tak że  oraz , celem tego kroku jest faktoryzacja wszystkich cech modalności do dwóch odrębnych opisów latentnych, które obejmują opisy emocji po uwzględnieniu poprzedniej semantyki każdej z różnych modalności.

Osiąga się to poprzez wprowadzenie cech każdej modalności, f_m , do dwóch równoległych sieci projekcyjnych: kodera emocji  oraz kodera modalności , w których generowane są dwa kodowania.

  (10)

Gdzie  cecha latentna powiązana z emocją jest reprezentowana przez  , co reprezentuje cechę latentną specyficzną dla danej modalności. Pozwala to osadzeniom specyficznym dla emocji na wielokrotną komunikację z przestrzenią poprzez wiele wejść, w tym audio, wizualne i tekstowe, przy jednoczesnym zachowaniu unikalnych danych strukturalnych powiązanych z każdą modalnością.

Skuteczna separacja jest wymuszana poprzez rekonstrukcję z ograniczeniami niezależności. Rekonstrukcja oryginalnej cechy modalności jest określona wzorem:

  (11)

gdzie  jest siecią dekodującą. Strata rekonstrukcji zachowuje następujące dane:

   (12)

Dodatkowo ortogonalność, czyli brak korelacji, pomiędzy emocjami a przedstawieniami specyficznymi dla danej modalności często ogranicza nakładanie się informacji:

   (13)

Poprzez realizację tych celów model może nauczyć się reprezentacji emocji, które są niezawodne, zrozumiałe i odporne na zmienność modalną. Późniejsze funkcje fuzji międzymodalnej opartej na grafach oraz mapowania wizualnego, szczególnie w projektowaniu inteligentnych interakcji, w dużym stopniu opierają się na interpretowalnych i ustrukturyzowanych reprezentacjach emocji.

Spójność emocji między modalnościami

Dodanie spójności emocjonalnej wyraźnie zwiększa skuteczność fuzji między modalnościami. Dzieje się tak, ponieważ strategie fuzji nie muszą uwzględniać dużych różnic między dwiema reprezentacjami, gdyż specyficzne dla modalności osadzenia emocji współdzielą przestrzeń utajoną. Połączona ilustracja dwóch emocji opisana jest w następujący sposób . Fuzja ważona będzie bardziej stabilna, gdy reprezentacje specyficzne dla emocji są spójne, ponieważ różnice między sygnałami z różnych modalności nie będą już wpływać na wynik.

   (14)

Poprzez wymuszenie semantycznego dopasowania informacji emocjonalnych, cel ten minimalizuje rozbieżności między modalnościami i zapewnia, że percepcja emocji pozostaje spójna, niezależnie od modalności wykorzystanej do jej wyrażenia. W konsekwencji, poprzez projekcję wskazówek emocjonalnych uzyskanych z sygnałów mowy, ekspresji twarzy oraz treści lingwistycznej, tworzona jest spójna i afektywna przestrzeń reprezentacji.

Wpływ na fuzję między-modalną

Fuzja wielomodalna staje się bardziej efektywna, gdy wprowadza się spójność emocjonalną między modalnościami. Mechanizmy fuzji nie muszą już rekompensować znaczących różnic w reprezentacjach między-modalnych, ponieważ embeddingi specyficzne dla emocji są wyrównane w wspólnej przestrzeni latentnej. Zfuzowana reprezentacja emocji jest zdefiniowana w następujący sposób:

  (15)

Gdzie α_m oznacza wagę uwagi przypisaną do modalności m. Ważona fuzja staje się bardziej stabilna i zrozumiała, gdy reprezentacje specyficzne dla emocji są spójne, ponieważ wynik fuzji wykazuje komplementarne dowody emocjonalne, a nie sprzeczne sygnały z różnych modalności.

Matematycznie, zmniejszenie wariancji  między różnymi typami reprezentacji specyficznych dla emocji w odniesieniu do  jest równoważne:

   (16)

gdzie  oznacza średnią ekspresję emocjonalną. Zmniejszona wariancja powoduje, że modalności wejściowe są ważone zgodnie z ich dokładnym znaczeniem emocjonalnym, a nie szumem modalności, co zapewnia lepszą zbieżność sieci i dokładniejszą ocenę uwagi.

Nadrzędnym celem nauczania w zakresie wizualizacji rozplątanych emocji jest połączenie fragmentacji, rekonstrukcji i jednolitości emocjonalnej:

   (17)

które dwa hiperparametry, λ₁ i λ₂, kontrolują relację między niezawodnością emocji między-modalnych a dysocjacją. Sugerowany model pozyskuje niezmienniki modalności, interpretowalne i możliwe do połączenia reprezentacje emocjonalne, aby to osiągnąć, kładąc nacisk na zapewnienie solidnych podstaw dla późniejszej fuzji opartej na grafach oraz reprezentacji na poziomie cech w projektowaniu inteligentnych interfejsów.

Fuzja uwagi międzymodalnej oparta na grafach

Do symulacji szczegółowych relacji emocjonalnych między modalnościami wykorzystano sieć uwagi między-modalnej opartą na grafach. W celu ułatwienia przepływu informacji między modalnościami zbudowano w pełni połączony graf multimodalny, w którym każde zanurzenie specyficzne dla danej modalności (tekstową, dźwiękową i wizualną) reprezentowano jako węzeł grafu. Relacje między modalnościami posłużyły do ustanowienia macierzy sąsiedztwa grafu, która została następnie ulepszona za pomocą uczącej się metody uwagi. Wspólną przestrzeń latentną stworzono poprzez konkatenację i projekcję wyjść z kilku głowic uwagi. Następnie, agregując reprezentacje węzłów za pomocą pulingu ważonego uwagą, uzyskano ujednoliconą multimodalną reprezentację emocji. Ta połączona reprezentacja została następnie przekazana do modułów predykcji i wizualizacji w celu analizy świadomej interakcji i rozpoznawania emocji. Moduł fuzji grafowej posiadał ukrytą reprezentację o wymiarze 256 oraz dwie warstwy uwagi grafowej, z których każda miała osiem głowic uwagi. Aby ustalić względną ważność sąsiednich modalności, obliczono współczynniki uwagi między połączonymi węzłami, a następnie zestandaryzowano je za pomocą funkcji softmax. Po każdej warstwie uwagi grafowej zastosowano normalizację warstwową, połączenia rezydualne oraz współczynnik dropout wynoszący 0.2, aby zwiększyć stabilność treningu i zmniejszyć overfitting. Po konkatenacji i projekcji wyjść z kilku głowic uwagi na wspólną przestrzeń latentną, reprezentacje węzłów połączono w pojedyncze multimodalne zanurzenie emocjonalne przy użyciu pulingu ważonego uwagą. Następnie połączona reprezentacja została wykorzystana do wielowidokowego mapowania wizualnego i predykcji emocji.

Różnorodne interakcje międzymodalne zostały uchwycone przy użyciu wielogłowicowego mechanizmu uwagi grafowej. Funkcję softmax wykorzystano do normalizacji współczynników uwagi między połączonymi węzłami dla każdego węzła. Aby zwiększyć stabilność treningu i zapobiec przeuczeniu, po skumulowanych warstwach uwagi grafowej w module fuzji grafu zastosowano połączenia rezydualne, normalizację warstwową oraz regularyzację dropout.

Przyjmijmy, że wyrażenia  reprezentują odpowiednio reprezentacje odpowiadające konkretnym emocjom zgromadzonym za pomocą modalności wizualnej, dźwiękowej i tekstowej; każdy komponent znajduje się w wspólnej przestrzeni latentnej . Modele dla węzłów modalności wykorzystują notację grafu , w której węzły zbioru  odpowiadają samym trzem węzłom modalności, aby wyraźnie wzmocnić zależności emocjonalne współdzielone pomiędzy reprezentacjami różnych modalności.

Po przypisaniu wektora cech specyficznych dla danej emocji do każdego węzła w grafie, otrzymujemy:

   (18)

W przeciwieństwie do tradycyjnych metod fuzji, które wykorzystują określone lub stałe wagi fuzji, proponowana metoda uczy się adaptacyjnych wag krawędzi w oparciu o ich istotność i współzależności, zarówno pomiędzy kanałami, jak i pomiędzy sytuacjami emocjonalnymi.

Do fuzji międzymodalnej wykorzystano sieć uwagi grafowej (Graph Attention Network, GAT). Współczynnik uwagi jest obliczany dla każdego węzła i oraz jego węzłów sąsiednich, tj. węzła j:

   (19)

Efekt emocjonalny przejścia z trybu j do modalności i jest mierzony za pomocą znormalizowanych wag α_ij.

Następnie obliczana jest fuzja wyglądu każdego węzła modalności jako ważone grupowanie jego sąsiadów:

   (20)

gdzie funkcja aktywacji  jest nieliniowa. Ostatecznie zaktualizowane cechy każdego węzła są łączone w celu uzyskania globalnej zintegrowanej reprezentacji emocji:

   (21)

Jest to użyteczna technika w zakresie interpretowalnego modelowania emocji i późniejszego mapowania wizualnego, ponieważ pozwala ona na przechwycenie komplementarnych informacji z różnych modalności przy jednoczesnym zachowaniu złożonych relacji między-modalnych.

Algorytm 1 (Supplementary File 1) przedstawia ogólny schemat przeprowadzania fuzji międzymodalnej opartej na grafach. W pierwszej kolejności tworzony jest graf, w którym cechy specyficzne dla emocji są powiązane z każdą z modalności: wizualną, audio i tekstową. Następnie obliczane są wyniki uwagi (attention scores) dla par węzłów każdego grafu, które reprezentują kombinację zależności emocjonalnych. Wyniki uwagi są następnie normalizowane, aby wskazać względny wkład każdej modalności w określony kontekst emocjonalny, co umożliwia naukę wag uwagi. W ostatnim etapie generowane jest ogólne zanurzenie (embedding) emocji poprzez agregację cech powiązanych z węzłami grafu. W ten sposób ogólna fuzja cech multimodalnych powiązanych z określonymi emocjami, realizowana przez ten algorytm, wykazuje potencjał w zakresie adaptacyjności, interpretowalności oraz inteligencji kontekstowej.

Rycina 2 przedstawia strukturę i działanie proponowanej sieci uwagi krzyżowej (cross-modal attention network) dla multimodalnej fuzji sentymentu. Osadzenia specyficzne dla emocji, wyprowadzone niezależnie dla modalności tekstowej, słuchowej i wideo, są początkowo przekazywane przez mechanizmy uwagi na poziomie modalności, które uczą się względnego znaczenia informacji lingwistycznej, wokalnej i mimicznej dla danego kontekstu emocjonalnego. Reprezentacje modalności ważone przez uwagę są następnie łączone w celu utworzenia jednolitego osadzenia emocji, w którym macierz uwagi przechwytuje zależności międzymodalne i siłę interakcji. Macierz uwagi wyuczona przez sieć dynamicznie moduluje wkłady poszczególnych modalności, umożliwiając skupienie się na najsilniejszej modalności instrukcyjnej przy jednoczesnym ignorowaniu szumu i mniej informatywnych kanałów. Zfuzowana reprezentacja emocji umożliwia dokładne rozpoznawanie emocji i szczegółową analizę stanów emocjonalnych, takich jak neutralny, objęcie (embrace) i zmartwienie.

Moduł mapowania wizualnego

Przy wsparciu sekcji mapowania wizualnego, stworzonej specjalnie w tym celu, inteligentny projektant interakcji może przekształcić zunifikowaną reprezentację stanu emocjonalnego w formę wizualną, która jest zrozumiała i łatwo przyswajalna po procesie fuzji międzymodalnej, w oparciu o graf.

Aby ułatwić zrozumienie latentnych reprezentacji emocjonalnych, w celu wizualizacji wyuczonych multimodalnych osadzeń emocji wykorzystano techniki redukcji wymiarowości. Po zredukowaniu wymiarowości cech przy zachowaniu większości wariancji za pomocą analizy głównych składowych (PCA), osadzenia rzutowano na przestrzeń dwuwymiarową do celów prezentacji, stosując stochastyczne osadzanie sąsiadów z rozkładem t (t-SNE). W algorytmie t-SNE zastosowano parametr perplexity równy 30, współczynnik uczenia 200 oraz 1 000 iteracji optymalizacji. Uzyskane projekcje posłużyły do wizualizacji klastrów specyficznych dla danych emocji oraz relacji między modalnościami. Znormalizowane wagi uwagi międzymodalnej, uzyskane z grafowej sieci uwagi, wykorzystano do stworzenia map ciepła uwagi. Mapy te obrazują względny wkład modalności tekstowej, audio i wizualnej podczas predykcji emocji. Wyuczone współczynniki uwagi posłużyły jako wagi krawędzi do stworzenia grafów interakcji międzymodalnych, co umożliwiło wizualną analizę relacji międzymodalnych i przepływu informacji wewnątrz struktury fuzji. W celu zbadania czasowej dynamiki emocjonalnej stworzono wykresy trajektorii emocji, monitorując rozwój latentnych osadzeń emocji w kolejnych wypowiedziach. Trajektorie te wyjaśniają, w jaki sposób stany emocjonalne i wkład poszczególnych modalności ewoluują w czasie. Do stworzenia wszystkich wizualizacji wykorzystano dwa pakiety języka Python: Matplotlib oraz Scikit-learn. W celu oceny interpretowalności przeprowadzono analizy jakościowe wizualizacji osadzeń, grafów interakcji i map ciepła uwagi, badając formowanie się klastrów, wkład modalności oraz czasową dynamikę emocji.

Przyjmijmy, że zmienna  reprezentuje zunifikowaną reprezentację stanu emocjonalnego uzyskaną za pomocą funkcji grafowej sieci uwagi. W przeciwieństwie do wizualizacji wykresów stanu emocjonalnego na poziomie wyjściowym, głównym celem modułu jest przekształcenie reprezentacji stanu emocjonalnego oraz odpowiadających im wag mechanizmu uwagi w zrozumiałą formę wizualną.

Wykorzystując wyuczoną wartość α_ji, tworzona jest mapa ciepła uwagi (attention heatmap), aby wizualnie zbadać wkład każdej modalności. Następnie sumowane są przychodzące wagi uwagi, aby wyznaczyć złożony wynik istotności dla każdej modalności:

    (22)

gdzie s_i oznacza względny wkład emocjonalny modalności I. Aby pomóc w stworzeniu mapy ciepła uwagi, otrzymane wartości są normalizowane i przypisywane do mapy kolorów, która ułatwia użytkownikowi identyfikację dominującej modalności w różnych krokach czasowych lub stanach interaktywnych. Dzięki różnym wizualnym, słuchowym lub tekstowym modalnościom wejściowym, taki interfejs pomaga użytkownikowi zrozumieć, w jaki sposób działa mechanizm uwagi systemu.

Wyuczony graf jest modelowany konkretnie jako „ważony graf oddziaływań”, aby reprezentować międzymodalną zależność ludzkich emocji. Każdy węzeł w grafie reprezentuje poszczególne modalności, a siła oddziaływań związanych z ludzkimi emocjami jest reprezentowana przez wagi w formie α_ji na krawędziach, które je łączą. Powyższy graf ważony ilustruje intensywność ludzkich oddziaływań emocjonalnych. Definicja i oraz j jest następująca:

   (23)

Dzięki tym wagom grubość linii lub przezroczystość wizualizacji grafu jest odpowiednio wyświetlana. Ułatwia to zrozumienie interakcji między modalnościami. Projektant może lepiej zrozumieć, w jaki sposób wskaźniki emocjonalne oddziałują na siebie podczas procesu fuzji, korzystając z grafów interakcji między-modalnych.

Złączone osadzenia emocji  w różnych krokach czasowych są redukowane do przestrzeni o niższej wymiarowości za pomocą algorytmu redukcji wymiarowości, takiego jak PCA lub t-SNE, w celu przedstawienia ewolucji emocji w czasie:

   (24)

gdzie funkcja projekcji jest przedstawiona przez . Pojawienie się trajektorii emocjonalnych 2D/3D, które obrazują przejścia, intensywności i stabilność emocji w interakcjach, można interpretować jako intuicyjny opis ewolucji stanów emocjonalnych w czasie. Aspekty te mogą być wykorzystane w inteligentnej interakcji, podejmowaniu decyzji oraz monitorowaniu w czasie rzeczywistym.

W przeciwieństwie do konwencjonalnych systemów rozpoznawania emocji, które jedynie przypisują dane do konkretnych klas lub punktacji, system ten koncentruje się na demonstrowaniu sposobu formowania się emocji ludzkich w jego obrębie. Ujawnia on proces podejmowania decyzji poprzez oferowanie wizualizacji cech pośrednich, w tym czynników wagowych, interakcji między modelami oraz odpowiadających im ścieżek. Pozwala to użytkownikowi zrozumieć, w jaki sposób każdy czynnik – wizualny, wokalny lub lingwistyczny – wpływa na generowanie odpowiedzi na emocje ludzkie.

Mapowanie emocji na zrozumiałe formy poprzez reprezentacje wizualne może zatem wypełnić lukę między analizą emocji z wykorzystaniem metod głębokiego uczenia a ich integracją w projektowaniu inteligentnych interfejsów. Dane zebrane z obu podejść mogą być następnie wykorzystane do tworzenia bardziej precyzyjnych interfejsów użytkownika. W ten sposób sugerowane podejście może dostarczyć projektantom interakcji kluczowych informacji niezbędnych do stworzenia bardziej precyzyjnych interfejsów użytkownika. Innymi słowy, zrozumienie emocji staje się aktywną częścią projektowania interakcji. Dokładność może wzrosnąć tylko wtedy, gdy zrozumienie emocji zostanie aktywnie włączone do procesu projektowania interakcji.

Moduł mapowania wizualnego umożliwia wyjaśnialność na kilka wzajemnie powiązanych, lecz odmiennych sposobów: wyjaśnialność na poziomie cech ujawnia podstawowe reprezentacje emocji utworzone przez DNN, co pozwala zrozumieć semantykę wykorzystywaną do opisu każdej cechy związanej z emocjami; wyjaśnialność na poziomie modalności wykorzystuje dane z grafów interakcji oraz map ciepła uwagi wizualnej do opisu tego, w jaki sposób każda modalność – wizualna, audio lub tekstowa – przyczynia się do decyzji podejmowanych przy wyrażaniu emocji; wreszcie trajektorie wynikające z osadzania emocji pozwalają zrozumieć, jak każda modalność wizualna i tekstowa zmienia się w czasie z perspektywy dynamicznej interakcji. Prosimy zapoznać się z Algorytmem 2 (Supplementary File 1).

Zintegrowane multimodalne cechy emocjonalne są mapowane na istotne wizualnie reprezentacje w celu projektowania inteligentnych interakcji, przy użyciu sugerowanego algorytmu mapowania wizualnego Algorytm 2. Wagom uwagi multimodalnej opartej na grafach służy kwantyfikacja różnic między wejściowymi elementami wizualnymi, dźwiękowymi i tekstowymi w każdym kroku czasowym. Różnice te są następnie mapowane na reprezentacje wizualne, aby za pomocą elementów map ciepła (heatmap) wyróżnić główne źródła wpływające na emocje. Aby zapewnić przejrzysty wgląd w interakcję między elementami wejściowymi i przekazać ewolucję emocjonalną generowaną przez multimodalne elementy wejściowe, obliczane są następnie parami siły interakcji w celu utworzenia wag interakcji multimodalnej. Jednocześnie widok ewolucji emocjonalnej jest tworzony poprzez mapowanie zintegrowanych elementów emocjonalnych gromadzonych w czasie do przestrzeni niskowymiarowej, co pozwala uzyskać ciągłą ewolucję elementów emocjonalnych.

Przewidywanie emocji i informacja zwrotna w interakcji

Wynik zfuzowanej reprezentacji emocji, przedstawiony jako , jest następnie wykorzystywany jako funkcja zarówno dla informacji zwrotnej z interakcji, jak i dla predykcji emocji. Ponadto predykcja emocji jest opisana jako model wielozadaniowy składający się z zadania regresji dla rozpoznawania ciągłej intensywności emocji oraz zadania klasyfikacji dla rozpoznawania dyskretnych emocji. Do rozpoznawania dyskretnych emocji zastosowano następujący model klasyfikacji oparty na funkcji softmax:

   (25)

gdzie  reprezentuje oczekiwane prawdopodobieństwa klas emocji, a W_c  oraz b_c są parametrami ograniczającymi podlegającymi uczeniu. W celu poprawy celu klasyfikacji wykorzystano funkcję straty entropii krzyżowej:

  (26)

gdzie y_k jest etykietą referencyjną (ground-truth), a K to liczba klas emocji. Równolegle wykorzystywana jest gałąź regresyjna do szacowania intensywności emocji, generująca predykcję różnych ciągłych atrybutów afektywnych, w tym walencji i pobudzenia. Przyjmij następującą definicję:

   (27)

gdzie oczekiwana wartość intensywności emocji jest określona przez . W celu usprawnienia zadania regresji zastosowano funkcję straty średnio-kwadratowego błędu:

   (28)

Ogólnie rzecz biorąc, oba zadania są połączone w celu predykcyjnym:

   (29)

gdzie cele regresji i klasyfikacji są równoważone przez λ. Sugeruje to dynamiczną modyfikację modułu wizualizacji na podstawie zidentyfikowanego stanu emocjonalnego, aby umożliwić tego typu sprzężenie zwrotne uwzględniające interakcję. Kontekst interakcji w danym czasie t jest reprezentowany przez c_t. Odpowiedź modułu wizualizacji jest dostarczana przez:

    (30)

gdzie funkcja adaptacji wizualizacji jest przedstawiona przez . Pozwala to na dostosowywanie map ciepła modalności, grafów interakcji oraz trajektorii emocji w czasie rzeczywistym w oparciu o przewidywane zmiany i emocje. Wskazuje to, że system zapewnia istotne wsparcie dla informacji zwrotnej, poza wysoką skutecznością w przewidywaniu stanów emocjonalnych.

Wyniki

Niniejsza praca waliduje proponowany model mapowania wizualnego dla multimodalnych cech emocji pod kątem zarówno interpretowalności uwzględniającej interakcje, jak i wydajności predykcyjnej, z wykorzystaniem dwóch zbiorów danych referencyjnych: CH-SIMS oraz CMU-MOSEI. Zgodnie z wynikami eksperymentalnymi, sugerowane podejście konsekwentnie wykazuje lepsze działanie niż obecne techniki multimodalnego rozpoznawania emocji w szerokim zakresie metryk, w tym korelacji, dokładności, wyniku F1 oraz średniego błędu absolutnego (MAE). Rozdzielona reprezentacja emocji, graficzny mechanizm fuzji międzymodalnej oraz strategia uczenia głębokich reprezentacji end-to-end przyczyniają się do tej poprawy, umożliwiając bardziej stabilne i semantycznie spójne modelowanie emocji. Sugerowane podejście dostarcza bogatszych wglądów na poziomie cech poprzez mapowanie wizualne, co wykracza poza zyski ilościowe i ułatwia zrozumienie wkładu poszczególnych modalności oraz dynamiki emocjonalnej. Pomimo różnic w języku, ekspresji kulturowej i rozmiarze zbiorów danych, wspomniany wzrost wydajności jest konsekwentnie obserwowany w obu zbiorach, co dowodzi silnej zdolności generalizacji proponowanego modelu.

W proponowanej pracy wykorzystano publiczne zbiory danych do multimodalnych emocji CH-SIMS oraz CMU-MOSEI. Zbiór danych CH-SIMS składa się z 2 281 klipów wideo z filmów, seriali telewizyjnych i programów rozrywkowych. W zbiorze CH-SIMS dostępne są zsynchronizowane dane tekstowe, audio i wizualne. Etykiety sentymentu, zarówno unimodalne, jak i multimodalne, zostały podzielone na kategorie pozytywne, neutralne i negatywne. Duży angielski multimodalny zbiór danych znany jako CMU-MOSEI zawiera około 23 453 adnotowanych klipów wideo, w których występuje ponad 1 000 mówców omawiających szeroki zakres tematów. Zbiór ten zawiera zarówno ciągłe adnotacje intensywności emocji, takie jak walencja i pobudzenie, jak i kategoryczne etykiety emocji. Przeprowadzenie eksperymentów na tych dwóch zbiorach danych przy użyciu sugerowanego schematu, obejmującego różnorodne warunki lingwistyczne, kulturowe i emocjonalne, wzmacnia odporność i niezawodność wyników. Tabela 2 przedstawia szczegóły środowiska symulacyjnego.

Główne ustawienia eksperymentalne i implementacyjne wykorzystane do oceny sugerowanego modelu zostały podsumowane w tym środowisku symulacyjnym. Aby zapewnić jednolity wymiar cech w modalnościach tekstowej, audio i wizualnej, zastosowano jednolicie kodery oparte na transformatorach. Model wykorzystuje mechanizm uwagi oparty na grafie do fuzji międzymodalnej, co umożliwia adaptacyjną naukę zależności międzymodalnych w odniesieniu do stanów emocjonalnych.

Sugerowany schemat ekstrahuje reprezentacje tekstowe, słuchowe i wizualne przy użyciu enkoderów modalności opartych na transformatorach. Warstwy w pełni połączone z aktywacją ReLU rzutują osadzenia specyficzne dla danej modalności do wspólnej przestrzeni utajonej. Następnie wykorzystywane są osobne enakodery specyficzne dla emocji i modalności, z których każdy składa się z dwóch warstw w pełni połączonych oraz nieliniowej aktywacji i normalizacji, aby nauczyć się reprezentacji rozplątanych. Reprezentacje utajone są rzutowane do 256-wymiarowej przestrzeni cech, w której informacje dla każdej modalności i emocji są uczone oddzielnie. W celu zachowania informacji o modalności i promowania efektywnego rozplątania zastosowano dekodery rekonstrukcyjne. Przed fuzją multimodalną i predykcją, moduł uwagi między-modalnej oparty na grafach modeluje zależności emocjonalne między modalnościami przy użyciu reprezentacji utajonych. Sieć była trenowana przy użyciu optymalizatora Adam z początkową prędkością uczenia 1 × 10⁻⁴ i wielkością partii 32. Zastosowano wczesne zatrzymanie (early stopping) na podstawie straty walidacyjnej, aby zapobiec przeuczeniu. Całkowita funkcja celu składała się ze strat klasyfikacji, rekonstrukcji i spójności reprezentacji, z których każda była ważona przez regulowane hiperparametry. Trenowanie modelu trwało do 100 epok, a model z najlepszymi wynikami na zbiorze walidacyjnym został zachowany do testów.

Zaproponowaną strukturę oceniono za pomocą metryk klasyfikacji, takich jak dokładność (Accuracy), precyzja (Precision), pełność (Recall) oraz wskaźnik F1 (F1-score), wraz z metrykami regresji, takimi jak średni błąd bezwzględny (MAE). Precyzję, pełność i wskaźnik F1 obliczono przy użyciu uśredniania makro, aby uwzględnić niezrównoważenie klas w kategoriach emocji. W eksperymentach klasyfikacyjnych jako klasy wzorcowe (ground-truth) wykorzystano zdefiniowane etykiety emocji/sentymentu dostarczone przez zbiory danych CH-SIMS i CMU-MOSEI. W przypadku predykcji sentymentu opartej na regresji, zmiennymi docelowymi były ciągłe wyniki intensywności sentymentu ze zbiorów danych. Wygenerowano macierze pomyłek, aby przeanalizować wydajność predykcji dla poszczególnych klas oraz wzorce błędnej klasyfikacji przy przedziale ufności wynoszącym 95%. Aby zapewnić powtarzalność, każdy eksperyment powtórzono 5 razy, stosując różne losowe inicjalizacje, a raportowane wyniki odpowiadają średniej ±± odchyleniu standardowemu wydajności ze wszystkich uruchomień. Istotność statystyczną oceniano za pomocą odpowiednich procedur testowania hipotez, a w stosownych przypadkach obliczono przedziały ufności. Czas trenowania mierzono jako całkowity czas upływowy wymagany do zbieżności modelu na określonej platformie sprzętowej.

Zaproponowaną metodę można porównać z szeregiem reprezentatywnych modeli bazowych, w tym z modelami wczesnej i późnej fuzji. Są to między innymi TFN, metody oparte na LSTM, modele niskorzędowej fuzji multimodalnej, adaptacyjne transformery multimodalne oraz nowe architektury oparte na mechanizmie uwagi międzymodalnej. Modele bazowe te odzwierciedlają najnowocześniejsze techniki, które koncentrują się przede wszystkim na poprawie dokładności rozpoznawania emocji poprzez różne metody fuzji. W przeciwieństwie do tych metod, które skupiają się głównie na predykcji na poziomie wyjściowym, zaproponowany szkielet wykorzystujący naukę reprezentacji rozplątanych oraz fuzję opartą na grafach poprawia interpretowalność i świadomość interakcji. Przykładami modeli bazowych zaimplementowanych przy użyciu ich oficjalnych repozytoriów lub publicznie dostępnych implementacji referencyjnych są LSTM Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph oraz techniki oparte na transformerach. W przypadku ich dostępności zastosowano oryginalne ustawienia hiperparametrów autorów. Wszystkie ponownie wytrenowane modele bazowe zostały ocenione przy użyciu tych samych podziałów zbioru danych, technik preprocessingu, parametrów optymalizacji i kryteriów ewaluacji, aby zapewnić rzetelne porównanie. Tabele porównawcze jasno wskazują odpowiednie referencje dla danych pochodzących bezpośrednio z wcześniejszych publikacji.

Dokładność

Dokładność klasyfikacji dyskretnych emocji została zmierzona zarówno dla zbioru CH-SIMS, jak i CMU-MOSEI; jednak trend dokładności różni się w zależności od charakterystyki tych dwóch zbiorów danych. Ponieważ CH-SIMS jest zbiorem średniej wielkości z równą liczbą kategorii sentymentu i starannie przetworzonymi klipami wideo, jego dokładność jest wysoka, co sugeruje, że model potrafi uchwycić subtelne multimodalne informacje emocjonalne przy niewielkim poziomie szumów. Jednak dokładna klasyfikacja emocji jest wyzwaniem w przypadku CMU-MOSEI, który jest wielkoskalowym zbiorem danych obejmującym mówców z różnych środowisk. Zatem, oprócz zdolności modelu do identyfikacji sentymentu, dokładność w zbiorze danych CMU-MOSEI wskazuje na jego zdolność do generalizacji i odporność na różnorodne scenariusze interakcji. Poprawa dokładności w obu zbiorach danych pokazuje, że sugerowane podejście dobrze generalizuje się w odniesieniu do zbiorów danych o różnych językach, rozmiarach i poziomach złożoności emocjonalnej.

Dokładność klasyfikacji sugerowanego podejścia oraz innych popularnych metod bazowych dla zbiorów danych CH-SIMS i CMU-MOSEI przedstawiono w Tabeli 3. Jak wynika z Tabeli 3, zaproponowany model osiągnął najwyższą dokładność w obu zbiorach danych, CH-SIMS i CMU-MOSEI, przewyższając najsilniejszą metodę bazową (Adaptive-Graph) odpowiednio o około 3,3% i 3,1 punktu procentowego. Niższe wartości odchylenia standardowego wskazują również na większą stabilność w powtarzalnych próbach doświadczalnych. Tradycyjne podejścia oparte na fuzji LSTM wykazują niższą dokładność ze względu na ograniczoną zdolność do uchwycenia złożonych relacji międzymodalnych. TFN i LMF poprawiają dokładność klasyfikacji poprzez modelowanie relacji międzymodalnych.

Wskaźnik F1 (F1-Score)

W problemach klasyfikacji emocji równowaga między czułością (recall) a precyzją (precision) jest mierzona za pomocą wskaźnika F1-score. Jest on zatem bardziej odpowiedni dla multimodalnych zbiorów danych do klasyfikacji emocji, które prawdopodobnie charakteryzują się nierówną licznością klas. W zadaniach klasyfikacji emocji równowagę między czułością a precyzją mierzy się za pomocą F1-score. Ponieważ oczekuje się, że multimodalne zbiory danych do klasyfikacji emocji będą niezbalansowane, wskaźnik F1-score jest bardziej właściwy. Im lepiej model wykrywa klasy emocji, tym wyższy jest wynik F1-score.

Rysunek 3 przedstawia ocenę wyniku F1 zaproponowanej techniki w porównaniu z metodami bazowymi na zbiorze danych CH-SIMS. Najniższy wynik F1 ujawnia ograniczone zdolności modelu bazowego opartego na LSTM do modelowania złożonych, multimodalnych relacji emocjonalnych. Wyniki F1 uzyskane przez oceniające techniki na zbiorze CH-SIMS zestawiono na Rysunku 3. Jak wykazano, bardziej zaawansowane struktury oparte na grafach i transformatorach rutynowo przewyższają konwencjonalne metody oparte na fuzji. Model LSTM uzyskał najniższy wynik F1 wynoszący 0,71, a następnie TFN (0,74) oraz LMF (0,76). Wynik F1 wzrósł do 0,79 przy zastosowaniu Adaptive-Graph, co dowodzi wartości modelowania powiązań międzymodalnych. Zaproponowany model, z wynikiem F1 równym 0,82, przewyższył Adaptive-Graph o 3,8%, LMF o 7,9%, TFN o 10,8% oraz LSTM o 15,5%. Wyniki te pokazują, że zaproponowany mechanizm uwagi międzymodalnej oparty na grafach oraz uczenie rozplątanych reprezentacji skuteczniej przechwytują komplementarne informacje emocjonalne z modalności tekstowej, audio i wizualnej, co prowadzi do lepszej wydajności klasyfikacji.

Względne tendencje są spójne, mimo że wszystkie metody wykazują niewielki spadek wyniku F1 w porównaniu z CH-SIMS, co przedstawiono na Rysunku 4. Wyniki wykazują stałą poprawę wydajności – od tradycyjnych metod fuzji po strategie multimodalnego uczenia opartego na grafach. Modele z najniższym wynikiem F1 to LSTM (0,69), TFN (0,72) oraz LMF (0,74). Wydajność modelu Adaptive-Graph wzrosła do 0,77, co pokazuje, jak skutecznie można modelować połączenia międzymodalne. Zaproponowana struktura przewyższyła wszystkie pozostałe podejścia, osiągając najwyższy wynik F1 wynoszący 0,80. Poprawa względem najsilniejszego modelu bazowego, Adaptive-Graph, dowodzi wkładu zaproponowanego uczenia rozplątanej reprezentacji emocji oraz grafowego mechanizmu uwagi międzymodalnej w wychwytywanie komplementarnych wskazówek emocjonalnych w modalnościach tekstowej, akustycznej i wizualnej. Wyniki te wskazują, że zaproponowana struktura rozpoznawania emocji multimodalnych jest niezawodna i efektywna. Zaproponowane podejście wykazuje znaczną poprawę zarówno w stosunku do metody opartej na grafach, jak i konwencjonalnej metody fuzji, co dodatkowo potwierdza silną zdolność generalizacji tej metody. Poprawa wyniku F1 w zbiorze danych CMU-MOSEI dowodzi, że proponowane podejście pozwala osiągnąć zrównoważoną wydajność klasyfikacji emocji nawet w szumiących i zróżnicowanych środowiskach.

Precyzja

W inteligentnych systemach komunikacyjnych precyzja jest kluczowa, ponieważ błędny sygnał emocjonalny może pogorszyć doświadczenia użytkownika. Precyzję definiuje się jako stosunek liczby poprawnie przewidzianych przypadków konkretnej emocji do całkowitej liczby przypadków zaklasyfikowanych jako ta emocja. Ponieważ rozplątane reprezentacje emocji charakteryzują się mniejszym poziomem szumów i są mniej podatne na błędną klasyfikację w danej modalności, zaproponowany model osiąga lepsze wyniki niż modele bazowe na zbiorze danych CH-SIMS przedstawionym na Rysunku 5.

Na Rysunku 5 zestawiono dokładność kilku multimodalnych technik rozpoznawania emocji na zbiorach danych CH-SIMS i CMU-MOSEI. Wraz z przejściem od tradycyjnych technik opartych na fuzji do bardziej zaawansowanych architektur opartych na grafach, precyzja sukcesywnie rośnie. Zaproponowana struktura osiągnęła maksymalną precyzję na poziomie 0,82 na zbiorze danych CH-SIMS, przy czym precyzja wzrosła z 0,71 dla LSTM do 0,74, 0,76 i 0,79 odpowiednio dla TFN, LMF i Adaptive-Graph. Na zbiorze danych CMU-MOSEI precyzja wzrosła z 0,69 dla LSTM do 0,72, 0,74 i 0,77 odpowiednio dla TFN, LMF i Adaptive-Graph. Zaproponowane podejście osiągnęło najwyższą precyzję wynoszącą 0,80. W porównaniu z najsilniejszym modelem bazowym (Adaptive-Graph), zaproponowana struktura zwiększyła precyzję o około 3,8% dla CH-SIMS i 3,9% dla CMU-MOSEI. Wyniki te pokazują, że dzięki przechwytywaniu uzupełniających informacji emocjonalnych w modalnościach tekstowej, akustycznej i wizualnej, zaproponowane uczenie rozplątanych reprezentacji oraz mechanizm uwagi między-modalnej oparty na grafach skutecznie redukują liczbę fałszywie dodatnich predykcji. Wpływ nieistotnej modalności jest dodatkowo łagodzony przez między-modalną uwagę opartą na grafach. Większa różnorodność mówców i ekspresji lingwistycznych w korpusie CMU-MOSEI powoduje niewielki spadek precyzji we wszystkich modelach.

Przypomnienie

W zadaniach rozpoznawania emocji kluczowe znaczenie ma czułość (recall) – miara zdolności modelu do właściwego kategoryzowania instancji emocjonalnych należących do określonej klasy – ponieważ brak informacji emocjonalnych może negatywnie wpływać na jakość interakcji. Wyższa wartość czułości sugeruje, że model identyfikuje mniej wyników fałszywie ujemnych, a więcej rzeczywistych ekspresji emocjonalnych. Czułość można uznać za miarę efektywności, z jaką informacje emocjonalne są wydobywane z modalności tekstowej, audio i wizualnej w kontekście multimodalnej analizy emocji.

Przewaga proponowanej techniki nad podejściami bazowymi w zbiorach danych CH-SIMS i CMU-MOSEI została przedstawiona w porównaniu czułości (recall) na Rysunku 6. W miarę ewolucji modeli od konwencjonalnych metod opartych na fuzji do bardziej wyrafinowanych multimodalnych struktur opartych na grafach, wyniki konsekwentnie wykazują wzrost czułości. Czułość w zbiorze danych CH-SIMS wzrosła z 0,70 dla LSTM do 0,73, 0,75 i 0,78 odpowiednio dla TFN, LMF i Adaptive-Graph; maksymalną czułość na poziomie 0,82 osiągnięto dzięki proponowanemu frameworkowi. Proponowane podejście osiągnęło najlepszą czułość wynoszącą 0,80 w zbiorze danych CMU-MOSEI, gdzie czułość wzrosła z 0,68 dla LSTM do 0,71, 0,73 i 0,76 odpowiednio dla TFN, LMF i Adaptive-Graph. Proponowany framework przyniósł względne ulepszenia rzędu około 5,1% dla CH-SIMS i 5,3% dla CMU-MOSEI w porównaniu do najsilniejszego modelu bazowego (Adaptive-Graph). Wyniki te pokazują, że dzięki wychwytywaniu komplementarnych wskazówek emocjonalnych w modalnościach tekstowej, akustycznej i wizualnej, proponowane uczenie rozdzielonych reprezentacji (disentangled representation learning) oraz mechanizm uwagi między-modalnej oparty na grafach skutecznie redukują liczbę fałszywie ujemnych predykcji, poprawiając tym samym identyfikację klas emocji w obu zbiorach danych. Ponieważ tradycyjne metody mają ograniczoną zdolność modelowania złożonych relacji między-modalnych, mają one tendencję do niższych wartości czułości. Dzięki bardziej jawnemu modelowaniu relacji między modalnościami, TFN i LMF osiągają umiarkowane zyski. Metoda Adaptive-Graph, symulując ustrukturyzowane relacje między modalnościami, dodatkowo poprawiła czułość. W obu zbiorach danych proponowana metoda osiąga najwyższą czułość, co wskazuje na jej lepszą zdolność do wykrywania instancji emocjonalnych w różnych scenariuszach interakcji. Poprawa jest bardziej widoczna w szerokoskalowym zbiorze danych CMU-MOSEI, co demonstruje odporność i zdolność do generalizacji proponowanego frameworka.

Średni błąd bezwzględny (MAE)

Średni błąd bezwzględny (MAE) jest wykorzystywany do oceny wydajności zadań przewidywania ciągłej intensywności emocji, takich jak przewidywanie walencji lub pobudzenia. W przeciwieństwie do dokładności, MAE lepiej odzwierciedla bliskość przewidywanej intensywności emocjonalnej względem rzeczywistego stanu emocjonalnego. Z tego powodu MAE jest bardziej odpowiedni dla zbiorów danych takich jak CH-SIMS i CMU-MOSEI, które posiadają ciągłe etykiety afektywne. Niższa wartość MAE wskazuje na większą dokładność w przewidywaniu intensywności emocji.

Porównanie MAE między proponowanym modelem a podejściami bazowymi na zbiorach danych CH-SIMS i CMU-MOSEI przedstawiono w Tabeli 4. Tradycyjne metody fuzji oparte na LSTM wykazują tendencję do wyższych wartości MAE ze względu na ograniczoną zdolność do modelowania złożonych multimodalnych zależności emocjonalnych. Modele TFN i LMF potrafią zredukować MAE poprzez modelowanie interakcji multimodalnych, a podejście Adaptive-Graph dodatkowo obniża ten wskaźnik dzięki uczeniu relacji w grafach modalności. Proponowany model osiąga najniższe MAE dla obu zbiorów danych, co wskazuje na dokładniejszą estymację intensywności emocji. Warto zauważyć, że poprawa jest bardziej znacząca w przypadku zbioru danych CMU-MOSEI, gdzie duża zmienność danych oraz warunki dotyczące mówców sprawiają, że zadanie predykcji jest bardziej wymagające.

Macierz pomyłek dla zbioru danych CH-SIMS

Bazowe metody wczesnej fuzji LSTM oraz TFN wykazują znaczną pomyłkę między klasami emocji neutralnych i pozytywnych, co wynika z macierzy pomyłek dla zbioru danych CH-SIMS. Sugeruje to, że metody te nie radzą sobie dobrze z identyfikacją subtelnych multimodalnych ekspresji emocjonalnych. Z drugiej strony, proponowana metoda wyraźnie wykazuje silną dominację przekątnej przy bardzo niewielkiej liczbie elementów poza przekątną, co poprawia rozdzielność klas. Mechanizm rozplątanego uczenia się emocji zastosowany w proponowanej metodzie zapewnia spójną reprezentację emocji w różnych modalnościach, a podejście oparte na fuzji grafów poprawia rozróżnianie między blisko powiązanymi klasami sentymentu. Rysunek 7A–E przedstawia macierz pomyłek dla zbioru danych CH-SIMS z zastosowaniem różnych metod bazowych.

Macierz pomyłek dla zbioru danych CMU-MOSEI

Sugerowany model wykorzystuje niezależne od modalności osadzenia emocji oraz adaptacyjne wagi uwagi, aby znacząco zredukować wskaźnik błędnej klasyfikacji, szczególnie w przypadku wejść niejednoznacznych emocjonalnie. Potwierdza to, że proponowany model sprawdza się w wielu wielkoskalowych scenariuszach interakcji multimodalnych. Ze względu na rozmiar zbioru danych, zróżnicowanie mówców oraz ciągły charakter etykiet sentymentu, macierze pomyłek dla zbioru CMU-MOSEI wykazują wyższy ogólny wskaźnik błędnej klasyfikacji. Metody bazowe wykazują znaczny stopień pomyłek pomiędzy różnymi kategoriami emocji. Rysunek 8A–E przedstawia macierz pomyłek dla zbioru danych CMU-MOSEI z zastosowaniem różnych metod bazowych.

Czas trenowania na epokę

Kompromisy obliczeniowe zaawansowanych technik fuzji multimodalnej zostaną uwydatnione poprzez porównanie czasu trenowania na jedną epokę. Ze względu na zastosowanie koderów transformera oraz mechanizmów uwagi grafowej (graph attention mechanisms), sugerowany model wymaga nieco więcej czasu trenowania niż proste podejścia do fuzji, jednak ten wzrost nie jest niedoпустиwalny. Zaproponowana struktura wykazała wysoką skuteczność na benchmarkowych zbiorach danych do multimodalnej analizy emocji i wykazuje potencjał do integracji z inteligentnymi systemami interakcji człowiek-maszyna. Jednakże w niniejszym badaniu nie oceniono przydatności do wdrożenia w czasie rzeczywistym, co wymaga dalszych badań poprzez analizy opóźnień, przepustowości, pamięci oraz samego wdrożenia. Warto zauważyć, że poprawiona stabilność zbieżności oraz lepsza wydajność predykcyjna i interpretowalność sprawiają, że dodatkowy koszt obliczeniowy jest uzasadniony. Rysunek 9 przedstawia wyniki czasu trenowania na jedną epokę dla proponowanej metody.

Badanie ablacyjne

W celu określenia wpływu każdego istotnego elementu w zaproponowanej strukturze, takiego jak moduł mapowania wizualnego, graficzna fuzja międzymodalna oraz rozplątana reprezentacja emocji, przeprowadzono badanie ablacyjne. Aby zrozumieć ten wpływ, poszczególne elementy usuwano pojedynczo. Wyniki eksperymentalne wskazują, że strategia fuzji grafowej usprawnia modelowanie zależności międzymodalnych, a wkład rozplątanej reprezentacji emocji jest najważniejszy dla stabilności wydajności. Pomocnicza rola modułu mapowania wizualnego została potwierdzona przez niewielki wpływ jego usunięcia na wyniki. Wyniki badania ablacyjnego przy tych samych warunkach uczenia i ewaluacji przedstawiono w Tabeli 5. Największy spadek wydajności zaobserwowano po usunięciu modułu graficznej uwagi międzymodalnej, co obniżyło dokładność z 81,72% do 77,88% oraz wynik F1-score z 0,823 do 0,776. Podkreśla to znaczenie modelowania złożonych interakcji międzymodalnych. Rola modułu uczenia reprezentacji rozplątanej w tworzeniu odpornych reprezentacji specyficznych dla emocji została wykazana przez fakt, że jego usunięcie zmniejszyło dokładność o 2,78 punktu procentowego, a F1-score o 0,032. Główną zaletą modułu mapowania wizualnego jest interpretowalność, a nie dokładność klasyfikacji, co potwierdza nieco mniejszy spadek wydajności predykcji po jego usunięciu. Konfiguracja Basic Fusion wykazała najgorsze wyniki, co dowodzi, że najwyższa wydajność multimodalnego rozpoznawania emocji wymaga wspólnego oddziaływania wszystkich zaproponowanych modułów.

DOSTĘPNOŚĆ DANYCH:

Zbiory danych wykorzystane w niniejszym badaniu są publicznie dostępnymi zbiorami referencyjnymi. Zbiór danych CMU-MOSEI został udostępniony przez Carnegie Mellon University Multimodal SDK i opisany w pracy Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), a dostęp do niego jest możliwy pod adresem https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Zbiór danych CH-SIMS opisano w pracy Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) i jest on publicznie dostępny poprzez zasoby udostępnione przez autorów, w tym https://github.com/thuiar/MMSA. Wszystkie eksperymenty przeprowadzono z wykorzystaniem oficjalnych wersji tych zbiorów danych. Surowe dane wyekstrahowane, przetworzone pliki danych, wyniki wstępnego przetwarzania, partycje treningowe/walidacyjne/testowe, wyprowadzone reprezentacje cech oraz szczegóły implementacji wspierające wyniki niniejszego badania są publicznie dostępne w repozytorium Zenodo pod adresem https://doi.org/10.5281/zenodo.21124921.

Rycina 1: Schemat proponowanego frameworka wizualnego mapowania multimodalnych cech emocjonalnych. Ilustracja koncepcyjna ogólnej architektury, przedstawiająca ekstrakcję cech multimodalnych, uczenie reprezentacji rozplątanej (disentangled representation learning), fuzję uwagi międzywalidacyjnej opartą na grafach oraz komponenty mapowania wizualnego dla interpretowalnej multimodalnej analizy emocji. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 2: Schematyczny diagram przepływu proponowanego protokołu obliczeniowego.
Koncepcyjna reprezentacja kompletnego potoku przetwarzania, obejmująca etapy pozyskiwania zbioru danych, wstępnego przetwarzania, ekstrakcji cech specyficznych dla danej modalności, fuzji multimodalnej, wizualizacji oraz predykcji emocji Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3: Porównanie wyników miary F1 dla zbioru danych CH-SIMS. Średnie wartości miary F1 uzyskane z pięciu niezależnych serii eksperymentalnych (n = 5) z zastosowaniem różnych wartości początkowych ziarna losującego. Słupki błędów reprezentują ±± jedno odchylenie standardowe (SD). Wyższe wartości miary F1 wskazują na lepszą wydajność klasyfikacji emocji. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Rysunek 4: Porównanie wyników miary F1 dla zbioru danych CMU-MOSEI. Średnie wartości miary F1 uzyskane z pięciu niezależnych serii eksperymentalnych (n = 5) przy użyciu różnych inicjalizacji ziarna losowego. Słupki błędów reprezentują ±± jedno odchylenie standardowe (SD), a odpowiadające im wartości średnia ±± SD są wyświetlane nad każdym punktem danych. Wyższe wartości miary F1 wskazują na lepszą wydajność klasyfikacji emocji. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 5: Porównanie precyzji na zbiorach danych CH-SIMS i CMU-MOSEI. Średnie wyniki precyzji uzyskane przez LSTM, TFN, LMF, Adaptive-Graph oraz proponowany framework w ramach pięciu niezależnych uruchomień eksperymentalnych (n = 5). Słupki błędów reprezentują ±± jedno odchylenie standardowe (SD) obliczone z powtórzeń z różnymi inicjalizacjami losowych ziarn. Proponowany framework osiąga najwyższą precyzję na obu zbiorach danych, wykazując lepszą dyskryminację klas emocji dzięki efektywnemu uczeniu cech multimodalnych i grafowej fuzji międzymodalnej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 6: Porównanie pełności (recall) dla zbiorów danych CH-SIMS i CMU-MOSEI. Średnie wyniki pełności uzyskane przez modele LSTM, TFN, LMF, Adaptive-Graph oraz proponowaną strukturę w pięciu niezależnych próbach eksperymentalnych (n = 5). Słupki błędów wskazują ±± jedno odchylenie standardowe (SD) obliczone na podstawie powtórzonych eksperymentów. Proponowana struktura konsekwentnie osiąga najwyższą pełność w obu zbiorach danych, co wskazuje na lepszą zdolność do przechwytywania multimodalnych informacji emocjonalnych i redukowania błędnych wyników negatywnych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 7: Macierz pomyłek dla zbioru danych CH-SIMS z zastosowaniem różnych metod bazowych. Wiersze odpowiadają rzeczywistym klasom emocji, a kolumny klasom przewidywanym. Wartości w komórkach reprezentują procent próbek znormalizowany względem każdej klasy rzeczywistej. Macierz pomyłek obliczono z wykorzystaniem wydzielonego zbioru testowego CH-SIMS. Wyższe wartości procentowe na przekątnej wskazują lepszą dokładność rozpoznawania dla odpowiadającej kategorii emocji. Macierze pomyłek dla (A) LSTM z wczesną fuzją, (B) TFN, (C) LMF, (D) Adaptive Graph oraz (E) proponowanej metody w zbiorze danych CH-SIMS. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 8: Macierz pomyłek dla zbioru danych CMU-MOSEI z zastosowaniem różnych metod bazowych. Wiersze reprezentują rzeczywiste etykiety emocji, a kolumny reprezentują etykiety przewidziane. Wartości przedstawiono jako procenty znormalizowane klasowo dla zbioru testowego CMU-MOSEI. Macierz ilustruje zarówno próbki zaklasyfikowane prawidłowo (wpisy na przekątnej), jak i pomyłki między kategoriami emocji (wpisy poza przekątną). Macierz pomyłek dla CMU-MOSEI (A) LSTM z wczesną fuzją, (B) TFN, (C) LMF, (D) graf adaptacyjny oraz (E) proponowana metoda dla zbioru danych CMU-MOSEI. Aby wyświetlić ten rysunek w większej wersji, kliknij tutaj.

Rycina 9. Porównanie czasu uczenia na epokę dla benchmarkowych multimodalnych zbiorów danych emocjonalnych.
Średni czas uczenia na epokę uzyskany z pięciu niezależnych uruchomień eksperymentalnych (n = 5) dla zbiorów danych CH-SIMS i CMU-MOSEI przy identycznych ustawieniach sprzętowych i programowych. Słupki błędów reprezentują ±± jedno odchylenie standardowe (SD) obliczone z powtórzonych eksperymentów z zastosowaniem różnych inicjalizacji ziarna losowego. Niższe wartości wskazują na wyższą wydajność obliczeniową, natomiast stabilne czasy uczenia pomiędzy uruchomieniami wskazują na lepszą powtarzalność i spójność uczenia. Proszę kliknąć tutaj, aby wyświetlić większą wersję tej ryciny.

Zestaw danych	Metody	Liczba próbek	Język	Etykiety emocji/sentymentu
CH-SIMS34	Wideo, Audio, Tekst	2 281 segmentów wideo	Chiński	Multimodalne i unimodalne etykiety sentymentu (negatywny, neutralny, pozytywny)
CMU-MOSEI35	Wideo, Audio, Tekst	~23 453 adnotowanych klipów	Angielski	Etykiety sentymentu i intensywności emocji (ciągłe i kategoryczne)

Tabela 1: Opis zbiorów danych. Podsumowanie zbiorów danych wykorzystanych w niniejszym badaniu, modalności, liczby próbek, języka oraz etykiet emocji/sentymentu dla zbiorów danych CH-SIMS i CMU-MOSEI.

Komponent	Specyfikacja
Środowisko programistyczne	Python z PyTorch
Ekstraktor cech wizualnych	Vision Transformer (ViT)
Ekstraktor cech audio	Wav2Vec 2.0
Ekstraktor cech tekstu	RoBERTa
Strategia fuzji	Grafowa sieć uwagi międzymodalnej
Wymiar cechy	768 na każdą modalność
Optymalizator treningu	Adam
Szybkość uczenia	1,00E-04
Wielkość partii	16
Sprzęt	GPU NVIDIA (np. seria RTX)
Zbiory danych ewaluacyjnych	CH-SIMS, CMU-MOSEI
Wymiar latentny	2,56E+02
Wymiar osadzenia	768
Funkcja aktywacji	ReLU (liniowa jednostka prostowania)
Optymalizator	Adam
Szybkość uczenia	1,00E-04
Wielkość partii	32
Epoki	100
Wczesne zatrzymanie	Włączono
Funkcja straty	Klasyfikacja + Rekonstrukcja + Spójność

Tabela 2: Środowisko symulacji. Konfiguracja eksperymentalna i szczegóły implementacji środowiska symulacji, takie jak specyfika modelu, cechy, optymalizator oraz wykorzystany sprzęt.

Metoda	Dokładność CH-SIMS (%)	Dokładność CMU-MOSEI (%)
LSTM (fuzja wczesna/późna)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
Proponowana metoda	81.72 ± 0.61	79.94 ± 0.69

Tabela 3: Ocena dokładności proponowanej metody w porównaniu z technikami bazowymi na zbiorach danych CH-SIMS i CMU-MOSEIWyniki przedstawiono jako średnia ±± odchylenie standardowe uzyskany z pięć niezależnych serii doświadczalnych (n = 5) przy użyciu różnych inicjalizacji ziarna losowości. Wszystkie metody oceniono z wykorzystaniem identycznych podziałów zbiorów danych treningowych, walidacyjnych i testowych dla ich odpowiednich zestawów danych, aby zapewnić sprawiedliwe porównanie.

Metoda	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (wczesna/późna fuzja)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Proponowana metoda	0.298 ± 0.007	0.341 ± 0.008

Tabela 4: Wynik średniego błędu absolutnego. Wyniki przedstawiono jako średnia ±± odchylenie standardowe uzyskane z pięciu niezależnych serii eksperymentalnych (n = 5) przy zastosowaniu różnych inicjalizacji losowych. Wszystkie metody oceniono przy użyciu identycznych partycji treningowych, walidacyjnych i testowych w ich odpowiednich zbiorach danych, aby zapewnić rzetelne porównanie. Porównanie MAE dla ciągłej predykcji intensywności emocji z wykorzystaniem proponowanego frameworka oraz podejść bazowych w obu zbiorach danych.

Wariant modelu	Dokładność (%)	Wynik F1
Pełny model	81.72 ± 0.61	0.823 ± 0.008
Bez rozplatania (disentanglement)	78.94 ± 0.74	0.791 ± 0.010
Bez fuzji grafu	77.88 ± 0.81	0.776 ± 0.011
Bez mapowania wizualnego	80.11 ± 0.66	0.807 ± 0.009
Podstawowa fuzja	74.91 ± 0.98	0.742 ± 0.013

Tabela 5: Wyniki badania ablacyjnego z metodami bazowymi. Wyniki przedstawiono jako średnia ±± odchylenie standardowe uzyskane z pięciu niezależnych serii eksperymentalnych (n = 5) z zastosowaniem różnych inicjalizacji losowych ziarna. Wszystkie metody oceniano przy użyciu identycznych podziałów zbiorów treningowych, walidacyjnych i testowych dla ich odpowiednich zbiorów danych, aby zapewnić sprawiedliwe porównanie. Porównanie wydajności między wariantami modeli, wskazujące na skuteczność uczenia z rozplątanych reprezentacji, fuzji opartej na grafach oraz modułu mapowania wizualnego.

Plik uzupełniający 1: Algorytm 1 i Algorytm 2.Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Wyniki eksperymentalne wykazują, że w odniesieniu do zbiorów danych CH-SIMS i CMU-MOSEI proponowany framework mapowania wizualnego dla multimodalnych cech emocji przewyższa aktualne techniki multimodalnego rozpoznawania emocji. W porównaniu z modelami wczesnej i późnej fuzji, takimi jak EF-LSTM i TFN, proponowana technika osiąga wyższą dokładność oraz wartości F1 Score, co świadczy o jej odporności w przetwarzaniu zróżnicowanych informacji emocjonalnych. Poprawę działania tej metody można przypisać rozdzielonej reprezentacji emocji, która tłumi szum specyficzny dla danej modalności i zapewnia spójność emocjonalną pomiędzy modalnościami wizualną, audio i tekstową³⁶.

Niedawno multimodalne modele oparte na transformatorach, takie jak Adaptive Multimodal Transformers³⁷ oraz MIAR³⁸, wykazały imponujące wyniki w modelowaniu zależności międzymodalnych. Niemniej jednak modele te koncentrują się głównie na predykcji i nie posiadają mechanizmów wspierających interpretowalność na poziomie cech. W przeciwieństwie do nich, proponowany system łączy opartą na grafach uwagę międzymodalną z modułem mapowania wizualnego, co umożliwia przejrzystą analizę interakcji między modalnościami a emocjami. Jest to kluczowy aspekt, który obecnie pomijany jest w literaturze, w której wnioskowanie emocjonalne traktowane jest jako proces typu „czarna skrzynka”.

Zaproponowany model wykazał spójną wydajność w zestawach danych referencyjnych CH-SIMS i CMU-MOSEI. Chociaż model ten może znaleźć zastosowanie w inteligentnej interakcji człowiek-maszyna, monitorowaniu stanu zdrowia, adaptacyjnych środowiskach uczenia się oraz innych systemach rozpoznających emocje, w obecnym badaniu metodę oceniono wyłącznie w kontrolowanych warunkach referencyjnych. Nie przeprowadzono wdrożenia w rzeczywistych warunkach, oceny interfejsu użytkownika, badania użyteczności ani ewaluacji z udziałem ludzi. W związku z tym praktyczna skuteczność modelu w środowiskach operacyjnych wymaga dalszych badań. Przyszłe prace skupią się na ewaluacjach zorientowanych na wdrożenie, badaniach zorientowanych na użytkownika, analizie opóźnień, ocenie zużycia pamięci oraz wydajności interakcji w czasie rzeczywistym.

Co więcej, poprawa wyników w różnych zróżnicowanych kulturowo i językowo zbiorach danych potwierdza zasadność zaproponowanego modelu. W przeciwieństwie do wcześniejszych prac walidowanych na pojedynczym zbiorze danych lub w konkretnym scenariuszu interakcji, zaproponowany model wykazuje stabilną wydajność w odniesieniu do różnych języków, mówców i ekspresji emocjonalnych. W związku z tym zaproponowany model jest bardzo odpowiedni dla praktycznych inteligentnych systemów interakcyjnych, które wymagają dokładnego rozpoznawania emocji i interpretowalnego podejmowania decyzji.

Interpretowalność proponowanego modelu została oceniona poprzez analizę opartą na wizualizacji wyuczonych reprezentacji multimodalnych. W szczególności zbadano latentne osadzenia emocji, mapy uwagi między-modalnej, grafy interakcji modalności oraz czasowe trajektorie emocji, aby uzyskać wgląd w proces podejmowania decyzji przez model oraz wkład poszczególnych modalności. Celem modułu mapowania wizualnego jest zwiększenie przejrzystości poprzez umożliwienie obserwacji interakcji na poziomie cech oraz dynamiki emocjonalnej. Jednakże w niniejszej pracy nie uwzględniono formalnych metryk interpretowalności, ewaluacji wierności uwagi (attention-faithfulness) ani badań z udziałem użytkowników. W związku z tym zgłaszane korzyści w zakresie interpretowalności należy traktować jako dowody oparte na wizualizacji, a nie jako ilościowo zwalidowane miary wyjaśnialności.

Z teoretycznego punktu widzenia, niniejsze badanie wnosi następujące wkłady do wielomodalnego obliczeniowego analizowania afektu: proponuje systematyczny sposób modelowania emocji, który wyraźnie rozróżnia reprezentacje specyficzne dla emocji od reprezentacji specyficznych dla modalności. Poprzez zapewnienie spójności emocjonalnej między modalnościami w wspólnej przestrzeni latentnej, sugerowany framework rozwija teorię uczenia reprezentacji w systemach wielomodalnych. Włączenie mechanizmów uwagi opartych na grafach dodatkowo formalizuje zależności między różnymi modalnościami w wyrażaniu emocji.

Z praktycznego punktu widzenia proponowany model jest bardzo korzystny dla projektowania inteligentnych interakcji oraz interfejsów użytkownika uwzględniających emocje. Moduł mapowania wizualnego w proponowanym modelu pozwala projektantom systemów zrozumieć wpływ różnych modalności na przewidywanie emocji, co jest dla nich niezwykle istotne. Proponowany model znajduje szerokie zastosowanie w takich rozwiązaniach jak afektywne agenty konwersacyjne, adaptacyjne systemy uczenia się, interfejsy monitorowania zdrowia oraz platformy oceny doświadczeń użytkownika.

Zaproponowane ramy posiadają jednak pewne ograniczenia. Zastosowanie mechanizmów uwagi grafowej i koderów transformera zwiększa złożoność, co może być problematyczne w przypadku urządzeń o ograniczonych możliwościach. Ponadto w obecnym badaniu pominięto inne sygnały fizjologiczne, takie jak EEG i okulografia, koncentrując się na modalnościach wizualnej, dźwiękowej i tekstowej. Wydajność obliczeniowa sugerowanych ram pod kątem wdrożenia w czasie rzeczywistym nie została konkretnie oceniona, mimo że osiągnięto konkurencyjną skuteczność predykcji i poprawiono możliwości wizualizacji. Przyszłe badania przeanalizują wydajność wdrożenia w rzeczywistych kontekstach inteligentnej interakcji, opóźnienie wnioskowania, przepustowość, zużycie pamięci oraz techniki kompresji modeli. Aby dodatkowo poprawić dokładność modelowania emocji i responsywność interakcji, przyszłe badania skupią się na opracowaniu lekkich modeli, technik optymalizacji w czasie rzeczywistym oraz włączeniu dodatkowych modalności. Wydajność wdrożenia w czasie rzeczywistym nie została oceniona, a zastosowanie koderów transformera i metod uwagi opartych na grafach zwiększa złożoność obliczeniową. Do walidacji metodologii wykorzystano wyłącznie zbiory danych referencyjnych CH-SIMS i CMU-MOSEI, co może wprowadzać błędy specyficzne dla danych zbiorów i ograniczać możliwość generalizacji na inne domeny, języki i populacje użytkowników. Dodatkowo obecne badanie nie obejmuje sygnałów fizjologicznych, takich jak dane EEG czy okulograficzne; zamiast tego koncentruje się na modalnościach wizualnej, dźwiękowej i tekstowej. Chociaż szczegółowe opisy implementacji i środowiska symulacyjnego poprawiły powtarzalność, kod źródłowy i wstępnie wytrenowane modele nie są obecnie udostępnione publicznie.

W niniejszej pracy zastosowano nowatorski system mapowania wizualnego do multimodalnego uczenia cech emocjonalnych na potrzeby projektowania inteligentnych interakcji. Sugerowana metoda integruje end-to-end uczenie reprezentacji oparte na transformerach, rozdzielone modelowanie emocji oraz grafową uwagę między modalnościami, aby osiągnąć wysoką dokładność predykcyjną i interpretowalność. Eksperymenty na zbiorach danych CH-SIMS oraz CMU-MOSEI wykazują, że proponowany system przewyższa najnowocześniejsze modele multimodalnego rozpoznawania emocji pod względem dokładności oraz wyniku F1. Co ważniejsze, proponowane rozwiązanie mapowania wizualnego niweluje lukę między rozpoznawaniem emocji a strategią interakcji i wyznacza nowy kierunek w projektowaniu interpretowalnych, świadomych interakcji multimodalnych systemów obliczeń afektywnych.

W celu usprawnienia interpretowalnego i inteligentnego projektowania interakcji, w niniejszym badaniu wprowadzono nowatorski framework mapowania wizualnego do uczenia multimodalnych cech emocji. Zaproponowany system skutecznie integruje detekcję emocji i interpretowalność w ramach jednej architektury, łącząc ekstrakcję multimodalnych cech opartą na transformerach, uczenie rozdzielonych reprezentacji emocji, fuzję uwagi między-modalnej opartą na grafach oraz metody mapowania wizualnego. Poza zapewnieniem przejrzystych wizualizacji wkładu poszczególnych modalności, interakcji między-modalnych i temporalnej dynamiki emocji, ewaluacja eksperymentalna na zestawach danych referencyjnych CH-SIMS i CMU-MOSEI wykazała poprawę wydajności w stosunku do reprezentatywnych metod bazowych w kilku metrykach, w tym Accuracy, Precision, Recall, F1-score oraz Mean Absolute Error (MAE). Jednak badanie to, ograniczone do ewaluacji na dwóch zestawach danych referencyjnych, nie obejmuje studiów nad wdrożeniem w rzeczywistych warunkach, ocen zorientowanych na użytkownika, ilościowych analiz wyjaśnialności ani integracji modalności fizjologicznych. Ponadto środowiska o ograniczonych zasobach mogą napotkać trudności ze względu na koszt obliczeniowy enkoderów transformerów i procesów uwagi opartych na grafach. Chociaż przyszłe prace skupią się na szerszej walidacji na różnych zestawach danych, integracji dodatkowych modalności, badaniach użyteczności, udostępnieniu reprodukowalnych zasobów oraz optymalizacji pod kątem scenariuszy wdrożeń w czasie rzeczywistym, zaproponowany framework wykazuje ogólnie potencjał interpretowalnej multimodalnej analizy emocji dla obliczeń afektywnych i aplikacji inteligentnych interakcji.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Adam	Biblioteka optymalizatorów PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (Learning Rate = 1 × 10-4)	Optymalizacja parametrów podczas trenowania modelu
CH-SIMS	Oryginalne repozytorium zbioru danych	Najnowsza wersja publiczna	Zbiór danych referencyjnych do chińskiej multimodalnej analizy sentymentu/emocji
CMU-MOSEI	Repozytorium CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Najnowsza wersja publiczna)	Zbiór danych referencyjnych do multimodalnego rozpoznawania sentymentu i emocji
Disentangled Emotion Encoder	Własna implementacja	https://pytorch-geometric.readthedocs.io/en/latest/(Architektura Dual Encoder)	Separacja reprezentacji ukrytych specyficznych dla emocji oraz specyficznych dla modalności
Graph Attention Network (GAT)	PyTorch Geometric	Multi-head GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modelowanie między-modalnych relacji emocjonalnych i adaptacyjna fuzja cech
Graph-Based Cross-Modal Attention Layer	Własna implementacja	Multi-Head Attention Fusion	Uczenie szczegółowych zależności emocjonalnych pomiędzy modalnościami
Matplotlib	Projekt Matplotlib	3.7+	Generowanie wykresów i analityka wizualna
NetworkX	Projekt NetworkX	3.0+	Konstrukcja i wizualizacja grafów interakcji między-modalnych
NVIDIA GPU	NVIDIA Corporation	GPU z obsługą CUDA	Akceleracja trenowania transformatorów i grafowych sieci neuronowych
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	Wstępna redukcja wymiarowości wysokowymiarowych osadzeń emocji
Python	Python Software Foundation	3.8+	Podstawowy język programowania do implementacji frameworka multimodalnej analizy emocji
PyTorch	PyTorch Foundation	2.0+	Opracowywanie, trenowanie i optymalizacja głębokich sieci neuronowych
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, osadzenia 768-dim)	Ekstrakcja kontekstowych lingwistycznych i semantycznych reprezentacji emocji
Seaborn	Projekt Seaborn	0.12+	Generowanie map ciepła atencji i wizualizacji statystycznych
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (Perplexity = 30, Iterations = 1000)	Wizualizacja klastrów i trajektorii ukrytych emocji
Ubuntu Linux	Canonical Ubuntu	20.04 LTS lub nowsza	Środowisko wykonawcze eksperymentów
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, osadzenia 768-dim	Ekstrakcja wizualnych reprezentacji uwzględniających emocje z klatek wideo
Wav2Vec 2.0	Meta AI Research	Model bazowy, osadzenia 768-dim	Ekstrakcja kontekstowych akustycznych i mownych cech emocji