Modelowanie obliczeniowe afektywnego doświadczenia użytkownika z wykorzystaniem multimodalnych sygnałów fizjologicznych i behawioralnych

Summary

Protokół ten opisuje ramy obliczeniowe, które modelują afektywne doświadczenie użytkownika poprzez integrację sygnałów fizjologicznych i behawioralnych w sposób multimodalny, wykorzystując techniki uczenia cech opartych na korelacjach oraz fuzji multimodalnej. Protokół ten proponuje i testuje ramy do wielomodalnego modelowania afektywnego na zbiorze danych benchmark AMIGOS.

Abstract

Praca ta proponuje powtarzalny protokół obliczeniowy dla wielomodalnego modelowania afektywnego, który wykorzystuje sygnały fizjologiczne. Celem protokołu jest umożliwienie rozpoznawania emocji offline poprzez integrację wielu sygnałów biologicznych przy użyciu jednolitego ramowego systemu uczenia głębokiego. Proponowane prace składają się z pięciu etapów: zbierania danych, wstępnego przetwarzania, dopasowania cech, fuzji multimodalnej oraz ewaluacji. Sygnały EEG, EKG i GSR z publicznie dostępnych danych AMIGOS zostały wykorzystane jako baza eksperymentalna w tej pracy. Sygnały biologiczne były wstępnie przetwarzane i normalizowane, aby wyodrębnić cechy specyficzne dla modalności. Przestrzenie cech heterogenicznych zostały wyrównane między modalnościami za pomocą głębokiej analizy korelacji kanonicznych, a następnie zastosowano wielomodalną sieć fuzji do klasyfikacji stanu afektywnego. Protokół został oceniony za pomocą eksperymentów offline i porównany z konwencjonalnymi modelami fuzji i klasyfikacji przy użyciu standardowych wskaźników wydajności, takich jak dokładność, precyzja, przywołanie, F1-score oraz AUC. Niniejsze badanie koncentruje się na opracowaniu i walidacji ram obliczeniowych do multimodalnego modelowania afektywnego doświadczenia użytkownika, a nie na wdrażaniu interaktywnego systemu czasu rzeczywistego. Przy 92,1% dokładności w prognozowaniu stanu UX i 94,2% F1 w klasyfikacji walencji i pobudzenia, wyniki konsekwentnie przewyższały modele bazowe w wymiarach emocjonalnych. Wyniki te potwierdziły skuteczność proponowanego wielomodalnego procesu fuzji w modelowaniu afektywnym obliczeniowym poprzez porównanie danych fizjologicznych.

Introduction

Złożona interakcja myślenia, uczucia i działania kształtuje sposób, w jaki ludzie myślą i działają. Obliczenia afektywne to badanie tych relacji poprzez wykorzystanie interdyscyplinarnej wiedzy z neurobiologii, psychologii i sztucznej inteligencji do budowy systemów zdolnych do analizy, rozumienia i reagowania na ludzkie emocje. Ten obszar jest coraz częściej stosowany w komunikacji człowiek–technologia poprzez włączanie ekspresyjnej świadomości do responsywnych struktur AI, dzięki czemu technologia współgra nie tylko z warunkami intelektualnymi, ale także emocjonalnymi, co skutkuje bardziej indywidualną i świadomą emocji wiedzą użytkownika. Emocja, złożony proces umysłowy, jest odbiciem ludzkich percepcji i odgrywa istotną rolę w interakcjach międzyludzkich¹. Obecnie istnieje wiele zastosowań interakcji człowiek–komputer (HCI), które wymagają badań nad rozpoznawaniem emocji². Środowisko systemowe HCI jest dynamiczne i złożone. W większości przypadków musi zsynchronizować swoje funkcje z pozwanymi; Dlatego kontekst o inteligencji emocjonalnej może lepiej się dostosować do takiego środowiska. Dlatego w tym badaniu badane jest komputerowe modelowanie afektywnego doświadczenia użytkownika za pomocą multimodalnych sygnałów fizjologicznych i behawioralnych³. Zamiast rozwijać lub walidować system interaktywny w praktyce, praca ta jest bardziej skłonna do wkładu w metodologię związaną z multimodalną integracją sygnałów lub wnioskowania afektu w kontekstach zastosowań immersji lub ekspozycji. Aby powstrzymać się od szerokiego zakresu koncepcji, praca ta koncentruje się na dwóch głównych koncepcjach: implementacji multimodalnego modelu afektywnego z wykorzystaniem podejść obliczeniowych oraz technikach fuzji danych multimodalnych łączących dane fizjologiczne i behawioralne. Wszystkie inne tematy pojawiające się w rękopisie są cytowane dla kontekstu dotyczącego znaczenia opracowanych modeli.

Każda forma emocji przekazuje różne informacje o uczuciach danej osoby, których nie da się wyciągnąć z innego systemu sensorycznego. Wydobycie emocji z ruchu ciała, które obejmuje ogólny wzorzec ruchu ciała, ma zalety w identyfikacji niewerbalnych uczuć osoby⁴. Mowa i wygląd twarzy mogą przekazywać materiał niedostępny w ruchach ciała i sygnałach ciała ludzkiego. Ludzie wykorzystują różne modalności emocjonalne równolegle i w kombinacji. Każda z tych metod jest ograniczona i ma swoje zalety. Aby prawidłowo wykryć uczucie, metody multimodalnego rozpoznawania emocji mogą osiągać lepsze wyniki rozpoznawcze niż unimodalne rozpoznawanie emocji. Jednak w przypadku zmiany emocji sygnały mimiki, sygnały biologiczne/fizjologiczne oraz sygnały mowy mają tendencję do pojawiania się wcześniej niż inne sygnały. Dlatego detekcja emocji oparta na wizji komputerowej dotyczy głównie wyrazu emocji twarzy⁵.

Obliczenia afektywne zostały szeroko zbadane w interakcji dziecko-robot (CRI); Systemy świadome emocji zmieniają swoje reakcje w zależności od sygnałów fizjologicznych i behawioralnych użytkowników. Prace te ilustrują wykonalność biofizycznego odczuwania emocji oraz interakcji adaptacyjnej. Jednak w większości przypadków zaprojektowane systemy CRI nadają się tylko do kontekstów ustrukturyzowanych, zadaniowych i uczestników. W konsekwencji systemy CRI mają ograniczoną uniwersalność na dynamiczne, publiczne środowiska, takie jak interaktywne wystawy. Ich prace wskazują, że roboty świadome emocji są niezbędne do zwiększenia motywacji, a także zajmują się kwestiami takimi jak personalizacja. Zaangażowanie jest kluczowym elementem afektywnej interakcji dziecko z robotem, ponieważ emocjonalnie reaktywne roboty zapewniają bogatsze i skuteczniejsze doświadczenia edukacyjne. Autor⁶ przedstawia ramy do wykrywania zaangażowania użytkowników na podstawie cech zadań i interakcji społecznych. Dowodzą na podstawie swoich odkryć, że identyfikacja sygnałów afektywnych, w tym mimiki twarzy i zachowań społecznych, pozwala robotom dynamicznie dostosowywać swoje reakcje, aby zwiększyć interakcję i zaangażowanie użytkowników. Adaptacja afektywna w długoterminowym CRI to ciągłe wyzwanie. Autorzy w⁷ przedstawiają emocje dzieci w określonym czasie, podkreślając, że roboty muszą dostosować się do osobistych wzorców emocji i stylów uczenia się.

Osiągnął również wysoką wydajność EEG dzięki wysokiej rozdzielczości czasowej i wrażliwości na stany afektywne. Najnowsze prace ^8,9,10 wykorzystujące podejścia do głębokiego uczenia poprawiły odporność międzyprzedmiotową poprzez wprowadzenie modelowania przestrzenno-czasowego oraz mechanizmów uwagi opartych na grafach. Jednak większość badań pozostaje unimodalna, a tylko nieliczne uwzględniają interakcje percepcji i emocji na wielu kanałach sensorycznych; dlatego są mniej przydatne w scenariuszach immersyjnego UX 11,12,13. Model został oceniony na podstawie zestawu danych, który wykazał poprawę wydajności w porównaniu z obecnie najnowszymi technikami. Algorytm krytycznego wyboru zależnego od emocji został zaproponowany przez autorów w¹⁴ częściach, a następnie zbadano syłę, współczynnik klastrowania oraz centralność wektora własnego cech funkcjonalnej sieci łączności EEG. Autorzy w¹⁵ badali głęboką, prostą sieć jednostek rekurencyjnych, aby uzyskać cechy czasowe z sygnałów EEG, a wyniki eksperymentalne przewyższyły powiązane prace z literatury 16,17,18,19. Zebranie dużego zbioru danych sygnałów EEG jest prawie niemożliwe, ale można spróbować innych metod, takich jak podejście międzytematyczne.

Najnowsze badania^20,21 poczyniły znaczące postępy w wykorzystaniu niezwykle zaawansowanych algorytmów modelowania przestrzenno-czasowego do rozwiązania problemu klasyfikacji emocji międzytematycznej opartej na sygnałach EEG. Obejmuje to hybrydową sieć przestrzenno-czasową z ulepszoną adaptacją domeny oraz dynamiczną uwagą grafów do obsługi zmienności między podmiotami w klasyfikacji emocji na podstawie sygnałów^{EEG 22}. W szczególności, dzięki zastosowaniu mechanizmów modelowania czasowego i przestrzennego modelowania relacji mózgowych z dynamiczną uwagą, znacząco poprawiły wyniki klasyfikacji emocji niezależnej od podmiotu. Innym badaniem tego problemu jest izomorficzna sieć interakcji międzymózgowych²³. W tych badaniach większy nacisk kładzie się na modelowanie inwariantów przestrzenno-czasowych, aby znacząco zwiększyć odporność międzyosobową dla klasyfikacji emocji na podstawie sygnałów EEG. Chociaż te dwa badania skutecznie udokumentowały znakomite wyniki w klasyfikacji emocji wyłącznie sygnałów neuronowych, ograniczają się one do sygnałów monomodalnych i brakuje im badań nad wielomodalnymi interakcjami P-E. Przeciwnie, obecne badania rozwijają rozszerzone modele sygnałów unimodalnych poprzez wykorzystanie rozwiązań deep learning, które łączą wiele modalności P/E poprzez głębokie uczenie korelacji, oferując bogatsze rozwiązania do modelowania afektywnego UX.

Chociaż obecne badania, w tym projekt dotyczący ekspresyjnie świadomego interfejsu dziecko-robot z wykorzystaniem informacji biofizycznych, potwierdziły potencjał wykorzystania multimodalnych sygnałów fizjologicznych w celu poprawy rozpoznawania afektów, są one nadal ograniczone ograniczeniami domenowymi. W szczególności systemy te są w dużej mierze zoptymalizowane pod kątem uporządkowanej, zadaniowej interakcji z dziećmi i nie można ich uogólnić na bardziej złożone, dynamiczne środowiska, takie jak interaktywne wystawy. Ponadto stosowane techniki fuzji cech w badaniach bazowych nie są skalowalne i często opierają się na powierzchownych podejściach fuzji, które nie oddają skutecznie złożonej interakcji percepcji i emocji występującej w wielozmysłowych środowiskach UX. Ponadto artykuł bazowy nie wykorzystuje nowoczesnych technik głębokiego uczenia, które mogłyby wyrównać i łączyć wysokowymiarowe, multimodalne strumienie danych, takie jak EEG, mimika czy śledzenie oczu, pod różnymi bodźcami środowiskowymi. To ujawnia fundamentalną lukę w wiedzy w tworzeniu wysokowydajnego paradygmatu obliczeniowego, który nie tylko uwzględnia zróżnicowaną demografię odbiorców i konteksty bodźców, ale także rejestruje interakcję percepcja-emocja poprzez głęboką analizę korelacji kanonicznych (DCCA) oraz architektury multimodalnych sieci fuzji (MMFN). Zniwelowanie tej luki może znacząco wpłynąć na zrozumienie doświadczenia użytkownika (UX).

Głównym celem tych prac jest stworzenie systemu obliczeniowego, który ułatwia emocjonalnie adaptacyjne doświadczenie użytkownika w interaktywnych kontekstach wystaw poprzez multimodalne biofizyczne i behawioralne sensoryki. Opierając się na podstawowych zasadach modelowania emocji z badań nad interakcją dziecko-robot oraz obliczeń afektywnych, ramy te mają na celu modelowanie i rejestrowanie interakcji percepcji i emocji użytkownika na podstawie heterogenicznych sygnałów fizjologicznych i behawioralnych, takich jak EEG, EKG, EDA, mimika twarzy oraz śledzenie oczu. Poprzez integrację głębokiej analizy korelacji kanonicznych (DCCA) z multimodalną siecią fuzyjną (MMFN), system dąży do poznania wspólnych utajonych reprezentacji emocjonalnych między modalnościami i projekcji tych reprezentacji na stany afektywnego doświadczenia użytkownika (UX). Architektura ta ma za zadanie przezwyciężyć przeszkody płytkiej fuzji funkcji oraz modeli emocjonalnych ograniczonych wiekiem, wspierając kontekstowo wrażliwe wnioski emocjonalne oraz integrację wielozmysłową w dynamicznych, publicznych środowiskach. Wreszcie, praca ta ma na celu rozwój bardziej zaawansowanych, inteligentnych i wrażliwych systemów wystawienniczych, które reagują na rzeczywiste emocjonalne sprzężenia zwrotne i tryby interakcji użytkowników, a tym samym jeszcze bardziej zwiększają zaangażowanie, satysfakcję oraz poznawczo-emocjonalny rezonans w cyfrowych doświadczeniach kulturowych.

Artykuł ten wnosi wkład do literatury w następujący sposób: Ramy obliczeniowe do multimodalnego modelowania afektywnego, które uwzględniają zarówno dane fizjologiczne, jak i behawioralne. Podejście multimodalne fuzji, które ułatwia efektywną naukę percepcji i reprezentacji emocji z wielu źródeł danych. Proponowana praca wprowadza nowy paradygmat obliczeniowy mający na celu wzmocnienie afektywnego doświadczenia użytkownika (UX) poprzez oparte na AI multimodalne sensoryczne i modelowanie potoku integracji wielozmysłowej dotyczącej interakcji percepcji i emocji. Głównym wkładem jest połączenie DCCA z MMFN, co ułatwia silne dopasowanie cech i uczenie się reprezentacji na wysokim poziomie w różnych modalnościach, takich jak EEG, EKG, EDA, mimika i śledzenie oczu. Pozwala to modelować dokładną offline ewaluację percepcji sensorycznej ze stanami emocjonalnymi, takimi jak zainteresowanie, zaangażowanie, zaskoczenie czy nuda. Eksperymentalna walidacja za pomocą publicznie dostępnego zbioru danych AMIGOS pokazuje, że opracowany model DCCA+MMFN radzi sobie lepiej niż modele bazowe (np. 1D-CNN, CNN-ResNet i LSTM-CNN) ze średnią dokładnością klasyfikacji 89,4% dla stanów emocji walencyjnej i pobudzenia oraz 87,1% dla odrębnych klas emocji.

W przeciwieństwie do wcześniejszych badań, które stresowały uczestników, sytuacje skoncentrowane na zadaniach lub stosowały techniki fuzji cech na poziomie powierzchownym, proponowane podejście wprowadza ramy głębokiego uczenia specjalnie zaprojektowane do dynamicznych środowisk wystaw w rzeczywistym świecie. Dzięki integracji DCCA i MMFN praca ta dostarcza rozszerzalnej i odpornej na szum metody zdolnej do zrozumienia ciągłych zmian percepcji i emocji w heterogenicznych grupach użytkowników. To wyraźne połączenie wysokowymiarowych sygnałów fizjologicznych, behawioralnych i środowiskowych jest podstawową innowacją w modelowaniu afektywnego UX. Niniejszy artykuł przedstawia ramy oparte na AI do modelowania afektywnych doświadczeń użytkownika w interaktywnych wystawach z wykorzystaniem multimodalnego sensorycznego sensoryzmu i integracji multisensorycznej. Proponowane ramy zapewniają solidne dopasowanie i fuzję heterogenicznych metod, takich jak EEG, EKG, EDA, mimika twarzy i śledzenie oczu, łącząc DCCA z MMFN. W przeciwieństwie do wcześniejszych badań, które ograniczały się do środowisk skoncentrowanych na użytkowniku lub zadaniach, proponowane podejście wspiera ciągłe modelowanie percepcji i emocji w dynamicznych środowiskach publicznych, stanowiąc kluczowy krok naprzód w badaniach afektywnego UX.

Stworzenie systematycznego, powtarzalnego wielomodalnego podejścia obliczeniowego do modelowania afektu fizjologicznego, które metodycznie obsługuje heterogeniczne wyrównanie cech przed fuzją, jest główną nowością tej pracy. Sugerowane ramy wymuszają skorelowane uczenie reprezentacji w sygnałach EEG, EKG i GSR poprzez wprowadzenie pośredniego, międzymodalnego etapu utajonego wyrównania z użyciem DCCA, w przeciwieństwie do tradycyjnych badań multimodalnego rozpoznawania emocji, które opierają się na bezpośrednim łączeniu cech lub fuzji na poziomie decyzyjnym. Gwarantując spójność modalności przed klasyfikacją, to podejście oparte na wyrównaniu zwiększa uogólnialność i odporność na pomiędzy wymiarami afektywnymi. Wkład to proces zorientowany na benchmarki, end-to-end, który standaryzuje preprocessing, wyrównanie reprezentacji, fuzję multimodalną i ewaluację w ramach jednej architektury deep learning, umożliwiając powtarzalne i niezależne od zadania modelowanie emocji fizjologiczne, zamiast sugerować pojedynczą zmianę algorytmiczną. Proponowane ramy w tym badaniu są przedstawione jako wykonalność i koncepcyjne pokazanie multimodalnego modelowania afektywnego dla doświadczeń podobnych do wystaw. Zamiast próbować bezpośrednio modelować rzeczywiste wielosensoryczne środowiska wystawowe, zbiór danych AMIGOS służy jako punkt odniesienia do weryfikacji podejścia modelowania w kontrolowanym środowisku.

Protocol

Zbiór danych AMIGOS użyty w tym badaniu jest publicznie dostępny i został zebrany za zgodą instytucjonalnej komisji oraz świadomą zgodą, zgodnie z oryginalną publikacją. Badanie to obejmuje jedynie analizę wtórną zbioru danych i nie wymagało dodatkowej zgody etycznej.

Niniejsza metoda wykorzystuje podejścia do wyrównania cech i fuzji multimodalnej do przetwarzania danych fizjologicznych i behawioralnych multimodalnych, aby opisać korelacje percepcji i emocji. Niniejsze badanie proponuje model obliczeniowy afektywnego doświadczenia użytkownika (UX) w interaktywnych wystawach, wykorzystujący multimodalne biofizyczne sensory oraz modelowanie emocji oparte na AI. Na podstawie danych biofizycznych z artykułu bazowego, ta metodologia cyfryzuje modelowanie obliczeniowe stanów użytkowników na podstawie zsynchronizowanego EEG, EKG, EDA, śledźenia oczu, mimiki twarzy oraz danych środowiskowych. Termin "modelowanie przestrzenno-czasowe" w manuskrypcie odnosi się do przestrzennej wielokanałowej reprezentacji cech fizjologicznych oraz dopasowania korelacji międzymodalnych za pomocą DCCA. Temporalne: kodowanie sekwencyjne poprzez BiLSTM oraz zachowanie zależności czasowych w ramach segmentowanych okien. Te różnorodne sygnały są początkowo wstępnie przetwarzane i normalizowane, aby uwzględnić korelacje czasowe i przestrzenne między modalnościami. Wektory cech są niezależnie uczone dla każdej modalności, rejestrując wzorce związane z emocjami, takie jak podniecenie, uwaga i zaangażowanie. Aby skutecznie uczyć się na podstawie wspólnych reprezentacji emocjonalnych w różnych strumieniach danych, stosuje się DCCA. DCCA projektuje każdą modalność do utajonej wspólnej podprzestrzeni, gdzie cechy skorelowane są maksymalizowane, zachowując jednocześnie informacje specyficzne dla modalności dzięki zwiększonej relewancji międzymodalnej. Te utajone osadzenia wyrównane z modalnością są następnie przekazywane do Multimodal Fusion Network (MMFN), która łączy informacje czasowe i kontekstowe za pomocą hybrydowego BiLSTM oraz warstw uwagi. Ta fuzja pozwala systemowi generować stany afektywne na wysokim poziomie, które przekładają się na wskaźniki doświadczenia użytkownika (np. nudę, zainteresowanie, dyskomfort). Na koniec moduł klasyfikacji szacuje afektywny stan UX i dostarcza informacji zwrotnej dla adaptacji ekspozycji, np. dostosowania bodźców wizualnych lub dźwiękowych w modelowaniu komputerowym. Rysunek 1 przedstawia architekturę proponowanej metody.

Rysunek 1: Architektura proponowanej metody. Struktura proponowanego frameworka modelowania UX łączącego wejścia multimodalne, w tym EEG, EKG, EDA, mimikę twarzy i spojrzenie oczu, z wykorzystaniem DCCA i MMFN. Skróty; UX = Doświadczenie użytkownika; EEG = elektroencefalografia; EKG = elektrokardiografia; EDA = aktywność elektrodermalna; DCCA = Głęboka analiza korelacji kanonicznych; MMFN = Multimodal Fusion Network. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Proponowana architektura na Rysunku 1 ilustruje kompleksowy system emocjonalnego doświadczenia użytkownika (UX) wykorzystujący Głęboką Analizę Korelacji Kanonicznej (DCCA) oraz Multimodalną Sieć Fuzji (MMFN) do modelowania interakcji percepcji i emocji w interaktywnych wystawach. System rozpoczyna się od pobierania surowych danych multimodalnych, takich jak sygnały fizjologiczne EEG, EKG i EDA; mimika twarzy i sygnały behawioralne wzroku wzroku; oraz kontekstowe dane wejściowe, takie jak informacje audiowizualne i środowiskowe. Sygnały te są następnie wprowadzane do modułu wstępnego przetwarzania i ekstrakcji cech, gdzie wykonywane jest przetwarzanie specyficzne dla sygnału (np. usuwanie szumów, normalizacja, obliczanie cech), aby uzyskać znaczące deskryptory dla każdej modalności. Po drugie, moduł DCCA projektuje pary modalności do wspólnej przestrzeni ukrytej i uczy się maksymalnie skorelowanych osadzeń, które kodują wewnętrzne wzorce emocjonalne między modalnościami. Cechy wysokiej korelacji tych wielu modułów DCCA są następnie łączone przez Multimodal Fusion Network (MMFN), która hierarchicznie łączy wyuczone cechy z warstwami głębokiego uczenia, być może BiLSTM, mechanizmami uwagi lub transformatorami, tworząc zwartą i wysokopoziomową reprezentację afektywną. Ta zintegrowana reprezentacja jest następnie wprowadzana do warstwy klasyfikacji stanów emocji i UX, w której model przewiduje efekty afektywne, takie jak walencja, pobudzenie lub stany poznawczo-emocjonalne, takie jak zaangażowanie, nuda czy przeciążenie. Adaptacyjny pętla zwrotnego UX jest opcjonalnie dostarczany na zakończeniu pipeline, umożliwiając systemowi interaktywne reagowanie na stany użytkownika poprzez adaptację bodźców lub treści w kontekście wystawy. Ta skalowalna i modułowa architektura gwarantuje silne modelowanie emocji poprzez uczenie reprezentacji świadome korelacji oraz głęboką integrację multimodalną, co doskonale nadaje się do modelowania obliczeniowego obliczeń afektywnych w środowiskach interaktywnych lub doświadczalnych.

Wybór fuzji DCCA z MMFN opiera się na obecnych ograniczeniach standardowych modeli fuzji unimodalnej i płytkiej. Chociaż CNN-ResNet i LSTM-CNN wyodrębniają cechy czasowe lub przestrzenne, słabo balansują heterogeniczne metody, takie jak EEG, EDA i mimika twarzy pod różnymi bodźcami środowiskowymi. DCCA maksymalizuje korelację międzymodalną, aby zapewnić wspólne utajone reprezentacje, podczas gdy MMFN wykorzystuje mechanizmy hierarchicznej fuzji i uwagi, aby dynamicznie podkreślić najbardziej informacyjne sygnały. W połączeniu te moduły oferują bardziej niezawodne, zrozumiałe i szeroko stosowane podejście do modelowania UX z afektywnym doświadczeniem dla interaktywnych środowisk wielozmysłowych.

Pozyskiwanie danych
W sugerowanym modelu interakcji percepcji i emocji dla interaktywnych wystaw, publicznie dostępny zbiór danych AMIGOS²⁴ jest wykorzystywany jako podstawa danych multimodalnych afektywnych. Zbiór danych AMIGOS dostarcza wyczerpującego zbioru miar fizjologicznych i behawioralnych od uczestników doświadczających bodźców wywołujących afekty, takich jak klipy wideo. Dane te zawierają zsynchronizowane sygnały EEG, EKG i GSR, nagrania wideo twarzy oraz samoraportowane etykiety emocjonalne w formach odrębnych (np. szczęśliwy, smutny) i wymiarowych (walencja/pobudzenie). Te modalności dobrze wpisują się w potrzeby proponowanego tu systemu, który ma na celu wywnioskowanie stanów afektywnego doświadczenia użytkownika (UX) podczas immersyjnych, wielosensorycznych interakcji wystawowych. Zbiór danych zawiera nagrania 40 osób, z których każdy był wystawiony zarówno na krótkie (klipy wideo <150 s), jak i długie (filmy >14 min) bodźce wywołujące emocje, w warunkach symulujących zaangażowanie mediów w rzeczywistości. W zakresie tej proponowanej pracy stosuje się wstępnie przetworzony podzbiór zbioru danych: rekordy od 30 osób z bezartefaktowymi, wysokiej jakości sygnałami EEG, EKG i GSR, a także pełne pliki wideo twarzy i adnotacji. Są to wybrane próbki, aby naśladować multimodalne dynamiki emocjonalne podczas sytuacji związanych z wystawami. Zbiór danych jest bazą treningową i benchmarkingową dla pipeline'u DCCA + Multimodal Fusion Network (MMFN), gdzie stany afektywne, takie jak zaangażowanie, nuda, dezorientacja i pobudzenie, są badane jako reakcje na bodźce wizualne, słuchowe i przestrzenne w symulowanym środowisku wystawowym. Tabela 1 przedstawia opis proponowanej metody w zbiorze danych.

Parametr	Szczegóły
Nazwa zbioru danych	AMIGOS (Zbiór danych do badań nad afektem, osobowością i nastrojem)
Nie. Uczestników	40 łącznie (30 wykorzystanych w proponowanych pracach z kompletnymi danymi multimodalnymi)
Typ bodźca	Krótkie i długie klipy wideo (z emocjonalnymi przypisami)
Kanały EEG	14-kanałowy zestaw słuchawkowy Emotiv EPOC EEG
EKG	Czujnik tętna (do HRV i pobudzenia)
GSR	Czujnik przewodności skóry (mierzący aktywność współczulną)
Wideo z twarzą	Wysokorozdzielcze wideo z twarzy czołowej do analizy wyrazu twarzy
Etykiety emocji	Samoocena walencja, pobudzenie, dominacja (skala 1–9), plus dyskretne etykiety
Częstotliwość próbkowania	EEG: 128Hz, EKG/GSR: 1000Hz
Format danych	.mat i zsynchronizowane logi czasowe
Synchronizacja modalności	Tak – Synchronizacja ze wszystkimi czujnikami i obrazem
Czas trwania sesji	Krótkie klipy (<150 s) i długie filmy (>14 min)
Dopasowanie aplikacji	Afektywne modelowanie UX, fuzja multimodalna, mapowanie percepcji i emocji w czasie rzeczywistym

Tabela 1: Opis zbioru danych AMIGOS. Opis zbioru danych AMIGOS używanego w proponowanym ramowym systemie, zawierający informacje o uczestnikach, modalności, częstotliwości próbkowania oraz projekt eksperymentalny. Skróty; AMIGOS = Zbiór danych do badań afektu, osobowości i nastroju u osób i grup.

Publicznie dostępny zbiór danych AMIGOS stosowany w sugerowanym systemie składa się z multimodalnych danych behawioralnych i fizjologicznych zebranych od 40 uczestników, z których 33 zostało wybranych do tego badania ze względu na doskonałość i obfitość nagrań. Zestaw danych rejestruje reakcje emocjonalne na krótkie i długie klipy wideo oraz zawiera sygnały takie jak EEG (z 14-kanałowego zestawu słuchawkowego Emotive), EKG do zmienności tętna, GSR do przewodnictwa skóry oraz wideo z twarzy w wysokiej rozdzielczości do pomiaru wyrazu twarzy. Stany emocjonalne są samoraportowane zarówno w kategoriach wymiarowych (walencja, pobudzenie, dominacja), jak i w kategoriach dyskretnych. Dane są dobrze dopasowane pod względem modalności i odpowiednio pobierane próbki – 128Hz dla EEG, 1000Hz dla EKG oraz GSR. Taka konfiguracja sprawia, że zbiór danych jest idealny do modelowania doświadczenia użytkownika (UX) w interaktywnych wystawach, dzięki czemu interakcje percepcyjne-emocje można precyzyjnie śledzić za pomocą multimodalnego sensoru opartego na AI.

Wstępne przetwarzanie danych
Wszystkie etapy wstępnego przetwarzania, trenowanie modeli i oceny były realizowane w niestandardowych skryptach Pythona (Python 3.10, PyTorch 2.0) osobno, przy czym każdy moduł służył do wstępnego przetwarzania sygnałów, wyrównania na podstawie DCCA, treningu MMFN oraz oceny wydajności; ustawienia kluczowych parametrów oraz niektóre niezbędne konfiguracje obliczeniowe są podsumowane w Tabeli 1. Aby przetworzyć publicznie dostępny zbiór danych AMIGOS do afektywnego modelowania UX interaktywnej wystawy, najpierw wdrożyć systematyczny proces wstępnego przetwarzania danych dotyczących modalności fizjologicznych i behawioralnych, takich jak EEG, ECG, TSR oraz wideo twarzy. Najpierw standaryzuj i synchronizuj każdą modalność, a następnie wykonuj specyficzne dla niej preprzetwarzanie. Obecnie informacje kontekstowe są pozyskiwane wyłącznie z wewnętrznych wskazówek audiowizualnych w bodźcach wideo, na przykład mimiki twarzy, wzorców ruchu wzrokowego oraz cech akustycznych, takich jak prozodia, mowy i dźwięk tła.

Normalizacja sygnału i ponowne próbkowanie
Surowe sygnały fizjologiczne x(t) ze wszystkich modalności są próbkowane do wspólnej częstotliwości fs=128 Hz dla wyrównania czasowego między modalnościami:

   (1)

Resampling było wykonywane przy użyciu standardowej funkcji biblioteki przetwarzania sygnałów, a nie specjalnie zaprojektowanego algorytmu. Konkretnie, implementacja została przeprowadzona za pomocą narzędzia do próbkowania dostępnych w ekosystemie przetwarzania sygnałów Pythona (SciPy), które stosuje interpolację opartą na metodzie Fouriera do konwersji sygnałów na docelową częstotliwość próbkowania. Docelowa częstotliwość próbkowania f_s została wybrana, aby zapewnić jednolitą rozdzielczość czasową na różnych modalnościach przed segmentacją i ekstrakcją cech. Każdy sygnał jest następnie normalizowany względem z-score, aby wyeliminować zmienność między podmiotami:

   (2)

gdzie μ_x i σ_x to średnia okna próby i odchylenie standardowe sygnału.

Wstępne przetwarzanie EEG
Sygnały EEG, rejestrowane z 14 kanałów, są filtrowane pasmowo w zakresie 4–45 Hz, aby zachować częstotliwości związane z poznawczym:

   (3)

Widmo mocy jest wykorzystywane do określania wzorców częstotliwości w sygnałach, co może się różnić w zależności od rodzaju emocji, w przypadku sygnału mózgowego, i może dostarczyć przydatnych informacji o sygnale. Technika Welcha jest lepszą techniką równania periodogramów 3, która pozwala oszacować gęstość spektralną i może być stosowana do uzyskania spektrogramów. Technika Welcha dzieli sygnał w dziedzinie czasu na dyskretne przedziały czasu i konstrukty. Spektrogram dla każdego segmentu, a następnie wszystkie spektrogramy są uśredniane, jak pokazano w równaniu 4. Proces ten jest płynniejszy w porównaniu z pełnym podejściem FFT, dzięki czemu sygnały wydobywają maksymalną moc. Wreszcie, gęstość widmowa mocy (PSD)¹⁹ jest obliczana techniką Welcha do uchwycenia charakterystyk w dziedzinie częstotliwości:

    (4)

Cechy PSD sumuje się w pięciu pasmach: Theta (4–8 Hz), Alpha (8–13 Hz), Beta (13–30 Hz), Niski Gamma (30–45 Hz).

Rysy twarzy oparte na wideo
Wyodrębniając Facial Action Units (AU) oraz wektory wzroku dla każdej klatki wideo za pomocą wielokanałowego zestawu danych EEG lub podobnego oprogramowania, są one następnie łączone jako sekwencje czasowe:

   (5)

Mapowanie etykiet emocji
Zarówno oceny podniecenia walencyjnego, jak i podziałne tagi emocji są przyznawane przez AMIGOS. Ciągłe wartości są znormalizowane do [0,1]:

    (6)

Gdy V jest faktycznie obserwowaną wartością przed normalizacją , V_min jest najmniejszą wartością zmiennej w zbiorze danych, V_max to największa wartość zmiennej w zbiorze, a V' to wartość znormalizowana w zakresie od 0 do 1. Te etykiety są stosowane jako prawdziwość dla nadzorowanego modelowania afektu. Te etykiety są stosowane jako prawdziwość dla nadzorowanego modelowania afektu.

Synchronizacja między modalnościami
Wszystkie modalności są synchronizowane za pomocą wyrównania znaczników czasowych lub dynamicznego zakrzywiania czasu (DTW), gdy jest to konieczne:

    (7)

Dane bogate w cechy wstępnie są następnie wprowadzane do modułu Deep Canonical Correlation Analysis (DCCA), który uczy się maksymalnie skorelowanych reprezentacji między modalnościami.

Ekstrakcja cech z użyciem DCCA
W przewidywanym kontekście afektywnego modelowania UX dla interaktywnych wystaw, DCCA jest wykorzystywane do nauki powiązanych cech utajonych w heterogenicznych modalnościach, takich jak EEG, EKG, EDA, mimika twarzy oraz dane z monitoringu oczu. Celem jest poznanie wspólnej przestrzeni reprezentacji, w której sygnały z różnych modalności, niezależnie od indywidualnego szumu lub specyficznego dla modalności, są maksymalnie skorelowane i semantycznie spójne pod względem postrzeganych stanów emocjonalnych. W tej pracy DCCA zastosowano do następujących par modalności: i) EEG–EKG, ii) EEG–GSR oraz iii) reprezentacje cech twarzy EEG. Te pary zostały wybrane w celu uchwycenia komplementarnych korelacji nerwowo-fizjologicznych oraz nerwowo-behawioralnych istotnych dla zaangażowania afektywnego. Aby rozszerzyć DCCA na środowisko multimodalne, obliczono parowe osadzenia DCCA dla każdej pary modalności, a następnie połączono przy użyciu proponowanego MMFN, co pozwala na efektywną integrację więcej niż dwóch modalności bez zmiany podstawowej formuły DCCA.

Poprzez przeprowadzenie utajonego dopasowania sterowanego korelacją przed fuzją, DCCA strukturalnie oddziela wyrównanie reprezentacji od fuzji decyzji, w przeciwieństwie do sieci Cross-Modal Attention czy Tensor Fusion Networks, które działają bezpośrednio na potencjalnie niewyrównanych reprezentacjach. Redukuje się redundancja, a spójność reprezentacji poprawia się dzięki tej dwustopniowej architekturze. Ponadto DCCA bezpośrednio optymalizuje międzymodalne zależności statystyczne, zamiast polegać wyłącznie na wspólnych funkcjach strat, co jest bardziej odpowiednie dla heterogenicznych danych fizjologicznych niż dla wielozadaniowych ram uczenia się. Po pierwsze, DCCA²⁰, są używane do obliczania reprezentacji wielu modalności poprzez kolejne traktowanie ich przez wiele warstw nieliniowych transformacji. Rysunek 2 ilustruje konstrukcję DCCA stosowaną w tych badaniach. Do określenia optymalnych hiperparametrów do zaprojektowania modelu głębokiego uczenia wykorzystywanego w podejściu DCCA zastosowaliśmy metodę wyszukiwania siatkowego. Po dokładnej analizie eksperymentalnej autorzy wybrali stochastyczny optymalizator gradientowego spadku, straty entropii krzyżowej oraz parametr regulujący 1e5. Następnie autorzy wybrali 15 kroków optymalizacji, wykorzystując wektor biasu jako same zera, walidację jako kryteria wczesnego zatrzymania oraz inicjalizator Xaviera jako inicjalizator wagi. Rysunek 2 przedstawia proces działania DCCA.

Rysunek 2: Proces działania DCCA. Przepływ procesów DCCA, pokazujący mapowanie cech z różnych modalności do wspólnej przestrzeni ukrytej, aby zmaksymalizować korelację.
Skróty; DCCA = Głęboka analiza korelacji kanonicznych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 2 wizualnie przedstawia wewnętrzne ramy pracy Głębokiej Analizy Korelacji Kanonicznych (DCCA) dla uczenia się reprezentacji współdzielonej między dwoma różnymi modalnościami: EEG (Modalność A) i EDA (Modalność B). Obie modalności są wprowadzane do swoich odpowiednich głębokich sieci ekstraktorów cech (Feature Extractor A i B), które mają kilka ukrytych warstw uczących się abstrakcyjnych, specyficznych dla modalności cech. Przed fuzją utajone wyrównanie międzymodalne jest osiągane za pomocą głębokiej analizy korelacji kanonicznej (DCCA). Dla każdej pary modalności zbudowano dwie równoległe sieci projekcji głębokiej (EEG–ECG, EEG–EDA oraz EEG–Facial). Przy aktywacji ReLU każda sieć projekcyjna składa się z trzech całkowicie połączonych warstw o wymiarach [256, 128, 64]. Dla wspólnej przestrzeni ukrytej, 64 jest ostatecznym wymiarem zanurzenia. Przy współczynniku regularizacji L2 na poziomie 1e-5, który gwarantuje stabilność numeryczną, funkcja celu maksymalizuje kanoniczną korelację między projekcyjnymi osadzeniami modalności. Wektory polaryzacji są inicjalizowane do zera, a wagi inicjalizowane poprzez inicjalizację Xavier. Aby ustabilizować naukę wyrównania, moduły DCCA są trenowane osobno przed szkoleniem MMFN. Aby zachować spójność wyrównania, nie ma end-to-end precyzyjnego dostrajania między DCCA a MMFN. Te potoki sieci neuronowych przyjmują strumienie danych wejściowych równolegle, ale izolowane. Wyjście ekstraktora cech z każdego z nich jest następnie rzutowane do wspólnej przestrzeni ukrytej, gdzie cechy obu modalności są mapowane tak, aby stały się porównywalne pod względem struktury. Projekcje są optymalizowane zgodnie z celem DCCA, którym jest maksymalizacja korelacji między odpowiadającymi utajonymi reprezentacjami EEG i EDA. Dzięki pozyskaniu tej maksymalnie skorelowanej podprzestrzeni DCCA gwarantuje, że osadzenia wyjściowe zachowują komplementarne i semantycznie istotne wzorce z obu modalności, które są niezbędne dla dalszych zastosowań, takich jak rozpoznawanie emocji czy obliczenia afektywne.

W tej pracy cechy są konwertowane za pomocą DCCA, a następnie integrowane w celu kategoryzacji. Model DCCA, pokazany na Rysunku 2, wykorzystuje model głębokiego uczenia do transformacji cech. Warstwa CCA oblicza korelację, która następnie służy do łączenia i klasyfikacji cech. Załóżmy, że macierz przechowuje próby modalności EEG, a macierz zawiera eksperymenty z modalnością wideo twarzy. W tym przypadku wymiary cech w próbach EEG i klipach wideo z twarzami są przedstawione odpowiednio przez n₁ i _{n 2}, natomiast całkowita liczba prób jest oznaczona przez MA. Dla każdej modalności autorzy stworzyli następującą głęboką sieć neuronową, aby przekształcić cechy wejściowe w sposób nieliniowy:

   (8)

gdzie parametry transformacji nieliniowej są reprezentowane jako HT₁ i HT₂; następujące cechy każdej sieci neuronowej są reprezentowane jako i oraz pomiar charakterystyki DCCA jako n. Rekurencyjnie wyuczone parametry HT₁ i _{HT 2}, wygenerowane z DCCA, zwiększyły korelację między ON₁ a _{ON 2} do poziomu, na jaki to możliwe:

   (9)

Wzajemnie wyuczone parametry jako HT₁ i _{HT 2} były trenowane przez algorytm propagacji wstecznej. Aby uzyskać zamierzoną odpowiedź, gradienty funkcji celu zostały przybliżone zgodnie z sugestią. Zmienione cechy ON1 i ON2 ∈ SP znajdują się w połączonej hiperprzestrzeni SP po wytrenowaniu obu sieci neuronowych. Autorzy DCCA głównie20 nie wspomnieli wprost o zastosowaniu zmienionych cech. Zmienione funkcje można wykorzystać w sposób najlepiej odpowiadający zastosowaniu użytkownika. W tej pracy autorzy uzyskali następujące cechy scalone z cech zmienionych:

    (10)

gdzie α i β oznaczają wagi utrzymujące α + β = 1. Charakterystyki ON zintegrowane za pomocą DCCA są wprowadzane do klasyfikatora SoftMax. Zadania rozpoznawania emocji są wykorzystywane do trenowania klasyfikatora. Jak już wspomniano, budowa DCCA do fuzji danych w wielu formatach ma pewne zalety. Aby obserwować cechy i korelację transformacji skoncentrowanych na modalności, DCCA wyraźnie uzyskuje ON1 i ON2 dla każdej modalności na poziomie fuzji cech. Ponadto dane oparte na emocjach można zachować, kontrolując funkcje odwzorowania nieliniowego f1(·) i f2(·). Ponadto autorzy używają równoważnych wag dla każdej modalności w fuzji sumy ważonej. Multimodalna Sieć Fuzji (MMFN), która prognozuje stany doświadczenia użytkownika, otrzymuje tę połączoną przestrzeń. Dla wyrównania multimodalnego stosuje się podejście hierarchiczne, gdzie surowe sygnały są najpierw wyrównywane czasowo z ponownym próbkowaniem i wyrównaniem znaczników czasowych, a wyrównanie sygnałów bogatych semantycznie z różnych modalności uzyskuje się za pomocą Głębokiej Analizy Korelacji Kanonicznej (DCCA). Zapewnia to, że reprezentacje świadome modalności są przekształcane w wspólną przestrzeń ukrytą przed procesem fuzji opartej na uwadze w MMFN.

Multimodalna sieć fuzji (MMFN) do afektywnego modelowania UX
MMFN koduje każdą modalność osobno, a następnie fuzuje je za pomocą mechanizmu fuzji i uwagi, aby uzyskać zintegrowaną reprezentację do przewidywania emocji.

Kodowanie specyficzne dla modalności
Niech x⁽ⁱ⁾∈R^di będzie wektorem charakterystyki dla i-tej modalności (np. EEG, EDA). Każda modalność jest kodowana za pomocą enkodera neuronowego:

  (11)

Mechanizm fuzji z bramkami
Aby zarządzać przepływem informacji z każdej modalności, stosuje się bramkę fuzyjną:

   (12)

   (13)

σ jest funkcja aktywacji sigmoidalnej. ⊙charakteryzuje rozwój po żywiołach. Pozwala to sieci dynamicznie zmniejszać wartość szumów lub zwiększać użyteczne funkcje.

Fuzja uwagi międzymodalna
Warstwa uwagi uczy się, jaką wagę należy przypisać reprezentacji każdej modalności:

   (14)

    (15)

α(i) są wagami uwagi, połączoną reprezentacją końcową.

Predykcja stanu afektywnego
Wektor fuzowany jest wejmowany do warstwy wyjściowej, aby przewidywać stany walencyjne/pobudzenia lub UX:

 22(16)

Gdzie można używać do reprezentacji: Dyskretna klasa emocji (szczęśliwa, neutralna, smutna), Ciągła skala (walencja/podniecenie) oraz kategorie UX (zaangażowany, rozproszony, przeciążony).

Rysunek 3: Struktura MMFN. Struktura MMFN z koderami specyficznymi dla modalności, fuzją gated fusion oraz integracją opartą na uwadze do przewidywania stanu afektywnego.
Skróty; MMFN = Multimodal Fusion Network. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3 przedstawia proces działania Multimodal Fusion Network (MMFN) wykorzystywanego w ramach przetwarzania afektywnego do przewidywania emocji i doświadczeń użytkownika (UX). Enkodery specyficzne dla modalności, warstwy fuzji z bramką, moduł integracji oparty na uwadze oraz końcowa głowica klasyfikacji tworzą hierarchiczną architekturę fuzji MMFN. Ilustruje, jak różne heterogeniczne modalności wejściowe, takie jak EEG (Modalność A), EDA (Modalność B) oraz mimika twarzy (Modalność C), są przetwarzane za pomocą własnych wyspecjalizowanych sieci enkoderów (Enkoder A, B i C). Niezależny enkoder składający się z dwóch całkowicie połączonych warstw z aktywacją ReLU przetwarza każdą modalność (EEG, EKG, EDA oraz cechy twarzy), zanim warstwa dwukierunkowej pamięci krótkotrwałej (BiLSTM) przechwyci zależności czasowe. Każdy enkoder uczy się reprezentacji cech specyficznych dla modalności, które zachowują istotne cechy emocjonalne lub fizjologiczne z odpowiadającego strumienia danych. Każdy kierunek w BiLSTM ma 128 ukrytych jednostek, co nadaje każdej modalności 256-wymiarowe kontekstowe osadzenie. Aby uniknąć nadmiernego dopasowania, dropout (tempo = 0,5) wykonuje się po warstwie BiLSTM. Następnie stosuje się podejście gated fuzji, które wykorzystuje aktywację sigmoid do dynamicznego sterowania wkładem modalności, do zakodowanych reprezentacji modalności. Warstwa samouwagi oblicza następnie wagi uwagi w różnych modalnościach, aby tłumić szumy i podkreślać istotne informacje. W pełni połączona warstwa oraz albo liniowa warstwa wyjściowa dla zadań regresji walencji i pobudzenia, albo warstwa wyjściowa Softmax dla dyskretnych zadań klasyfikacyjnych projektują spójną reprezentację. Wyjście każdego enkodera jest następnie wprowadzane do Multimodalnej Warstwy Fuzji, która wykonuje łączenie wszystkich cech modalności i stosuje mechanizm uwagi, aby podkreślić bardziej informacyjne sygnały i maskować szumy. Operacja ta generuje wspólną utajoną reprezentację, która integruje sygnały emocjonalne ze wszystkich modalności w wysokopoziomowy wektor gęsty.

Warstwy BiLSTM stosowane do specyficznych dla modalności osadzeń sekwencyjnych bezpośrednio modelują dynamikę czasową. BiLSTM umożliwia kontekstowe modelowanie zmieniających się stanów afektywnych poprzez uchwycenie zarówno zależności czasowych do przodu, jak i do tyłu w ramach segmentowanych sekwencji fizjologicznych. Ponadto adaptacyjne ważenie cech informacyjnych w czasie jest możliwe dzięki warstwie fuzji opartej na uwagi, która następuje po niej i działa nad reprezentacjami zakodowanymi czasowo. Autorzy niedawno zaktualizowali tekst, aby bardziej jasno pokazać, jak budowanie sekwencji, kodowanie powtarzające i ważenie uwagi współdziałają we współpracy z modelowaniem czasowym.

Proponowany pseudokod 1 pokazuje ogólny proces afektywnego modelowania doświadczenia użytkownika z użyciem DCCA-MMFN w formie powtarzalnej. Na początek sygnały fizjologiczne i behawioralne multimodalne są wprowadzane do niezależnego etapu wstępnego przetwarzania obejmującego redukcję szumów i normalizację skal. Cechy te są następnie wprowadzane do DCCA, gdzie skorelowane cechy są wspólnie uczone dla określonych par modalności, dążąc do solidnego dopasowania międzymodalnego. Cechy wyrównane są następnie łączone w MMFN składającym się z mechanizmów zamkniętych i uwagowych dla modulacji specyficznej dla modalności, mających na celu promowanie informacyjnych modalności i tłumienie szumów. Ostateczna łączona reprezentacja cech służy do trenowania klasyfikatora przeznaczonego do szacowania stanu afektywnego i powiązanego z UX, a ogólna ocena wydajności jest przeprowadzana na podstawie standardowych metryk. Stopniowy charakter proponowanego pseudokodu zapewnia przejrzystość, wykonalność i łatwe powielanie przez innych dla wszystkich technicznie obeznanych osób zainteresowanych tym protokołem.

Proponowane ramy mają na celu przewidzenie stanu afektywnego doświadczenia użytkownika (UX) za pomocą multimodalnych sygnałów fizjologicznych i behawioralnych z zestawu danych AMIGOS na podstawie następujących kroków: Krok 1: Dane wejściowe multimodalne składają się z sygnałów EEG, EKG, EDA, spojrzenia i mimiki twarzy. Początkowo dostęp jest do multimodalnego zbioru danych AMIGOS, a każda modalność poddawana jest wstępnemu przetwarzaniu sygnału, w tym filtrowaniu i normalizacji szumów, aby zapewnić jakość i spójność danych. Krok 2: Aby zachować równomierność czasową między modalnościami, wszystkie sygnały są próbkowane do standardowej częstotliwości. Następnie przeprowadza się ekstrakcję cech specyficzną dla modalności, aby uzyskać charakterystyczne reprezentacje cech odpowiadające każdemu typowi sygnału. Krok 3: Aby uchwycić relacje międzymodalne, wybrane pary modalności (EEG–ECG, EEG–EDA oraz EEG–Facial) są przetwarzane za pomocą analizy głębokiej kanonicznej korelacji (DCCA). Sieci DCCA są trenowane do nauki skorelowanych utajonych reprezentacji między parami modalności, co skutkuje wyrównanymi osadzeniami cech dla każdej pary modalności. Te wyrównane reprezentacje są następnie łączone, tworząc jednolitą przestrzeń cech multimodalnych. Krok 4: Zagregowane wyrównane cechy są dostarczane jako wejście do Multimodalnej Sieci Fuzji (MMFN), gdzie stosuje się mechanizmy uwagi i ograniczone strategie fuzji do skutecznej integracji uzupełniających się informacji między modalnościami. Proces fuzji generuje kompleksową reprezentację afektywną. Krok 5: Uzyskana reprezentacja jest następnie używana do trenowania klasyfikatora z oznaczonymi danymi emocjonalnymi, aby przewidzieć afektywny stan UX. Na koniec wydajność modelu ocenia się za pomocą standardowych metryk, w tym Dokładności, Precyzji, Przypomnienia, F1-score oraz Obszaru pod krzywą (AUC). Przewidywany afektywny stan UX jest zwracany jako końcowy wynik ramy.

Modelowanie percepcji i emocji z wykorzystaniem proponowanych ram DCCA-MMFN
W sugerowanym ramach obliczeniowych afektywnego doświadczenia użytkownika (UX) interaktywnych wystaw, moduł Modelowanie Percepcji i Emocji jest centralnym procesem łączącym percepcyjne reakcje użytkownika na bodźce środowiskowe z jego multimodalnymi stanami emocjonalnymi pochodzącymi z biofizyczności. Ten moduł opiera się na powszechnych reprezentacjach fizjologicznych i behawioralnych metod takich jak EEG, EDA, EKG, mimika twarzy i ruchy oczu, aby rejestrować dynamikę afektywną użytkownika. Równocześnie metadane dotyczące otaczającego środowiska wystawy – bodźców wizualnych, pejzaży dźwiękowych, wzorców interaktywności oraz cech otoczenia – są wykorzystywane do kodowania sygnałów percepcyjnych. Korzystając z Multimodal Fusion Network (MMFN) do łączenia tych reprezentacji multimodalnych, model otrzymuje szczegółowe, nieliniowe odwzorowania z cech bodźców percepcyjnych oraz etykiet lub wymiarów emocji (np. walencja, pobudzenie, zaangażowanie). To mapowanie pozwala systemowi stale wiedzieć, jak użytkownik emocjonalnie reaguje na różne elementy ekspozycji, a następnie modyfikować treść lub interfejs, aby zwiększyć zaangażowanie, satysfakcję lub rezonans poznawczy. Wreszcie, modelowanie percepcji i emocji ułatwia adaptację interakcji świadomą emocji, co stanowi rdzeń modelowania obliczeniowego i systemów wystawiania wrażliwych na użytkownika.

Po pierwsze, moduły DCCA zostały przeszkolone do nauki skorelowanych utajonych reprezentacji dla każdej pary modalności. Powstałe osadzenie służy jako wejście do MMFN, dalej trenowane sekwencyjnie dla zadania predykcji afektywnej. Nie stosuje się żadnego kompleksowego dopracowywania, aby utrzymać stabilność treningu.

Kategoria	Parametr	Wartość / Opis
Wstępne przetwarzanie sygnału	Filtr pasmowy EEG	4–45 Hz
	Częstotliwość ponownego próbkowania	128 Hz
	Długość okna	2 S
	Nakładanie się okien	50%
	Normalizacja	Normalizacja wyniku Z
Architektura DCCA	Liczba ukrytych warstw	3 warstwy na każdą modalność
	Neurony na warstwę	128–64–32
	Rozmiar wymiaru utajonego (n)	32
	Parametr regularizacji	1 × 10⁻⁵
	Optymalizator	Adam
	Tempo uczenia się	0.001
	Wielkość partii	32
	Epoki maksymalnego szkolenia	150
	Wczesne zatrzymanie cierpliwości	15 epok
Konfiguracja MMFN	Typ enkodera	BiLSTM
	Ukryte jednostki	64
	Wskaźnik rezygnacji ze studiów	0.3
	Strategia fuzji	Latanie z bramkami z uwagą
	Typ uwagi	EEG, EKG, GSR, Wideo
Szkolenie i ewaluacja	Funkcja straty	Utrata entropii krzyżowej
	Podział pociągu na test	5-krotna walidacja krzyżowa
	Metryki oceny	Dokładność, Precyzja, Przypomnienie, F1-wynik, Kappa Cohena, AUC–ROC
Punkty kontrolne powtarzalności	Kształt tensora wejściowego EEG	Kanały × próbki czasowe (np. 14 × 256 na okno)
	Reprezentacja wyjścia DCCA	32-wymiarowe współdzielone osadzenie utajone
	Wyjście MMFN	Prawdopodobieństwa klas emocji (klasy walencja–pobudzenie lub dyskretne)
	Oczekiwana wydajność walidacji	Dokładność klasyfikacji 85–90%

Tabela 2: Parametry proponowanego algorytmu DCCA–MMFN. Podsumowanie parametrów preprocessingu, architektury, fuzji, treningu, oceny i powtarzalności rozważanych w proponowanym frameworku modelowania afektywnego UX. Skróty; DCCA = Głęboka analiza korelacji kanonicznych; MMFN = Multimodal Fusion Network; UX = Doświadczenie użytkownika.

W Tabeli 2 przedstawiono cały zestaw parametrów użytych w proponowanym frameworku DCCA-MMFN, który uwzględnia wstępne przetwarzanie sygnałów, głęboki projekt architektury, technikę fuzji oraz warunki treningowe. Sygnały fizjologiczne były równomiernie próbkowane i normalizowane, aby zsynchronizować je względem ich odpowiednich modalności. Warstwa DCCA była skonfigurowana do wielowarstwowych transformacji nieliniowych, które ułatwiały uczenie się maksymalnie skorelowanych przestrzeni ukrytych, podczas gdy komponent MMFN wykorzystywał sieci enkoderów BiLSTM z mechanizmami gated attention do dynamicznego ważenia wartości różnych modalności. Wymagania dotyczące szkoleń i oceny są wyraźnie określone, co zapewnia uczciwe porównanie z istniejącymi opcjami.

Sugerowane ramy mają służyć jako podstawa obliczeniowa dla systemów świadomych afektu, które wykorzystują informacje behawioralne i fizjologiczne w kilku wymiarach. Architektura jest koncepcyjnie adaptowalna do rzeczywistych środowisk, takich jak inteligentne przestrzenie wystawiennicze, adaptacyjne inteligentne interfejsy czy systemy interakcji człowiek-komputer świadome afektu, mimo że obecne badanie potwierdza model poprzez kontrolowane eksperymenty offline z wykorzystaniem publicznie dostępnego zbioru danych AMIGOS. Ramy mogą pełnić rolę podstawowego modułu dla aplikacji wymagających niezawodnego wnioskowania emocji, oferując jednolite techniki fuzji, dopasowanie międzymodalne oraz strukturyzowane przetwarzanie wstępne. Jednak zamiast być systemami eksperymentalnie wdrożonymi, te środowiska opisane są w niniejszym badaniu jako możliwe konteksty wdrożenia.

Results

Ocena proponowanego systemu
Aby ocenić proponowany system, przeprowadzono eksperymenty na publicznie dostępnym zbiorze danych AMIGOS, który zapewnia zsynchronizowane pomiary EEG, EKG, GSR, wideo i dźwięku 40 użytkowników narażonych na bodźce emocjonalnie. Na potrzeby tych badań autorzy wykorzystali dane od 33 uczestników (po wstępnym przetworzeniu i usunięciu niekompletnych badań), co dało 1 320 ważnych próbek dotyczących wymiarów walencji i pobudzenia. Ocena kładła nacisk na klasyfikację emocji i afe...

Discussion

Konteksty interakcji przestrzennych, środowiskowych i fizycznych, takie jak układ przestrzenny, gęstość tłumu czy warunki środowiskowe, nie są wyraźnie podane w zbiorze danych AMIGOS. Dlatego takie czynniki również nie są bezpośrednio modelowane w obecnych eksperymentach. Sugerowane ramy obliczeniowe dla modelowania afektywnego doświadczenia użytkownika (UX) idą znacznie dalej niż podstawowe koncepcje artykułu, które dotyczyły interakcji użytkownika i zadaniowego dziecka z robotem wykorzystujących biofizyczne wykrywanie ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Zbiór danych	Zbiór danych AMIGOS	40 uczestników; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), nagranie twarzy, samoraportowane oznaki walencji/pobudzenia	Multimodalne dane realistyczne dla modelowania stanów afektywnych
Czujniki fizjologiczne	Zestaw EEG	Emotiv EPOC+ (14 kanałów, 128 Hz)	Rejestrowanie aktywności mózgu związanej z uwagą, pobudzeniem i zaangażowaniem
	Czujnik EKG	Biopac MP150 lub odpowiednik (1000 Hz)	Zmienność tętna i pobudzenie
	Czujnik GSR/EDA	Shimmer GSR+ lub odpowiednik (1000 Hz)	Przewodność skóry jako miara podniecenia
Czujniki behawioralne	Urządzenie do śledzenia oczu	Tobii Pro X2-60 lub odpowiednik	Rejestrowanie fiksacji wzroku i sakady
	Rejestracja mimiki twarzy	Kamerę wideo o wysokiej rozdzielczości; analizowane za pomocą OpenFace (AU, wektory spojrzeń)	Wyodrębnianie Jednostek Akcji (AU) z sygnałów spojrzenia
Czynniki środowiskowe	Zestaw do nagrywania audiowizualnego	Mikrofon + Kamera (zsynchronizowana z bodźcami)	Uchwycenie bodźców kontekstowych podczas wystawy
Oprogramowanie / Zestawy narzędzi	OpenFace	Open-source zestaw narzędzi do analizy zachowania twarzy	Jednostki akcji (AU), kierowanie wzrokiem
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Wstępne przetwarzanie sygnału (ponowne próbkowanie, normalizacja z-score, obliczenia PSD)	Wstępne przetwarzanie danych i ekstrakcja cech
	TensorFlowv2.13 / PyTorchv2.0	Ramy głębokiego uczenia dla DCCA i MMFN	Implementacja i trening modelu
Algorytmy / Modele	Głęboka analiza korelacji kanonicznych (DCCA)	Metoda nieliniowego wyrównywania cech	Uczenie się skorelowanych utajonych reprezentacji między modalnościami
	Multimodalna Sieć Fuzji (MMFN)	BiLSTM + Warstwy fuzji oparte na uwadze	Hierarchiczna fuzja heterogenicznych modalności dla klasyfikacji stanów UX
Metryki ewaluacyjne	Celność, Precyzja, Przypomnienie, F1-wynik, Cohen' s Kappa, AUC-ROC, Macierz Dezorientacji	Implementowane z użyciem metryk scikit-learn / TensorFlow	Modelowa ocena wydajności
Sprzęt komputerowy	Klaster stacji roboczej / GPU	NVIDIA RTX 3080 (10GB) lub równoważny, 32 GB RAM, procesor Intel i9	Trenowanie i symulacja modeli