Modelowanie obliczeniowe afektywnego doświadczenia użytkownika z wykorzystaniem multimodalnych sygnałów fizjologicznych i behawioralnych

Summary

Protokół ten opisuje ramy obliczeniowe, które modelują afektywne doświadczenie użytkownika poprzez integrację sygnałów fizjologicznych i behawioralnych w sposób multimodalny, wykorzystując techniki uczenia cech opartych na korelacjach oraz fuzji multimodalnej. Protokół ten proponuje i testuje ramy do wielomodalnego modelowania afektywnego na zbiorze danych benchmark AMIGOS.

Abstract

Praca ta proponuje powtarzalny protokół obliczeniowy dla wielomodalnego modelowania afektywnego, który wykorzystuje sygnały fizjologiczne. Celem protokołu jest umożliwienie rozpoznawania emocji offline poprzez integrację wielu sygnałów biologicznych przy użyciu jednolitego ramowego systemu uczenia głębokiego. Proponowane prace składają się z pięciu etapów: zbierania danych, wstępnego przetwarzania, dopasowania cech, fuzji multimodalnej oraz ewaluacji. Sygnały EEG, EKG i GSR z publicznie dostępnych danych AMIGOS zostały wykorzystane jako baza eksperymentalna w tej pracy. Sygnały biologiczne były wstępnie przetwarzane i normalizowane, aby wyodrębnić cechy specyficzne dla modalności. Przestrzenie cech heterogenicznych zostały wyrównane między modalnościami za pomocą głębokiej analizy korelacji kanonicznych, a następnie zastosowano wielomodalną sieć fuzji do klasyfikacji stanu afektywnego. Protokół został oceniony za pomocą eksperymentów offline i porównany z konwencjonalnymi modelami fuzji i klasyfikacji przy użyciu standardowych wskaźników wydajności, takich jak dokładność, precyzja, przywołanie, F1-score oraz AUC. Niniejsze badanie koncentruje się na opracowaniu i walidacji ram obliczeniowych do multimodalnego modelowania afektywnego doświadczenia użytkownika, a nie na wdrażaniu interaktywnego systemu czasu rzeczywistego. Przy 92,1% dokładności w prognozowaniu stanu UX i 94,2% F1 w klasyfikacji walencji i pobudzenia, wyniki konsekwentnie przewyższały modele bazowe w wymiarach emocjonalnych. Wyniki te potwierdziły skuteczność proponowanego wielomodalnego procesu fuzji w modelowaniu afektywnym obliczeniowym poprzez porównanie danych fizjologicznych.

Introduction

Złożona interakcja myślenia, uczucia i działania kształtuje sposób, w jaki ludzie myślą i działają. Obliczenia afektywne to badanie tych relacji poprzez wykorzystanie interdyscyplinarnej wiedzy z neurobiologii, psychologii i sztucznej inteligencji do budowy systemów zdolnych do analizy, rozumienia i reagowania na ludzkie emocje. Ten obszar jest coraz częściej stosowany w komunikacji człowiek–technologia poprzez włączanie ekspresyjnej świadomości do responsywnych struktur AI, dzięki czemu technologia współgra nie tylko z warunkami intelektualnymi, ale także emocjonalnymi, co skutkuje bardziej indywidualną i świadomą emocji wiedzą użytkownika. Emocja, złożony proces umy....

Protocol

Zbiór danych AMIGOS użyty w tym badaniu jest publicznie dostępny i został zebrany za zgodą instytucjonalnej komisji oraz świadomą zgodą, zgodnie z oryginalną publikacją. Badanie to obejmuje jedynie analizę wtórną zbioru danych i nie wymagało dodatkowej zgody etycznej.

Niniejsza metoda wykorzystuje podejścia do wyrównania cech i fuzji multimodalnej do przetwarzania danych fizjologicznych i behawioralnych multimodalnych, aby opisać korelacje percepcji i emocji. Niniejsze badanie proponuje model obliczeniowy afektywnego doświadczenia użytkownika (UX) w interaktywnych wystawach, wykorzystujący multimodalne biofizyczne sensory oraz modelowanie e....

Results

Ocena proponowanego systemu
Aby ocenić proponowany system, przeprowadzono eksperymenty na publicznie dostępnym zbiorze danych AMIGOS, który zapewnia zsynchronizowane pomiary EEG, EKG, GSR, wideo i dźwięku 40 użytkowników narażonych na bodźce emocjonalnie. Na potrzeby tych badań autorzy wykorzystali dane od 33 uczestników (po wstępnym przetworzeniu i usunięciu niekompletnych badań), co dało 1 320 ważnych próbek dotyczących wymiarów walencji i pobudzenia. Ocena kładła nacisk na klasyfikację emocji i afe.......

Discussion

Konteksty interakcji przestrzennych, środowiskowych i fizycznych, takie jak układ przestrzenny, gęstość tłumu czy warunki środowiskowe, nie są wyraźnie podane w zbiorze danych AMIGOS. Dlatego takie czynniki również nie są bezpośrednio modelowane w obecnych eksperymentach. Sugerowane ramy obliczeniowe dla modelowania afektywnego doświadczenia użytkownika (UX) idą znacznie dalej niż podstawowe koncepcje artykułu, które dotyczyły interakcji użytkownika i zadaniowego dziecka z robotem wykorzystujących biofizyczne wykrywanie .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Zbiór danych	Zbiór danych AMIGOS	40 uczestników; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), nagranie twarzy, samoraportowane oznaki walencji/pobudzenia	Multimodalne dane realistyczne dla modelowania stanów afektywnych
Czujniki fizjologiczne	Zestaw EEG	Emotiv EPOC+ (14 kanałów, 128 Hz)	Rejestrowanie aktywności mózgu związanej z uwagą, pobudzeniem i zaangażowaniem
	Czujnik EKG	Biopac MP150 lub odpowiednik (1000 Hz)	Zmienność tętna i pobudzenie
	Czujnik GSR/EDA	Shimmer GSR+ lub odpowiednik (1000 Hz)	Przewodność skóry jako miara podniecenia
Czujniki behawioralne	Urządzenie do śledzenia oczu	Tobii Pro X2-60 lub odpowiednik	Rejestrowanie fiksacji wzroku i sakady
	Rejestracja mimiki twarzy	Kamerę wideo o wysokiej rozdzielczości; analizowane za pomocą OpenFace (AU, wektory spojrzeń)	Wyodrębnianie Jednostek Akcji (AU) z sygnałów spojrzenia
Czynniki środowiskowe	Zestaw do nagrywania audiowizualnego	Mikrofon + Kamera (zsynchronizowana z bodźcami)	Uchwycenie bodźców kontekstowych podczas wystawy
Oprogramowanie / Zestawy narzędzi	OpenFace	Open-source zestaw narzędzi do analizy zachowania twarzy	Jednostki akcji (AU), kierowanie wzrokiem
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Wstępne przetwarzanie sygnału (ponowne próbkowanie, normalizacja z-score, obliczenia PSD)	Wstępne przetwarzanie danych i ekstrakcja cech
	TensorFlowv2.13 / PyTorchv2.0	Ramy głębokiego uczenia dla DCCA i MMFN	Implementacja i trening modelu
Algorytmy / Modele	Głęboka analiza korelacji kanonicznych (DCCA)	Metoda nieliniowego wyrównywania cech	Uczenie się skorelowanych utajonych reprezentacji między modalnościami
	Multimodalna Sieć Fuzji (MMFN)	BiLSTM + Warstwy fuzji oparte na uwadze	Hierarchiczna fuzja heterogenicznych modalności dla klasyfikacji stanów UX
Metryki ewaluacyjne	Celność, Precyzja, Przypomnienie, F1-wynik, Cohen' s Kappa, AUC-ROC, Macierz Dezorientacji	Implementowane z użyciem metryk scikit-learn / TensorFlow	Modelowa ocena wydajności
Sprzęt komputerowy	Klaster stacji roboczej / GPU	NVIDIA RTX 3080 (10GB) lub równoważny, 32 GB RAM, procesor Intel i9	Trenowanie i symulacja modeli