Wstępna walidacja algorytmu analizy ruchu i ekspresji twarzy podczas zadań wywołujących emocje u zdrowych dorosłych

Podsumowanie

Niniejsze badanie wstępnie waliduje algorytm FEA, zastrzeżony algorytm uczenia maszynowego, służący do wykrywania reakcji podczas zadań z bodźcami emocjonalnymi. Analizuje ono zgodność wyników algorytmu FEA ze standaryzowanymi bodźcami emocji twarzy z wykorzystaniem modelu Navarasa u zdrowych dorosłych, oceniając, czy system wiarygodnie odzwierciedla reakcje związane z emocjami w kontrolowanych warunkach eksperymentalnych.

Streszczenie

Niniejszy protokół został opracowany w celu wstępnej walidacji Emoscape, zastrzeżonego algorytmu uczenia maszynowego opartego na strukturze Navarasa, poprzez sprawdzenie, czy uzyskane wyniki emocjonalne zmieniają się zgodnie ze standaryzowanymi zadaniami wywoływania emocji u zdrowych dorosłych. Do badania zrekrutowano siedemdziesięciu dwóch zdrowych dorosłych, którzy wyrazili pisemną zgodę na udział. Uczestnicy wypełnili kwestionariusze Patient Health Questionnaire-9 oraz Generalized Anxiety Disorder-7, a następnie oglądali bodźce przedstawiające emocje twarzy z zestawu TRENDS oraz obrazy Navarasa; w tym czasie algorytm FEA rejestrował mikroruchy górnej części ciała podczas wykonywania zadania. Uczestnicy identyfikowali również wyświetlane emocje. Analizowano zmiany wyników algorytmu FEA względem wartości bazowej podczas ekspozycji na bodźce neutralne, radosne, strachu i gniewu z zestawu TRENDS, a także podczas ekspozycji na obrazy Navarasa. Do oszacowania czułości i swoistości różnicowania kategorii emocjonalnych wykorzystano analizę charakterystyki operacyjnej odbiornika (ROC). Wyniki algorytmu FEA wykazały istotne odchylenia od wartości bazowej dla obrazów TRENDS przypisanych do odpowiadających im emocji (Neutralna–Shanta, Radosna–Haasya, Strach–Bhayanaka i Gniew–Raudra). Zgodne zmiany zaobserwowano również w przypadku obrazów Navarasa, przy czym wszystkie średnie różnice były statystycznie istotne (p < 0,001). Wartości pola pod krzywą (AUC) różniły się w zależności od kategorii. Algorytm FEA wykazał umiarkowaną czułość dla emocji przyjemnych (70–80%) i nieprzyjemnych (60–70%). Wyniki te stanowią wstępne potwierdzenie zasadności protokołu oraz zastosowania algorytmu FEA do oceny odpowiedzi związanych z emocjami podczas kontrolowanych zadań wywoływania emocji u zdrowych dorosłych.

Wprowadzenie

Rozpoznawanie emocji jest istotnym obszarem badań w ramach społecznej neuronauki poznawczej, z potencjalnymi zastosowaniami klinicznymi i badawczymi. Istniejące metody oceny emocjonalnej kwantyfikują zmiany w aktywności fizjologicznej, takie jak elektroencefalografia (EEG) lub galwaniczna reakcja skóry (GSR), aby wnioskować o stanach emocjonalnych. Metody te są jednak złożone i inwazyjne. Bezpośrednie pomiary ruchów twarzy i ciała stanowią bardziej bezpośredni i obserwowalny wskaźnik stanu afektywnego jednostki^1,2,3. Algorytmy uczenia maszynowego (ML), w szczególności te trenowane na dużych, heterogenicznych zbiorach danych dotyczących ekspresji twarzy, są wykorzystywane do dekodowania takich subtelnych sygnałów niewerbalnych i klasyfikowania stanów emocjonalnych. Choć konwencjonalne algorytmy ML, takie jak maszyny wektorów wspierających (SVM), pozostają w szerokim użyciu, architektury głębokiego uczenia, a zwłaszcza sieci neuronowe (NN)^4,5, wykazują wyższą skuteczność, szczególnie przy trenowaniu na wielkoskalowych zbiorach danych, dzięki zdolności do automatycznej ekstrakcji cech⁶. Przykładem konwencjonalnego modelu w kontekście indyjskim jest interaktywne narzędzie, które przyjmuje wymiarowy model oparty na walencji w celu określenia pobudzenia. Systemy rozpoznawania emocji muszą być wrażliwe na kontekst kulturowy. W indyjskim środowisku kulturowym koncepcja Navarasa dostarcza niuansowej taksonomii dziewięciu podstawowych emocji, która jednak pozostaje w dużej mierze niezbadana w ramach badań nad rozpoznawaniem emocji opartym na ML. Odnotowuje się względny niedobór rygorystycznie zwalidowanych podejść ML, które bezpośrednio analizują obserwowalne wskazówki behawioralne — takie jak mikroekspresje twarzy i ruchy ciała^7,8. Takie algorytmy ML sterowane ekspresją mogą być stosowane w czasie rzeczywistym, są łatwe w obsłudze i nieinwazyjne.

Algorytm analizy wyrazu twarzy i ruchu [dalej określany jako algorytm FEA] jest zastrzeżonym algorytmem opartym na uczeniu maszynowym (ML), który analizuje mikroekspresje twarzy oraz ruchy górnej części ciała i generuje dynamiczne reprezentacje trajektorii emocjonalnych oraz zagregowane wyniki dla każdej z dziewięciu ras, w oparciu o koncepcję Navarasa. Celem niniejszego badania była wstępna walidacja algorytmu FEA poprzez zbadanie zgodności między wynikami uzyskanymi za pomocą FEA a reakcjami na standaryzowane bodźce emocjonalne twarzy u zdrowych dorosłych ochotników.

W tym celu opieramy się na konstruktach teorii umysłu (Theory of Mind, ToM) oraz systemie neuronów lustrzanych. ToM to kluczowa zdolność społeczno-poznawcza, która umożliwia jednostkom wnioskowanie i interpretację stanów mentalnych i emocjonalnych innych osób w kontekstach społecznych⁹. Dowody empiryczne sugerują, że ekspozycja na emocjonalne bodźce twarzowe aktywuje sieci neuronów lustrzanych, co z kolei wywołuje u obserwatora zgodny, zastępczy stan emocjonalny¹⁰. Wynikowa modulacja wewnętrznego, subiektywnego stanu emocjonalnego jednostki w odpowiedzi na oglądanie wyrazów twarzy odzwierciedlających emocje, jeśli zostanie uchwycona przez algorytm FEA, może dostarczyć wstępnej walidacji tego algorytmu.

Zakładamy, że ekspozycja na bodźce emocjonalne twarzy odpowiadające konkretnej kategorii Navarasa wywoła statystycznie istotne odchylenie od poziomu bazowego w wyniku algorytmu FEA dla danej emocji Navarasa.

Protokół

Protokół badania został zatwierdzony przez Komitet Etyki szpitali Sushruta w Hubballi, Karnataka, Indie (numer rejestracyjny EC: ECR/372/INST/KA/2013/RR-19), a od wszystkich uczestników przed włączeniem do badania uzyskano pisemną świadomą zgodę.

Algorytm FEA jest zastrzeżoną metodą opartą na uczeniu maszynowym (ML), służącą do analizy w czasie rzeczywistym mikroekspresji twarzy i ruchów górnej części ciała w celu wnioskowania o stanach emocjonalnych z wykorzystaniem modelu Navarasa. Model Navarasa, wywodzący się z klasycznej indyjskiej teorii estetyki, wyróżnia dziewięć głównych emocji: shringara (miłość), haasya (radość), karuna (smutek/zaduma), adbhuta (zaskoczenie), shanta (spokój), raudra (gniew), veera (odwaga), bhayanaka (strach) i vibhitsa (wstręt). Algorytm FEA wykorzystuje model uczenia maszynowego wytrenowany na mikroekspresjach twarzy i ruchach górnej części ciała wyekstrahowanych z obrazów aktorów odgrywających dziewięć emocji Navarasa. Algorytm wnioskuje o stanie emocjonalnym danej osoby poprzez analizę subtelnej dynamiki twarzy i mikroruchów z danych wizualnych zarejestrowanych za pomocą pojedynczej kamery RGB, a następnie generuje wartości ilościowe dla każdej z dziewięciu głównych emocji. Ta nieinwazyjna konfiguracja umożliwia dyskretną, naturalistyczną ocenę emocjonalną, co czyni ją odpowiednią do szerokiego zakresu zastosowań badawczych i praktycznych.

Opracowanie modelu

Algorytm FEA opiera się na architekturze sieci neuronowej (NN). Zbiór danych treningowych został opracowany wewnętrznie i składa się z kilku godzin zarejestrowanych danych wideo z udziałem indyjskich aktorów odgrywających dziewięć emocji Navarasa. Zbiór danych pochodzi z kontrolowanych nagrań wideo kilku aktorów/uczestników, przy czym dla każdego aktora/uczestnika przeprowadzono wiele nagrań/testów w różnych wywołanych stanach emocjonalnych. Po wstępnym przetwarzaniu, obejmującym detekcję punktów charakterystycznych twarzy, sprawdzanie spójności czasowej, filtrowanie jakości oraz usuwanie klatek nieużytecznych lub o niskim stopniu pewności, zachowano około 25 000 ustrukturyzowanych próbek treningowych. Podczas kurateli zbioru danych nagrania zostały podzielone według ponad dziesięciu parametrów demograficznych i związanych z nagrywaniem, w tym wieku, płci i innych istotnych atrybutów, oraz celowo zrównoważone, aby osiągnąć sprawiedliwą reprezentację w tych parametrach i zminimalizować błąd demograficzny. Rozkład płci utrzymano na poziomie około 52% mężczyzn i 48% kobiet. Uczestnicy obejmowali szeroko grupy wiekowe młodzieży i dorosłych, z reprezentacją młodszych, średnich i starszych kohort dorosłych. Aktorzy/uczestnicy przebywali w Indiach i reprezentowali wiele indyjskich środowisk regionalnych i kulturowych, a także wiele międzynarodowych grup etnicznych obecnych w Indiach. Ze względu na ograniczenia własnościowe nie można ujawnić dokładnej liczby aktorów/uczestników, tożsamości na poziomie aktora/uczestnika, dokładnej liczby filmów/nagrań na aktora, precyzyjnej liczby klatek ani wewnętrznej metodologii adnotacji, ponieważ stanowią one część własnościowego zbioru danych i własności intelektualnej dotyczącej rozwoju modelu firmy Nihilent Ltd.; ograniczenie to jest wyraźnie zaznaczone w sekcji Dyskusja.

Obrazy twarzy wyekstrahowane z tych nagrań zostały przetworzone przy użyciu technik przetwarzania obrazu w celu uzyskania cech ilościowych, które następnie posłużyły jako dane wejściowe dla sieci neuronowej w celu dokonania predykcji. Model ten został następnie oceniony na populacji docelowej, a uzyskane wnioski wykorzystano do iteracyjnego ulepszania kolejnych wersji. Cykl rozwoju, testowania i udoskonalania był powtarzany aż do momentu stabilizacji wydajności modelu. Końcowy model predykcyjny został zaimplementowany jako wielowarstwowy perceptron (MLP), składający się z warstwy wejściowej z około 300 wybranych cech, warstw ukrytych oraz warstwy wyjściowej generującej dziewięciowymiarowy wektor wyników odpowiadający dziewięciu kategoriom emocji Navarasa. Początkowo z przechwyconych danych wyekstrahowano ponad 700 cech, które następnie zredukowano poprzez procedury selekcji cech i optymalizacji modelu. Wynik z MLP jest następnie przekazywany do zastrzeżonych algorytmów postprocesingu w celu uzyskania ostatecznych zagregowanych wyników algorytmu FEA. Dalsze szczegóły architektoniczne — w tym dokładna liczba trenowalnych parametrów i konkretne wymiary warstw — są zastrzeżone i nie mogą zostać ujawnione; zostaje to uznane za ograniczenie niniejszego raportu. Szczegółowy opis rozwoju modelu znajduje się w materiale uzupełniającym (Supplementary File 1 oraz Supplementary Figure 1).

W trakcie iteracyjnego rozwoju oceniano wydajność modelu za pomocą walidacji krzyżowej na wewnętrznym zbiorze danych, osiągając 96% dokładności klasyfikacji w walidacji krzyżowej dla dziewięciu kategorii Navarasa. Następnie przeprowadzono niezależną walidację na ponad 15 000 min danych wideo. Znormalizowana macierz pomyłek 9 × 9 podsumowująca wydajność klasyfikacji dla wszystkich dziewięciu kategorii Navarasa znajduje się w materiałach uzupełniających (Supplementary File 1).

Po stabilizacji model został poddany kontrolowanej walidacji wewnętrznej pod nadzorem ekspertów. Podejście to kładzie nacisk na walidację empiryczną poprzez bezpośrednie testy z udziałem ludzi, co umożliwia ocenę przydatności w rzeczywistych warunkach oraz odporności modelu w odniesieniu do zróżnicowanych populacji. Proces opracowania modelu przedstawiono na Rysunku 1.

Kwestionariusz Zdrowia Pacjenta-9 (PHQ-9) oraz skala Zaburzeń Lękowych Uogólnionych-7 (GAD-7): Uczestnicy wypełnili kwestionariusze samoopisowe pod nadzorem wykwalifikowanego psychologa w celu oceny ich aktualnego stanu emocjonalnego. Zastosowano narzędzia takie jak Kwestionariusz Zdrowia Pacjenta-9 (PHQ-9) oraz skalę Zaburzeń Lękowych Uogólnionych-7 (GAD-7). Wynik powyżej 9 punktów w którejkolwiek ze skal uznano za klinicznie istotny.

TRENDY

Narzędzie do rozpoznawania emocji w zaburzeniach neuropsychiatrycznych (TRENDS) jest zwalidowanym kulturowo, wrażliwym ekologicznie instrumentem zaprojektowanym do oceny zdolności rozpoznawania emocji z wyrazu twarzy¹¹. Zostało ono zwalidowane do użytku w populacjach indyjskich i składa się z 40 fotografii aktorów przedstawiających uniwersalne emocje podstawowe: neutralność, szczęście, strach, gniew oraz smutek. Obrazy z TRENDS posłużyły jako bodźce referencyjne do walidacji wyników klasyfikacji emocji algorytmu FEA.

Projekt eksperymentalny

Eksperyment został zaprojektowany w celu wywołania algorytmicznej reakcji na bodźce emocjonalne. Na potrzeby niniejszego badania opracowano i zastosowano dwa paradygmaty wywoływania emocji.

Paradygmat obrazowania TRENDS

W pierwszym paradygmacie sekwencja wideo rozpoczynała się od wyświetlania pustego ekranu przez 60 s, po czym prezentowano bodźce emocjonalne. Bodźce emocjonalne wybrano z narzędzia TRENDS. Zaprezentowano łącznie 20 obrazów, reprezentujących neutralność, szczęście, smutek, gniew i strach × dwie płcie × dwie grupy wiekowe. Każdy bodziec był wyświetlany przez 5 s. Całkowity czas prezentacji bodźców wynosił zatem 20 × 5 s, z dodatkowym 10 s odstępem pustego ekranu między kolejnymi obrazami, co dało łączny czas trwania 300 s. Podczas każdego 10 s odstępu uczestnicy byli proszeni o zidentyfikowanie emocji przedstawionej na poprzednim obrazie poprzez wybranie jednej z pięciu etykiet emocji wyświetlonych na ekranie.

Paradygmat Navarasa

Drugi, analogiczny paradygmat wideo został opracowany w oparciu o system Navarasa obejmujący dziewięć ras. Przedstawiono łącznie 18 obrazów (dziewięć emocji × dwie płcie). Każdy bodziec wyświetlano przez 5 s, z 10 s przerwy (pusty ekran) między obrazami, co dało całkowity czas trwania wynoszący 270 s. Dziewięć emocji skategoryzowano jako neutralne (shanta), przyjemne (haasya, veera, shringara, adbhuta) lub nieprzyjemne (Krodha, vibhitsa, bhayanaka, karuna). Podczas każdego 10 s odstępu uczestnicy musieli zaklasyfikować emocję przedstawioną na poprzednim obrazie, wybierając jedną z trzech opcji wyświetlonych na ekranie: neutralną, przyjemną lub nieprzyjemną. Dziewięć Navaras pogrupowano w trzy kategorie, aby ułatwić rejestrację odpowiedzi uczestników w zakresie identyfikacji emocji.

Uczestnicy

Zdrowych dorosłych ochotników zrekrutowano z miejsc pracy oraz instytucji edukacyjnych. Kryteria włączenia obejmowały osoby w wieku 18–50 lat, niezależnie od płci. Kryteria wykluczenia obejmowały przebieg zdiagnozowanych zaburzeń psychicznych, zaburzeń neurologicznych, znaczne upośledzenie wzroku lub niepełnosprawności fizyczne ograniczające ruchy głowy i szyi.

Procedura

Uczestnicy zostali posadzeni tak, aby kamera znajdowała się na wysokości ich oczu w odległości 60–70 cm. W badaniu wykorzystano algorytm FEA. Na laptopie uruchomiono aplikację, a badacz wprowadził identyfikator uczestnika. Przez cały czas trwania eksperymentu algorytm FEA stale rejestrował dane wideo, aby umożliwić późniejszą analizę wyrazów twarzy i mikroruchów. Początkowo uzyskano 60 s nagrania bazowego, podczas którego uczestnicy mieli polecenie zrelaksować się i powstrzymać od jawnych zachowań ekspresyjnych. Po uzyskaniu pomiaru bazowego uczestnicy zostali poddani dwóm paradygmatom wideo (obrazy TRENDS, a następnie Navarasa). Wszyscy uczestnicy oglądali paradygmaty w tej samej, stałej kolejności, aby zminimalizować potencjalne efekty zakłócające związane z sekwencją prezentacji; jednak stała kolejność ta mogła wprowadzić efekty kolejności. Podczas sesji nagraniowych badacz pozostawał poza pomieszczeniem, aby ograniczyć rozpraszanie uwagi. Badacz monitorował przebieg eksperymentu zdalnie za pomocą aplikacji mobilnej, przebywając poza pokojem. Uczestnikom zaproponowano krótką przerwę między dwoma paradygmatami (Rycina 2).

Analiza

Zebrane dane przypisano do identyfikatora podmiotu wprowadzonego w aplikacji, aby zapewnić wierność danych. Algorytm FEA wykorzystuje ustrukturyzowany, kompleksowy potok obliczeniowy do automatycznego wnioskowania o emocjach, składający się z pięciu głównych etapów: akwizycji wideo, detekcji i ekstrakcji cech, wstępnego przetwarzania danych, klasyfikacji emocji oraz interpretacji wyników. Wyekstrahowane cechy poddano serii operacji wstępnego przetwarzania, w tym redukcji szumów, normalizacji w odniesieniu do podmiotów i warunków oświetlenia oraz interpolacji brakujących klatek. W celu zwiększenia stabilności sygnału zastosowano wygładzanie czasowe. Powstałe wektory cech zostały wyrównane czasowo w celu dalszego wprowadzenia do modelu klasyfikacyjnego. Te wyrównane czasowo i odszumione macierze cech posłużyły jako dane wejściowe dla komponentu klasyfikacji emocji.

Ekstrakcja cech

Struktura ekstrakcji wykorzystuje algorytmiczny potok wieloetapowej ekstrakcji cech, który przekształca standardowe dwuwymiarowe (2D) strumienie obrazów z kamery monokularnej w zrekonstruowaną trójwymiarową (3D) przestrzeń współrzędnych. Zamiast polegać na surowym śledzeniu pikseli 2D, system mapuje zlokalizowane współrzędne przestrzenne na twarzy i górnej części ciała. Wyodrębnione cechy dzielą się na trzy szerokie kategorie: (i) regiony punktów charakterystycznych twarzy, obejmujące geometryczne deskryptory struktury i dynamiki twarzy (w tym wskazówki z obszaru oczu oraz korelaty mikroekspresji twarzy zaczerpnięte z modelu Navarasa, który wywodzi się z Natyashastra — najwcześniejszego sformalizowanego systemu ludzkiej ekspresji emocjonalnej, uznanego przez UNESCO); (ii) informacje o pozycji głowy, rejestrujące orientację i ruch głowy; oraz (iii) cechy ruchu górnej części ciała, rejestrujące wynikowy ruch górnej części ciała. Szczegółowe definicje cech, w tym precyzyjne indeksy punktów charakterystycznych i identyfikatory punktów kluczowych, są zastrzeżone i nie mogą zostać w pełni ujawnione; zostaje to uznane za ograniczenie badania. System nie wykorzystuje bezpośrednio etykiet jednostek akcji z Facial Action Coding System (FACS); zamiast tego wyodrębnia cechy geometryczne i czasowe z ruchów twarzy i ciała. Te przestrzenne transformacje 3D są agregowane w czasie w celu wygenerowania kompleksowego wektora podsumowania behawioralnego, który służy jako dane wejściowe dla klasyfikatora MLP. Łącznie z zarejestrowanych danych początkowo wyodrębniono ponad 700 cech kandydackich, które następnie zredukowano do około 300 wybranych cech poprzez selekcję cech i optymalizację modelu. Struktura potoku przebiega od akwizycji wideo, przez przestrzenną rekonstrukcję 2D-do-3D, agregację czasową i normalizację cech, aż do klasyfikacji.

Model klasyfikacji emocji

Wstępnie przetworzone wektory cech zostały wprowadzone do architektury nadzorowanej wielowarstwowej sieci neuronowej typu perceptron (MLP), wytrenowanej na wewnętrznym, adnotowanym zbiorze danych odpowiadającym dziewięciu kategoriom emocjonalnym Navarasa: Śṛṅgāra (miłość), Hāsya (radość), Karuṇā (smutek), Raudra (gniew), Vīra (odwaga), Bhayānaka (strach), Bībhatsa (wstręt), Adbhuta (zachwyt) i Śānta (pokój). Model został zaprojektowany w taki sposób, aby wychwytywać zależności czasoprzestrzenne w danych dotyczących ekspresyjnych zachowań. W każdym kroku czasowym architektura generowała wektor przewidywanych intensywności emocji dla dziewięciu kategorii.

Postprocesing wyników modelu

Surowe wyniki modelu zostały następnie poddane postprocesowaniu w celu uzyskania stabilnych i interpretowalnych wyników oceny emocji. Zastosowano trzy następujące po sobie operacje: (i) wygładzanie czasowe w celu zredukowania krótkotrwałych wahań, (ii) normalizację w celu zapewnienia porównywalności w czasie oraz pomiędzy wymiarami emocji, oraz (iii) agregację w celu wyprowadzenia miar podsumowujących dla określonych okien czasowych lub całych sekwencji. Procedury postprocesowania zapewniają porównywalność międzyosobniczą i kontrolują indywidualne różnice w wartościach bazowych.

Interpretacja i wizualizacja wyników

Algorytm FEA generuje ilościowe i wizualne reprezentacje dynamiki emocjonalnej wywnioskowanej z danych wideo. Dwie główne formy wyników to czasowe trajektorie emocji. Wartości intensywności emocji są wizualizowane jako wykresy szeregów czasowych, pokazujące ewolucję każdej emocji w trakcie trwania filmu. Taka reprezentacja zapewnia ciągły wgląd w zmienność afektywną, ułatwiając analizę przejściowych zmian, szczytowych aktywacji oraz faz regeneracji lub wyciszania pobudzenia emocjonalnego. Porównawcze oceny emocjonalne: Zagregowane wartości emocji dla każdej z dziewięciu kategorii Navarasa są prezentowane jako wykresy ocen porównawczych, ilustrujące względną wielkość każdej emocji w analizowanym przedziale. Te porównawcze wizualizacje umożliwiają bezpośrednie zestawienie emocji i zapewniają zwięzłe podsumowanie ogólnego profilu afektywnego. Wyniki algorytmu FEA uzyskane w punkcie wyjściowym zostały sprawdzone pod kątem występowania linii płaskich lub braku znaczących zmian, co mogłoby wskazywać na niewłaściwe nagranie.

Analiza statystyczna

Wyniki dla dziewięciu domen emocjonalnych Navarasa, wygenerowane przez algorytm FEA w 10 s odstępie czasu po prezentacji każdego obrazu w paradygmacie, potraktowano jako zmienne wynikowe. Wyniki algorytmu FEA generowano dla każdego s w 10 s oknie (T0, T1, T2… T9). Wynik algorytmu FEA w T0 uznano za wartość bazową. Najwyższy wynik algorytmu FEA spośród pomiarów z T1–T9 zdefiniowano jako Tmax. Obliczono zmianę wyniku algorytmu FEA względem wartości bazowej (Tmax − T0), która posłużyła jako zmienna wynikowa w analizach. Zmiana wyników algorytmu FEA w serii czasowej dla każdej emocji została przedstawiona na Rysunku 3A–D.

W przypadku obrazów TRENDS odpowiednie docelowe kategorie emocji przypisano w następujący sposób: Shanta > neutralna; Haasya > radość; Krodha > gniew; oraz Bhayanaka > strach. W przypadku obrazów Navarasa wyniki algorytmu FEA pogrupowano i uśredniono w trzy kategorie złożone: neutralną (Shanta), przyjemną (Haasya, Veera, Shringara, Adbhuta) oraz nieprzyjemną (Krodha, Vibhitsa, Bhayanaka, Karuna).

Przeprowadzono analizy zarówno na poziomie grupy, jak i na poziomie poszczególnych badanych.

Analiza na poziomie grupy: Dla każdej opisanej powyżej kategorii emocji zmianę wyniku algorytmu FEA od poziomu bazowego do Tmax porównano za pomocą sparowanych testów t. Istotna zmiana wyniku algorytmu FEA względem poziomu bazowego wskazywałaby na dobrą zgodność z rozpoznawaniem emocji. Jednakże istotna różnica nie musiałaby koniecznie wskazywać na wysoką dokładność klasyfikacji.

Analiza na poziomie badanego: Każdy wzrost wyniku w domenie emocjonalnej algorytmu FEA powyżej wartości bazowej klasyfikowano jako pozytywną odpowiedź emocjonalną. Następnie wyznaczono wskaźniki dokładności — czułość i swoistość. Czułość i swoistość określają odpowiednio prawdopodobieństwo, że test będzie pozytywny w obecności badanego stanu (+) oraz negatywny w jego przypadku (−). Gdy obie wartości zbliżają się do 1, test wykazuje wysoką dokładność diagnostyczną. Szacowaną czułość i swoistość zdefiniowano odpowiednio jako proporcje uczestników z i bez stanu referencyjnego (ekspresje Navarasa), którzy zostali prawidłowo sklasyfikowani.

Uznano, że u badanego występuje badany stan (+), jeżeli poprawnie zidentyfikował on co najmniej 75% przedstawionych emocji. Klasyfikacja ta opierała się na badaniach walidacyjnych TRENDS, w których dokładność na poziomie 60–80% uznano za wystarczającą trafność różnicującą. W celu oszacowania pola pod krzywą (AUC) oraz odpowiadających mu wartości czułości i swoistości przeprowadzono analizę charakterystyki operacyjnej odbiornika (ROC) dla predyktora ciągłego. Czułość powyżej 80% uznano za dobrą zdolność dyskryminacyjną, natomiast poniżej 80% za umiarkowaną.

Wyniki

W badaniu analizowano zmienność wyników algorytmu FEA w odpowiedzi na bodźce wywołujące emocje oraz oceniono wydajność diagnostyczną algorytmu FEA za pomocą analizy charakterystyki operacyjnej odbiornika (ROC). Do badania zrekrutowano siedemdziesięciu dwóch zdrowych ochotników. Średni wiek (SD) wynosił 31,9 (11,9) lat, a próba obejmowała 26 mężczyzn i 46 kobiet. Wszyscy uczestnicy posiadali co najmniej 10-letnie wykształcenie i wszyscy byli pochodzenia indyjskiego. Ich średnie (SD) wyniki w skalach PHQ-9 i GAD-7 wynosiły odpowiednio 4,4 (4,8) oraz 4,7 (4,5).

Zmiany w wynikach algorytmu FEA w odpowiedzi na bodźce emocjonalne: miary pochodne z algorytmu FEA wykazały statystycznie istotne zmiany od wartości bazowej (T0) do Tmax, co określono za pomocą testów t-studenta dla par w obu warunkach bodźca — obrazów TRENDS i Navarasa (p < 0.001; Tabela 1, Rysunek 4, Tabela 2 oraz Rysunek 5).

Dokładność diagnostyczna algorytmu FEA: Wydajność diagnostyczna algorytmu FEA została oceniona za pomocą analizy krzywej charakterystyki operacyjnej odbiornika (ROC), przy czym wartości pola pod krzywą (AUC) obliczono dla poszczególnych stanów emocjonalnych (Tabela 3). Najwyższą wartość AUC uzyskano dla wyniku algorytmu FEA odpowiadającego stanowi Shanta w odpowiedzi na neutralne bodźce emocjonalne twarzy (AUC = 0.665), a następnie dla pozytywnej emocji szczęścia (AUC = 0.637) (Rycina 6). Czułość dla emocji neutralnych i pozytywnych (szczęście, przyjemność) wyniosła 70–80%, podczas gdy czułość dla emocji negatywnych (gniew, strach, nieprzyjemność) wyniosła 60–70%. Wartości czułości te są niższe niż 80% i reprezentują umiarkowaną zdolność dyskryminacyjną.

Korelacja między wynikami algorytmu FEA a wynikami PHQ-9 i GAD-7: Nie zaobserwowano istotnych korelacji między żadnym z wyników algorytmu FEA a wynikami PHQ-9 lub GAD-7.

DOSTĘPNOŚĆ DANYCH:

Wszystkie surowe dane znajdują się w Pliku uzupełniającym 2.

Rycina 1: Schemat potoku opracowywania modelu algorytmu FEA. Schemat przedstawia wewnętrzny zbiór danych wideo z udziałem indyjskich aktorów obu płci, poddawany ekstrakcji klatek i ekstrakcji cech w trzech kategoriach: obszarów punktów charakterystycznych twarzy (w tym wskazówek dotyczących oczu i mikroekspresji twarzy wywodzących się z Natyashastra/Navarasa), informacji o ułożeniu głowy oraz ruchów górnej części ciała, które są agregowane w jeden wektor cech i przekazywane do klasyfikatora wielowarstwowego perceptronu (MLP). Wynik MLP poddawany jest autorskiej postprodukcji (wygładzanie czasowe, normalizacja i agregacja; przerywana pomarańczowa ramka) przed wygenerowaniem końcowego wyniku predykcji Navarasa w dziewięciu kategoriach. Ciągłe niebieskie ramki oznaczają etapy przetwarzania; zacieniowane niebieskie ramki oznaczają kategorie cech; przerywana pomarańczowa ramka oznacza autorski etap przetwarzania, którego wewnętrzne parametry nie mogą zostać ujawnione. Ponieważ jest to schemat procesu, a nie wykres danych, słupki błędów i paski skali nie mają zastosowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 2: Procedura eksperymentu z algorytmem FEA. Schemat blokowy przedstawiający kolejne etapy protokołu eksperymentalnego: półstrukturalna ocena kliniczna (PHQ-9, GAD-7); ułożenie uczestnika w pozycji siedzącej z kamerą ustawioną na wysokości oczu, 60–70 cm od uczestnika; 60 s nagrania bazowego; paradygmat obrazów emocjonalnych TRENDS (20 obrazów z pięciu kategorii emocji; 5 s prezentacji bodźca i 10 s odstępu na odpowiedź dla każdego obrazu; łącznie 300 s); krótka przerwa; oraz paradygmat obrazów emocjonalnych Navarasa (18 obrazów z dziewięciu kategorii Navarasa; 5 s prezentacji bodźca i 10 s odstępu na odpowiedź dla każdego obrazu; łącznie 270 s). Strzałki wskazują sekwencję czasową procedur od momentu rekrutacji do zakończenia akwizycji danych. Ponieważ jest to schemat procesowy, a nie wykres danych, słupki błędów i paski skali nie mają zastosowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 3: Zmiany wyników algorytmu FEA w czasie w odpowiedzi na odpowiadające im obrazy emocji TRENDS (od T0 do T9 s). Cztery panele (A–D) przedstawiają trajektorię wyników algorytmu FEA na poziomie grupowym, sekunda po sekundzie (oś y; dowolne jednostki punktowe generowane przez zastrzeżony algorytm punktacji) w 10-sekundowym oknie po bodźcu (oś x; T0 = wynik w momencie ustąpienia bodźca/linia bazowa dla danej próby, T1–T9 = każda kolejna s), dla (A) domeny Shanta po obrazach neutralnych, (B) domeny Haasya po obrazach radosnych, (C) domeny Bhayanaka po obrazach lękowych oraz (D) domeny Krodha po obrazach gniewnych (n = 72 uczestników na panel). Punkty/linie reprezentują średnie grupowe w każdym punkcie czasowym; słupki błędów/zacieniowane obszary reprezentują odchylenie standardowe (SD) między uczestnikami. Paski skali nie mają zastosowania w tym formacie wykresu liniowego szeregów czasowych. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rycina 4: Wykres słupkowy przedstawiający średnią zmianę wyników algorytmu FEA w odpowiedzi na oglądanie obrazów emocji TRENDS. Słupki reprezentują średnią zmianę wyniku algorytmu FEA dla grupy (Tmax −T0; oś y, dowolne jednostki punktowe) dla każdej z czterech kategorii emocji zmapowanych wg TRENDS (Shanta/Neutralna, Haasya/Radosna, Krodha/Gniew, Bhayanaka/Strach; oś x) (n = 72). Słupki błędów reprezentują odchylenie standardowe (SD) zmiany wyniku w każdej kategorii. We wszystkich czterech kategoriach odnotowano statystycznie istotną zmianę względem wartości bazowej w teście t dla prób zależnych (p < 0.001; patrz Tabela 1). Paski skali nie mają zastosowania w tym formacie wykresu słupkowego. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 5: Wykres słupkowy przedstawiający średnią zmianę wyników algorytmu FEA w odpowiedzi na oglądanie obrazów emocji Navarasa. Słupki reprezentują średnią grupową zmianę wyniku algorytmu FEA (Tmax − T0; oś y, dowolne jednostki wyniku) dla trzech złożonych kategorii Navarasa — neutralnej (Shanta), przyjemnej (średnia z Haasya, Veera, Shringara, Adbhuta) oraz nieprzyjemnej (średnia z Krodha, Vibhitsa, Bhayanaka, Karuna) (oś x) (n = 72). Słupki błędów reprezentują odchylenie standardowe (SD) wyniku zmiany w każdej kategorii. Wszystkie trzy kategorie wykazały statystycznie istotną zmianę względem wartości wyjściowej w teście t dla prób zależnych (p < 0,001; patrz Tabela 2). Paski skali nie mają zastosowania w tym formacie wykresu słupkowego. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rysunek 6: Krzywa charakterystyki operacyjnej odbiornika (ROC) przedstawiająca czułość dla różnych wartości odcięcia wyniku Shanta algorytmu FEA w odpowiedzi na obrazy emocji neutralnych. Oś y reprezentuje czułość (wskaźnik prawdziwie dodatnich, %), a oś x reprezentuje 1 − swoistość (wskaźnik fałszywie dodatnich, %), wykreślone w zakresie możliwych wartości odcięcia wyniku Shanta; przekątna linia referencyjna reprezentuje dyskryminację na poziomie przypadku (AUC = 0.5). Pole pod krzywą (AUC) = 0.665 (wartości AUC, czułości i swoistości dla wszystkich kategorii emocji znajdują się w Tabeli 3). Słupki błędów i paski skali nie mają zastosowania w tym formacie krzywej. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Emocja (bodźce TRENDS)	Średnia T0	Średnia Tmax	Średnia różnica	wartość p
Neutralna – Shanta	0.2261	0.2664	0.0403	<0.001
Radosna – Haasya	0.0834	0.1127	0.0294	<0.001
Strach – Bhayanaka	0.0648	0.0848	0.02	<0.001
Gniew – Raudra	0.0901	0.1108	0.0207	<0.001

Tabela 1: Średnie wartości T0 i Tmax wyników algorytmu FEA w odpowiedzi na oglądanie bodźców emocjonalnych TRENDS. Dla każdej kategorii emocji zmapowanej w TRENDS (Shanta/Neutralne, Haasya/Radosne, Krodha/Gniew, Bhayanaka/Strach) tabela przedstawia średnią grupową wyników algorytmu FEA (± SD) w punkcie wyjściowym (T0) oraz w maksymalnym punkcie w obrębie próby (Tmax), średnią zmianę (Tmax − T0) oraz wynik sparowanego testu t (wartość p) porównującego T0 i Tmax (n = 72). Wszystkie wartości podano w arbitralnych jednostkach wyniku algorytmu FEA; za istotne statystycznie uznano p < 0.05.

Kategoria emocji (bodźce Navarasa)	Średnia wartość T0	Średnia Tmax	Różnica średnich	wartość p
Neutralny – Shanta	0.24	0.29	0.047	<0.001
Przyjemne (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Nieprzyjemne (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tabela 2: Średnie wartości T0 i Tmax wyników algorytmu FEA w odpowiedzi na oglądanie bodźców emocjonalnych Navarasa. Dla każdej złożonej kategorii Navarasa (neutralna, przyjemna, nieprzyjemna) w tabeli przedstawiono średnie grupowe wyniki algorytmu FEA (± SD) w punkcie wyjściowym (T0) oraz w punkcie maksymalnym w obrębie próby (Tmax), średnią zmianę (Tmax − T0) oraz wynik testu t dla prób zależnych (wartość p) porównującego T0 i Tmax (n = 72). Wszystkie wartości podano w arbitralnych jednostkach wyników algorytmu FEA; wartość p < 0,05 uznano za istotną statystycznie.

Panel A: Bodźce TRENDS
Bodźce TRENDS	AUC	95% CI	Wartość odcięcia Δ wyniku Emoscape	Czułość (%)	Swoistość (%)
Neutralny – Shanta	0.665	0.456–0.873	0.065	82.5	50
Radosny – Haasya	0.637	0.493–0.780	0.0345	70.7	46.2
Strach – Bhayanaka	0.583	0.446–0.721	0.018	61.2	54.5
Gniew – Raudra	0.532	0.374–0.689	0.023	67.3	45.5
Panel B: Bodźce Navarasa
Bodźce Navarasa	AUC	95% CI	Wartość odcięcia Δ wyniku Emoscape	Czułość (%)	Swoistość (%)
Shanta (Neutralny)	0.596	0.412–0.779	0.03	85.7	44.6
Przyjemne (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0.012	70.2	40
Nieprzyjemne (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0.007	67.8	38

Tabela 3: Wartości pola pod krzywą (AUC), czułości i swoistości dla wyników algorytmu FEA z podziałem na kategorie emocji. Dla każdej kategorii emocji ocenianej za pomocą analizy charakterystyki operacyjnej odbiornika (ROC), w tabeli przedstawiono AUC, czułość (%) oraz swoistość (%). Przyjęto, że czułość ≥ 80% wskazuje na dobrą zdolność dyskryminacyjną; wartości poniżej tego progu sklasyfikowano jako umiarkowane (patrz Analiza statystyczna).

Rysunek uzupełniający 1: Znormalizowana macierz pomyłek dla modelu klasyfikacji emocji Navarasa z dziewięcioma klasami. Wiersze reprezentują prawdziwą (rzeczywistą) klasę emocji, a kolumny reprezentują klasę emocji przewidzianą przez model; wartości w komórkach wskazują proporcję instancji klasy prawdziwej przypisanych do każdej klasy przewidzianej, znormalizowaną w skali 0–1 (pasek kolorów po prawej). Etykiety klas (1–9) odpowiadają dziewięciu kategoriom emocji Navarasa; ze względu na ograniczenia własnościowe, konkretne przypisanie numerów do emocji nie zostało ujawnione. Ogólna dokładność klasyfikacji z walidacją krzyżową dla wszystkich dziewięciu kategorii wyniosła 96%. Słupki błędów nie mają zastosowania w tym formacie macierzy.Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 1: Opis opracowania modelu algorytmu FEA (zawiera wewnętrzne wskaźniki walidacji, dokładność walidacji krzyżowej oraz macierz pomyłek Navarasa 9 × 9).Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 2: Plik zawierający surowe dane.Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Celem niniejszego badania była wstępna walidacja algorytmu FEA poprzez analizę zgodności między wynikami uzyskanymi za pomocą algorytmu FEA a reakcjami na standaryzowane bodźce emocjonalne twarzy u zdrowych dorosłych ochotników. Wczesne wyniki wskazują, że algorytm FEA wykazuje statystycznie wykrywalne zmiany w odpowiedzi na wizualne bodźce wywołujące emocje w różnych dyskretnych kategoriach emocjonalnych, w tym neutralnej (shanta), radości (haasya), strachu (bhayanaka) i gniewu (raudra), a także w szerszych klasyfikacjach stanów przyjemnych i nieprzyjemnych. Sugeruje to, że wyniki algorytmu FEA są zgodne z reakcjami w zadaniach z wykorzystaniem bodźców emocjonalnych.

Zaobserwowano, że czułość algorytmu FEA wynosiła od 70% do 80% dla emocji neutralnych lub pozytywnych oraz od 60% do 70% dla emocji negatywnych. Wartości czułości te są umiarkowane jak na test przeznaczony do użytku jako narzędzie przesiewowe¹². W porównaniu z nimi, szersze modele wnioskowania o emocjach oparte na uczeniu maszynowym, wykorzystujące markery neurofizjologiczne, takie jak elektroencefalografia (EEG), wykazują dokładność klasyfikacji sięgająca 90%¹³. System klasyfikatora zespołowego do klasyfikacji emocji na podstawie EEG i GSR w celu wykrywania autyzmu wykazał dokładność detekcji na poziomie 99,97%¹⁴. Jednak modele te mają tendencję do bycia bardziej wymagającymi obliczeniowo i wymagają przetwarzania offline. W przeciwieństwie do nich, istotną zaletą algorytmu FEA jest skupienie się na obserwowalnych sygnałach twarzy i ciała, co umożliwia pracę w czasie rzeczywistym.

Procedura algorytmu FEA zależy od kilku czynników proceduralnych, które mają kluczowe znaczenie dla jakości i wiarygodności nagrań wykonanych tym algorytmem. Należą do nich pozycja kamery oraz oświetlenie otoczenia. Nagrania przeprowadzone przy niespójnym lub słabym oświetleniu mogą znacząco obniżyć jakość ekstrakcji cech. Pozycja głowy i ciała musi pozostać stabilna podczas każdej sesji nagraniowej; z tego powodu z badania wykluczono uczestników z ograniczoną ruchomością głowy lub szyi. Niezbędne jest zminimalizowanie zakłóceń behawioralnych podczas nagrywania. Uczestnicy siedzieli samotnie, bez obecności badacza w pomieszczeniu, aby zredukować efekt pożądania społecznego oraz autokontrolę, która mogłaby tłumić naturalną ekspresję twarzy.

Wprowadzenie ram Navarasa zapewnia klasyfikację emocji uwzględniającą uwarunkowania kulturowe. W badaniu zastosowano podejście oparte na teorii umysłu (ToM), aby ocenić zmiany wyników algorytmu FEA w odpowiedzi na bodźce emocjonalne. ToM reprezentuje funkcję poznawczą społeczna wyższego rzędu, a jej podłoża neurobiologiczne zostały opisane w literaturze¹⁵, co potwierdza biologiczną zasadność obserwowanych zmian w wynikach algorytmu FEA.

Nie stwierdzono korelacji między wynikami algorytmu FEA a wynikami testów depresji lub lęku, co sugeruje, że wewnętrzne stany emocjonalne uczestników prawdopodobnie nie wpłynęły na nagrania z algorytmu FEA. Trudno jest jednak w pełni kontrolować stany emocjonalne uczestników podczas eksperymentu. Dodatkowo, odgórne przetwarzanie poznawcze może hamować naturalne reakcje emocjonalne, szczególnie w odpowiedzi na negatywne bodźce emocjonalne. Przyszłe badania powinny oceniać subiektywne doświadczenia uczestników podczas oglądania bodźców emocjonalnych, co mogłoby dodatkowo potwierdzić, czy bierne oglądanie rzeczywiście wywołuje subiektywny stan emocjonalny. Umiarkowana czułość samego algorytmu FEA mogłaby zostać potencjalnie zwiększona dzięki dodatkowym danym neurofizjologicznym, takim jak EEG, zmienność rytmu serca (HRV) lub reakcja skórno-galwaniczna (GSR). Powinno to zostać ocenione w przyszłych badaniach walidacyjnych. Walidację przeprowadzono na populacji zdrowych dorosłych. Użyteczność algorytmu FEA w ocenie subiektywnych stanów emocjonalnych w stanach klinicznych, takich jak depresja i lęk, wymaga dalszych badań w ramach studiów przypadków i kontrolnych.

Należy odnieść się do kilku ograniczeń niniejszego badania. Prywatny charakter algorytmu FEA ogranicza przejrzystość jego procesu przetwarzania. W szczególności nie można ujawnić dokładnej liczby aktorów/uczestników, tożsamości na poziomie aktora/uczestnika, dokładnej liczby nagrań wideo na aktora, dokładnych definicji cech (indeksów punktów charakterystycznych i identyfikatorów punktów kluczowych) oraz szczegółowych parametrów architektury MLP (precyzyjnych wymiarów warstw i liczby parametrów). Wewnętrzne wskaźniki walidacji (dokładność z walidacją krzyżową na poziomie 96%; niezależna walidacja na >15 000 min nagrań wideo) zostały przedstawione w materiałach uzupełniających. Etykiety klas reprezentujące nazwy emocji zostały zanonimizowane ze względu na ograniczenia własnościowe. Przyznajemy, że ograniczenia te utrudniają niezależną replikację.

W badaniu zaobserwowano zgodność bodźców między wynikami algorytmu FEA a dokładnością rozpoznawania emocji u zdrowych osób dorosłych, przy umiarkowanej czułości w rozróżnianiu stanów emocjonalnych. Stanowi to wstępną walidację algorytmu FEA, zastrzeżonego algorytmu opartego na ML, który analizuje mikroruchy górnej części ciała i generuje dynamiczne reprezentacje trajektorii emocjonalnych oraz zagregowane wyniki dla każdej z dziewięciu ras, w oparciu o strukturę Navarasa. Przyszłe iteracje algorytmu powinny dążyć do poprawy jego mocy dyskryminacyjnej we wszystkich kategoriach emocjonalnych poprzez włączenie dodatkowych danych fizjologicznych lub kontekstowych. Walidacja w szerszych populacjach klinicznych wymaga dalszych badań.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Emoscape	Nihilent Ltd, Pune	1	Twórca oprogramowania Emoscape
Manoshanti Centers for Emotional Well Being	GNR Health Care Pvt Ltd.	2	Partner kliniczny i badawczy
Narzędzie do rozpoznawania emocji w zaburzeniach neuropsychiatrycznych	prawa autorskie należą do głównego autora badania	3	Narzędzie wykorzystane do walidacji w badaniu