Wstępna walidacja algorytmu analizy ruchu i ekspresji twarzy podczas zadań wywołujących emocje u zdrowych dorosłych

Podsumowanie

Niniejsze badanie wstępnie waliduje algorytm FEA, zastrzeżony algorytm uczenia maszynowego, służący do wykrywania reakcji podczas zadań z bodźcami emocjonalnymi. Analizuje ono zgodność wyników algorytmu FEA ze standaryzowanymi bodźcami emocji twarzy z wykorzystaniem modelu Navarasa u zdrowych dorosłych, oceniając, czy system wiarygodnie odzwierciedla reakcje związane z emocjami w kontrolowanych warunkach eksperymentalnych.

Streszczenie

Niniejszy protokół został opracowany w celu wstępnej walidacji Emoscape, zastrzeżonego algorytmu uczenia maszynowego opartego na strukturze Navarasa, poprzez sprawdzenie, czy uzyskane wyniki emocjonalne zmieniają się zgodnie ze standaryzowanymi zadaniami wywoływania emocji u zdrowych dorosłych. Do badania zrekrutowano siedemdziesięciu dwóch zdrowych dorosłych, którzy wyrazili pisemną zgodę na udział. Uczestnicy wypełnili kwestionariusze Patient Health Questionnaire-9 oraz Generalized Anxiety Disorder-7, a następnie oglądali bodźce przedstawiające emocje twarzy z zestawu TRENDS oraz obrazy Navarasa; w tym czasie algorytm FEA rejestrował mikroruchy górnej części ciała podczas wykonywania zadania. Uczestnicy identyfikowali również wyświetlane emocje. Analizowano zmiany wyników algorytmu FEA względem wartości bazowej podczas ekspozycji na bodźce neutralne, radosne, strachu i gniewu z zestawu TRENDS, a także podczas ekspozycji na obrazy Navarasa. Do oszacowania czułości i swoistości różnicowania kategorii emocjonalnych wykorzystano analizę charakterystyki operacyjnej odbiornika (ROC). Wyniki algorytmu FEA wykazały istotne odchylenia od wartości bazowej dla obrazów TRENDS przypisanych do odpowiadających im emocji (Neutralna–Shanta, Radosna–Haasya, Strach–Bhayanaka i Gniew–Raudra). Zgodne zmiany zaobserwowano również w przypadku obrazów Navarasa, przy czym wszystkie średnie różnice były statystycznie istotne (p < 0,001). Wartości pola pod krzywą (AUC) różniły się w zależności od kategorii. Algorytm FEA wykazał umiarkowaną czułość dla emocji przyjemnych (70–80%) i nieprzyjemnych (60–70%). Wyniki te stanowią wstępne potwierdzenie zasadności protokołu oraz zastosowania algorytmu FEA do oceny odpowiedzi związanych z emocjami podczas kontrolowanych zadań wywoływania emocji u zdrowych dorosłych.

Wprowadzenie

Rozpoznawanie emocji jest istotnym obszarem badań w ramach społecznej neuronauki poznawczej, z potencjalnymi zastosowaniami klinicznymi i badawczymi. Istniejące metody oceny emocjonalnej kwantyfikują zmiany w aktywności fizjologicznej, takie jak elektroencefalografia (EEG) lub galwaniczna reakcja skóry (GSR), aby wnioskować o stanach emocjonalnych. Metody te są jednak złożone i inwazyjne. Bezpośrednie pomiary ruchów twarzy i ciała stanowią bardziej bezpośredni i obserwowalny wskaźnik stanu afektywnego jednostki^1,2,3. Algorytmy uczenia maszynowego (ML), w szczególności te trenowane na dużych, heterogenicznych zbiorach danych dotyczących ekspresji twarzy, są wykorzystywane do dekodowania takich subtelnych sygnałów niewerbalnych i klasyfikowania stanów emocjonalnych. Choć konwencjonalne algorytmy ML, takie jak maszyny wektorów wspierających (SVM), pozostają w szerokim użyciu, architektury głębokiego uczenia, a zwłaszcza sieci neuronowe (NN)^4,5, wykazują wyższą skuteczność, szczególnie przy trenowaniu na wielkoskalowych zbiorach danych, dzięki zdolności do automatycznej ekstrakcji cech⁶. Przykładem konwencjonalnego modelu w kontekście indyjskim jest interaktywne narzędzie, które przyjmuje wymiarowy model oparty na walencji w celu określenia pobudzenia. Systemy rozpoznawania emocji muszą być wrażliwe na kontekst kulturowy. W indyjskim środowisku kulturowym koncepcja Navarasa dostarcza niuansowej taksonomii dziewięciu podstawowych emocji, która jednak pozostaje w dużej mierze niezbadana w ramach badań nad rozpoznawaniem emocji opartym na ML. Odnotowuje się względny niedobór rygorystycznie zwalidowanych podejść ML, które bezpośrednio analizują obserwowalne wskazówki behawioralne — takie jak mikroekspresje twarzy i ruchy ciała^7,8. Takie algorytmy ML sterowane ekspresją mogą być stosowane w czasie rzeczywistym, są łatwe w obsłudze i nieinwazyjne.

Algorytm analizy wyrazu twarzy i ruchu [dalej określany jako algorytm FEA] jest zastrzeżonym algorytmem opartym na uczeniu maszynowym (ML), który analizuje mikroekspresje twarzy oraz ruchy górnej części ciała i generuje dynamiczne reprezentacje trajektorii emocjonalnych oraz zagregowane wyniki dla każdej z dziewięciu ras, w oparciu o koncepcję Navarasa. Celem niniejszego badania była wstępna walidacja algorytmu FEA poprzez zbadanie zgodności między wynikami uzyskanymi za pomocą FEA a reakcjami na standaryzowane bodźce emocjonalne twarzy u zdrowych dorosłych ochotników.

W tym celu opieramy się na konstruktach teorii umysłu (Theory of Mind, ToM) oraz systemie neuronów lustrzanych. ToM to kluczowa zdolność społeczno-poznawcza, która umożliwia jednostkom wnioskowanie i interpretację stanów mentalnych i emocjonalnych innych osób w kontekstach społecznych⁹. Dowody empiryczne sugerują, że ekspozycja na emocjonalne bodźce twarzowe aktywuje sieci neuronów lustrzanych, co z kolei wywołuje u obserwatora zgodny, zastępczy stan emocjonalny¹⁰. Wynikowa modulacja wewnętrznego, subiektywnego stanu emocjonalnego jednostki w odpowiedzi na oglądanie wyrazów twarzy odzwierciedlających emocje, jeśli zostanie uchwycona przez algorytm FEA, może dostarczyć wstępnej walidacji tego algorytmu.

Zakładamy, że ekspozycja na bodźce emocjonalne twarzy odpowiadające konkretnej kategorii Navarasa wywoła statystycznie istotne odchylenie od poziomu bazowego w wyniku algorytmu FEA dla danej emocji Navarasa.

Protokół

Protokół badania został zatwierdzony przez Komitet Etyki szpitali Sushruta w Hubballi, Karnataka, Indie (numer rejestracyjny EC: ECR/372/INST/KA/2013/RR-19), a od wszystkich uczestników przed włączeniem do badania uzyskano pisemną świadomą zgodę.

Algorytm FEA jest zastrzeżoną metodą opartą na uczeniu maszynowym (ML), służącą do analizy w czasie rzeczywistym mikroekspresji twarzy i ruchów górnej części ciała w celu wnioskowania o stanach emocjonalnych z wykorzystaniem modelu Navarasa. Model Navarasa, wywodzący się z klasycznej indyjskiej teorii estetyki, wyróżnia dziewięć głównych emocji: shringara (miłość), haasya (radość), karuna (smutek/zaduma), adbhuta (zaskoczenie), shanta (spokój), raudra (gniew), veera (odwaga), bhayanaka (strach) i vibhitsa (wstręt). Algorytm FEA wykorzystuje model uczenia maszynowego wytrenowany na mikroekspresjach twarzy i ruchach górnej części ciała wyekstrahowanych z obrazów aktorów odgrywających dziewięć emocji Navarasa. Algorytm wnioskuje o stanie emocjonalnym danej osoby poprzez analizę subtelnej dynamiki twarzy i mikroruchów z danych wizualnych zarejestrowanych za pomocą pojedynczej kamery RGB, a następnie generuje wartości ilościowe dla każdej z dziewięciu głównych emocji. Ta nieinwazyjna konfiguracja umożliwia dyskretną, naturalistyczną ocenę emocjonalną, co czyni ją odpowiednią do szerokiego zakresu zastosowań badawczych i praktycznych.

Opracowanie modelu

Algorytm FEA opiera się na architekturze sieci neuronowej (NN). Zbiór danych treningowych został opracowany wewnętrznie i składa się z kilku godzin zarejestrowanych danych wideo z udziałem indyjskich aktorów odgrywających dziewięć emocji Navarasa. Zbiór danych pochodzi z kontrolowanych nagrań wideo kilku aktorów/uczestników, przy czym dla każdego aktora/uczestnika przeprowadzono wiele nagrań/testów w różnych wywołanych stanach emocjonalnych. Po wstępnym przetwarzaniu, obejmującym detekcję punktów charakterystycznych twarzy, sprawdzanie spójności czasowej, filtrowanie jakości oraz usuwanie klatek nieużytecznych lub o niskim stopniu pewności, zachowano około 25 000 ustrukturyzowanych próbek treningowych. Podczas kurateli zbioru danych nagrania zostały podzielone według ponad dziesięciu parametrów demograficznych i związanych z nagrywaniem, w tym wieku, płci i innych istotnych atrybutów, oraz celowo zrównoważone, aby osiągnąć sprawiedliwą reprezentację w tych parametrach i zminimalizować błąd demograficzny. Rozkład płci utrzymano na poziomie około 52% mężczyzn i 48% kobiet. Uczestnicy obejmowali szeroko grupy wiekowe młodzieży i dorosłych, z reprezentacją młodszych, średnich i starszych kohort dorosłych. Aktorzy/uczestnicy przebywali w Indiach i reprezentowali wiele indyjskich środowisk regionalnych i kulturowych, a także wiele międzynarodowych grup etnicznych obecnych w Indiach. Ze względu na ograniczenia własnościowe nie można ujawnić dokładnej liczby aktorów/uczestników, tożsamości na poziomie aktora/uczestnika, dokładnej liczby filmów/nagrań na aktora, precyzyjnej liczby klatek ani wewnętrznej metodologii adnotacji, ponieważ stanowią one część własnościowego zbioru danych i własności intelektualnej dotyczącej rozwoju modelu firmy Nihilent Ltd.; ograniczenie to jest wyraźnie zaznaczone w sekcji Dyskusja.

Obrazy twarzy wyekstrahowane z tych nagrań zostały przetworzone przy użyciu technik przetwarzania obrazu w celu uzyskania cech ilościowych, które następnie posłużyły jako dane wejściowe dla sieci neuronowej w celu dokonania predykcji. Model ten został następnie oceniony na populacji docelowej, a uzyskane wnioski wykorzystano do iteracyjnego ulepszania kolejnych wersji. Cykl rozwoju, testowania i udoskonalania był powtarzany aż do momentu stabilizacji wydajności modelu. Końcowy model predykcyjny został zaimplementowany jako wielowarstwowy perceptron (MLP), składający się z warstwy wejściowej z około 300 wybranych cech, warstw ukrytych oraz warstwy wyjściowej generującej dziewięciowymiarowy wektor wyników odpowiadający dziewięciu kategoriom emocji Navarasa. Początkowo z przechwyconych danych wyekstrahowano ponad 700 cech, które następnie zredukowano poprzez procedury selekcji cech i optymalizacji modelu. Wynik z MLP jest następnie przekazywany do zastrzeżonych algorytmów postprocesingu w celu uzyskania ostatecznych zagregowanych wyników algorytmu FEA. Dalsze szczegóły architektoniczne — w tym dokładna liczba trenowalnych parametrów i konkretne wymiary warstw — są zastrzeżone i nie mogą zostać ujawnione; zostaje to uznane za ograniczenie niniejszego raportu. Szczegółowy opis rozwoju modelu znajduje się w materiale uzupełniającym (Supplementary File 1 oraz Supplementary Figure 1).

W trakcie iteracyjnego rozwoju oceniano wydajność modelu za pomocą walidacji krzyżowej na wewnętrznym zbiorze danych, osiągając 96% dokładności klasyfikacji w walidacji krzyżowej dla dziewięciu kategorii Navarasa. Następnie przeprowadzono niezależną walidację na ponad 15 000 min danych wideo. Znormalizowana macierz pomyłek 9 × 9 podsumowująca wydajność klasyfikacji dla wszystkich dziewięciu kategorii Navarasa znajduje się w materiałach uzupełniających (Supplementary File 1).

Po stabilizacji model został poddany kontrolowanej walidacji wewnętrznej pod nadzorem ekspertów. Podejście to kładzie nacisk na walidację empiryczną poprzez bezpośrednie testy z udziałem ludzi, co umożliwia ocenę przydatności w rzeczywistych warunkach oraz odporności modelu w odniesieniu do zróżnicowanych populacji. Proces opracowania modelu przedstawiono na Rysunku 1.

Kwestionariusz Zdrowia Pacjenta-9 (PHQ-9) oraz skala Zaburzeń Lękowych Uogólnionych-7 (GAD-7): Uczestnicy wypełnili kwestionariusze samoopisowe pod nadzorem wykwalifikowanego psychologa w celu oceny ich aktualnego stanu emocjonalnego. Zastosowano narzędzia takie jak Kwestionariusz Zdrowia Pacjenta-9 (PHQ-9) oraz skalę Zaburzeń Lękowych Uogólnionych-7 (GAD-7). Wynik powyżej 9 punktów w którejkolwiek ze skal uznano za klinicznie istotny.

TRENDY

Narzędzie do rozpoznawania emocji w zaburzeniach neuropsychiatrycznych (TRENDS) jest zwalidowanym kulturowo, wrażliwym ekologicznie instrumentem zaprojektowanym do oceny zdolności rozpoznawania emocji z wyrazu twarzy¹¹. Zostało ono zwalidowane do użytku w populacjach indyjskich i składa się z 40 fotografii aktorów przedstawiających uniwersalne emocje podstawowe: neutralność, szczęście, strach, gniew oraz smutek. Obrazy z TRENDS posłużyły jako bodźce referencyjne do walidacji wyników klasyfikacji emocji algorytmu FEA.

Projekt eksperymentalny

Eksperyment został zaprojektowany w celu wywołania algorytmicznej reakcji na bodźce emocjonalne. Na potrzeby niniejszego badania opracowano i zastosowano dwa paradygmaty wywoływania emocji.

Paradygmat obrazowania TRENDS

W pierwszym paradygmacie sekwencja wideo rozpoczynała się od wyświetlania pustego ekranu przez 60 s, po czym prezentowano bodźce emocjonalne. Bodźce emocjonalne wybrano z narzędzia TRENDS. Zaprezentowano łącznie 20 obrazów, reprezentujących neutralność, szczęście, smutek, gniew i strach × dwie płcie × dwie grupy wiekowe. Każdy bodziec był wyświetlany przez 5 s. Całkowity czas prezentacji bodźców wynosił zatem 20 × 5 s, z dodatkowym 10 s odstępem pustego ekranu między kolejnymi obrazami, co dało łączny czas trwania 300 s. Podczas każdego 10 s odstępu uczestnicy byli proszeni o zidentyfikowanie emocji przedstawionej na poprzednim obrazie poprzez wybranie jednej z pięciu etykiet emocji wyświetlonych na ekranie.

Paradygmat Navarasa

Drugi, analogiczny paradygmat wideo został opracowany w oparciu o system Navarasa obejmujący dziewięć ras. Przedstawiono łącznie 18 obrazów (dziewięć emocji × dwie płcie). Każdy bodziec wyświetlano przez 5 s, z 10 s przerwy (pusty ekran) między obrazami, co dało całkowity czas trwania wynoszący 270 s. Dziewięć emocji skategoryzowano jako neutralne (shanta), przyjemne (haasya, veera, shringara, adbhuta) lub nieprzyjemne (Krodha, vibhitsa, bhayanaka, karuna). Podczas każdego 10 s odstępu uczestnicy musieli zaklasyfikować emocję przedstawioną na poprzednim obrazie, wybierając jedną z trzech opcji wyświetlonych na ekranie: neutralną, przyjemną lub nieprzyjemną. Dziewięć Navaras pogrupowano w trzy kategorie, aby ułatwić rejestrację odpowiedzi uczestników w zakresie identyfikacji emocji.

Uczestnicy

Zdrowych dorosłych ochotników zrekrutowano z miejsc pracy oraz instytucji edukacyjnych. Kryteria włączenia obejmowały osoby w wieku 18–50 lat, niezależnie od płci. Kryteria wykluczenia obejmowały przebieg zdiagnozowanych zaburzeń psychicznych, zaburzeń neurologicznych, znaczne upośledzenie wzroku lub niepełnosprawności fizyczne ograniczające ruchy głowy i szyi.

Procedura

Uczestnicy zostali posadzeni tak, aby kamera znajdowała się na wysokości ich oczu w odległości 60–70 cm. W badaniu wykorzystano algorytm FEA. Na laptopie uruchomiono aplikację, a badacz wprowadził identyfikator uczestnika. Przez cały czas trwania eksperymentu algorytm FEA stale rejestrował dane wideo, aby umożliwić późniejszą analizę wyrazów twarzy i mikroruchów. Początkowo uzyskano 60 s nagrania bazowego, podczas którego uczestnicy mieli polecenie zrelaksować się i powstrzymać od jawnych zachowań ekspresyjnych. Po uzyskaniu pomiaru bazowego uczestnicy zostali poddani dwóm paradygmatom wideo (obrazy TRENDS, a następnie Navarasa). Wszyscy uczestnicy oglądali paradygmaty w tej samej, stałej kolejności, aby zminimalizować potencjalne efekty zakłócające związane z sekwencją prezentacji; jednak stała kolejność ta mogła wprowadzić efekty kolejności. Podczas sesji nagraniowych badacz pozostawał poza pomieszczeniem, aby ograniczyć rozpraszanie uwagi. Badacz monitorował przebieg eksperymentu zdalnie za pomocą aplikacji mobilnej, przebywając poza pokojem. Uczestnikom zaproponowano krótką przerwę między dwoma paradygmatami (Rycina 2).

Analiza

Zebrane dane przypisano do identyfikatora podmiotu wprowadzonego w aplikacji, aby zapewnić wierność danych. Algorytm FEA wykorzystuje ustrukturyzowany, kompleksowy potok obliczeniowy do automatycznego wnioskowania o emocjach, składający się z pięciu głównych etapów: akwizycji wideo, detekcji i ekstrakcji cech, wstępnego przetwarzania danych, klasyfikacji emocji oraz interpretacji wyników. Wyekstrahowane cechy poddano serii operacji wstępnego przetwarzania, w tym redukcji szumów, normalizacji w odniesieniu do podmiotów i warunków oświetlenia oraz interpolacji brakujących klatek. W celu zwiększenia stabilności sygnału zastosowano wygładzanie czasowe. Powstałe wektory cech zostały wyrównane czasowo w celu dalszego wprowadzenia do modelu klasyfikacyjnego. Te wyrównane czasowo i odszumione macierze cech posłużyły jako dane wejściowe dla komponentu klasyfikacji emocji.

Ekstrakcja cech

Struktura ekstrakcji wykorzystuje algorytmiczny potok wieloetapowej ekstrakcji cech, który przekształca standardowe dwuwymiarowe (2D) strumienie obrazów z kamery monokularnej w zrekonstruowaną trójwymiarową (3D) przestrzeń współrzędnych. Zamiast polegać na surowym śledzeniu pikseli 2D, system mapuje zlokalizowane współrzędne przestrzenne na twarzy i górnej części ciała. Wyodrębnione cechy dzielą się na trzy szerokie kategorie: (i) regiony punktów charakterystycznych twarzy, obejmujące geometryczne deskryptory struktury i dynamiki twarzy (w tym wskazówki z obszaru oczu oraz korelaty mikroekspresji twarzy zaczerpnięte z modelu Navarasa, który wywodzi się z Natyashastra — najwcześniejszego sformalizowanego systemu ludzkiej ekspresji emocjonalnej, uznanego przez UNESCO); (ii) informacje o pozycji głowy, rejestrujące orientację i ruch głowy; oraz (iii) cechy ruchu górnej części ciała, rejestrujące wynikowy ruch górnej części ciała. Szczegółowe definicje cech, w tym precyzyjne indeksy punktów charakterystycznych i identyfikatory punktów kluczowych, są zastrzeżone i nie mogą zostać w pełni ujawnione; zostaje to uznane za ograniczenie badania. System nie wykorzystuje bezpośrednio etykiet jednostek akcji z Facial Action Coding System (FACS); zamiast tego wyodrębnia cechy geometryczne i czasowe z ruchów twarzy i ciała. Te przestrzenne transformacje 3D są agregowane w czasie w celu wygenerowania kompleksowego wektora podsumowania behawioralnego, który służy jako dane wejściowe dla klasyfikatora MLP. Łącznie z zarejestrowanych danych początkowo wyodrębniono ponad 700 cech kandydackich, które następnie zredukowano do około 300 wybranych cech poprzez selekcję cech i optymalizację modelu. Struktura potoku przebiega od akwizycji wideo, przez przestrzenną rekonstrukcję 2D-do-3D, agregację czasową i normalizację cech, aż do klasyfikacji.

Model klasyfikacji emocji

Wstępnie przetworzone wektory cech zostały wprowadzone do architektury nadzorowanej wielowarstwowej sieci neuronowej typu perceptron (MLP), wytrenowanej na wewnętrznym, adnotowanym zbiorze danych odpowiadającym dziewięciu kategoriom emocjonalnym Navarasa: Śṛṅgāra (miłość), Hāsya (radość), Karuṇā (smutek), Raudra (gniew), Vīra (odwaga), Bhayānaka (strach), Bībhatsa (wstręt), Adbhuta (zachwyt) i Śānta (pokój). Model został zaprojektowany w taki sposób, aby wychwytywać zależności czasoprzestrzenne w danych dotyczących ekspresyjnych zachowań. W każdym kroku czasowym architektura generowała wektor przewidywanych intensywności emocji dla dziewięciu kategorii.

Postprocesing wyników modelu

Surowe wyniki modelu zostały następnie poddane postprocesowaniu w celu uzyskania stabilnych i interpretowalnych wyników oceny emocji. Zastosowano trzy następujące po sobie operacje: (i) wygładzanie czasowe w celu zredukowania krótkotrwałych wahań, (ii) normalizację w celu zapewnienia porównywalności w czasie oraz pomiędzy wymiarami emocji, oraz (iii) agregację w celu wyprowadzenia miar podsumowujących dla określonych okien czasowych lub całych sekwencji. Procedury postprocesowania zapewniają porównywalność międzyosobniczą i kontrolują indywidualne różnice w wartościach bazowych.

Interpretacja i wizualizacja wyników

Algorytm FEA generuje ilościowe i wizualne reprezentacje dynamiki emocjonalnej wywnioskowanej z danych wideo. Dwie główne formy wyników to czasowe trajektorie emocji. Wartości intensywności emocji są wizualizowane jako wykresy szeregów czasowych, pokazujące ewolucję każdej emocji w trakcie trwania filmu. Taka reprezentacja zapewnia ciągły wgląd w zmienność afektywną, ułatwiając analizę przejściowych zmian, szczytowych aktywacji oraz faz regeneracji lub wyciszania pobudzenia emocjonalnego. Porównawcze oceny emocjonalne: Zagregowane wartości emocji dla każdej z dziewięciu kategorii Navarasa są prezentowane jako wykresy ocen porównawczych, ilustrujące względną wielkość każdej emocji w analizowanym przedziale. Te porównawcze wizualizacje umożliwiają bezpośrednie zestawienie emocji i zapewniają zwięzłe podsumowanie ogólnego profilu afektywnego. Wyniki algorytmu FEA uzyskane w punkcie wyjściowym zostały sprawdzone pod kątem występowania linii płaskich lub braku znaczących zmian, co mogłoby wskazywać na niewłaściwe nagranie.

Analiza statystyczna

Wyniki dla dziewięciu domen emocjonalnych Navarasa, wygenerowane przez algorytm FEA w 10 s odstępie czasu po prezentacji każdego obrazu w paradygmacie, potraktowano jako zmienne wynikowe. Wyniki algorytmu FEA generowano dla każdego s w 10 s oknie (T0, T1, T2… T9). Wynik algorytmu FEA w T0 uznano za wartość bazową. Najwyższy wynik algorytmu FEA spośród pomiarów z T1–T9 zdefiniowano jako Tmax. Obliczono zmianę wyniku algorytmu FEA względem wartości bazowej (Tmax − T0), która posłużyła jako zmienna wynikowa w analizach. Zmiana wyników algorytmu FEA w serii czasowej dla każdej emocji została przedstawiona na Rysunku 3A–D.

W przypadku obrazów TRENDS odpowiednie docelowe kategorie emocji przypisano w następujący sposób: Shanta > neutralna; Haasya > radość; Krodha > gniew; oraz Bhayanaka > strach. W przypadku obrazów Navarasa wyniki algorytmu FEA pogrupowano i uśredniono w trzy kategorie złożone: neutralną (Shanta), przyjemną (Haasya, Veera, Shringara, Adbhuta) oraz nieprzyjemną (Krodha, Vibhitsa, Bhayanaka, Karuna).

Przeprowadzono analizy zarówno na poziomie grupy, jak i na poziomie poszczególnych badanych.

Analiza na poziomie grupy: Dla każdej opisanej powyżej kategorii emocji zmianę wyniku algorytmu FEA od poziomu bazowego do Tmax porównano za pomocą sparowanych testów t. Istotna zmiana wyniku algorytmu FEA względem poziomu bazowego wskazywałaby na dobrą zgodność z rozpoznawaniem emocji. Jednakże istotna różnica nie musiałaby koniecznie wskazywać na wysoką dokładność klasyfikacji.

Analiza na poziomie badanego: Każdy wzrost wyniku w domenie emocjonalnej algorytmu FEA powyżej wartości bazowej klasyfikowano jako pozytywną odpowiedź emocjonalną. Następnie wyznaczono wskaźniki dokładności — czułość i swoistość. Czułość i swoistość określają odpowiednio prawdopodobieństwo, że test będzie pozytywny w obecności badanego stanu (+) oraz negatywny w jego przypadku (−). Gdy obie wartości zbliżają się do 1, test wykazuje wysoką dokładność diagnostyczną. Szacowaną czułość i swoistość zdefiniowano odpowiednio jako proporcje uczestników z i bez stanu referencyjnego (ekspresje Navarasa), którzy zostali prawidłowo sklasyfikowani.

Uznano, że u badanego występuje badany stan (+), jeżeli poprawnie zidentyfikował on co najmniej 75% przedstawionych emocji. Klasyfikacja ta opierała się na badaniach walidacyjnych TRENDS, w których dokładność na poziomie 60–80% uznano za wystarczającą trafność różnicującą. W celu oszacowania pola pod krzywą (AUC) oraz odpowiadających mu wartości czułości i swoistości przeprowadzono analizę charakterystyki operacyjnej odbiornika (ROC) dla predyktora ciągłego. Czułość powyżej 80% uznano za dobrą zdolność dyskryminacyjną, natomiast poniżej 80% za umiarkowaną.

Wyniki

W badaniu przeanalizowano zmienność wyników algorytmu FEA w odpowiedzi na bodźce wywołujące emocje oraz oceniono skuteczność diagnostyczną algorytmu FEA za pomocą analizy charakterystyki operacyjnej odbiornika (ROC). Do badania zrekrutowano siedemdziesięciu dwóch zdrowych ochotników. Średni wiek (SD) wynosił 31,9 (11,9) lat; próbę stanowiło 26 mężczyzn i 46 kobiet. Wszyscy uczestnicy posiadali co najmniej 10-letnie wykształcenie i wszyscy byli pochodzenia indyjskiego. Ich średnie (SD) wyniki w skalach PHQ-9 i GAD-7 wynos...

Dyskusja

Celem niniejszego badania była wstępna walidacja algorytmu FEA poprzez analizę zgodności między wynikami uzyskanymi za pomocą algorytmu FEA a reakcjami na standaryzowane bodźce emocjonalne twarzy u zdrowych dorosłych ochotników. Wczesne wyniki wskazują, że algorytm FEA wykazuje statystycznie wykrywalne zmiany w odpowiedzi na wizualne bodźce wywołujące emocje w różnych dyskretnych kategoriach emocjonalnych, w tym neutralnej (shanta), radości (haasya), strachu (bhayanaka) i gniewu (raudra), a także w szerszych klasyfikacja...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Emoscape	Nihilent Ltd, Pune	1	Twórca oprogramowania Emoscape
Manoshanti Centers for Emotional Well Being	GNR Health Care Pvt Ltd.	2	Partner kliniczny i badawczy
Narzędzie do rozpoznawania emocji w zaburzeniach neuropsychiatrycznych	prawa autorskie należą do głównego autora badania	3	Narzędzie wykorzystane do walidacji w badaniu