Voorlopige validatie van een algoritme voor gezichtsuitdrukkings- en bewegingsanalyse tijdens emotie-opwekkende taken bij gezonde volwassenen

Samenvatting

Deze studie valideert in eerste instantie het FEA-algoritme, een eigen machine-learning-algoritme, voor het detecteren van reacties tijdens emotionele stimulus-taken. Er wordt gekeken naar de overeenstemming tussen de scores van het FEA-algoritme en gestandaardiseerde stimuli voor gezichtsemoties met gebruik van het Navarasa-raamwerk bij gezonde volwassenen, om te beoordelen of het systeem betrouwbaar emotiegerelateerde reacties weerspiegelt onder gecontroleerde experimentele omstandigheden.

Samenvatting

Dit protocol is ontworpen om Emoscape, een gepatenteerd machine-learning-algoritme gebaseerd op het Navarasa-raamwerk, voorafgaand te valideren door te testen of de emotiescores in overeenstemming met gestandaardiseerde emotie-opwekkende taken bij gezonde volwassenen veranderen. Tweeënzeventig gezonde volwassenen werden geworven nadat zij schriftelijke geïnformeerde toestemming hadden gegeven. De deelnemers vulden de Patient Health Questionnaire-9 en de Generalized Anxiety Disorder-7 in, waarna zij gezichtsemotiestimuli uit de TRENDS-set en Navarasa-afbeeldingen bekeken, terwijl het FEA-algoritme gedurende de taak micro-bewegingen van het bovenlichaam registreerde. De deelnemers identificeerden daarnaast de getoonde emoties. Veranderingen in de scores van het FEA-algoritme ten opzichte van de basislijn werden geanalyseerd tijdens blootstelling aan neutrale, blije, angst- en woede-stimuli uit TRENDS, alsook tijdens blootstelling aan Navarasa-afbeeldingen. Receiver operating characteristic-analyse werd gebruikt om de sensitiviteit en specificiteit voor discriminatie tussen emotionele categorieën te schatten. De scores van het FEA-algoritme vertoonden significante afwijkingen van de basislijn voor TRENDS-afbeeldingen die gekoppeld waren aan de overeenkomstige emoties (Neutraal–Shanta, Blij–Haasya, Angst–Bhayanaka en Woede–Raudra). Overeenkomstige veranderingen werden ook waargenomen bij Navarasa-afbeeldingen, waarbij alle gemiddelde verschillen statistisch significant waren (p < 0.001). De waarden voor de oppervlakte onder de curve (AUC) varieerden per categorie. Het FEA-algoritme vertoonde een matige sensitiviteit voor prettige emoties (70–80%) en onprettige emoties (60–70%). Deze bevindingen bieden voorlopige ondersteuning voor het protocol en voor het gebruik van het FEA-algoritme om emotie-gerelateerde reacties te beoordelen tijdens gecontroleerde emotie-opwekkende taken bij gezonde volwassenen.

Inleiding

Emotieherkenning is een belangrijk onderzoeksgebied binnen de sociale cognitieve neurowetenschappen, met potentiële klinische en onderzoeksapplicaties. Bestaande methoden voor emotionele beoordeling kwantificeren veranderingen in de fysiologische activiteit, zoals elektroencefalografie (EEG) of galvanische huidweerstand (GSR), om emotionele toestanden af te leiden. Deze methoden zijn echter complex en invasief. Directe metingen van gelaats- en lichaamsbewegingen bieden een directere en observeerbare index van de affectieve toestand van een individu^1,2,3. Machine learning (ML)-algoritmen, in het bijzonder algoritmen die zijn getraind op grote, heterogene datasets van gezichtsuitdrukkingen, worden gebruikt om dergelijke subtiele nonverbale signalen te decoderen en emotionele toestanden te classificeren. Hoewel conventionele ML-algoritmen zoals support vector machines (SVM's) nog steeds veel worden gebruikt, hebben deep learning-architecturen, met name neurale netwerken (NN's)^4,5, superieure prestaties getoond, vooral wanneer ze zijn getraind op grootschalige datasets, dankzij hun vermogen tot automatische kenmerkextractie⁶. Een voorbeeld van een conventioneel model in de Indiase context is een interactieve tool die een valentie-gebaseerd dimensionaal model gebruikt om arousal te bepalen. Frameworks voor emotieherkenning moeten gevoelig zijn voor de culturele context. In de Indiase culturele omgeving biedt het Navarasa-framework een genuanceerde taxonomie van negen primaire emoties, maar dit blijft grotendeels ononderzocht binnen ML-gestuurd onderzoek naar emotieherkenning. Er is een relatief tekort aan rigoureus gevalideerde ML-benaderingen die direct observeerbare gedragskenmerken analyseren, zoals gelaatsmicro-expressies en lichaamsbewegingen^7,8. Dergelijke op expressies gebaseerde ML-algoritmen kunnen in real-time worden gebruikt, zijn eenvoudig toe te passen en zijn niet-invasief.

Het algoritme voor gezichtsuitdrukking- en bewegingsanalyse [hierna aangeduid als het FEA-algoritme] is een eigen ML-gebaseerd algoritme dat gelaatsmicro-expressies en bewegingen van het bovenlichaam analyseert en dynamische representaties van emotionele trajecten en geaggregeerde scores voor elk van de negen rasas genereert, gebaseerd op het Navarasa-raamwerk. Deze studie was erop gericht een preliminaire validatie van het FEA-algoritme uit te voeren door de concordantie te onderzoeken tussen de door FEA afgeleide scores en de reacties op gestandaardiseerde stimuli voor gezichts-emoties bij gezonde volwassen vrijwilligers.

Hiervoor maken wij gebruik van de concepten van de Theory of Mind (ToM) en het spiegelneuronenstelsel. ToM is een fundamentele sociaal-cognitieve capaciteit die individuen in staat stelt om de mentale en emotionele toestanden van anderen in sociale contexten af te leiden en te interpreteren⁹. Empirisch bewijs suggereert dat blootstelling aan emotionele gezichtsprikkels spiegelneuronennetwerken activeert, die op hun beurt een overeenkomstige, vicariante emotionele toestand bij de waarnemer oproepen¹⁰. De resulterende modulatie van de interne, subjectieve emotionele toestand van een individu als reactie op het bekijken van gezichtsuitdrukkingen van emotie kan, indien vastgelegd door het FEA-algoritme, een voorlopige validatie van het algoritme bieden.

Wij stellen als hypothese dat blootstelling aan gelaatsuitdrukkingen van emotionele stimuli die overeenkomen met een specifieke Navarasa-categorie zal leiden tot een statistisch significante afwijking van de baseline in de FEA-algoritmescore voor die Navarasa-emotie.

Protocol

Het studieprotocol is goedgekeurd door de Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (EC-registratienummer: ECR/372/INST/KA/2013/RR-19), en van alle deelnemers is voorafgaand aan de inschrijving schriftelijke geïnformeerde toestemming verkregen.

Het FEA-algoritme is een eigen ML-gebaseerde methode voor real-time analyse van gelaatstmicro-expressies en bewegingen van het bovenlichaam om emotionele toestanden af te leiden met behulp van het Navarasa-raamwerk. Het Navarasa-raamwerk, afgeleid van de klassieke Indiase esthetische theorie, onderscheidt negen primaire emoties: shringara (liefde), haasya (vreugde), karuna (verdriet/bezinning), adbhuta (verrassing), shanta (vrede), raudra (woede), veera (moed), bhayanaka (angst) en vibhitsa (walging). Het FEA-algoritme maakt gebruik van een machine-learningmodel dat is getraind op gelaatsmicro-expressies en bewegingen van het bovenlichaam, geëxtraheerd uit beelden van acteurs die de negen Navarasa-emoties uitbeelden. Het algoritme leidt de emotionele toestand van een individu af door subtiele gelaatsdynamiek en micromutaties te analyseren vanuit visuele input die is vastgelegd door een enkele RGB-camera, en genereert kwantitatieve scores voor elk van de negen primaire emoties. Deze niet-invasieve configuratie maakt een onopvallende, naturalistische emotionele beoordeling mogelijk, waardoor het geschikt is voor een breed scala aan onderzoeks- en toegepaste omgevingen.

Modelontwikkeling

Het FEA-algoritme is gebaseerd op een architectuur van een neuraal netwerk (NN). De trainingsdataset is intern verzameld en bestaat uit meerdere uren aan opgenomen videogegevens van Indiase acteurs die de negen Navarasa-emoties uitbeelden. De dataset is afgeleid van gecontroleerde video-opnamen van verschillende acteurs/deelnemers, waarbij voor elke acteur/deelnemer meerdere opnamen/tests werden uitgevoerd over verschillende opgeroepen emotionele toestanden. Na voorbewerking, inclusief detectie van gezichtslandmarks, controles op temporele consistentie, kwaliteitsfiltering en het verwijderen van onbruikbare frames of frames met een lage betrouwbaarheid, bleven ongeveer 25.000 gestructureerde trainingsmonsters over. Tijdens de curatie van de dataset werden de opnamen gestrateificeerd op basis van meer dan tien demografische en opname-gerelateerde parameters, waaronder leeftijd, geslacht en andere relevante kenmerken, en bewust gebalanceerd om een gelijkwaardige vertegenwoordiging over deze parameters te bereiken en demografische bias te minimaliseren. De geslachtsverdeling werd gehandhaafd op ongeveer 52% mannelijk en 48% vrouwelijk. De deelnemers omvatten breed de leeftijdscategorieën adolescenten en volwassenen, met vertegenwoordiging over jongere, middelbare en oudere volwassen cohorten. Acteurs/deelnemers waren gevestigd in India en vertegenwoordigden meerdere Indiase regionale en culturele achtergronden, cũng als meerdere internationale etniciteiten die in India aanwezig zijn. Vanwege eigendomsbeperkingen kunnen het exacte aantal acteurs/deelnemers, de identiteit op acteur-/deelnemerniveau, de exacte video-/opnametellingen per acteur, de precieze frame-aantallen en de interne annotatiemethodologie niet worden openbaard, aangezien deze deel uitmaken van de propriëtaire dataset en het intellectueel eigendom voor modelontwikkeling van Nihilent Ltd.; deze beperking wordt expliciet erkend in de sectie Discussie.

Gezichtsbeelden die uit deze opnames waren geëxtraheerd, werden verwerkt met beeldverwerkingstechnieken om kwantitatieve kenmerken af te leiden, die vervolgens als input voor een neuraal netwerk voor predictie werden gebruikt. Dit model werd vervolgens geëvalueerd bij een doelpopulatie, en de verkregen inzichten werden gebruikt om volgende versies iteratief te verfijnen. Deze cyclus van ontwikkeling, testen en verbetering werd herhaald tot de prestaties van het model stabiliseerden. Het uiteindelijke predictieve model is geïmplementeerd als een multilayer perceptron (MLP), bestaande uit een inputlaag met ongeveer 300 geselecteerde kenmerken, verborgen lagen en een outputlaag die een negen-dimensionale scorevector produceert die overeenkomt met de negen Navarasa-emotiecategorieën. Aanvankelijk werden meer dan 700 kenmerken afgeleid uit de vastgelegde gegevens, die vervolgens werden gereduceerd via procedures voor kenmerkselectie en modeloptimalisatie. De outputscore van de MLP wordt vervolgens doorgegeven aan eigen post-processing algoritmen om de definitieve geaggregeerde FEA-algoritmescores af te leiden. Verdere architecturale details — inclusief het exacte aantal trainbare parameters en specifieke laagdimesies — zijn bedrijfseigen en kunnen niet worden openbaar gemaakt; dit wordt erkend als een beperking van het huidige verslag. Een gedetailleerde beschrijving van de modelontwikkeling is opgenomen in het aanvullende materiaal (Supplementary File 1 en Supplementary Figure 1).

Tijdens de iteratieve ontwikkeling werd de prestatie van het model beoordeeld met behulp van kruisvalidatie op de eigen dataset, waarbij een kruisgevalideerde classificatienauwkeurigheid van 96% werd behaald over de negen Navarasa-categorieën. Vervolgens werd een onafhankelijke validatie uitgevoerd op meer dan 15.000 min aan videodata. Een genormaliseerde 9 × 9 confusiematrix die de classificatieprestaties over alle negen Navarasa-categorieën samenvat, is opgenomen in het aanvullende materiaal (Supplementary File 1).

Na stabilisatie onderging het model een gecontroleerde interne validatie onder supervisie van experts. Deze aanpak legt de nadruk op empirische validatie door middel van direct testen bij menselijke proefpersonen, waardoor de toepasbaarheid in de praktijk en de robuustheid over diverse populaties heen kunnen worden beoordeeld. De ontwikkeling van het model is samengevat in Figuur 1.

De Patient Health Questionnaire-9 (PHQ-9) en de Generalized Anxiety Disorder-7 (GAD-7) schaal: Deelnemers vulden zelfrapportagevragenlijsten in onder toezicht van een getrainde psycholoog om hun huidige emotionele toestand te beoordelen. De gebruikte instrumenten waren de Patient Health Questionnaire-9 (PHQ-9) en de Generalized Anxiety Disorder-7 (GAD-7) schaal. Een score boven de 9 op een van beide schalen werd als klinisch significant beschouwd.

TRENDS

De Tool for Recognition of Emotions in Neuropsychiatric Disorders (TRENDS) is een cultureel gevalideerd, ecologisch sensitief instrument dat is ontworpen om het vermogen tot gezichtsemotieherkenning te beoordelen¹¹. Het is gevalideerd voor gebruik in Indiase populaties en bestaat uit 40 foto's van acteurs die de universele basisemoties neutraliteit, blijdschap, angst, woede en verdriet uitbeelden. Beelden uit TRENDS werden gebruikt als referentiestimuli om de output van de emotieclassificatie van het FEA-algoritme te valideren.

Experimenteel ontwerp

Het experiment was ontworpen om een algoritmische respons op emotionele stimuli op te wekken. Er werden twee paradigma's voor het opwekken van emoties ontwikkeld en gebruikt voor deze studie.

TRENDS images paradigma

In het eerste paradigma toonde een videosequentie aanvankelijk gedurende 60 s een leeg scherm, gevolgd door de weergave van emotionele stimuli. De emotionele stimuli werden geselecteerd uit de TRENDS-tool. In totaal werden 20 afbeeldingen gepresenteerd, die neutraal, blij, verdrietig, boos en angstig representeerden × twee genders × twee leeftijdsgroepen. Elke stimulus werd gedurende 5 s getoond. De totale presentatietijd van de stimuli was daarom 20 × 5 s, met een extra interval van 10 s met een leeg scherm tussen opeenvolgende afbeeldingen, wat resulteerde in een totale duur van 300 s. Tijdens elk leeg interval van 10 s moesten deelnemers de emotie identificeren die in de voorafgaande afbeelding was afgebeeld door een van de vijf op het scherm getoonde emotielabels te selecteren.

Navarasa-paradigma

Een tweede, analoog videoparadigma werd geconstrueerd op basis van het Navarasa-raamwerk van negen rasa's. In totaal werden 18 afbeeldingen gepresenteerd (negen emoties × twee genders). Elke stimulus werd 5 s getoond, met een blanco scherm van 10 s tussen de afbeeldingen, wat resulteerde in een totale duur van 270 s. De negen emoties werden gecategoriseerd als neutraal (shanta), aangenaam (haasya, veera, shringara, adbhuta) of onaangenaam (Krodha, vibhitsa, bhayanaka, karuna). Tijdens elk blanco interval van 10 s moesten de deelnemers de emotie classificeren die in de voorafgaande afbeelding werd afgebeeld door een van de drie op het scherm gepresenteerde opties te selecteren: neutraal, aangenaam of onaangenaam. De negen Navarasa's werden gegroepeerd in drie categorieën om de registratie van de reacties van de deelnemers op emotie-identificatie te vergemakkelijken.

Deelnemers

Gezonde volwassen vrijwilligers werden geworven uit werkomgevingen en onderwijsinstellingen. De inclusiecriteria bestonden uit personen in de leeftijd van 18–50 jaar, ongeacht geslacht/gender. De exclusiecriteria omvatten een voorgeschiedenis van gediagnosticeerde psychiatrische stoornissen, neurologische stoornissen, significante visuele beperkingen of fysieke beperkingen die bewegingen van het hoofd en de nek beperkten.

Procedure

De deelnemers zaten zodanig dat de camera op ooghoogte stond en op een afstand van 60–70 cm was geplaatst. In de studie werd het FEA-algoritme gebruikt. De applicatie werd geopend op de laptop en de onderzoeker voerde de ID van de proefpersoon in. Gedurende het experiment registreerde het FEA-algoritme continu videogegevens om een nadere analyse van gezichtsuitdrukkingen en micromovements mogelijk te maken. Aanvankelijk werd een baseline-opname van 60 s gemaakt, waarbij de deelnemers de instructie kregen om te ontspannen en openlijke expressieve gedragingen te vermijden. Na de baseline-acquisitie werden de deelnemers blootgesteld aan de twee videaparadigma's (TRENDS-afbeeldingen gevolgd door Navarasa). Alle deelnemers bekeken de paradigma's in dezelfde vaste volgorde om potentiële storende effecten gerelateerd aan de presentatievolgorde te minimaliseren; deze vaste volgorde zou echter volgorde-effecten hebben kunnen introduceren. Tijdens de opnamesessies bleef de onderzoeker buiten de kamer om afleiding te verminderen. De onderzoeker monitorde het experiment op afstand via een mobiele applicatie terwijl hij/zij buiten de kamer was. De deelnemers kregen een kort rustinterval aangeboden tussen de twee paradigma's (Figuur 2).

Analyse

De verzamelde gegevens werden gekoppeld aan het proefpersoons-ID dat in de applicatie was ingevoerd om de datagetrouwheid te waarborgen. Het FEA-algoritme maakt gebruik van een gestructureerde, end-to-end computationele pijplijn voor automatische emotie-inferentie, bestaande uit vijf hoofdfasen: videoacquisitie, kenndetectie en -extractie, datapreprocessing, emotieclassificatie en outputinterpretatie. Geëxtraheerde kenmerken ondergingen een reeks preprocessing-bewerkingen, waaronder ruisonderdrukking, normalisatie over proefpersonen en verlichtingsomstandigheden, en interpolatie van ontbrekende frames. Om de signaalstabiliteit te verbeteren, werd temporele afvlakking toegepast. De resulterende kenmerkvectoren werden temporeel uitgelijnd voor verdere verwerking door het classificatiemodel. Deze tijdsuitgelijnde, geruisloze kenmerkmatrices dienden als input voor het component voor emotieclassificatie.

Kenmerkextractie

Het extractiekader maakt gebruik van een algoritmische pijplijn met meerdere extractiefasen voor kenmerken, die standaard 2D monoculaire videobeelden vertaalt naar een gereconstrueerde 3D-coördinatenruimte. In plaats van te vertrouwen op ruwe 2D-pixeltracking, brengt het systeem gelokaliseerde ruimtelijke coördinaten in kaart over het gezicht en het bovenlichaam. De afgeleide kenmerken vallen uiteen in drie brede categorieën: (i) gezichtslandmarkregio's, omvattende geometrische descriptoren van de gezichtsstructuur en -dynamiek (inclusief aanwijzingen uit de oogregio en correlaten van gelaatstmicro-expressies afgeleid van het Navarasa-raamwerk, dat is geworteld in de Natyashastra — het vroegste geformaliseerde raamwerk van menselijke emotionele expressie, erkend door UNESCO); (ii) informatie over de hoofdhouding, waarbij de oriëntatie en beweging van het hoofd worden vastgelegd; en (iii) kenmerken van de beweging van het bovenlichaam, waarbij de resulterende beweging van het bovenlichaam wordt vastgelegd. Specifieke definitie van kenmerken, inclusief precieze landmark-indices en keypoint-identificatoren, zijn bedrijfseigen en kunnen niet volledig worden vrijgegeven; dit wordt erkend als een beperking. Het systeem maakt geen direct gebruik van action unit-labels uit het Facial Action Coding System (FACS); in plaats daarvan worden geometrische en temporele kenmerken afgeleid uit gezichts- en lichaamsbewegingen. Deze 3D-ruimtelijke transformaties worden over tijd geaggregeerd om een uitgebreide gedragssamenvattingsvector te genereren, die als input dient voor de MLP-classifier. In totaal werden aanvankelijk meer dan 700 kandidaatkenmerken afgeleid uit de vastgelegde gegevens, die vervolgens via kenkenselectie en modeloptimalisatie zijn teruggebracht tot ongeveer 300 geselecteerde kenmerken. De structurele pipeline verloopt van videoverwerving via 2D-naar-3D ruimtelijke reconstructie, temporele aggregatie en kenmerkennormalisatie voorafgaand aan de classificatie.

Emotieclassificatiemodel

De voorbewerkte kenmerkvectoren werden ingevoerd in een supervised multilayer perceptron (MLP) neuraal netwerk, getraind op de intern geannoteerde dataset overeenkomend met de negen Navarasa-emotiecategorieën: Śṛṅgāra (liefde), Hāsya (vreugde), Karuṇā (verdriet), Raudra (woede), Vīra (moed), Bhayānaka (angst), Bībhatsa (walging), Adbhuta (verwondering) en Śānta (vrede). Het model was expliciet ontworpen om spatiotemporele afhankelijkheden in expressieve gedragsgegevens vast te leggen. Bij elke tijdstap produceerde de architectuur een vector van voorspelde emotie-intensiteiten voor de negen categorieën.

Nabewerking van modeluitvoer

De ruwe modeloutputs werden vervolgens post-processed om stabiele en interpreteerbare emotiescores te verkrijgen. Er werden drie opeenvolgende bewerkingen toegepast: (i) temporele afvlakking om kortstondige fluctuaties te verminderen, (ii) normalisatie om vergelijkbaarheid in de tijd en over emotiedimensies heen te waarborgen, en (iii) aggregatie om samenvattende maten over gespecificeerde tijdvensters of volledige sequenties af te leiden. De post-processing procedures waarborgen de vergelijkbaarheid tussen proefpersonen en corrigeren voor interindividuele variatie in de baseline.

Interpretatie en visualisatie van de resultaten

Het FEA-algoritme genereert kwantitatieve en visuele representaties van emotionele dynamieken afgeleid uit videodata. De twee primaire vormen van output zijn ttemporele emotietrajecten. Waarden voor emotie-intensiteit worden gevisualiseerd als tijdreeksgrafieken die de evolutie van elke emotie gedurende de video tonen. Deze weergave biedt een continu overzicht van affectieve variatie, wat de analyse van kortstondige veranderingen, piekactivaties en herstel- of de-escalatiefases in emotionele opwinding faciliteert. Vergelijkende emotiescores: Geaggregeerde emotiewaarden voor elk van de negen Navarasa-categorieën worden weergegeven als vergelijkende scoreplots, die de relatieve magnitude van elke emotie over het geanalyseerde interval illustreren. Deze vergelijkende visualisaties maken directe vergelijkingen tussen emoties mogelijk en bieden een beknopte samenvatting van het algemene affectieve profiel. De FEA-algoritmescores die bij de baseline werden gegenereerd, werden gecontroleerd op eventuele vlakke lijnen of het ontbreken van betekenisvolle veranderingen, wat zou duiden op een inadequate registratie.

Statistische analyse

Scores voor de negen Navarasa-emotiedomeinen, gegenereerd door het FEA-algoritme tijdens het interval van 10 s na elke beeldenpresentatie in het paradigma, werden als uitkomstvariabelen beschouwd. FEA-algoritmescores werden gegenereerd voor elke s in het venster van 10 s (T0, T1, T2… T9). De FEA-algoritmescore bij T0 werd beschouwd als de baselinescore. De hoogste FEA-algoritmescore tussen de opnames van T1–T9 werd gedefinieerd als Tmax. De verandering in de FEA-algoritmescore ten opzichte van de baseline (Tmax − T0) werd berekend en gebruikt als uitkomstvariabele in de analyses. De verandering in FEA-algoritmescores over de tijdreeks voor elke emotie is afgebeeld in Figuur 3A–D.

Voor de TRENDS-afbeeldingen werden de overeenkomstige doelcategorieën voor emoties als volgt toegewezen: Shanta > Neutraal; Haasya > Blij; Krodha > Woede; en Bhayanaka > Angst. Voor de Navarasa-afbeeldingen werden de scores van het FEA-algoritme gegroepeerd en gemiddeld in drie samengestelde categorieën: neutraal (Shanta), aangenaam (Haasya, Veera, Shringara, Adbhuta) en onaangenaam (Krodha, Vibhitsa, Bhayanaka, Karuna).

Er werden zowel analyses op groepsniveau als op subjectniveau uitgevoerd.

Analyse op groepsniveau: Voor elke hierboven beschreven emotiecategorie werd de verandering in de FEA-algoritmescore van baseline naar Tmax vergeleken met behulp van gepaarde t-toetsen. Een significante verandering ten opzichte van de baseline in de FEA-algoritmescore zou wijzen op een goede concordantie met emotieherkenning. Een significant verschil zou echter niet noodzakelijkerwijs wijzen op een hoge classificatienauwkeurigheid.

Analyse op subjectniveau: Elke toename in een FEA-algoritme score voor het emotiedomein boven de basislijnwaarde werd geclassificeerd als een positieve emotionele respons. Vervolgens werden nauwkeurigheidsindices afgeleid: sensitiviteit en specificiteit. Sensitiviteit en specificiteit kwantificeren respectievelijk de waarschijnlijkheid dat de test positief is wanneer de doelconditie aanwezig is (+) en negatief wanneer deze afwezig is (−). Wanneer beide schattingen de 1 naderen, presteert de test goed wat betreft de diagnostische nauwkeurigheid. De geschatte sensitiviteit en specificiteit werden gedefinieerd als de proporties deelnemers met en zonder de referentieconditie (Navarasa-expressies) die respectievelijk correct waren geclassificeerd.

Een proefpersoon werd beschouwd als zijnde positief (+) voor de doelconditie indien zij ten minste 75% van de afgebeelde emoties correct identificeerde. Deze classificatie was gebaseerd op validatiestudies van TRENDS, waarin een nauwkeurigheid van 60–80% werd beschouwd als adequate discriminante validiteit. Er werd een receiver operating characteristic (ROC)-analyse voor een continue voorspeller uitgevoerd om de area under the curve (AUC) en de overeenkomstige sensitiviteits- en specificiteitswaarden te schatten. Een sensitiviteit boven 80% werd beschouwd als een goede discriminerende eigenschap, en onder 80% als matig.

Resultaten

In deze studie werden variaties in de FEA-algoritmescores als reactie op emotie-opwekkende stimuli onderzocht en werd de diagnostische prestatie van het FEA-algoritme beoordeeld met behulp van een receiver operating characteristic (ROC)-analyse. Voor het onderzoek werden tweeënzeventig gezonde vrijwilligers geworven. De gemiddelde (SD) leeftijd was 31,9 (11,9) jaar, en de steekproef bestond uit 26 mannen en 46 vrouwen. Alle deelnemers hadden ten minste 10 jaar opleiding genoten en waren allemaal van Indiase afkomst. Hun gemiddelde (SD) PHQ-9- en GAD-7-scores waren respectievelijk 4,4 (4,8) en 4,7 (4,5).

Veranderingen in FEA-algoritmescores als reactie op emotionele stimuli: Met het FEA-algoritme afgeleide maten vertoonden statistisch significante veranderingen van de baseline (T0) naar Tmax, zoals bepaald door gepaarde t-toetsen voor beide stimuluscondities—TRENDS-afbeeldingen en Navarasa (p < 0,001; Tabel 1, Figuur 4, Tabel 2, en Figuur 5).

Diagnostische nauwkeurigheid van het FEA-algoritme: De diagnostische prestaties van het FEA-algoritme werden geëvalueerd met behulp van een receiver operating characteristic (ROC)-curveanalyse, waarbij de area under the curve (AUC)-waarden werden berekend voor verschillende emotionele toestanden (Tabel 3). De hoogste AUC werd behaald voor de FEA-algoritmescore die overeenkwam met de Shanta-toestand als reactie op neutrale gezichtsemotiestimuli (AUC = 0.665), gevolgd door de positieve emotie geluk (AUC = 0.637) (Figuur 6). De sensitiviteit voor neutrale en positieve emoties (gelukkig, aangenaam) bedroeg 70–80%, terwijl de sensitiviteit voor negatieve emoties (woede, angst, onaangenaam) 60–70% was. Deze sensitiviteitswaarden liggen onder de 80% en vertegenwoordigen een bescheiden discriminatieve prestatie.

Correlatie tussen FEA-algoritmescores en PHQ-9- en GAD-7-scores: Er werden geen significante correlaties waargenomen tussen enige van de FEA-algoritmescores en de PHQ-9- of GAD-7-scores.

DATAbeschikbaarheid:

Alle ruwe gegevens worden verstrekt in Aanvullend Bestand 2.

Figuur 1: Schematisch diagram van de pipeline voor modelontwikkeling van het FEA-algoritme. Het schema toont de eigen videodataset van Indiase acteurs van beide geslachten die frame-extractie en kenmerkextractie ondergaan over drie categorieën: regio's van gezichtspunten (inclusief op Natyashastra/Navarasa gebaseerde aanwijzingen voor oog- en gezichtsmicro-expressies), informatie over de hoofdpositie en bewegingen van het bovenlichaam, die worden samengevoegd tot één kenmerkvector en worden doorgegeven aan een multilayer perceptron (MLP) classifier. De MLP-output ondergaat een eigen post-processing (temporele afvlakking, normalisatie en aggregatie; oranje gestippeld kader) voordat de uiteindelijke Navarasa-voorspelling over negen categorieën wordt gegenereerd. Blauwe ononderbroken kaders duiden verwerkingsstappen aan; blauwe gearceerde kaders duiden kenmerkcategorieën aan; het oranje gestippelde kader duidt een eigen verwerkingsstap aan waarvan de interne parameters niet kunnen worden vrijgegeven. Aangezien dit een proces-schema is en geen datagraphiek, zijn foutenbalken en schaalbalken niet van toepassing. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Procedure van het FEA-algoritme-experiment. Stroomdiagram dat de opeenvolgende fasen van het experimentele protocol weergeeft: semi-gestructureerde klinische beoordeling (PHQ-9, GAD-7); positionering van de deelnemer met de camera op ooghoogte, 60–70 cm van de deelnemer; een baseline-opname van 60 s; het TRENDS emotie-afbeeldingsparadigma (20 afbeeldingen verdeeld over vijf emotiecategorieën; 5 s stimuluspresentatie en 10 s responsinterval per afbeelding; in totaal 300 s); een kort rustinterval; en het Navarasa emotie-afbeeldingsparadigma (18 afbeeldingen verdeeld over negen Navarasa-categorieën; 5 s stimuluspresentatie en 10 s responsinterval per afbeelding; in totaal 270 s). Pijlen geven de temporele volgorde van de procedures aan, van inschrijving tot voltooiing van de gegevensverwerving. Aangezien dit een processtroomdiagram is en geen datagraphiek, zijn foutenbalken en schaalbalken niet van toepassing. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Tijdreeksverandering in FEA-algoritmescores als reactie op overeenkomstige TRENDS-emotiebeelden (T0 tot T9 s). Vier panelen (A–D) tonen het traject op groepsniveau, seconde voor seconde, van de FEA-algoritmescore (y-as; willekeurige score-eenheden gegenereerd door het propriëtaire score-algoritme) over het venster van 10 s na de stimulus (x-as; T0 = score bij het beëindigen van de stimulus/baseline voor die trial, T1–T9 = elke opeenvolgende s), voor (A) het Shanta-domein na neutrale beelden, (B) het Haasya-domein na blije beelden, (C) het Bhayanaka-domein na angstbeelden, en (D) het Krodha-domein na woedebeelden (n = 72 participanten per paneel). Datapunten/lijnen vertegenwoordigen de groepsgemiddelden op elk tijdstip; foutenbalken/gekleurde banden vertegenwoordigen de standaarddeviatie (SD) tussen participanten. Schaalbalken zijn niet van toepassing op dit formaat van tijdreekslijngrafieken. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Staafdiagram dat de gemiddelde verandering in FEA-algoritmescores laat zien als reactie op het bekijken van TRENDS-emotiebeelden. De staven vertegenwoordigen de gemiddelde groepsverandering in de FEA-algoritmescore (Tmax −T0; y-as, arbitraire score-eenheden) voor elk van de vier TRENDS-gekoppelde emotiecategorieën (Shanta/Neutraal, Haasya/Blij, Krodha/Woede, Bhayanaka/Angst; x-as) (n = 72). De foutenbalken vertegenwoordigen de standaarddeviatie (SD) van de veranderingsscore binnen elke categorie. Alle vier de categorieën vertoonden een statistisch significante verandering ten opzichte van de nulmeting via een gepaarde t-toets (p < 0,001; zie Tabel 1). Schaalbalken zijn niet van toepassing op dit staafdiagramformaat. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Staafdiagram dat de gemiddelde verandering in FEA-algoritmescores laat zien als reactie op het bekijken van Navarasa-emotiebeelden. De staven vertegenwoordigen de groepsgemiddelde verandering in de FEA-algoritmescore (Tmax − T0; y-as, arbitraire score-eenheden) voor de drie samengestelde Navarasa-categorieën — neutraal (Shanta), aangenaam (gemiddelde van Haasya, Veera, Shringara, Adbhuta) en onaangenaam (gemiddelde van Krodha, Vibhitsa, Bhayanaka, Karuna) (x-as) (n = 72). Foutenbalken vertegenwoordigen de standaarddeviatie (SD) van de veranderingsscore binnen elke categorie. Alle drie de categorieën vertoonden een statistisch significante verandering ten opzichte van de baseline via een gepaarde t-toets (p < 0.001; zie Tabel 2). Schaalbalken zijn niet van toepassing op dit staafdiagramformaat. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Receiver operating characteristic (ROC)-curve die de sensitiviteit weergeeft bij verschillende afkapwaarden van de FEA-algoritme Shanta-score in reactie op afbeeldingen van neutrale emoties. De y-as vertegenwoordigt de sensitiviteit (true-positive rate, %) en de x-as vertegenwoordigt 1 − specificiteit (false-positive rate, %), uitgezet over het bereik van mogelijke afkapwaarden van de Shanta-score; de diagonale referentielijn vertegenwoordigt discriminatie op kansniveau (AUC = 0.5). Oppervlakte onder de curve (AUC) = 0.665 (zie Tabel 3 voor AUC-, sensitiviteits- en specificiteitswaarden voor alle emotiecategorieën). Foutenbalken en schaalbalken zijn niet van toepassing op dit curveformaat. Klik hier om een grotere versie van deze figuur te bekijken.

Emotie (TRENDS-stimuli)	Gemiddelde T0	Gemiddelde Tmax	Gemiddeld verschil	p-waarde
Neutraal – Shanta	0.2261	0.2664	0.0403	<0.001
Blij – Haasya	0.0834	0.1127	0.0294	<0.001
Angst – Bhayanaka	0.0648	0.0848	0.02	<0.001
Woede – Raudra	0.0901	0.1108	0.0207	<0.001

Tabel 1: Gemiddelde T0- en Tmax-waarden van FEA-algoritmescores als reactie op het bekijken van TRENDS-emotiestimuli. Voor elke TRENDS-gekoppelde emotiecategorie (Shanta/Neutraal, Haasya/Blij, Krodha/Woede, Bhayanaka/Angst) rapporteert de tabel de groepsgemiddelde FEA-algoritmescores (± SD) bij de nulmeting (T0) en bij het maximum binnen de trial (Tmax), de gemiddelde verandering (Tmax − T0), en het resultaat van de gepaarde t-toets (p-waarde) die T0 en Tmax vergelijkt (n = 72). Alle waarden zijn gerapporteerd in arbitraire FEA-algoritmescore-eenheden; p < 0,05 werd beschouwd als statistisch significant.

Emotiecategorie (Navarasa stimuli)	Gemiddelde T0	Gemiddelde Tmax	Gemiddeld verschil	p-waarde
Neutraal – Shanta	0.24	0.29	0.047	<0.001
Aangenaam (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Onplezierig (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tabel 2: Gemiddelde T0- en Tmax-waarden van FEA-algoritmescores als reactie op het bekijken van Navarasa-emotiestimuli. Voor elke samengestelde Navarasa-categorie (neutraal, aangenaam, onaangenaam) rapporteert de tabel de groepsgemiddelde FEA-algoritmescores (± SD) bij de nulmeting (T0) en bij het maximum binnen de trial (Tmax), de gemiddelde verandering (Tmax − T0), en het resultaat van de gepaarde t-toets (p-waarde) waarbij T0 en Tmax worden vergeleken (n = 72). Alle waarden worden gerapporteerd in arbitraire FEA-algoritmescore-eenheden; p < 0,05 werd beschouwd als statistisch significant.

Paneel A: TRENDS Stimuli
TRENDS Stimuli	AUC	95% BI	Cut-off Δ Emoscape score	Sensitiviteit (%)	Specificiteit (%)
Neutraal – Shanta	0.665	0.456–0.873	0.065	82.5	50
Blij – Haasya	0.637	0.493–0.780	0.0345	70.7	46.2
Angst – Bhayanaka	0.583	0.446–0.721	0.018	61.2	54.5
Woede – Raudra	0.532	0.374–0.689	0.023	67.3	45.5
Paneel B: Navarasa Stimuli
Navarasa Stimuli	AUC	95% BI	Cut-off Δ Emoscape score	Sensitiviteit (%)	Specificiteit (%)
Shanta (Neutraal)	0.596	0.412–0.779	0.03	85.7	44.6
Aangenaam (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0.012	70.2	40
Onprettig (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0.007	67.8	38

Tabel 3: Waarden voor de oppervlakte onder de curve (AUC), sensitiviteit en specificiteit voor FEA-algoritmescores per emotiecategorie. Voor elke emotiecategorie die is beoordeeld met behulp van receiver operating characteristic (ROC)-analyse, rapporteert de tabel de AUC, sensitiviteit (%) en specificiteit (%). Een sensitiviteit ≥ 80% was vooraf vastgesteld als indicatie voor een goede discriminantiecapaciteit; waarden onder deze drempel werden geclassificeerd als bescheiden (zie Statistische Analyse).

Aanvullende figuur 1: Genormaliseerde verwarringsmatrix voor het Navarasa-emotieclassificatiemodel met negen klassen. De rijen vertegenwoordigen de ware (werkelijke) emotieklasse en de kolommen vertegenwoordigen de door het model voorspelde emotieklasse; de celwaarden geven de proportie instanties van de ware klasse aan die aan elke voorspelde klasse zijn toegewezen, genormaliseerd naar een schaal van 0–1 (kleurenbalk, rechts). De klasselabels (1–9) komen overeen met de negen Navarasa-emotiecategorieën; vanwege eigendomsbeperkingen wordt de specifieke koppeling tussen getal en emotie niet onthuld. De totale cross-gevalideerde classificatienauwkeurigheid over alle negen categorieën was 96%. Foutenbalken zijn niet van toepassing op dit matrixformaat.Klik hier om dit bestand te downloaden.

Aanvullend bestand 1: Beschrijving van de ontwikkeling van het FEA-algoritmisch model (bevat interne validatiemetrieken, kruisgevalideerde nauwkeurigheid en een 9 × 9 Navarasa-confusiematrix).Klik hier om dit bestand te downloaden.

Aanvullend bestand 2: Bestand met ruwe gegevens.Klik hier om dit bestand te downloaden.

Discussie

Deze studie streefde naar een voorlopige validatie van het FEA-algoritme door de overeenstemming te onderzoeken tussen de scores afgeleid van het FEA-algoritme en de reacties op gestandaardiseerde gezichtsuitdrukkingsstimuli bij gezonde volwassen vrijwilligers. Deze eerste resultaten geven aan dat het FEA-algoritme statistisch detecteerbare veranderingen vertoont als reactie op emotie-opwekkende visuele stimuli over verschillende discrete emotionele categorieën, waaronder neutraal (shanta), geluk (haasya), angst (bhayanaka) en woede (raudra), cũng als bredere classificaties van prettige en onprettige toestanden. Dit suggereert dat de scores van het FEA-algoritme overeenstemmen met de reacties op taken met emotionele stimuli.

De sensitiviteit van het FEA-algoritme bleek te variëren van 70% tot 80% voor neutrale of positieve emoties en van 60% tot 70% voor negatieve emoties. Deze sensitiviteitswaarden zijn bescheiden voor elke test die bedoeld is als screeningsinstrument¹². Ter vergelijking: bredere machine learning-gebaseerde modellen voor emotie-inferentie die neurofysiologische markers gebruiken, zoals elektro-encefalografie (EEG), rapporteren classificatienauwkeurigheden tot 90%¹³. Een ensemble-classifiersysteem voor emotieclassificatie op basis van EEG en GSR voor autisme-detectie heeft een detectienauwkeurigheid van 99,97% aangetoond¹⁴. Deze modellen zijn echter vaak rekenintensiever en vereisen offline verwerking. In tegenstelling hiermee ligt een belangrijk voordeel van het FEA-algoritme in de focus op observeerbare gezichts- en lichaamssignalen, waardoor gebruik in real-time omgevingen mogelijk is.

De procedure van het FEA-algoritme is afhankelijk van verschillende procedurele factoren die cruciaal zijn voor de kwaliteit en betrouwbaarheid van de FEA-algoritme-opnames. Hiertoe behoren de camerapositie en de omgevingsverlichting. Opnames die worden uitgevoerd onder inconsistente of zwakke omgevingsverlichting kunnen de kwaliteit van de kenmerkextractie aanzienlijk verslechteren. De positie van het hoofd en het lichaam moet gedurende elke opnamesessie stabiel blijven; deelnemers met een beperkte mobiliteit van het hoofd of de nek zijn daarom uitgesloten. Het minimaliseren van gedragsmatige interferentie tijdens de opname is essentieel. Deelnemers zaten alleen, waarbij de onderzoeker afwezig was uit de kamer, om sociale wenselijkheidseffecten en zelfmonitoring te verminderen die natuurlijke gezichtsuitdrukkingen zouden kunnen onderdrukken.

De integratie van het Navarasa-raamwerk biedt een cultureel sensitieve classificatie van emoties. In de studie werd een theory-of-mind (ToM)-benadering toegepast om veranderingen in de FEA-algoritmescores als reactie op emotionele stimuli te beoordelen. ToM vertegenwoordigt een cognitieve sociale functie van hogere orde, en de neurobiologische substraten hiervan zijn gedocumenteerd in de literatuur¹⁵, wat de biologische plausibiliteit van de waargenomen veranderingen in de FEA-algoritmescores ondersteunt.

Er werd geen correlatie gevonden tussen de FEA-algoritmescores en de scores voor depressie of angst, wat suggereert dat de interne emotionele toestanden van de deelnemers waarschijnlijk geen invloed hebben gehad op de FEA-algoritme-opnames. Het is echter moeilijk om de emotionele toestanden van deelnemers tijdens het experiment volledig te beheersen. Bovendien kan top-down cognitieve verwerking natuurlijke emotionele reacties remmen, in het bijzonder als reactie op negatieve emotionele stimuli. Toekomstige studies zouden de subjectieve ervaringen van deelnemers tijdens het bekijken van emotionele stimuli moeten beoordelen, aangezien dit verder kan valideren of passief kijken inderdaad een subjectieve emotionele toestand induceert. De bescheiden sensitiviteit van het FEA-algoritme alleen zou potentieel kunnen worden verbeterd met aanvullende neurofysiologische gegevens, zoals EEG, hartslagvariabiliteit (HRV) of galvanische huidrespons (GSR). Dit dient in toekomstige validatiestudies te worden beoordeeld. De validatie werd uitgevoerd bij een gezonde volwassen populatie. Het nut van het FEA-algoritme bij het beoordelen van subjectieve emotionele toestanden bij klinische aandoeningen zoals depressie en angst verdient verdere investigate door middel van case-controlstudies.

Verschillende beperkingen van de huidige studie verdienen erkenning. Het eigendomsrechtelijke karakter van het FEA-algoritme beperkt de transparantie van de verwerkingspipeline. In het bijzonder kunnen het exacte aantal acteurs/deelnemers, de identiteit op actor-/deelnemerniveau, de exacte aantallen video's/opnames per acteur, de exacte kenmerkdefinities (landmark-indexen en keypoint-identificatoren) en gedetailleerde MLP-architectuurparameters (precieze laagdimesies en parametersaantallen) niet worden openbaar gemaakt. De interne validatiemetrieken (cross-gevalideerde nauwkeurigheid van 96%; onafhankelijke validatie op >15.000 min video) zijn gerapporteerd in het aanvullende materiaal. De klassenlabels die emotienamen vertegenwoordigen zijn geanonimiseerd vanwege eigendomsrechtelijke beperkingen. Wij erkennen dat deze beperkingen de onafhankelijke replicatie hinderen.

De studie stelde stimulusconcordantie vast tussen FEA-algoritmescores en de nauwkeurigheid van emotieherkenning bij gezonde volwassenen, met een bescheiden sensitiviteit voor het onderscheiden van emotionele toestanden. Dit biedt een voorlopige validatie voor het FEA-algoritme, een eigen ML-gebaseerd algoritme dat micro-bewegingen van het bovenlichaam analyseert en dynamische representaties van emotionele trajecten en geaggregeerde scores genereert voor elk van de negen rasa's, gebaseerd op het Navarasa-raamwerk. Toekomstige iteraties van het algoritme moeten gericht zijn op het verbeteren van de onderscheidende kracht over alle emotionele categorieën door aanvullende fysiologische of contextuele gegevens te integreren. Validatie in bredere klinische populaties vereist verder onderzoek.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Emoscape	Nihilent Ltd, Pune	1	Ontwikkelaar van Emoscape
Manoshanti Centra voor Emotioneel Welzijn	GNR Health Care Pvt Ltd.	2	Klinische en onderzoekspartner
Instrument voor herkenning van emoties bij neuropsychiatrische stoornissen	copyright bij de corresponderende auteur van de studie	3	Instrument gebruikt voor validatie in de studie