Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Onderzoeksartikel

Voorlopige validatie van een algoritme voor gezichtsuitdrukkings- en bewegingsanalyse tijdens emotie-opwekkende taken bij gezonde volwassenen

58 weergaven

DOI:

10.3791/70843

14 augustus 2026

In dit artikel

Samenvatting

Deze studie valideert in eerste instantie het FEA-algoritme, een eigen machine-learning-algoritme, voor het detecteren van reacties tijdens emotionele stimulus-taken. Er wordt gekeken naar de overeenstemming tussen de scores van het FEA-algoritme en gestandaardiseerde stimuli voor gezichtsemoties met gebruik van het Navarasa-raamwerk bij gezonde volwassenen, om te beoordelen of het systeem betrouwbaar emotiegerelateerde reacties weerspiegelt onder gecontroleerde experimentele omstandigheden.

Samenvatting

Dit protocol is ontworpen om Emoscape, een gepatenteerd machine-learning-algoritme gebaseerd op het Navarasa-raamwerk, voorafgaand te valideren door te testen of de emotiescores in overeenstemming met gestandaardiseerde emotie-opwekkende taken bij gezonde volwassenen veranderen. Tweeënzeventig gezonde volwassenen werden geworven nadat zij schriftelijke geïnformeerde toestemming hadden gegeven. De deelnemers vulden de Patient Health Questionnaire-9 en de Generalized Anxiety Disorder-7 in, waarna zij gezichtsemotiestimuli uit de TRENDS-set en Navarasa-afbeeldingen bekeken, terwijl het FEA-algoritme gedurende de taak micro-bewegingen van het bovenlichaam registreerde. De deelnemers identificeerden daarnaast de getoonde emoties. Veranderingen in de scores van het FEA-algoritme ten opzichte van de basislijn werden geanalyseerd tijdens blootstelling aan neutrale, blije, angst- en woede-stimuli uit TRENDS, alsook tijdens blootstelling aan Navarasa-afbeeldingen. Receiver operating characteristic-analyse werd gebruikt om de sensitiviteit en specificiteit voor discriminatie tussen emotionele categorieën te schatten. De scores van het FEA-algoritme vertoonden significante afwijkingen van de basislijn voor TRENDS-afbeeldingen die gekoppeld waren aan de overeenkomstige emoties (Neutraal–Shanta, Blij–Haasya, Angst–Bhayanaka en Woede–Raudra). Overeenkomstige veranderingen werden ook waargenomen bij Navarasa-afbeeldingen, waarbij alle gemiddelde verschillen statistisch significant waren (p < 0.001). De waarden voor de oppervlakte onder de curve (AUC) varieerden per categorie. Het FEA-algoritme vertoonde een matige sensitiviteit voor prettige emoties (70–80%) en onprettige emoties (60–70%). Deze bevindingen bieden voorlopige ondersteuning voor het protocol en voor het gebruik van het FEA-algoritme om emotie-gerelateerde reacties te beoordelen tijdens gecontroleerde emotie-opwekkende taken bij gezonde volwassenen.

Inleiding

Emotieherkenning is een belangrijk onderzoeksgebied binnen de sociale cognitieve neurowetenschappen, met potentiële klinische en onderzoeksapplicaties. Bestaande methoden voor emotionele beoordeling kwantificeren veranderingen in de fysiologische activiteit, zoals elektroencefalografie (EEG) of galvanische huidweerstand (GSR), om emotionele toestanden af te leiden. Deze methoden zijn echter complex en invasief. Directe metingen van gelaats- en lichaamsbewegingen bieden een directere en observeerbare index van de affectieve toestand van een individu1,2,3. Machine learning (ML)-algoritmen, in het bijzonder algoritmen die zijn getraind op grote, heterogene datasets van gezichtsuitdrukkingen, worden gebruikt om dergelijke subtiele nonverbale signalen te decoderen en emotionele toestanden te classificeren. Hoewel conventionele ML-algoritmen zoals support vector machines (SVM's) nog steeds veel worden gebruikt, hebben deep learning-architecturen, met name neurale netwerken (NN's)4,5, superieure prestaties getoond, vooral wanneer ze zijn getraind op grootschalige datasets, dankzij hun vermogen tot automatische kenmerkextractie6. Een voorbeeld van een conventioneel model in de Indiase context is een interactieve tool die een valentie-gebaseerd dimensionaal model gebruikt om arousal te bepalen. Frameworks voor emotieherkenning moeten gevoelig zijn voor de culturele context. In de Indiase culturele omgeving biedt het Navarasa-framework een genuanceerde taxonomie van negen primaire emoties, maar dit blijft grotendeels ononderzocht binnen ML-gestuurd onderzoek naar emotieherkenning. Er is een relatief tekort aan rigoureus gevalideerde ML-benaderingen die direct observeerbare gedragskenmerken analyseren, zoals gelaatsmicro-expressies en lichaamsbewegingen7,8. Dergelijke op expressies gebaseerde ML-algoritmen kunnen in real-time worden gebruikt, zijn eenvoudig toe te passen en zijn niet-invasief.

Het algoritme voor gezichtsuitdrukking- en bewegingsanalyse [hierna aangeduid als het FEA-algoritme] is een eigen ML-gebaseerd algoritme dat gelaatsmicro-expressies en bewegingen van het bovenlichaam analyseert en dynamische representaties van emotionele trajecten en geaggregeerde scores voor elk van de negen rasas genereert, gebaseerd op het Navarasa-raamwerk. Deze studie was erop gericht een preliminaire validatie van het FEA-algoritme uit te voeren door de concordantie te onderzoeken tussen de door FEA afgeleide scores en de reacties op gestandaardiseerde stimuli voor gezichts-emoties bij gezonde volwassen vrijwilligers.

Hiervoor maken wij gebruik van de concepten van de Theory of Mind (ToM) en het spiegelneuronenstelsel. ToM is een fundamentele sociaal-cognitieve capaciteit die individuen in staat stelt om de mentale en emotionele toestanden van anderen in sociale contexten af te leiden en te interpreteren9. Empirisch bewijs suggereert dat blootstelling aan emotionele gezichtsprikkels spiegelneuronennetwerken activeert, die op hun beurt een overeenkomstige, vicariante emotionele toestand bij de waarnemer oproepen10. De resulterende modulatie van de interne, subjectieve emotionele toestand van een individu als reactie op het bekijken van gezichtsuitdrukkingen van emotie kan, indien vastgelegd door het FEA-algoritme, een voorlopige validatie van het algoritme bieden.

Wij stellen als hypothese dat blootstelling aan gelaatsuitdrukkingen van emotionele stimuli die overeenkomen met een specifieke Navarasa-categorie zal leiden tot een statistisch significante afwijking van de baseline in de FEA-algoritmescore voor die Navarasa-emotie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

Het studieprotocol is goedgekeurd door de Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (EC-registratienummer: ECR/372/INST/KA/2013/RR-19), en van alle deelnemers is voorafgaand aan de inschrijving schriftelijke geïnformeerde toestemming verkregen.

Het FEA-algoritme is een eigen ML-gebaseerde methode voor real-time analyse van gelaatstmicro-expressies en bewegingen van het bovenlichaam om emotionele toestanden af te leiden met behulp van het Navarasa-raamwerk. Het Navarasa-raamwerk, afgeleid van de klassieke Indiase esthetische theorie, onderscheidt negen primaire emoties: shringara (liefde), haasya (vreugde), karuna (verdriet/bezinning), adbhuta (verrassing), shanta (vrede), raudra (woede), veera (moed), bhayanaka (angst) en vibhitsa (walging). Het FEA-algoritme maakt gebruik van een machine-learningmodel dat is getraind op gelaatsmicro-expressies en bewegingen van het bovenlichaam, geëxtraheerd uit beelden van acteurs die de negen Navarasa-emoties uitbeelden. Het algoritme leidt de emotionele toestand van een individu af door subtiele gelaatsdynamiek en micromutaties te analyseren vanuit visuele input die is vastgelegd door een enkele RGB-camera, en genereert kwantitatieve scores voor elk van de negen primaire emoties. Deze niet-invasieve configuratie maakt een onopvallende, naturalistische emotionele beoordeling mogelijk, waardoor het geschikt is voor een breed scala aan onderzoeks- en toegepaste omgevingen.

Modelontwikkeling

Het FEA-algoritme is gebaseerd op een architectuur van een neuraal netwerk (NN). De trainingsdataset is intern verzameld en bestaat uit meerdere uren aan opgenomen videogegevens van Indiase acteurs die de negen Navarasa-emoties uitbeelden. De dataset is afgeleid van gecontroleerde video-opnamen van verschillende acteurs/deelnemers, waarbij voor elke acteur/deelnemer meerdere opnamen/tests werden uitgevoerd over verschillende opgeroepen emotionele toestanden. Na voorbewerking, inclusief detectie van gezichtslandmarks, controles op temporele consistentie, kwaliteitsfiltering en het verwijderen van onbruikbare frames of frames met een lage betrouwbaarheid, bleven ongeveer 25.000 gestructureerde trainingsmonsters over. Tijdens de curatie van de dataset werden de opnamen gestrateificeerd op basis van meer dan tien demografische en opname-gerelateerde parameters, waaronder leeftijd, geslacht en andere relevante kenmerken, en bewust gebalanceerd om een gelijkwaardige vertegenwoordiging over deze parameters te bereiken en demografische bias te minimaliseren. De geslachtsverdeling werd gehandhaafd op ongeveer 52% mannelijk en 48% vrouwelijk. De deelnemers omvatten breed de leeftijdscategorieën adolescenten en volwassenen, met vertegenwoordiging over jongere, middelbare en oudere volwassen cohorten. Acteurs/deelnemers waren gevestigd in India en vertegenwoordigden meerdere Indiase regionale en culturele achtergronden, cũng als meerdere internationale etniciteiten die in India aanwezig zijn. Vanwege eigendomsbeperkingen kunnen het exacte aantal acteurs/deelnemers, de identiteit op acteur-/deelnemerniveau, de exacte video-/opnametellingen per acteur, de precieze frame-aantallen en de interne annotatiemethodologie niet worden openbaard, aangezien deze deel uitmaken van de propriëtaire dataset en het intellectueel eigendom voor modelontwikkeling van Nihilent Ltd.; deze beperking wordt expliciet erkend in de sectie Discussie.

Gezichtsbeelden die uit deze opnames waren geëxtraheerd, werden verwerkt met beeldverwerkingstechnieken om kwantitatieve kenmerken af te leiden, die vervolgens als input voor een neuraal netwerk voor predictie werden gebruikt. Dit model werd vervolgens geëvalueerd bij een doelpopulatie, en de verkregen inzichten werden gebruikt om volgende versies iteratief te verfijnen. Deze cyclus van ontwikkeling, testen en verbetering werd herhaald tot de prestaties van het model stabiliseerden. Het uiteindelijke predictieve model is geïmplementeerd als een multilayer perceptron (MLP), bestaande uit een inputlaag met ongeveer 300 geselecteerde kenmerken, verborgen lagen en een outputlaag die een negen-dimensionale scorevector produceert die overeenkomt met de negen Navarasa-emotiecategorieën. Aanvankelijk werden meer dan 700 kenmerken afgeleid uit de vastgelegde gegevens, die vervolgens werden gereduceerd via procedures voor kenmerkselectie en modeloptimalisatie. De outputscore van de MLP wordt vervolgens doorgegeven aan eigen post-processing algoritmen om de definitieve geaggregeerde FEA-algoritmescores af te leiden. Verdere architecturale details — inclusief het exacte aantal trainbare parameters en specifieke laagdimesies — zijn bedrijfseigen en kunnen niet worden openbaar gemaakt; dit wordt erkend als een beperking van het huidige verslag. Een gedetailleerde beschrijving van de modelontwikkeling is opgenomen in het aanvullende materiaal (Supplementary File 1 en Supplementary Figure 1).

Tijdens de iteratieve ontwikkeling werd de prestatie van het model beoordeeld met behulp van kruisvalidatie op de eigen dataset, waarbij een kruisgevalideerde classificatienauwkeurigheid van 96% werd behaald over de negen Navarasa-categorieën. Vervolgens werd een onafhankelijke validatie uitgevoerd op meer dan 15.000 min aan videodata. Een genormaliseerde 9 × 9 confusiematrix die de classificatieprestaties over alle negen Navarasa-categorieën samenvat, is opgenomen in het aanvullende materiaal (Supplementary File 1).

Na stabilisatie onderging het model een gecontroleerde interne validatie onder supervisie van experts. Deze aanpak legt de nadruk op empirische validatie door middel van direct testen bij menselijke proefpersonen, waardoor de toepasbaarheid in de praktijk en de robuustheid over diverse populaties heen kunnen worden beoordeeld. De ontwikkeling van het model is samengevat in Figuur 1.

De Patient Health Questionnaire-9 (PHQ-9) en de Generalized Anxiety Disorder-7 (GAD-7) schaal: Deelnemers vulden zelfrapportagevragenlijsten in onder toezicht van een getrainde psycholoog om hun huidige emotionele toestand te beoordelen. De gebruikte instrumenten waren de Patient Health Questionnaire-9 (PHQ-9) en de Generalized Anxiety Disorder-7 (GAD-7) schaal. Een score boven de 9 op een van beide schalen werd als klinisch significant beschouwd.

TRENDS

De Tool for Recognition of Emotions in Neuropsychiatric Disorders (TRENDS) is een cultureel gevalideerd, ecologisch sensitief instrument dat is ontworpen om het vermogen tot gezichtsemotieherkenning te beoordelen11. Het is gevalideerd voor gebruik in Indiase populaties en bestaat uit 40 foto's van acteurs die de universele basisemoties neutraliteit, blijdschap, angst, woede en verdriet uitbeelden. Beelden uit TRENDS werden gebruikt als referentiestimuli om de output van de emotieclassificatie van het FEA-algoritme te valideren.

Experimenteel ontwerp

Het experiment was ontworpen om een algoritmische respons op emotionele stimuli op te wekken. Er werden twee paradigma's voor het opwekken van emoties ontwikkeld en gebruikt voor deze studie.

TRENDS images paradigma

In het eerste paradigma toonde een videosequentie aanvankelijk gedurende 60 s een leeg scherm, gevolgd door de weergave van emotionele stimuli. De emotionele stimuli werden geselecteerd uit de TRENDS-tool. In totaal werden 20 afbeeldingen gepresenteerd, die neutraal, blij, verdrietig, boos en angstig representeerden × twee genders × twee leeftijdsgroepen. Elke stimulus werd gedurende 5 s getoond. De totale presentatietijd van de stimuli was daarom 20 × 5 s, met een extra interval van 10 s met een leeg scherm tussen opeenvolgende afbeeldingen, wat resulteerde in een totale duur van 300 s. Tijdens elk leeg interval van 10 s moesten deelnemers de emotie identificeren die in de voorafgaande afbeelding was afgebeeld door een van de vijf op het scherm getoonde emotielabels te selecteren.

Navarasa-paradigma

Een tweede, analoog videoparadigma werd geconstrueerd op basis van het Navarasa-raamwerk van negen rasa's. In totaal werden 18 afbeeldingen gepresenteerd (negen emoties × twee genders). Elke stimulus werd 5 s getoond, met een blanco scherm van 10 s tussen de afbeeldingen, wat resulteerde in een totale duur van 270 s. De negen emoties werden gecategoriseerd als neutraal (shanta), aangenaam (haasya, veera, shringara, adbhuta) of onaangenaam (Krodha, vibhitsa, bhayanaka, karuna). Tijdens elk blanco interval van 10 s moesten de deelnemers de emotie classificeren die in de voorafgaande afbeelding werd afgebeeld door een van de drie op het scherm gepresenteerde opties te selecteren: neutraal, aangenaam of onaangenaam. De negen Navarasa's werden gegroepeerd in drie categorieën om de registratie van de reacties van de deelnemers op emotie-identificatie te vergemakkelijken.

Deelnemers

Gezonde volwassen vrijwilligers werden geworven uit werkomgevingen en onderwijsinstellingen. De inclusiecriteria bestonden uit personen in de leeftijd van 18–50 jaar, ongeacht geslacht/gender. De exclusiecriteria omvatten een voorgeschiedenis van gediagnosticeerde psychiatrische stoornissen, neurologische stoornissen, significante visuele beperkingen of fysieke beperkingen die bewegingen van het hoofd en de nek beperkten.

Procedure

De deelnemers zaten zodanig dat de camera op ooghoogte stond en op een afstand van 60–70 cm was geplaatst. In de studie werd het FEA-algoritme gebruikt. De applicatie werd geopend op de laptop en de onderzoeker voerde de ID van de proefpersoon in. Gedurende het experiment registreerde het FEA-algoritme continu videogegevens om een nadere analyse van gezichtsuitdrukkingen en micromovements mogelijk te maken. Aanvankelijk werd een baseline-opname van 60 s gemaakt, waarbij de deelnemers de instructie kregen om te ontspannen en openlijke expressieve gedragingen te vermijden. Na de baseline-acquisitie werden de deelnemers blootgesteld aan de twee videaparadigma's (TRENDS-afbeeldingen gevolgd door Navarasa). Alle deelnemers bekeken de paradigma's in dezelfde vaste volgorde om potentiële storende effecten gerelateerd aan de presentatievolgorde te minimaliseren; deze vaste volgorde zou echter volgorde-effecten hebben kunnen introduceren. Tijdens de opnamesessies bleef de onderzoeker buiten de kamer om afleiding te verminderen. De onderzoeker monitorde het experiment op afstand via een mobiele applicatie terwijl hij/zij buiten de kamer was. De deelnemers kregen een kort rustinterval aangeboden tussen de twee paradigma's (Figuur 2).

Analyse

De verzamelde gegevens werden gekoppeld aan het proefpersoons-ID dat in de applicatie was ingevoerd om de datagetrouwheid te waarborgen. Het FEA-algoritme maakt gebruik van een gestructureerde, end-to-end computationele pijplijn voor automatische emotie-inferentie, bestaande uit vijf hoofdfasen: videoacquisitie, kenndetectie en -extractie, datapreprocessing, emotieclassificatie en outputinterpretatie. Geëxtraheerde kenmerken ondergingen een reeks preprocessing-bewerkingen, waaronder ruisonderdrukking, normalisatie over proefpersonen en verlichtingsomstandigheden, en interpolatie van ontbrekende frames. Om de signaalstabiliteit te verbeteren, werd temporele afvlakking toegepast. De resulterende kenmerkvectoren werden temporeel uitgelijnd voor verdere verwerking door het classificatiemodel. Deze tijdsuitgelijnde, geruisloze kenmerkmatrices dienden als input voor het component voor emotieclassificatie.

Kenmerkextractie

Het extractiekader maakt gebruik van een algoritmische pijplijn met meerdere extractiefasen voor kenmerken, die standaard 2D monoculaire videobeelden vertaalt naar een gereconstrueerde 3D-coördinatenruimte. In plaats van te vertrouwen op ruwe 2D-pixeltracking, brengt het systeem gelokaliseerde ruimtelijke coördinaten in kaart over het gezicht en het bovenlichaam. De afgeleide kenmerken vallen uiteen in drie brede categorieën: (i) gezichtslandmarkregio's, omvattende geometrische descriptoren van de gezichtsstructuur en -dynamiek (inclusief aanwijzingen uit de oogregio en correlaten van gelaatstmicro-expressies afgeleid van het Navarasa-raamwerk, dat is geworteld in de Natyashastra — het vroegste geformaliseerde raamwerk van menselijke emotionele expressie, erkend door UNESCO); (ii) informatie over de hoofdhouding, waarbij de oriëntatie en beweging van het hoofd worden vastgelegd; en (iii) kenmerken van de beweging van het bovenlichaam, waarbij de resulterende beweging van het bovenlichaam wordt vastgelegd. Specifieke definitie van kenmerken, inclusief precieze landmark-indices en keypoint-identificatoren, zijn bedrijfseigen en kunnen niet volledig worden vrijgegeven; dit wordt erkend als een beperking. Het systeem maakt geen direct gebruik van action unit-labels uit het Facial Action Coding System (FACS); in plaats daarvan worden geometrische en temporele kenmerken afgeleid uit gezichts- en lichaamsbewegingen. Deze 3D-ruimtelijke transformaties worden over tijd geaggregeerd om een uitgebreide gedragssamenvattingsvector te genereren, die als input dient voor de MLP-classifier. In totaal werden aanvankelijk meer dan 700 kandidaatkenmerken afgeleid uit de vastgelegde gegevens, die vervolgens via kenkenselectie en modeloptimalisatie zijn teruggebracht tot ongeveer 300 geselecteerde kenmerken. De structurele pipeline verloopt van videoverwerving via 2D-naar-3D ruimtelijke reconstructie, temporele aggregatie en kenmerkennormalisatie voorafgaand aan de classificatie.

Emotieclassificatiemodel

De voorbewerkte kenmerkvectoren werden ingevoerd in een supervised multilayer perceptron (MLP) neuraal netwerk, getraind op de intern geannoteerde dataset overeenkomend met de negen Navarasa-emotiecategorieën: Śṛṅgāra (liefde), Hāsya (vreugde), Karuṇā (verdriet), Raudra (woede), Vīra (moed), Bhayānaka (angst), Bībhatsa (walging), Adbhuta (verwondering) en Śānta (vrede). Het model was expliciet ontworpen om spatiotemporele afhankelijkheden in expressieve gedragsgegevens vast te leggen. Bij elke tijdstap produceerde de architectuur een vector van voorspelde emotie-intensiteiten voor de negen categorieën.

Nabewerking van modeluitvoer

De ruwe modeloutputs werden vervolgens post-processed om stabiele en interpreteerbare emotiescores te verkrijgen. Er werden drie opeenvolgende bewerkingen toegepast: (i) temporele afvlakking om kortstondige fluctuaties te verminderen, (ii) normalisatie om vergelijkbaarheid in de tijd en over emotiedimensies heen te waarborgen, en (iii) aggregatie om samenvattende maten over gespecificeerde tijdvensters of volledige sequenties af te leiden. De post-processing procedures waarborgen de vergelijkbaarheid tussen proefpersonen en corrigeren voor interindividuele variatie in de baseline.

Interpretatie en visualisatie van de resultaten

Het FEA-algoritme genereert kwantitatieve en visuele representaties van emotionele dynamieken afgeleid uit videodata. De twee primaire vormen van output zijn ttemporele emotietrajecten. Waarden voor emotie-intensiteit worden gevisualiseerd als tijdreeksgrafieken die de evolutie van elke emotie gedurende de video tonen. Deze weergave biedt een continu overzicht van affectieve variatie, wat de analyse van kortstondige veranderingen, piekactivaties en herstel- of de-escalatiefases in emotionele opwinding faciliteert. Vergelijkende emotiescores: Geaggregeerde emotiewaarden voor elk van de negen Navarasa-categorieën worden weergegeven als vergelijkende scoreplots, die de relatieve magnitude van elke emotie over het geanalyseerde interval illustreren. Deze vergelijkende visualisaties maken directe vergelijkingen tussen emoties mogelijk en bieden een beknopte samenvatting van het algemene affectieve profiel. De FEA-algoritmescores die bij de baseline werden gegenereerd, werden gecontroleerd op eventuele vlakke lijnen of het ontbreken van betekenisvolle veranderingen, wat zou duiden op een inadequate registratie.

Statistische analyse

Scores voor de negen Navarasa-emotiedomeinen, gegenereerd door het FEA-algoritme tijdens het interval van 10 s na elke beeldenpresentatie in het paradigma, werden als uitkomstvariabelen beschouwd. FEA-algoritmescores werden gegenereerd voor elke s in het venster van 10 s (T0, T1, T2… T9). De FEA-algoritmescore bij T0 werd beschouwd als de baselinescore. De hoogste FEA-algoritmescore tussen de opnames van T1–T9 werd gedefinieerd als Tmax. De verandering in de FEA-algoritmescore ten opzichte van de baseline (Tmax − T0) werd berekend en gebruikt als uitkomstvariabele in de analyses. De verandering in FEA-algoritmescores over de tijdreeks voor elke emotie is afgebeeld in Figuur 3A–D.

Voor de TRENDS-afbeeldingen werden de overeenkomstige doelcategorieën voor emoties als volgt toegewezen: Shanta > Neutraal; Haasya > Blij; Krodha > Woede; en Bhayanaka > Angst. Voor de Navarasa-afbeeldingen werden de scores van het FEA-algoritme gegroepeerd en gemiddeld in drie samengestelde categorieën: neutraal (Shanta), aangenaam (Haasya, Veera, Shringara, Adbhuta) en onaangenaam (Krodha, Vibhitsa, Bhayanaka, Karuna).

Er werden zowel analyses op groepsniveau als op subjectniveau uitgevoerd.

Analyse op groepsniveau: Voor elke hierboven beschreven emotiecategorie werd de verandering in de FEA-algoritmescore van baseline naar Tmax vergeleken met behulp van gepaarde t-toetsen. Een significante verandering ten opzichte van de baseline in de FEA-algoritmescore zou wijzen op een goede concordantie met emotieherkenning. Een significant verschil zou echter niet noodzakelijkerwijs wijzen op een hoge classificatienauwkeurigheid.

Analyse op subjectniveau: Elke toename in een FEA-algoritme score voor het emotiedomein boven de basislijnwaarde werd geclassificeerd als een positieve emotionele respons. Vervolgens werden nauwkeurigheidsindices afgeleid: sensitiviteit en specificiteit. Sensitiviteit en specificiteit kwantificeren respectievelijk de waarschijnlijkheid dat de test positief is wanneer de doelconditie aanwezig is (+) en negatief wanneer deze afwezig is (−). Wanneer beide schattingen de 1 naderen, presteert de test goed wat betreft de diagnostische nauwkeurigheid. De geschatte sensitiviteit en specificiteit werden gedefinieerd als de proporties deelnemers met en zonder de referentieconditie (Navarasa-expressies) die respectievelijk correct waren geclassificeerd.

Een proefpersoon werd beschouwd als zijnde positief (+) voor de doelconditie indien zij ten minste 75% van de afgebeelde emoties correct identificeerde. Deze classificatie was gebaseerd op validatiestudies van TRENDS, waarin een nauwkeurigheid van 60–80% werd beschouwd als adequate discriminante validiteit. Er werd een receiver operating characteristic (ROC)-analyse voor een continue voorspeller uitgevoerd om de area under the curve (AUC) en de overeenkomstige sensitiviteits- en specificiteitswaarden te schatten. Een sensitiviteit boven 80% werd beschouwd als een goede discriminerende eigenschap, en onder 80% als matig.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

De studie onderzocht variaties in FEA-algoritmescores als reactie op emotie-oproepende stimuli en beoordeelde de diagnostische prestaties van het FEA-algoritme met behulp van receiver operating characteristic (ROC)-analyse. Voor de studie werden tweeënzeventig gezonde vrijwilligers geworven. De gemiddelde (SD) leeftijd was 31,9 (11,9) jaar, en de steekproef bestond uit 26 mannen en 46 vrouwen. Alle deelnemers hadden ten minste 10 jaar onderwijs gevolgd en waren allen van Indiase afkomst. Hun gemiddelde (SD) PHQ-9- en GAD...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Deze studie streefde naar een voorlopige validatie van het FEA-algoritme door de overeenstemming te onderzoeken tussen de scores afgeleid van het FEA-algoritme en de reacties op gestandaardiseerde gezichtsuitdrukkingsstimuli bij gezonde volwassen vrijwilligers. Deze eerste resultaten geven aan dat het FEA-algoritme statistisch detecteerbare veranderingen vertoont als reactie op emotie-opwekkende visuele stimuli over verschillende discrete emotionele categorieën, waaronder neutraal (shanta), geluk (haasya), angst (bhayana...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

Het FEA-algoritme is een eigendomsalgoritme van Nihilent Ltd., dat financiële steun heeft verleend aan Manoshanti voor het uitvoeren van de gegevensverzameling voor deze studie. Nihilent heeft de FEA-algoritmescores verstrekt. De data-analyse werd onafhankelijk uitgevoerd door Manoshanti. Nihilent Ltd. was niet betrokken bij de data-analyse.

Dankbetuigingen

Wij danken professoren P. T. Sivakumar en dr. Shivarama Varambally voor het bieden van wetenschappelijk toezicht op deze studie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
EmoscapeNihilent Ltd, Pune1Ontwikkelaar van Emoscape
Manoshanti Centra voor Emotioneel WelzijnGNR Health Care Pvt Ltd.2Klinische en onderzoekspartner
Instrument voor herkenning van emoties bij neuropsychiatrische stoornissencopyright bij de corresponderende auteur van de studie3Instrument gebruikt voor validatie in de studie

Referenties

  1. Garg N, Garg R, Anand A, Baths V. Decoding the neural signatures of valence and arousal from a portable EEG headset. Front Hum Neurosci. 2022;16:1051463. doi:10.3389/fnhum.2022.1051463.
  2. Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using a machine learning approach. Neurocomputing. 2014;129:94–106.
  3. Giannakaki K, Giannakakis GA, Farmaki C, Sakkalis V. Emotional state recognition using advanced machine learning techniques on EEG data [conference paper]. Presented at: 2017 IEEE 30th International Symposium on Computer-Based Medical Systems; Thessaloniki, Greece; 2017. p. 333–6. Available from: https://ieeexplore.ieee.org/document/8104214
  4. Barzilay R, et al. Predicting affect classification in mental status examination using machine learning face action recognition system. Front Psychiatry. 2019;10:288. doi:10.3389/fpsyt.2019.00288.
  5. Houssein EH, Hammad A, Ali AA. Human emotion recognition from EEG-based brain-computer interface using machine learning. Neural Comput Appl. 2022;34:12527–52.
  6. Awan AW, et al. An ensemble learning method for emotion charting using multimodal physiological signals. Sensors (Basel). 2022;22(23):9480. doi:10.3390/s22239480.
  7. Shetty H, Sampathila N, Kumar GS, Behere R. Interactive self assessment tool for analysis of emotional status. Indian J Sci Technol. 2017;10(16):1–5.
  8. Bazgir O, Mohammadi Z, Habibi SAH. Emotion recognition with machine learning using EEG signals [conference paper]. Presented at: 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering; Qom, Iran; 2018. p. 1–5. Available from: https://ieeexplore.ieee.org/document/8703559
  9. Spunt RP, Adolphs R. The neuroscience of understanding the emotions of others. Neurosci Lett. 2019;693:44–8.
  10. Hawco C, et al. Neural activity while imitating emotional faces is related to both lower and higher-level social cognitive performance. Sci Rep. 2017;7:1244. doi:10.1038/s41598-017-01316-z.
  11. Behere RV, et al. TRENDS: a tool for recognition of emotions in neuropsychiatric disorders. Indian J Psychol Med. 2008;30(1):32–8.
  12. Trevethan R. Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice. Front Public Health. 2017;5:307. doi:10.3389/fpubh.2017.00307.
  13. Gkintoni E, Aroutzidis A, Antonopoulou H, Halkiopoulos C. From neural networks to emotional networks: a systematic review of EEG-based emotion recognition in cognitive neuroscience and real-world applications. Brain Sci. 2025;15(3):220. doi:10.3390/brainsci15030220.
  14. Joshi S, Srinivas LNB. An ensemble classifier for emotion classification from EEG and GSR signals for autism detection. Comput Methods Programs Biomed. 2025;270:108921. doi:10.1016/j.cmpb.2025.108921.
  15. Lincoln SH, et al. The neural basis of social cognition in typically developing children and its relationship to social functioning. Front Psychol. 2021;12:714176. doi:10.3389/fpsyg.2021.714176.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Tags

Gezichtsuitdrukkingsanalysemachine learning algoritmeNavarasa frameworkemotieherkenningmicromovement analyseReceiver Operating Characteristicemotiestimulisensitiviteit specificiteit

Dit artikel is gepubliceerd

Video binnenkort beschikbaar