Validazione preliminare di un algoritmo di analisi dei movimenti e delle espressioni facciali durante compiti di elicitazione delle emozioni in adulti sani

Sommario

Questo studio valida in via preliminare l'algoritmo FEA, un algoritmo proprietario di apprendimento automatico, per il rilevamento delle risposte durante compiti con stimoli emotivi. Esamina la concordanza tra i punteggi dell'algoritmo FEA e stimoli facciali emotivi standardizzati utilizzando il framework Navarasa in adulti sani, valutando se il sistema riflette in modo affidabile le risposte correlate alle emozioni in condizioni sperimentali controllate.

Abstract

Questo protocollo è stato progettato per validare in via preliminare Emoscape, un algoritmo proprietario di apprendimento automatico basato sul framework Navarasa, verificando se i suoi punteggi emotivi cambiano in accordo con compiti standardizzati di induzione emotiva in adulti sani. Sono stati reclutati settantadue adulti sani dopo aver fornito consenso informato scritto. I partecipanti hanno compilato il Patient Health Questionnaire-9 e il Generalized Anxiety Disorder-7, quindi hanno osservato stimoli emotivi facciali del set TRENDS e immagini Navarasa, mentre l'algoritmo FEA registrava micro-movimenti del tronco superiore per tutta la durata del compito. I partecipanti hanno inoltre identificato le emozioni mostrate. Sono stati analizzati i cambiamenti nei punteggi dell'algoritmo FEA rispetto al basale durante l'esposizione a stimoli neutri, felici, di paura e di rabbia del set TRENDS, nonché durante l'esposizione alle immagini Navarasa. È stata utilizzata un'analisi della curva operativa del ricevitore (ROC) per stimare sensibilità e specificità nella discriminazione tra categorie emotive. I punteggi dell'algoritmo FEA hanno mostrato deviazioni significative rispetto al basale per le immagini TRENDS associate alle emozioni corrispondenti (Neutro–Shanta, Felice–Haasya, Paura–Bhayanaka e Rabbia–Raudra). Sono stati osservati anche cambiamenti concordanti nelle immagini Navarasa, con tutte le differenze medie statisticamente significative (p < 0,001). I valori dell'area sotto la curva (AUC) hanno mostrato variazioni tra le categorie. L'algoritmo FEA ha mostrato una sensibilità moderata per le emozioni piacevoli (70–80%) e per quelle spiacevoli (60–70%). Questi risultati forniscono un supporto preliminare al protocollo e all'utilizzo dell'algoritmo FEA per valutare le risposte correlate alle emozioni durante compiti controllati di induzione emotiva in adulti sani.

Introduzione

Il riconoscimento delle emozioni è un'area importante di indagine nella neuroscienze cognitive sociali, con possibili applicazioni cliniche e di ricerca. I metodi esistenti di valutazione emotiva quantificano alterazioni nell'attività fisiologica, come l'elettroencefalografia (EEG) o la resistenza cutanea galvanica (GSR), per inferire stati emotivi. Tuttavia, questi metodi sono complessi e invasivi. Le misurazioni dirette dei movimenti del volto e del corpo offrono un indice più immediato e osservabile dello stato affettivo di un individuo^1,2,3. Algoritmi di apprendimento automatico (ML), in particolare quelli addestrati su ampi dataset eterogenei di espressioni facciali, vengono utilizzati per decodificare questi segnali non verbali sottili e classificare gli stati emotivi. Sebbene algoritmi ML convenzionali come le macchine a vettori di supporto (SVM) siano ancora ampiamente utilizzati, le architetture di apprendimento profondo, in particolare le reti neurali (NN)^4,5, hanno dimostrato prestazioni superiori, specialmente quando addestrate su dataset su larga scala, grazie alla loro capacità di estrazione automatica delle caratteristiche⁶. Un esempio di modello convenzionale nel contesto indiano è uno strumento interattivo che adotta un modello dimensionale basato sulla valenza per determinare l'attivazione emotiva. I sistemi di riconoscimento emotivo devono essere sensibili al contesto culturale. Nell'ambiente culturale indiano, il framework Navarasa fornisce una tassonomia articolata di nove emozioni primarie, tuttavia rimane ampiamente inesplorato nella ricerca sul riconoscimento emotivo guidata dall'apprendimento automatico. Esiste una relativa carenza di approcci ML rigorosamente validati che analizzino direttamente indizi comportamentali osservabili, come le microespressioni facciali e i movimenti del corpo^7,8. Tali algoritmi basati sull'espressione possono essere utilizzati in tempo reale, sono facili da somministrare e non sono invasivi.

L'algoritmo di Analisi delle Espressioni e dei Movimenti Facciali [in seguito indicato come algoritmo FEA] è un algoritmo proprietario basato su ML che analizza le microespressioni facciali e i movimenti del busto superiore, generando rappresentazioni dinamiche delle traiettorie emotive e punteggi aggregati per ciascuna delle nove rasas, in base al framework Navarasa. Questo studio ha avuto lo scopo di effettuare una validazione preliminare dell'algoritmo FEA esaminando la concordanza tra i punteggi ottenuti tramite FEA e le risposte a stimoli standardizzati di emozioni facciali in volontari adulti sani.

A tal fine, ci basiamo sui costrutti della teoria della mente (ToM) e del sistema dei neuroni specchio. La ToM è una capacità socio-cognitiva fondamentale che consente agli individui di inferire e interpretare gli stati mentali ed emotivi altrui in contesti sociali⁹. Evidenze empiriche indicano che l'esposizione a stimoli emotivi facciali attiva reti di neuroni specchio, che a loro volta suscitano uno stato emotivo concordante e vicario nell'osservatore¹⁰. La modulazione risultante dello stato emotivo interno e soggettivo dell'individuo in risposta alla visione di espressioni facciali di emozioni, se rilevata dall'algoritmo FEA, può fornire una validazione preliminare dell'algoritmo.

Ipotesi che l'esposizione a stimoli emotivi facciali corrispondenti a una specifica categoria Navarasa provochi una deviazione statisticamente significativa rispetto al valore basale nel punteggio dell'algoritmo FEA per l'emozione Navarasa in questione.

Protocollo

Il protocollo dello studio è stato approvato dal Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (numero di registrazione del comitato etico: ECR/372/INST/KA/2013/RR-19), e il consenso informato scritto è stato ottenuto da tutti i partecipanti prima dell'iscrizione.

L'algoritmo FEA è un metodo proprietario basato su ML per l'analisi in tempo reale di microespressioni facciali e movimenti del busto superiore, finalizzato a inferire stati emotivi utilizzando il framework Navarasa. Il framework Navarasa, derivato dalla teoria estetica classica indiana, definisce nove emozioni primarie: shringara (amore), haasya (gioia), karuna (tristezza/meditazione), adbhuta (sorpresa), shanta (pace), raudra (rabbia), veera (coraggio), bhayanaka (paura) e vibhitsa (disgusto). L'algoritmo FEA utilizza un modello di apprendimento automatico addestrato su microespressioni facciali e movimenti del busto superiore estratti da immagini di attori che interpretano le nove emozioni Navarasa. L'algoritmo inferisce lo stato emotivo di un individuo analizzando dinamiche facciali sottili e micromovimenti a partire da un input visivo acquisito mediante una singola telecamera RGB e genera punteggi quantitativi per ciascuna delle nove emozioni primarie. Questa configurazione non invasiva consente una valutazione emotiva discreta e naturalistica, risultando adatta a un'ampia gamma di contesti di ricerca e applicazioni pratiche.

Sviluppo del modello

L'algoritmo FEA si basa su un'architettura di rete neurale (NN). Il set di dati di addestramento è stato raccolto internamente e comprende diverse ore di dati video registrati di attori indiani che interpretano le nove emozioni del Navarasa. Il set di dati deriva da registrazioni video controllate di diversi attori/partecipanti, con molteplici registrazioni/test effettuati per ciascun attore/partecipante in diversi stati emotivi indotti. Dopo il pre-elaborazione, inclusa la rilevazione dei punti caratteristici del volto, verifiche di coerenza temporale, filtraggio della qualità e rimozione di fotogrammi non utilizzabili o con bassa affidabilità, sono stati mantenuti circa 25.000 campioni strutturati per l'addestramento. Durante la cura del set di dati, le registrazioni sono state stratificate secondo più di dieci parametri demografici e legati alla registrazione, inclusi età, sesso e altri attributi rilevanti, e deliberate bilanciate per ottenere una rappresentazione equa rispetto a tali parametri e ridurre al minimo i bias demografici. La distribuzione per sesso è stata mantenuta approssimativamente al 52% maschile e al 48% femminile. I partecipanti coprivano in modo ampio le fasce di età adolescenziale e adulta, con rappresentanza nei gruppi di adulti giovani, di mezza età e anziani. Gli attori/partecipanti erano residenti in India e rappresentavano diversi contesti regionali e culturali indiani, nonché diverse etnie internazionali presenti in India. A causa di restrizioni proprietarie, non possono essere divulgati il numero esatto di attori/partecipanti, l'identità a livello individuale, il numero preciso di video/registrazioni per attore, il conteggio esatto dei fotogrammi e la metodologia interna di annotazione, poiché questi elementi fanno parte del set di dati proprietario e della proprietà intellettuale sullo sviluppo del modello di Nihilent Ltd.; tale limitazione è esplicitamente riconosciuta nella sezione Discussione.

Le immagini facciali estratte da queste registrazioni sono state elaborate mediante tecniche di elaborazione delle immagini per ricavare caratteristiche quantitative, successivamente utilizzate come input per una rete neurale a scopo predittivo. Questo modello è stato quindi valutato su una popolazione target e le informazioni ottenute sono state impiegate per affinare in modo iterativo le versioni successive. Questo ciclo di sviluppo, verifica e miglioramento è stato ripetuto fino a quando le prestazioni del modello non si sono stabilizzate. Il modello predittivo finale è implementato come un percettrone multistrato (MLP) composto da un livello di input con circa 300 caratteristiche selezionate, strati nascosti e un livello di output che produce un vettore di punteggio a nove dimensioni corrispondente alle nove categorie emotive del Navarasa. Inizialmente sono state ricavate più di 700 caratteristiche dai dati acquisiti e successivamente ridotte attraverso procedure di selezione delle caratteristiche e di ottimizzazione del modello. Il punteggio in uscita dall'MLP viene quindi inviato ad algoritmi proprietari di post-elaborazione per ottenere i punteggi finali aggregati dell'algoritmo FEA. Ulteriori dettagli architetturali — tra cui il numero esatto di parametri addestrabili e le dimensioni specifiche degli strati — sono di proprietà esclusiva e non possono essere divulgati; tale aspetto è riconosciuto come una limitazione del presente rapporto. Una descrizione dettagliata dello sviluppo del modello è fornita nel materiale supplementare (Supplementary File 1 e Supplementary Figure 1).

Durante lo sviluppo iterativo, le prestazioni del modello sono state valutate mediante validazione incrociata sul dataset interno, raggiungendo un'accuratezza di classificazione del 96% con validazione incrociata nelle nove categorie di Navarasa. Successivamente, è stata effettuata una validazione indipendente su oltre 15.000 min di dati video. Nella documentazione supplementare è fornita una matrice di confusione normalizzata 9 × 9 che riassume le prestazioni di classificazione per tutte e nove le categorie di Navarasa (Supplementary File 1).

Dopo la stabilizzazione, il modello è stato sottoposto a una validazione interna controllata sotto la supervisione di esperti. Questo approccio pone l'accento sulla validazione empirica mediante test diretti su soggetti umani, consentendo la valutazione dell'applicabilità reale e della robustezza in popolazioni diverse. Lo sviluppo del modello è riassunto in Figura 1.

Il questionario sulla salute del paziente-9 (PHQ-9) e la scala del disturbo d'ansia generalizzato-7 (GAD-7): I partecipanti hanno compilato questionari auto-somministrati sotto la supervisione di uno psicologo qualificato per valutare il loro stato emotivo attuale. Gli strumenti somministrati includevano il Questionario sulla salute del paziente-9 (PHQ-9) e la scala del Disturbo d'ansia generalizzato-7 (GAD-7). Un punteggio superiore a 9 su una delle due scale è stato considerato clinicamente significativo.

ANDAMENTI

Lo Strumento per il Riconoscimento delle Emozioni nei Disturbi Neuropsichiatrici (TRENDS) è uno strumento validato culturalmente e sensibile dal punto di vista ecologico, progettato per valutare le capacità di riconoscimento delle emozioni facciali¹¹. È stato validato per l'uso in popolazioni indiane e comprende 40 fotografie di attori che rappresentano le emozioni di base universali di neutralità, felicità, paura, rabbia e tristezza. Le immagini provenienti da TRENDS sono state utilizzate come stimoli di riferimento per validare gli output di classificazione delle emozioni dell'algoritmo FEA.

Progettazione sperimentale

L'esperimento è stato progettato per suscitare una risposta algoritmica a stimoli emotivi. Sono stati sviluppati e utilizzati due paradigmi di induzione emotiva per questo studio.

Paradigma delle immagini TRENDS

Nel primo paradigma, una sequenza video presentava inizialmente uno schermo vuoto per 60 s, seguito dalla visualizzazione di stimoli emotivi. Gli stimoli emotivi sono stati selezionati dallo strumento TRENDS. Sono state presentate complessivamente 20 immagini, rappresentanti neutralità, felicità, tristezza, rabbia e paura × due sessi × due fasce d'età. Ogni stimolo è stato visualizzato per 5 s. Il tempo totale di presentazione degli stimoli è stato quindi di 20 × 5 s, con un intervallo aggiuntivo di 10 s con schermo vuoto tra un'immagine e l'altra, per una durata complessiva di 300 s. Durante ciascun intervallo vuoto di 10 s, i partecipanti dovevano identificare l'emozione raffigurata nell'immagine precedente selezionando una delle cinque etichette emotive mostrate sullo schermo.

Paradigma Navarasa

È stato costruito un secondo paradigma video, analogo, basato sul framework delle nove rasas di Navarasa. Sono state presentate un totale di 18 immagini (nove emozioni × due generi). Ogni stimolo è stato visualizzato per 5 s, con uno schermo vuoto di 10 s tra un'immagine e l'altra, per una durata complessiva di 270 s. Le nove emozioni sono state classificate come neutre (shanta), piacevoli (haasya, veera, shringara, adbhuta) o spiacevoli (Krodha, vibhitsa, bhayanaka, karuna). Durante ciascun intervallo vuoto di 10 s, i partecipanti dovevano classificare l'emozione raffigurata nell'immagine precedente selezionando una delle tre opzioni mostrate sullo schermo: neutro, piacevole o spiacevole. Le nove Navarasa sono state raggruppate in tre categorie per facilitare la registrazione delle risposte dei partecipanti all'identificazione delle emozioni.

Partecipanti

Volontari adulti sani sono stati reclutati da ambienti lavorativi e istituzioni educative. I criteri di inclusione comprendevano individui di età compresa tra 18 e 50 anni, di qualsiasi sesso/genere. I criteri di esclusione includevano la presenza di anamnesi di disturbi psichiatrici diagnosticati, disturbi neurologici, deficit visivo significativo o disabilità fisiche che limitassero i movimenti della testa e del collo.

Procedura

I partecipanti sono stati fatti sedere in modo che la telecamera fosse all'altezza degli occhi e posizionata a una distanza di 60–70 cm. Nello studio è stato utilizzato l'algoritmo FEA. L'applicazione è stata aperta sul laptop e il ricercatore ha inserito l'ID del soggetto. Durante tutto l'esperimento, l'algoritmo FEA ha registrato continuamente i dati video per consentire l'analisi successiva delle espressioni facciali e dei micro-movimenti. Inizialmente è stata ottenuta una registrazione di base della durata di 60 s, durante la quale ai partecipanti è stato chiesto di rilassarsi e di astenersi da comportamenti espressivi evidenti. Al termine dell'acquisizione della baseline, i partecipanti sono stati esposti ai due paradigmi video (immagini TRENDS seguite da Navarasa). Tutti i partecipanti hanno visionato i paradigmi nello stesso ordine fisso, al fine di ridurre al minimo eventuali effetti di confondimento legati alla sequenza di presentazione; tuttavia, questo ordine fisso potrebbe aver introdotto effetti di ordine. Durante le sessioni di registrazione, il ricercatore è rimasto fuori dalla stanza per ridurre le distrazioni. Il ricercatore ha monitorato l'esperimento a distanza tramite un'applicazione mobile mentre si trovava all'esterno della stanza. È stato offerto ai partecipanti un breve intervallo di riposo tra i due paradigmi (Figura 2).

Analisi

I dati raccolti sono stati associati all'ID del soggetto inserito nell'applicazione per garantire la fedeltà dei dati. L'algoritmo FEA utilizza una pipeline computazionale strutturata end-to-end per l'inferenza automatica delle emozioni, composta da cinque fasi principali: acquisizione video, rilevamento ed estrazione delle caratteristiche, preelaborazione dei dati, classificazione delle emozioni e interpretazione dell'output. Le caratteristiche estratte sono state sottoposte a una serie di operazioni di preelaborazione, inclusa la riduzione del rumore, la normalizzazione tra soggetti e condizioni di illuminazione e l'interpolazione dei fotogrammi mancanti. È stata applicata una filtratura temporale per migliorare la stabilità del segnale. I vettori di caratteristiche risultanti sono stati allineati temporalmente per essere successivamente elaborati dal modello di classificazione. Queste matrici di caratteristiche denoizzate e allineate nel tempo sono state utilizzate come input per il componente di classificazione delle emozioni.

Estrazione delle caratteristiche

Il framework di estrazione impiega una pipeline algoritmica a stadi multipli di estrazione delle caratteristiche che traduce flussi video 2D monoculare standard in uno spazio tridimensionale ricostruito. Piuttosto che basarsi sul semplice tracciamento dei pixel 2D, il sistema mappa coordinate spaziali localizzate su viso e parte superiore del corpo. Le caratteristiche ottenute rientrano in tre categorie principali: (i) regioni dei punti di riferimento facciali, comprendenti descrittori geometrici della struttura e della dinamica facciale (inclusi indizi relativi alla zona degli occhi e correlati delle microespressioni facciali tratti dal framework Navarasa, basato sul Natyashastra — il primo sistema formalizzato dell'espressione emotiva umana, riconosciuto dall'UNESCO); (ii) informazioni sull'orientamento della testa, che registrano l'orientamento e i movimenti del capo; e (iii) caratteristiche relative ai movimenti del tronco, che catturano i movimenti risultanti della parte superiore del corpo. Le definizioni specifiche delle caratteristiche, inclusi gli indici precisi dei punti di riferimento e gli identificatori dei punti chiave, sono riservate e non possono essere completamente divulgate; tale aspetto è riconosciuto come una limitazione. Il sistema non utilizza direttamente le etichette delle unità di azione del Facial Action Coding System (FACS); invece, deriva caratteristiche geometriche e temporali dai movimenti del viso e del corpo. Queste trasformazioni spaziali 3D vengono aggregate nel tempo per generare un vettore riassuntivo comportamentale completo, che funge da ingresso per il classificatore MLP. In totale, inizialmente sono state derivate più di 700 caratteristiche candidate dai dati acquisiti e successivamente ridotte a circa 300 caratteristiche selezionate mediante selezione delle caratteristiche e ottimizzazione del modello. La pipeline strutturale procede dall'acquisizione del video attraverso la ricostruzione spaziale da 2D a 3D, l'aggregazione temporale e la normalizzazione delle caratteristiche prima della classificazione.

Modello di classificazione delle emozioni

Ai vettori di caratteristiche pre-elaborati è stata fornita in ingresso un'architettura di rete neurale multilivello supervisionata (MLP), addestrata su un dataset annotato in-house corrispondente alle nove categorie emotive del Navarasa: Śṛṅgāra (amore), Hāsya (gioia), Karuṇā (dolore), Raudra (rabbia), Vīra (coraggio), Bhayānaka (paura), Bībhatsa (disgusto), Adbhuta (meraviglia) e Śānta (pace). Il modello è stato progettato esplicitamente per catturare le dipendenze spaziotemporali nei dati comportamentali espressivi. A ogni passo temporale, l'architettura produceva un vettore di intensità emotive predette per le nove categorie.

Post-elaborazione degli output del modello

Gli output grezzi del modello sono stati successivamente sottoposti a post-elaborazione per produrre punteggi emotivi stabili e interpretabili. Sono state applicate tre operazioni sequenziali: (i) smoothing temporale per ridurre le fluttuazioni a breve termine, (ii) normalizzazione per garantire la comparabilità nel tempo e tra le diverse dimensioni emotive, e (iii) aggregazione per ricavare misure riassuntive su finestre temporali specificate o su intere sequenze. Le procedure di post-elaborazione assicurano la comparabilità tra soggetti e controllano le variazioni individuali della baseline.

Interpretazione e visualizzazione dei risultati

L'algoritmo FEA genera rappresentazioni quantitative e visive delle dinamiche emotive dedotte dai dati video. Le due forme principali di output sono le traiettorie temporali delle emozioni. I valori di intensità emotiva sono visualizzati come grafici a serie temporale che mostrano l'evoluzione di ciascuna emozione durante l'intero video. Questa rappresentazione fornisce una visione continua della variazione affettiva, facilitando l'esame di cambiamenti transitori, picchi di attivazione e fasi di recupero o de-escalation nell'attivazione emotiva. Punteggi emotivi comparativi: i valori aggregati delle emozioni per ciascuna delle nove categorie Navarasa sono mostrati come grafici comparativi di punteggio, che illustrano l'entità relativa di ciascuna emozione nell'intervallo analizzato. Queste visualizzazioni comparative permettono confronti diretti tra le emozioni e forniscono un riassunto sintetico del profilo affettivo complessivo. I punteggi generati dall'algoritmo FEA al basale sono stati esaminati per verificare la presenza di tracciati piatti o di assenza di variazioni significative, che indicherebbero una registrazione inadeguata.

Analisi statistica

I punteggi relativi ai nove domini emotivi del Navarasa, generati dall'algoritmo FEA nell'intervallo di 10 s successivo alla presentazione di ciascuna immagine nel paradigma, sono stati considerati variabili di esito. I punteggi dell'algoritmo FEA sono stati generati per ogni s nella finestra di 10 s (T0, T1, T2… T9). Il punteggio dell'algoritmo FEA a T0 è stato considerato il valore basale. Il punteggio massimo dell'algoritmo FEA registrato tra T1 e T9 è stato definito come Tmax. La variazione del punteggio dell'algoritmo FEA rispetto al basale (Tmax − T0) è stata calcolata ed utilizzata come variabile di esito nelle analisi. La variazione dei punteggi dell'algoritmo FEA nel corso della serie temporale per ciascuna emozione è rappresentata nella Figura 3A–D.

Per le immagini TRENDS, le corrispondenti categorie emotive target sono state mappate come segue: Shanta > Neutro; Haasya > Felice; Krodha > Rabbia; e Bhayanaka > Paura. Per le immagini Navarasa, i punteggi dell'algoritmo FEA sono stati raggruppati e mediati in tre categorie composite: neutro (Shanta), piacevole (Haasya, Veera, Shringara, Adbhuta) e spiacevole (Krodha, Vibhitsa, Bhayanaka, Karuna).

Sono state effettuate analisi a livello di gruppo e a livello di soggetto.

Analisi a livello di gruppo: Per ogni categoria emotiva descritta in precedenza, il cambiamento del punteggio dell'algoritmo FEA dal basale a Tmax è stato confrontato utilizzando test t per campioni appaiati. Un cambiamento significativo del punteggio dell'algoritmo FEA rispetto al valore basale indicherebbe una buona concordanza con il riconoscimento dell'emozione. Tuttavia, una differenza significativa non indicherebbe necessariamente un'elevata accuratezza di classificazione.

Analisi a livello soggetto: Qualsiasi aumento del punteggio in un dominio emotivo dell'algoritmo FEA rispetto al valore basale è stato classificato come risposta emotiva positiva. Sono stati quindi ricavati indici di accuratezza: sensibilità e specificità. La sensibilità e la specificità quantificano, rispettivamente, la probabilità che il test risulti positivo quando la condizione target è presente (+) e negativo quando è assente (−). Quando entrambe le stime si avvicinano a 1, il test presenta buone prestazioni in termini di accuratezza diagnostica. La sensibilità e la specificità stimate sono state definite come le proporzioni di partecipanti con e senza la condizione di riferimento (espressioni Navarasa), rispettivamente, che sono stati correttamente classificati.

Si considerava che un soggetto avesse la condizione target presente (+) se identificava correttamente almeno il 75% delle emozioni rappresentate. Questa classificazione si basava su studi di validazione di TRENDS, nei quali un'accuratezza del 60–80% era considerata una validità discriminante adeguata. È stata eseguita un'analisi delle caratteristiche operative del ricevitore (ROC) per un predittore continuo al fine di stimare l'area sotto la curva (AUC) e i corrispondenti valori di sensibilità e specificità. Una sensibilità superiore all'80% era considerata un'ottima capacità discriminante, mentre un valore inferiore all'80% era considerato moderato.

Risultati

Lo studio ha esaminato le variazioni dei punteggi dell'algoritmo FEA in risposta a stimoli che evocano emozioni e ha valutato le prestazioni diagnostiche dell'algoritmo FEA mediante analisi delle caratteristiche operative del ricevitore (ROC). Sono stati reclutati settantadue volontari sani. L'età media (DS) era di 31,9 (11,9) anni e il campione comprendeva 26 maschi e 46 femmine. Tutti i partecipanti avevano almeno 10 anni di istruzione e appartenevano tutti all'etnia indiana. I punteggi medi (DS) ai test PHQ-9 e GAD-7 erano rispettivamente di 4,4 (4,8) e 4,7 (4,5).

Variazioni dei punteggi ottenuti dall'algoritmo FEA in risposta a stimoli emotivi: le misure derivate dall'algoritmo FEA hanno mostrato cambiamenti statisticamente significativi dal valore basale (T0) al Tmax, come determinato da test t per campioni appaiati per entrambe le condizioni di stimolo—immagini TRENDS e Navarasa (p < 0,001; Tabella 1, Figura 4, Tabella 2 e Figura 5).

Precisione diagnostica dell'algoritmo FEA: Le prestazioni diagnostiche dell'algoritmo FEA sono state valutate mediante analisi della curva caratteristica operativa del ricevitore (ROC), calcolando i valori dell'area sotto la curva (AUC) per stati emotivi distinti (Tabella 3). Il valore AUC più alto è stato ottenuto per il punteggio dell'algoritmo FEA corrispondente allo stato Shanta in risposta a stimoli emotivi facciali neutri (AUC = 0,665), seguito dall'emozione positiva di felicità (AUC = 0,637) (Figura 6). La sensibilità per le emozioni neutre e positive (felice, piacevole) era del 70–80%, mentre la sensibilità per le emozioni negative (rabbia, paura, spiacevole) era del 60–70%. Questi valori di sensibilità sono inferiori all'80% e indicano una capacità discriminatoria modesta.

Correlazione tra i punteggi dell'algoritmo FEA e i punteggi PHQ-9 e GAD-7: Non sono state osservate correlazioni significative tra nessuno dei punteggi dell'algoritmo FEA e i punteggi PHQ-9 o GAD-7.

DISPONIBILITÀ DEI DATI:

Tutti i dati grezzi sono forniti nel File Supplementare 2.

Figura 1: Schema del flusso di sviluppo del modello algoritmico FEA. Lo schema illustra il set di dati video interno, composto da attori indiani di entrambi i sessi, sottoposto all'estrazione dei fotogrammi e all'estrazione delle caratteristiche in tre categorie: regioni dei punti di riferimento del volto (inclusi segnali microespressivi oculari e facciali derivati dal Natyashastra/Navarasa), informazioni sulla posizione della testa e movimenti del tronco superiore, che vengono aggregati in un singolo vettore di caratteristiche e forniti a un classificatore multilayer perceptron (MLP). L'output dell'MLP subisce un post-elaborazione proprietaria (lisciatura temporale, normalizzazione e aggregazione; riquadro arancione tratteggiato) prima di generare l'output finale di previsione suddiviso in nove categorie Navarasa. I riquadri blu continui indicano passaggi di elaborazione; i riquadri blu ombreggiati indicano categorie di caratteristiche; il riquadro arancione tratteggiato indica un passaggio di elaborazione proprietario i cui parametri interni non possono essere divulgati. Poiché si tratta di uno schema di processo e non di un grafico di dati, le barre di errore e le scale non sono applicabili. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Procedura sperimentale dell'algoritmo FEA. Diagramma di flusso che illustra le fasi sequenziali del protocollo sperimentale: valutazione clinica semistrutturata (PHQ-9, GAD-7); posizionamento del partecipante con la telecamera a livello degli occhi, a 60–70 cm dal partecipante; registrazione di base della durata di 60 s; paradigma di immagini emotive TRENDS (20 immagini distribuite in cinque categorie emotive; presentazione dello stimolo di 5 s e intervallo di risposta di 10 s per ogni immagine; totale di 300 s); un breve intervallo di riposo; e paradigma di immagini emotive Navarasa (18 immagini distribuite in nove categorie Navarasa; presentazione dello stimolo di 5 s e intervallo di risposta di 10 s per ogni immagine; totale di 270 s). Le frecce indicano la sequenza temporale delle procedure, dall'arruolamento al completamento dell'acquisizione dei dati. Poiché si tratta di un diagramma di flusso di processo e non di un grafico di dati, le barre di errore e le scale non sono applicabili. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Variazione temporale dei punteggi ottenuti con l’algoritmo FEA in risposta alle immagini emotive corrispondenti di TRENDS (da T0 a T9 s). Quattro pannelli (A–D) mostrano la traiettoria media del gruppo, secondo per secondo, del punteggio ottenuto con l’algoritmo FEA (asse y; unità di punteggio arbitrarie generate dall’algoritmo proprietario di valutazione) durante la finestra di 10 s successiva allo stimolo (asse x; T0 = punteggio al termine dello stimolo/basale per quella prova, T1–T9 = ogni secondo successivo), per (A) il dominio Shanta in seguito a immagini neutre, (B) il dominio Haasya in seguito a immagini felici, (C) il dominio Bhayanaka in seguito a immagini di paura e (D) il dominio Krodha in seguito a immagini di rabbia (n = 72 partecipanti per pannello). I punti/linee rappresentano le medie di gruppo in ciascun punto temporale; le barre di errore/le fasce ombreggiate rappresentano la deviazione standard (SD) tra i partecipanti. Le scale non sono applicabili a questo tipo di grafico a linee temporale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Grafico a barre che mostra la variazione media dei punteggi dell'algoritmo FEA in risposta alla visualizzazione delle immagini emotive TRENDS. Le barre rappresentano la variazione media del gruppo nel punteggio dell'algoritmo FEA (Tmax −T0; asse y, unità di punteggio arbitrarie) per ciascuna delle quattro categorie emotive mappate da TRENDS (Shanta/Neutro, Haasya/Contento, Krodha/Rabbia, Bhayanaka/Paura; asse x) (n = 72). Le barre di errore rappresentano la deviazione standard (SD) della variazione del punteggio all'interno di ciascuna categoria. Tutte e quattro le categorie hanno mostrato una variazione statisticamente significativa rispetto al valore basale mediante test t per campioni appaiati (p < 0,001; vedere Tabella 1). Le scale grafiche non sono applicabili a questo tipo di grafico a barre. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 5: Grafico a barre che mostra la variazione media dei punteggi dell'algoritmo FEA in risposta alla visualizzazione di immagini emotive Navarasa. Le barre rappresentano la variazione media del gruppo nel punteggio dell'algoritmo FEA (Tmax − T0; asse y, unità di punteggio arbitrarie) per le tre categorie composite di Navarasa — neutro (Shanta), piacevole (media di Haasya, Veera, Shringara, Adbhuta) e spiacevole (media di Krodha, Vibhitsa, Bhayanaka, Karuna) (asse x) (n = 72). Le barre di errore rappresentano la deviazione standard (SD) della variazione del punteggio all'interno di ciascuna categoria. Tutte e tre le categorie hanno mostrato una variazione statisticamente significativa rispetto al valore basale, come evidenziato dal test t per campioni appaiati (p < 0,001; vedere Tabella 2). Le scale grafiche non sono applicabili a questo tipo di grafico a barre. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 6: Curva caratteristica operativa del ricevitore (ROC) che mostra la sensibilità a diversi valori soglia del punteggio Shanta dell'algoritmo FEA in risposta a immagini di emozioni neutre. L'asse y rappresenta la sensibilità (tasso di veri positivi, %) e l'asse x rappresenta 1 − specificità (tasso di falsi positivi, %), tracciati lungo l'intervallo dei possibili valori soglia del punteggio Shanta; la linea diagonale di riferimento rappresenta la discriminazione casuale (AUC = 0,5). L'area sotto la curva (AUC) = 0,665 (vedere Tabella 3 per i valori di AUC, sensibilità e specificità di tutte le categorie emotive). Le barre di errore e le scale non sono applicabili a questo tipo di curva. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Emozione (stimoli TRENDS)	Media T0	Media Tmax	Differenza media	valore p
Neutro – Shanta	0.2261	0.2664	0.0403	<0.001
Allegro – Haasya	0.0834	0.1127	0.0294	<0.001
Paura – Bhayanaka	0.0648	0.0848	0.02	<0.001
Rabbia – Raudra	0.0901	0.1108	0.0207	<0.001

Tabella 1: Valori medi di T0 e Tmax dei punteggi dell'algoritmo FEA in risposta alla visione di stimoli emotivi TRENDS. Per ogni categoria emotiva mappata da TRENDS (Shanta/Neutro, Haasya/Allegro, Krodha/Rabbia, Bhayanaka/Paura), la tabella riporta i punteggi medi di gruppo dell'algoritmo FEA (± DS) al basale (T0) e al massimo all'interno della prova (Tmax), la variazione media (Tmax − T0) e il risultato del test t per campioni appaiati (valore p) che confronta T0 e Tmax (n = 72). Tutti i valori sono espressi in unità arbitrarie di punteggio dell'algoritmo FEA; si è considerata statisticamente significativa una p < 0,05.

Categoria emotiva (stimoli Navarasa)	Media T0	Media Tmax	Differenza media	valore p
Neutro – Shanta	0.24	0.29	0.047	<0.001
Piacevole (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Sgradevole (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tabella 2: Valori medi di T0 e Tmax dei punteggi dell'algoritmo FEA in risposta alla visione di stimoli emotivi Navarasa. Per ogni categoria composita Navarasa (neutro, piacevole, spiacevole), la tabella riporta i punteggi medi di gruppo dell'algoritmo FEA (± DS) al basale (T0) e al massimo all'interno della prova (Tmax), la variazione media (Tmax − T0) e il risultato del test t per campioni appaiati (p-valore) che confronta T0 e Tmax (n = 72). Tutti i valori sono espressi in unità arbitrarie di punteggio dell'algoritmo FEA; si è considerato statisticamente significativo un valore di p < 0,05.

Pannello A: Stimoli TRENDS
Stimoli TRENDS	AUC	IC 95%	Punteggio Emoscape di soglia Δ	Sensibilità (%)	Specificità (%)
Neutro – Shanta	0.665	0.456–0.873	0.065	82,5	50
Allegro – Haasya	0.637	0.493–0.780	0,0345	70,7	46,2
Paura – Bhayanaka	0.583	0.446–0.721	0,018	61,2	54,5
Rabbia – Raudra	0.532	0.374–0.689	0,023	67,3	45,5
Pannello B: Stimoli Navarasa
Stimoli Navarasa	AUC	IC 95%	Punteggio Emoscape di soglia Δ	Sensibilità (%)	Specificità (%)
Shanta (Neutro)	0.596	0.412–0.779	0,03	85,7	44,6
Piacevole (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0,012	70,2	40
Sgradevole (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0,007	67,8	38

Tabella 3: Area sotto la curva (AUC), valori di sensibilità e specificità per i punteggi dell'algoritmo FEA per categoria emotiva. Per ogni categoria emotiva valutata mediante analisi delle caratteristiche operative del ricevitore (ROC), la tabella riporta l'AUC, la sensibilità (%) e l' specificità (%). Una sensibilità ≥ 80% è stata predeterminata come indicativa di una buona capacità discriminante; i valori al di sotto di questa soglia sono stati classificati come modesti (vedere Analisi Statistica).

Figura supplementare 1: Matrice di confusione normalizzata per il modello di classificazione delle emozioni Navarasa a nove classi. Le righe rappresentano la classe emotiva reale (effettiva) e le colonne rappresentano la classe emotiva predetta dal modello; i valori delle celle indicano la proporzione di istanze della classe reale assegnate a ciascuna classe predetta, normalizzata su una scala da 0 a 1 (barra del colore, a destra). Le etichette delle classi (1–9) corrispondono alle nove categorie emotive Navarasa; a causa di restrizioni proprietarie, la corrispondenza specifica tra numeri ed emozioni non viene divulgata. L'accuratezza complessiva della classificazione, validata tramite cross-validation su tutte e nove le categorie, è stata del 96%. Le barre di errore non sono applicabili a questo formato di matrice.Cliccare qui per scaricare questo file.

File supplementare 1: Descrizione dello sviluppo del modello basato sull'algoritmo FEA (include metriche di validazione interna, accuratezza con validazione incrociata e matrice di confusione Navarasa 9 × 9).Cliccare qui per scaricare il file.

File supplementare 2: File contenente i dati grezzi.Cliccare qui per scaricare questo file.

Discussione

Questo studio ha cercato di fornire una validazione preliminare dell'algoritmo FEA esaminando la concordanza tra i punteggi derivati dall'algoritmo FEA e le risposte a stimoli standardizzati di emozioni facciali in volontari adulti sani. Questi primi risultati indicano che l'algoritmo FEA mostra cambiamenti statisticamente rilevabili in risposta a stimoli visivi emotivi in diverse categorie emotive distinte, inclusi stati neutro (shanta), felicità (haasya), paura (bhayanaka) e rabbia (raudra), oltre a classificazioni più ampie di stati piacevoli e spiacevoli. Ciò suggerisce che i punteggi dell'algoritmo FEA sono concordanti con le risposte ai compiti basati su stimoli emotivi.

Si è osservato che la sensibilità dell'algoritmo FEA varia dal 70% al 80% per emozioni neutre o positive e dal 60% al 70% per emozioni negative. Questi valori di sensibilità sono modesti per qualsiasi test destinato a essere utilizzato come misura di screening¹². A titolo di confronto, modelli più ampi di inferenza delle emozioni basati sull'apprendimento automatico, che utilizzano marcatori neurofisiologici come l'elettroencefalografia (EEG), riportano accuratezze di classificazione fino al 90%¹³. Un sistema classificatore basato su ensemble per la classificazione delle emozioni da EEG e GSR applicato al rilevamento dell'autismo ha mostrato un'accuratezza di rilevamento del 99,97%¹⁴. Tuttavia, questi modelli tendono ad essere più onerosi dal punto di vista computazionale e richiedono un'elaborazione offline. Al contrario, un punto di forza notevole dell'algoritmo FEA risiede nella sua focalizzazione su indizi facciali e corporei osservabili, consentendo un funzionamento in tempo reale.

La procedura dell'algoritmo FEA dipende da diversi fattori procedurali fondamentali per la qualità e l'affidabilità delle registrazioni ottenute con l'algoritmo FEA. Tra questi vi sono la posizione della telecamera e l'illuminazione ambientale. Le registrazioni effettuate con illuminazione ambientale incoerente o scarsa possono compromettere significativamente la qualità dell'estrazione delle caratteristiche. La posizione della testa e del corpo deve rimanere stabile per tutta la durata di ogni sessione di registrazione; pertanto, sono stati esclusi i partecipanti con mobilità limitata della testa o del collo. È essenziale ridurre al minimo le interferenze comportamentali durante la registrazione. I partecipanti sono stati fatti sedere da soli, con il ricercatore assente dalla stanza, al fine di ridurre gli effetti del desiderio sociale e l'auto-monitoraggio, che potrebbero inibire l'espressione spontanea delle emozioni facciali.

L'integrazione del framework Navarasa fornisce una classificazione delle emozioni sensibile al contesto culturale. Lo studio ha applicato un approccio basato sulla teoria della mente (ToM) per valutare le variazioni nei punteggi dell'algoritmo FEA in risposta a stimoli emotivi. La ToM rappresenta una funzione cognitiva sociale di ordine superiore, e i suoi substrati neurobiologici sono stati documentati in letteratura¹⁵, sostenendo così la plausibilità biologica dei cambiamenti osservati nei punteggi dell'algoritmo FEA.

Non è stata riscontrata alcuna correlazione tra i punteggi dell'algoritmo FEA e i punteggi relativi a depressione o ansia, suggerendo che gli stati emotivi interni dei partecipanti difficilmente abbiano influenzato le registrazioni dell'algoritmo FEA. Tuttavia, è difficile controllare completamente gli stati emotivi dei partecipanti durante l'esperimento. Inoltre, l'elaborazione cognitiva di tipo top-down potrebbe inibire le risposte emotive naturali, in particolare in reazione a stimoli emotivi negativi. Studi futuri dovrebbero valutare le esperienze soggettive dei partecipanti durante l'osservazione di stimoli emotivi, poiché ciò potrebbe ulteriormente confermare se l'osservazione passiva induca effettivamente uno stato emotivo soggettivo. La sensibilità moderata dell'algoritmo FEA, considerato da solo, potrebbe essere potenzialmente migliorata con dati neurofisiologici aggiuntivi, come l'EEG, la variabilità della frequenza cardiaca (HRV) o la risposta galvanica cutanea (GSR). Questo aspetto dovrebbe essere valutato in futuri studi di validazione. La validazione è stata effettuata su una popolazione adulta sana. L'utilità dell'algoritmo FEA nella valutazione degli stati emotivi soggettivi in condizioni cliniche come depressione e ansia richiede ulteriori indagini mediante studi caso-controllo.

Diversi limiti del presente studio richiedono una segnalazione. La natura proprietaria dell'algoritmo di FEA limita la trasparenza della sua pipeline di elaborazione. In particolare, non possono essere divulgati il numero esatto di attori/partecipanti, l'identità a livello di singolo attore/partecipante, il numero esatto di video/grabazioni per attore, le definizioni precise delle caratteristiche (indici dei punti di riferimento e identificatori dei punti chiave) e i parametri architetturali dettagliati del MLP (dimensioni esatte dei livelli e numero di parametri). Le metriche di validazione interna (accuratezza convalidata incrociata del 96%; validazione indipendente su >15.000 min di video) sono riportate nel materiale supplementare. Le etichette delle classi che rappresentano i nomi delle emozioni sono anonimizzate a causa di vincoli proprietari. Riconosciamo che tali limitazioni ostacolano la replicabilità indipendente.

Lo studio ha osservato una concordanza tra i punteggi dell'algoritmo FEA e l'accuratezza del riconoscimento delle emozioni in adulti sani, con una sensibilità moderata nella discriminazione tra stati emotivi. Questo risultato fornisce una prima validazione dell'algoritmo FEA, un algoritmo proprietario basato su ML che analizza i micro-movimenti del tronco superiore e genera rappresentazioni dinamiche delle traiettorie emotive e punteggi aggregati per ciascuna delle nove rasas, in base al framework Navarasa. Le future versioni dell'algoritmo dovrebbero mirare a migliorarne il potere discriminatorio in tutte le categorie emotive integrando ulteriori dati fisiologici o contestuali. Una validazione in popolazioni cliniche più ampie richiede ulteriori indagini.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Emoscape	Nihilent Ltd, Pune	1	Sviluppatore di Emoscape
Centri Manoshanti per il Benessere Emotivo	GNR Health Care Pvt Ltd.	2	Partner clinico e di ricerca
Strumento per il riconoscimento delle emozioni nei disturbi neuropsichiatrici	diritto d'autore presso l'autore corrispondente dello studio	3	Strumento utilizzato per la validazione nello studio