Validation préliminaire d'un algorithme d'analyse des expressions faciales et des mouvements lors de tâches d'élicitation d'émotions chez des adultes sains

Résumé

Cette étude valide préliminairement l'algorithme FEA, un algorithme propriétaire d'apprentissage automatique, pour la détection des réponses durant des tâches impliquant des stimuli émotionnels. Elle examine la concordance entre les scores de l'algorithme FEA et des stimuli émotionnels faciaux normalisés en utilisant le cadre Navarasa chez des adultes en bonne santé, évaluant ainsi si le système reflète de manière fiable les réponses liées aux émotions dans des conditions expérimentales contrôlées.

Résumé

Ce protocole a été conçu pour valider préliminairement Emoscape, un algorithme propriétaire d'apprentissage automatique basé sur le cadre Navarasa, en testant si ses scores émotionnels varient de manière concordante avec des tâches standardisées d'élicitation des émotions chez des adultes en bonne santé. Soixante-douze adultes en bonne santé ont été recrutés après avoir donné leur consentement éclairé par écrit. Les participants ont rempli le questionnaire de santé du patient-9 (PHQ-9) et le trouble anxieux généralisé-7 (GAD-7), puis ont visionné des stimuli émotionnels faciaux provenant du jeu TRENDS et des images Navarasa, tandis que l'algorithme FEA enregistrait les micro-mouvements du haut du corps tout au long de la tâche. Les participants ont également identifié les émotions affichées. Les variations des scores de l'algorithme FEA par rapport à la ligne de base ont été analysées lors de l'exposition à des stimuli neutres, heureux, de peur et de colère provenant de TRENDS, ainsi que lors de l'exposition à des images Navarasa. Une analyse de la courbe ROC (receiver operating characteristic) a été utilisée pour estimer la sensibilité et la spécificité dans la discrimination entre catégories émotionnelles. Les scores de l'algorithme FEA ont montré des écarts significatifs par rapport à la ligne de base pour les images TRENDS associées aux émotions correspondantes (Neutre–Shanta, Heureux–Haasya, Peur–Bhayanaka et Colère–Raudra). Des variations concordantes ont également été observées avec les images Navarasa, toutes les différences moyennes étant statistiquement significatives (p < 0,001). Les valeurs de l'aire sous la courbe (AUC) variaient selon les catégories. L'algorithme FEA a montré une sensibilité modérée pour les émotions agréables (70–80 %) et les émotions désagréables (60–70 %). Ces résultats apportent un soutien préliminaire au protocole ainsi qu'à l'utilisation de l'algorithme FEA pour évaluer les réponses liées aux émotions durant des tâches contrôlées d'élicitation émotionnelle chez des adultes en bonne santé.

Introduction

La reconnaissance des émotions est un domaine important d'investigation en neurosciences cognitives sociales, avec des applications cliniques et de recherche potentielles. Les méthodes existantes d'évaluation émotionnelle quantifient les modifications de l'activité physiologique, telles que l'électroencéphalographie (EEG) ou la résistance cutanée galvanique (GSR), afin d'inférer des états émotionnels. Toutefois, ces méthodes sont complexes et invasives. Les mesures directes des mouvements du visage et du corps offrent un indice plus immédiat et observable de l'état affectif d'un individu^1,2,3. Les algorithmes d'apprentissage automatique (ML), en particulier ceux entraînés sur de grands ensembles de données hétérogènes d'expressions faciales, sont utilisés pour décoder ces signaux non verbaux subtils et classer les états émotionnels. Bien que les algorithmes classiques de ML tels que les machines à vecteurs de support (SVM) restent largement utilisés, les architectures d'apprentissage profond, notamment les réseaux de neurones (NN)^4,5, ont démontré des performances supérieures, particulièrement lorsqu'ils sont entraînés sur de grands ensembles de données, grâce à leur capacité d'extraction automatique de caractéristiques⁶. Un exemple de modèle classique dans le contexte indien est un outil interactif qui adopte un modèle dimensionnel fondé sur la valence pour déterminer l'activation. Les cadres de reconnaissance des émotions doivent être sensibles au contexte culturel. Dans le milieu culturel indien, le cadre Navarasa fournit une taxonomie nuancée de neuf émotions primaires, mais il reste largement inexploré dans la recherche sur la reconnaissance des émotions pilotée par l'apprentissage automatique. Il existe une relative pénurie d'approches ML rigoureusement validées qui analysent directement les indices comportementaux observables, tels que les micro-expressions faciales et les mouvements corporels^7,8. De tels algorithmes fondés sur l'expression peuvent être utilisés en temps réel, sont faciles à mettre en œuvre et sont non invasifs.

L'algorithme d'analyse des expressions faciales et des mouvements [désormais appelé algorithme FEA] est un algorithme propriétaire basé sur l'apprentissage automatique qui analyse les micro-expressions faciales et les mouvements du haut du corps, et génère des représentations dynamiques des trajectoires émotionnelles ainsi que des scores agrégés pour chacun des neuf rasas, selon le cadre du Navarasa. Cette étude visait à effectuer une validation préliminaire de l'algorithme FEA en examinant la concordance entre les scores obtenus par l'algorithme FEA et les réponses à des stimuli standardisés d'émotions faciales chez des volontaires adultes en bonne santé.

À cet effet, nous nous appuyons sur les concepts de la théorie de l'esprit (ToM) et du système de neurones miroirs. La ToM est une capacité socio-cognitive fondamentale qui permet aux individus d'inférer et d'interpréter les états mentaux et émotionnels d'autrui dans des contextes sociaux⁹. Des preuves empiriques suggèrent que l'exposition à des stimuli émotionnels faciaux active les réseaux de neurones miroirs, ce qui déclenche à son tour un état émotionnel concordant et vécu par procuration chez l'observateur¹⁰. La modulation résultante de l'état émotionnel interne et subjectif d'un individu en réponse à l'observation d'expressions faciales d'émotions, si elle est captée par l'algorithme FEA, peut fournir une validation préliminaire de cet algorithme.

Nous émettons l'hypothèse qu'une exposition à des stimuli émotionnels faciaux correspondant à une catégorie spécifique de Navarasa entraînera un écart statistiquement significatif par rapport à la ligne de base dans le score de l'algorithme FEA pour l'émotion Navarasa concernée.

Protocole

Le protocole de l'étude a été approuvé par le Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (EC registration number: ECR/372/INST/KA/2013/RR-19), et un consentement éclairé écrit a été obtenu de tous les participants avant leur inclusion.

L'algorithme FEA est une méthode propriétaire basée sur l'apprentissage automatique permettant l'analyse en temps réel des micro-expressions faciales et des mouvements du haut du corps afin de déduire les états émotionnels à l'aide du cadre Navarasa. Le cadre Navarasa, dérivé de la théorie esthétique indienne classique, définit neuf émotions primaires : shringara (amour), haasya (joie), karuna (tristesse/mélancolie), adbhuta (surprise), shanta (paix), raudra (colère), veera (courage), bhayanaka (peur) et vibhitsa (dégoût). L'algorithme FEA utilise un modèle d'apprentissage automatique entraîné sur des micro-expressions faciales et des mouvements du haut du corps extraits d'images d'acteurs incarnant les neuf émotions Navarasa. L'algorithme détermine l'état émotionnel d'un individu en analysant les dynamiques faciales subtiles et les micromouvements à partir d'une entrée visuelle capturée par une seule caméra RVB, et génère des scores quantitatifs pour chacune des neuf émotions primaires. Cette configuration non invasive permet une évaluation émotionnelle discrète et naturaliste, la rendant adaptée à un large éventail de contextes de recherche et d'applications pratiques.

Développement du modèle

L'algorithme FEA repose sur une architecture de réseau neuronal (NN). L'ensemble de données d'entraînement a été collecté en interne et comprend plusieurs heures de données vidéo enregistrées d'acteurs indiens incarnant les neuf émotions du Navarasa. Cet ensemble de données provient d'enregistrements vidéo contrôlés réalisés auprès de plusieurs acteurs/participants, avec de multiples enregistrements/tests effectués pour chaque acteur/participant dans différents états émotionnels induits. Après un prétraitement comprenant la détection des points caractéristiques du visage, des vérifications de cohérence temporelle, un filtrage de qualité et la suppression des images inutilisables ou présentant une faible confiance, environ 25 000 échantillons d'entraînement structurés ont été conservés. Lors de la constitution de l'ensemble de données, les enregistrements ont été stratifiés selon plus de dix paramètres démographiques et liés à l'enregistrement, notamment l'âge, le sexe et d'autres attributs pertinents, puis délibérément équilibrés afin d'assurer une représentation équitable selon ces paramètres et de minimiser les biais démographiques. La répartition selon le sexe a été maintenue à environ 52 % d'hommes et 48 % de femmes. Les participants couvraient largement les groupes d'âge adolescent et adulte, avec une représentation dans les cohortes d'adultes jeunes, d'âge moyen et âgés. Les acteurs/participants étaient basés en Inde et représentaient plusieurs origines régionales et culturelles indiennes, ainsi que plusieurs ethnies internationales présentes en Inde. En raison de restrictions liées à la propriété intellectuelle, le nombre exact d'acteurs/participants, l'identité au niveau des acteurs/participants, le nombre précis d'enregistrements vidéo par acteur, le nombre exact de trames, ainsi que la méthodologie interne d'annotation ne peuvent être divulgués, car ils font partie intégrante de la propriété intellectuelle de Nihilent Ltd. relative à son ensemble de données propriétaire et au développement de modèles ; cette limitation est explicitement reconnue dans la section Discussion.

Les images faciales extraites de ces enregistrements ont été traitées à l’aide de techniques de traitement d’image afin d’obtenir des caractéristiques quantitatives, qui ont ensuite été utilisées comme entrées d’un réseau neuronal pour la prédiction. Ce modèle a ensuite été évalué sur une population cible, et les connaissances acquises ont permis d’affiner de manière itérative les versions ultérieures. Ce cycle de développement, de test et d’amélioration a été répété jusqu’à ce que les performances du modèle se stabilisent. Le modèle prédictif final est implémenté sous la forme d’un perceptron multicouche (MLP) composé d’une couche d’entrée avec environ 300 caractéristiques sélectionnées, de couches cachées et d’une couche de sortie produisant un vecteur de scores à neuf dimensions correspondant aux neuf catégories émotionnelles de Navarasa. Plus de 700 caractéristiques ont été initialement extraites des données recueillies, puis réduites par des procédures de sélection de caractéristiques et d’optimisation du modèle. Le score de sortie du MLP est ensuite transmis à des algorithmes propriétaires de post-traitement afin d’obtenir les scores finaux agrégés de l’algorithme FEA. D’autres détails architecturaux — notamment le nombre exact de paramètres entraînables et les dimensions spécifiques des couches — sont confidentiels et ne peuvent être divulgués ; cela est reconnu comme une limitation du présent rapport. Une description détaillée du développement du modèle est fournie dans le matériel supplémentaire (Supplementary File 1 et Supplementary Figure 1).

Au cours du développement itératif, les performances du modèle ont été évaluées à l'aide d'une validation croisée sur le jeu de données interne, atteignant une précision de classification croisée de 96 % sur les neuf catégories de Navarasa. Une validation indépendante ultérieure a été réalisée sur plus de 15 000 min de données vidéo. Une matrice de confusion normalisée 9 × 9 résumant les performances de classification pour l'ensemble des neuf catégories de Navarasa est fournie dans le matériel supplémentaire (Supplementary File 1).

Après la stabilisation, le modèle a subi une validation interne contrôlée sous la supervision d'experts. Cette approche met l'accent sur la validation empirique par des tests directs sur des sujets humains, permettant d'évaluer l'applicabilité réelle et la robustesse dans des populations variées. Le développement du modèle est résumé dans Figure 1.

Le questionnaire de santé du patient-9 (PHQ-9) et l'échelle du trouble anxieux généralisé-7 (GAD-7) : Les participants ont rempli des questionnaires auto-administrés sous la supervision d'un psychologue formé afin d'évaluer leur état émotionnel actuel. Les instruments utilisés comprenaient le questionnaire de santé du patient-9 (PHQ-9) et l'échelle du trouble anxieux généralisé-7 (GAD-7). Un score supérieur à 9 sur l'une ou l'autre de ces échelles était considéré comme cliniquement significatif.

TENDANCES

L'outil d'évaluation de la reconnaissance des émotions dans les troubles neuropsychiatriques (TRENDS) est un instrument validé sur le plan culturel et sensible sur le plan écologique, conçu pour évaluer les capacités de reconnaissance des émotions faciales¹¹. Il a été validé pour une utilisation dans les populations indiennes et comprend 40 photographies d'acteurs illustrant les émotions fondamentales universelles de neutralité, de bonheur, de peur, de colère et de tristesse. Les images provenant de TRENDS ont été utilisées comme stimuli de référence pour valider les résultats de classification des émotions fournis par l'algorithme FEA.

Conception expérimentale

L'expérience a été conçue pour susciter une réponse algorithmique à des stimuli émotionnels. Deux paradigmes de suscitation des émotions ont été mis au point et utilisés pour cette étude.

Paradigme d'images TRENDS

Dans le premier paradigme, une séquence vidéo présentait initialement un écran vide pendant 60 s, suivi de l'affichage de stimuli émotionnels. Les stimuli émotionnels ont été sélectionnés à partir de l'outil TRENDS. Un total de 20 images a été présenté, représentant la neutralité, la joie, la tristesse, la colère et la peur × deux genres × deux groupes d'âge. Chaque stimulus était affiché pendant 5 s. Le temps total d'affichage des stimuli était donc de 20 × 5 s, avec un intervalle supplémentaire de 10 s d'écran vide entre chaque image consécutive, ce qui donnait une durée totale de 300 s. Pendant chacun des intervalles de 10 s, les participants devaient identifier l'émotion représentée dans l'image précédente en choisissant l'un des cinq libellés d'émotion affichés à l'écran.

Paradigme Navarasa

Un deuxième paradigme vidéo, analogue au précédent, a été conçu selon le cadre des neuf rasas de Navarasa. Un total de 18 images a été présenté (neuf émotions × deux genres). Chaque stimulus était affiché pendant 5 s, suivi d'un écran vide de 10 s entre chaque image, ce qui donnait une durée totale de 270 s. Les neuf émotions ont été classées comme neutres (shanta), agréables (haasya, veera, shringara, adbhuta) ou désagréables (Krodha, vibhitsa, bhayanaka, karuna). Pendant chaque intervalle vide de 10 s, les participants devaient classer l'émotion représentée dans l'image précédente en choisissant l'une des trois options affichées à l'écran : neutre, agréable ou désagréable. Les neuf Navarasa ont été regroupés en trois catégories afin de faciliter l'enregistrement des réponses des participants à l'identification des émotions.

Participants

Des volontaires adultes en bonne santé ont été recrutés auprès de milieux professionnels et d'établissements d'enseignement. Les critères d'inclusion comprenaient des individus âgés de 18 à 50 ans, de tout sexe/genre. Les critères d'exclusion incluaient des antécédents de troubles psychiatriques diagnostiqués, de troubles neurologiques, d'altération visuelle importante ou de handicaps physiques limitant les mouvements de la tête et du cou.

Procédure

Les participants étaient assis de manière à ce que la caméra soit à hauteur des yeux et positionnée à une distance de 60 à 70 cm. L'algorithme FEA a été utilisé dans l'étude. L'application a été ouverte sur l'ordinateur portable, et le chercheur a saisi l'identifiant du sujet. Tout au long de l'expérience, l'algorithme FEA a enregistré en continu des données vidéo afin de permettre l'analyse ultérieure des expressions faciales et des micro-mouvements. Initialement, un enregistrement de base de 60 s a été effectué, pendant lequel les participants ont reçu l'instruction de se détendre et de s'abstenir de comportements expressifs manifestes. Après l'acquisition de la ligne de base, les participants ont été exposés aux deux paradigmes vidéo (images TRENDS suivies de Navarasa). Tous les participants ont visionné les paradigmes dans le même ordre fixe afin de minimiser les effets de confusion potentiels liés à la séquence de présentation ; toutefois, cet ordre fixe aurait pu introduire des effets d'ordre. Pendant les séances d'enregistrement, le chercheur est resté à l'extérieur de la pièce afin de réduire les distractions. Le chercheur a surveillé l'expérience à distance via une application mobile pendant qu'il se trouvait hors de la pièce. Une courte pause a été proposée aux participants entre les deux paradigmes (Figure 2).

Analyse

Les données recueillies ont été associées à l'identifiant du sujet saisi dans l'application afin de garantir l'intégrité des données. L'algorithme FEA utilise un pipeline computationnel structuré de bout en bout pour l'inférence automatique des émotions, composé de cinq étapes principales : acquisition vidéo, détection et extraction de caractéristiques, prétraitement des données, classification des émotions et interprétation des résultats. Les caractéristiques extraites ont subi une série d'opérations de prétraitement, notamment la réduction du bruit, la normalisation entre les sujets et les conditions d'éclairage, ainsi que l'interpolation des images manquantes. Un lissage temporel a été appliqué pour améliorer la stabilité du signal. Les vecteurs de caractéristiques obtenus ont été alignés temporellement afin d'être correctement intégrés par le modèle de classification. Ces matrices de caractéristiques débruitées et alignées dans le temps ont servi d'entrées pour le composant de classification des émotions.

Extraction de caractéristiques

Le cadre d'extraction utilise un pipeline algorithmique à plusieurs étapes d'extraction de caractéristiques, qui transforme des flux d'images vidéo 2D monoculaires standards en un espace de coordonnées 3D reconstruit. Plutôt que de s'appuyer sur le suivi brut des pixels 2D, le système cartographie des coordonnées spatiales localisées sur le visage et la partie supérieure du corps. Les caractéristiques obtenues se répartissent en trois grandes catégories : (i) régions des points caractéristiques du visage, englobant des descripteurs géométriques de la structure et de la dynamique faciales (incluant des indices liés à la région des yeux et des corrélats d'expressions microfaciales issus du cadre Navarasa, basé sur le Natyashastra — le cadre le plus ancien formalisant l'expression émotionnelle humaine, reconnu par l'UNESCO) ; (ii) informations sur l'orientation de la tête, capturant l'orientation et les mouvements de la tête ; et (iii) les caractéristiques de mouvement de la partie supérieure du corps, rendant compte des déplacements induits de cette région. Les définitions précises des caractéristiques, y compris les indices exacts des points caractéristiques et les identifiants des points clés, sont confidentielles et ne peuvent être entièrement divulguées ; cette restriction est reconnue comme une limitation. Le système n'utilise pas directement les unités d'action du Facial Action Coding System (FACS) ; à la place, il dérive des caractéristiques géométriques et temporelles à partir des mouvements du visage et du corps. Ces transformations spatiales 3D sont agrégées dans le temps afin de générer un vecteur récapitulatif comportemental complet, qui sert d'entrée au classificateur MLP. Au total, plus de 700 caractéristiques candidates ont été initialement extraites des données recueillies, puis réduites à environ 300 caractéristiques sélectionnées par sélection de caractéristiques et optimisation du modèle. Le pipeline structurel progresse depuis l'acquisition vidéo jusqu'à la reconstruction spatiale 2D-à-3D, l'agrégation temporelle et la normalisation des caractéristiques, avant la classification.

Modèle de classification des émotions

Les vecteurs de caractéristiques prétraités ont été fournis à une architecture de réseau neuronal perceptron multicouche (MLP) supervisé, entraînée sur un jeu de données annoté en interne correspondant aux neuf catégories émotionnelles des Navarasa : Śṛṅgāra (amour), Hāsya (joie), Karuṇā (tristesse), Raudra (colère), Vīra (courage), Bhayānaka (peur), Bībhatsa (dégoût), Adbhuta (émerveillement) et Śānta (paix). Le modèle a été explicitement conçu pour capturer les dépendances spatiotemporelles dans les données comportementales expressives. À chaque pas de temps, l'architecture produisait un vecteur d'intensités émotionnelles prédites pour les neuf catégories.

Post-traitement des sorties du modèle

Les sorties brutes du modèle ont ensuite été post-traitées afin de produire des scores d'émotion stables et interprétables. Trois opérations séquentielles ont été appliquées : (i) un lissage temporel pour réduire les fluctuations à court terme, (ii) une normalisation pour assurer la comparabilité dans le temps et entre les dimensions émotionnelles, et (iii) une agrégation pour obtenir des mesures synthétiques sur des fenêtres temporelles définies ou sur des séquences entières. Les procédures de post-traitement garantissent la comparabilité entre sujets et permettent de contrôler les variations interindividuelles de base.

Interprétation et visualisation des résultats

L'algorithme FEA génère des représentations quantitatives et visuelles des dynamiques émotionnelles déduites à partir de données vidéo. Les deux formes principales de sortie sont les trajectoires émotionnelles temporelles. Les valeurs d'intensité émotionnelle sont visualisées sous forme de graphiques en séries chronologiques montrant l'évolution de chaque émotion tout au long de la vidéo. Cette représentation offre une vue continue des variations affectives, facilitant l'analyse des changements transitoires, des pics d'activation et des phases de récupération ou de désamorçage de l'excitation émotionnelle. Score émotionnels comparatifs : Les valeurs émotionnelles agrégées pour chacune des neuf catégories Navarasa sont affichées sous forme de graphiques de scores comparatifs, illustrant l'ampleur relative de chaque émotion sur l'intervalle analysé. Ces visualisations comparatives permettent des comparaisons directes entre les émotions et fournissent un résumé concis du profil affectif global. Les scores générés par l'algorithme FEA au moment de la ligne de base ont été examinés afin de détecter toute ligne plate ou absence de variation significative, ce qui indiquerait un enregistrement inadéquat.

Analyse statistique

Les scores pour les neuf domaines émotionnels de Navarasa, générés par l'algorithme FEA pendant l'intervalle de 10 s suivant chaque présentation d'image dans le paradigme, ont été considérés comme des variables de résultat. Des scores de l'algorithme FEA ont été générés pour chaque seconde dans la fenêtre de 10 s (T0, T1, T2… T9). Le score de l'algorithme FEA à T0 a été considéré comme le score de base. Le score maximal de l'algorithme FEA parmi les enregistrements de T1 à T9 a été défini comme Tmax. La variation du score de l'algorithme FEA par rapport au score de base (Tmax − T0) a été calculée et utilisée comme variable de résultat dans les analyses. L'évolution des scores de l'algorithme FEA au cours de la série temporelle pour chaque émotion est représentée dans Figure 3A–D.

Pour les images TRENDS, les catégories d'émotions cibles correspondantes ont été associées comme suit : Shanta > Neutre ; Haasya > Heureux ; Krodha > Colère ; et Bhayanaka > Peur. Pour les images Navarasa, les scores de l'algorithme FEA ont été regroupés et moyennés en trois catégories composites : neutre (Shanta), agréable (Haasya, Veera, Shringara, Adbhuta) et désagréable (Krodha, Vibhitsa, Bhayanaka, Karuna).

Des analyses au niveau du groupe et au niveau des sujets ont été réalisées.

Analyse au niveau du groupe : Pour chaque catégorie d'émotion décrite ci-dessus, le changement du score de l'algorithme FEA entre la ligne de base et Tmax a été comparé à l'aide de tests t appariés. Un changement significatif par rapport à la ligne de base dans le score de l'algorithme FEA indiquerait une bonne concordance avec la reconnaissance de l'émotion. Toutefois, une différence significative n'indiquerait pas nécessairement une forte précision de classification.

Analyse au niveau du sujet : Toute augmentation du score dans un domaine émotionnel d'un algorithme FEA par rapport à la valeur de base a été classée comme une réponse émotionnelle positive. Des indices de précision ont ensuite été calculés : sensibilité et spécificité. La sensibilité et la spécificité quantifient respectivement la probabilité que le test soit positif lorsque la condition cible est présente (+) et négatif lorsqu'elle est absente (−). Lorsque les deux estimations s'approchent de 1, le test présente une bonne performance en termes de précision diagnostique. La sensibilité et la spécificité estimées ont été définies comme les proportions de participants avec et sans la condition de référence (expressions Navarasa), respectivement, qui ont été correctement classés.

Un sujet était considéré comme présentant la condition cible (+) s'il identifiait correctement au moins 75 % des émotions représentées. Cette classification était fondée sur des études de validation de TRENDS, dans lesquelles une précision de 60 à 80 % était considérée comme une validité discriminante adéquate. Une analyse de la courbe ROC (receiver operating characteristic) pour un prédicteur continu a été réalisée afin d'estimer l'aire sous la courbe (AUC) ainsi que les valeurs correspondantes de sensibilité et de spécificité. Une sensibilité supérieure à 80 % était considérée comme une bonne capacité discriminante, tandis qu'une sensibilité inférieure à 80 % était jugée modeste.

Résultats

L'étude a examiné les variations des scores de l'algorithme d'analyse des expressions faciales (FEA) en réponse à des stimuli évoquant des émotions et a évalué les performances diagnostiques de cet algorithme à l'aide d'une analyse des caractéristiques opérationnelles du récepteur (ROC). Soixante-douze volontaires en bonne santé ont été recrutés pour l'étude. L'âge moyen (écart-type) était de 31,9 (11,9) ans, et l'échantillon comprenait 26 hommes et 46 femmes. Tous les participants avaient au moins dix ans de scolarité et étaient tous d'origine indienne. Les scores moyens (écart-type) au questionnaire sur les troubles dépressifs (PHQ-9) et au questionnaire sur les troubles anxieux (GAD-7) étaient respectivement de 4,4 (4,8) et 4,7 (4,5).

Modifications des scores obtenus par l'algorithme de FEA en réponse à des stimuli émotionnels : les mesures dérivées de l'algorithme de FEA ont montré des changements statistiquement significatifs entre le moment de référence (T0) et le temps maximal (Tmax), selon des tests t appariés pour les deux conditions de stimulus — les images TRENDS et Navarasa (p < 0,001 ; Tableau 1, Figure 4, Tableau 2 et Figure 5).

Précision diagnostique de l'algorithme FEA : La performance diagnostique de l'algorithme FEA a été évaluée à l'aide d'une analyse de la courbe caractéristique de fonctionnement du récepteur (ROC), avec des valeurs de la surface sous la courbe (AUC) calculées pour des états émotionnels distincts (Tableau 3). La valeur AUC la plus élevée a été obtenue pour le score de l'algorithme FEA correspondant à l'état Shanta en réponse à des stimuli émotionnels faciaux neutres (AUC = 0,665), suivie de l'émotion positive de la joie (AUC = 0,637) (Figure 6). La sensibilité pour les émotions neutres et positives (heureux, agréable) était de 70 à 80 %, tandis que la sensibilité pour les émotions négatives (colère, peur, désagréable) était de 60 à 70 %. Ces valeurs de sensibilité sont inférieures à 80 % et reflètent une performance discriminatoire modeste.

Corrélation entre les scores de l'algorithme de FEA et les scores PHQ-9 et GAD-7 : Aucune corrélation significative n'a été observée entre les scores de l'algorithme de FEA et les scores PHQ-9 ou GAD-7.

DISPONIBILITÉ DES DONNÉES :

Toutes les données brutes sont fournies dans le Fichier supplémentaire 2.

Figure 1 : Schéma du pipeline de développement du modèle d'algorithme d'analyse des émotions faciales (FEA). Ce schéma illustre un jeu de données vidéo interne, composé d'acteurs indiens des deux sexes, subissant une extraction d'images et une extraction de caractéristiques réparties en trois catégories : les régions des points caractéristiques du visage (incluant les indices oculaires et les micro-expressions faciales dérivés du Natyashastra/Navarasa), les informations relatives à l'orientation de la tête et les mouvements du haut du corps. Ces données sont agrégées en un unique vecteur de caractéristiques transmis à un classificateur de perceptron multicouche (MLP). La sortie du MLP subit un post-traitement propriétaire (lissage temporel, normalisation et agrégation ; cadre orange en pointillés) avant de produire le résultat final de prédiction en neuf catégories correspondant au Navarasa. Les cadres bleus pleins indiquent les étapes de traitement ; les cadres bleus ombrés représentent les catégories de caractéristiques ; le cadre orange en pointillés désigne une étape de traitement propriétaire dont les paramètres internes ne peuvent être divulgués. Étant donné qu'il s'agit d'un schéma de processus et non d'un graphique de données, les barres d'erreur et les échelles ne s'appliquent pas. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 2 : Procédure expérimentale de l'algorithme FEA. Organigramme illustrant les étapes séquentielles du protocole expérimental : évaluation clinique semi-structurée (PHQ-9, GAD-7) ; installation du participant avec la caméra positionnée à hauteur des yeux, à 60–70 cm du participant ; un enregistrement de base de 60 s ; le paradigme d'images émotionnelles TRENDS (20 images réparties en cinq catégories émotionnelles ; présentation du stimulus de 5 s et intervalle de réponse de 10 s par image ; durée totale de 300 s) ; un bref intervalle de repos ; puis le paradigme d'images émotionnelles Navarasa (18 images réparties en neuf catégories Navarasa ; présentation du stimulus de 5 s et intervalle de réponse de 10 s par image ; durée totale de 270 s). Les flèches indiquent la séquence temporelle des procédures, de l'inclusion jusqu'à la fin de l'acquisition des données. Étant donné qu'il s'agit d'un organigramme de processus et non d'un graphique de données, les barres d'erreur et les échelles ne s'appliquent pas. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 3 : Évolution temporelle des scores de l'algorithme FEA en réponse aux images émotionnelles correspondantes de TRENDS (T0 à T9 s). Quatre panneaux (A–D) illustrent la trajectoire moyenne du groupe, seconde par seconde, du score de l'algorithme FEA (axe des y ; unités arbitraires générées par l'algorithme propriétaire de notation) sur la fenêtre post-stimulus de 10 s (axe des x ; T0 = score au moment de l'arrêt du stimulus/basal pour cet essai, T1–T9 = chaque seconde suivante), pour (A) le domaine Shanta après des images neutres, (B) le domaine Haasya après des images heureuses, (C) le domaine Bhayanaka après des images de peur, et (D) le domaine Krodha après des images de colère (n = 72 participants par panneau). Les points/traits représentent les moyennes du groupe à chaque instant ; les barres d'erreur/bandes ombragées représentent l'écart-type (SD) entre les participants. Les échelles ne s'appliquent pas à ce type de graphique en courbes temporelles. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 4 : Graphique en barres montrant la variation moyenne des scores de l'algorithme FEA en réponse à la visualisation des images émotionnelles TRENDS. Les barres représentent la variation moyenne du score de l'algorithme FEA (Tmax − T0 ; axe des y, unités arbitraires) pour chacune des quatre catégories émotionnelles TRENDS (Shanta/Neutre, Haasya/Heureux, Krodha/Colère, Bhayanaka/Peur ; axe des x) (n = 72). Les barres d'erreur indiquent l'écart type (SD) de la variation du score au sein de chaque catégorie. Les quatre catégories ont montré une variation statistiquement significative par rapport à la ligne de base selon le test t apparié (p < 0,001 ; voir Tableau 1). Les échelles ne s'appliquent pas à ce type de graphique en barres. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 5 : Graphique en barres montrant la variation moyenne des scores de l'algorithme FEA en réponse à la visualisation d'images émotionnelles Navarasa. Les barres représentent la variation moyenne du groupe du score de l'algorithme FEA (Tmax − T0 ; axe des y, unités arbitraires de score) pour les trois catégories composites Navarasa — neutre (Shanta), agréable (moyenne de Haasya, Veera, Shringara, Adbhuta) et désagréable (moyenne de Krodha, Vibhitsa, Bhayanaka, Karuna) (axe des x) (n = 72). Les barres d'erreur représentent l'écart type (SD) de la variation du score au sein de chaque catégorie. Les trois catégories ont montré une variation statistiquement significative par rapport à la ligne de base selon le test t apparié (p < 0,001 ; voir Tableau 2). Les échelles de barres ne s'appliquent pas à ce type de graphique en barres. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 6 : Courbe caractéristique de fonctionnement du récepteur (ROC) montrant la sensibilité à différents seuils de la note Shanta de l'algorithme FEA en réponse à des images exprimant des émotions neutres. L'axe des ordonnées représente la sensibilité (taux de vrais positifs, %) et l'axe des abscisses représente 1 − la spécificité (taux de faux positifs, %), tracés sur l'ensemble des valeurs possibles de seuil de la note Shanta ; la droite diagonale de référence correspond à une discrimination au niveau du hasard (AUC = 0,5). La surface sous la courbe (AUC) est de 0,665 (voir Tableau 3 pour les valeurs d'AUC, de sensibilité et de spécificité pour toutes les catégories d'émotions). Les barres d'erreur et les échelles ne s'appliquent pas à ce type de courbe. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Émotion (stimuli TRENDS)	Moyenne T0	Moyenne Tmax	Différence moyenne	valeur p
Neutre – Shanta	0.2261	0.2664	0.0403	<0.001
Heureux – Haasya	0.0834	0.1127	0.0294	<0.001
Peur – Bhayanaka	0.0648	0.0848	0.02	<0.001
Colère – Raudra	0.0901	0.1108	0.0207	<0.001

Tableau 1 : Valeurs moyennes de T0 et de Tmax des scores de l'algorithme FEA en réponse à la présentation des stimuli émotionnels TRENDS. Pour chaque catégorie émotionnelle cartographiée par TRENDS (Shanta/Neutre, Haasya/Heureux, Krodha/Colère, Bhayanaka/Peur), le tableau indique les scores moyens de l'algorithme FEA (± ÉT) au moment de la ligne de base (T0) et au maximum intra-essai (Tmax), la variation moyenne (Tmax − T0), ainsi que le résultat du test t apparié (valeur p) comparant T0 et Tmax (n = 72). Toutes les valeurs sont exprimées en unités arbitraires de score de l'algorithme FEA ; une valeur de p < 0,05 a été considérée comme statistiquement significative.

Catégorie d'émotion (stimuli Navarasa)	Moyenne T0	Moyenne Tmax	Différence moyenne	valeur p
Neutre – Shanta	0.24	0.29	0.047	<0.001
Plaisant (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Désagréable (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tableau 2 : Valeurs moyennes de T0 et de Tmax des scores de l'algorithme FEA en réponse à la présentation des stimuli émotionnels Navarasa. Pour chaque catégorie composite Navarasa (neutre, agréable, désagréable), le tableau indique les scores moyens de l'algorithme FEA (± ÉT) au moment de la ligne de base (T0) et au maximum intra-essai (Tmax), la variation moyenne (Tmax − T0), ainsi que le résultat du test t apparié (p-valeur) comparant T0 et Tmax (n = 72). Toutes les valeurs sont exprimées en unités arbitraires de score de l'algorithme FEA ; un seuil de p < 0,05 a été considéré comme statistiquement significatif.

Panneau A : Stimuli TRENDS
Stimuli TRENDS	AUC	IC à 95 %	Seuil Δ Score Emoscape	Sensibilité (%)	Spécificité (%)
Neutre – Shanta	0.665	0.456–0.873	0.065	82,5	50
Heureux – Haasya	0.637	0.493–0.780	0.0345	70,7	46,2
Peur – Bhayanaka	0.583	0.446–0.721	0.018	61,2	54,5
Colère – Raudra	0.532	0.374–0.689	0.023	67,3	45,5
Panneau B : Stimuli Navarasa
Stimuli Navarasa	AUC	IC à 95 %	Seuil Δ Score Emoscape	Sensibilité (%)	Spécificité (%)
Shanta (Neutre)	0.596	0.412–0.779	0.03	85,7	44,6
Plaisant (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0.012	70,2	40
Déplaisant (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0.007	67,8	38

Tableau 3 : Aire sous la courbe (AUC), sensibilité et valeurs de spécificité des scores de l'algorithme FEA selon les catégories d'émotion. Pour chaque catégorie d'émotion évaluée à l'aide d'une analyse de la caractéristique de fonctionnement du récepteur (ROC), le tableau indique l'AUC, la sensibilité (%) et la spécificité (%). Une sensibilité ≥ 80 % avait été prédéfinie comme indiquant une bonne capacité discriminante ; les valeurs en dessous de ce seuil ont été classées comme modestes (voir Analyse statistique).

Figure supplémentaire 1 : Matrice de confusion normalisée pour le modèle de classification des émotions Navarasa à neuf classes. Les lignes représentent la classe d'émotion réelle (observée) et les colonnes représentent la classe d'émotion prédite par le modèle ; les valeurs des cellules indiquent la proportion d'instances de chaque classe réelle attribuées à chaque classe prédite, normalisée sur une échelle de 0 à 1 (barre de couleur, à droite). Les étiquettes de classe (1 à 9) correspondent aux neuf catégories d'émotions Navarasa ; en raison de restrictions propriétaires, la correspondance précise entre les nombres et les émotions n'est pas divulguée. La précision moyenne de classification, validée par validation croisée sur l'ensemble des neuf catégories, était de 96 %. Les barres d'erreur ne s'appliquent pas à ce format de matrice.Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 1 : Description du développement du modèle d'algorithme FEA (incluant les métriques de validation interne, la précision avec validation croisée et la matrice de confusion Navarasa 9 × 9).Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 2 : Fichier contenant les données brutes.Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Cette étude visait à fournir une validation préliminaire de l'algorithme FEA en examinant la concordance entre les scores obtenus par l'algorithme FEA et les réponses à des stimuli standardisés d'émotions faciales chez des volontaires adultes en bonne santé. Ces premières observations indiquent que l'algorithme FEA présente des modifications statistiquement détectables en réponse à des stimuli visuels émotionnels dans diverses catégories émotionnelles distinctes, notamment neutre (shanta), bonheur (haasya), peur (bhayanaka) et colère (raudra), ainsi que dans des classifications plus larges d'états agréables et désagréables. Cela suggère que les scores de l'algorithme FEA sont concordants avec les réponses aux tâches utilisant des stimuli émotionnels.

On a observé que la sensibilité de l'algorithme FEA variait de 70 % à 80 % pour les émotions neutres ou positives et de 60 % à 70 % pour les émotions négatives. Ces valeurs de sensibilité sont modestes pour tout test destiné à être utilisé comme mesure de dépistage¹². En comparaison, des modèles plus larges d'inférence émotionnelle basés sur l'apprentissage automatique, qui utilisent des marqueurs neurophysiologiques tels que l'électroencéphalographie (EEG), rapportent des précisions de classification allant jusqu'à 90 %¹³. Un système de classificateur ensembliste pour la classification des émotions à partir de l'EEG et de la GSR dans le cadre de la détection de l'autisme a montré une précision de détection de 99,97 %¹⁴. Toutefois, ces modèles ont tendance à être plus exigeants en termes de calcul et nécessitent un traitement hors ligne. En revanche, un avantage notable de l'algorithme FEA réside dans son accent mis sur les indices faciaux et corporels observables, permettant un fonctionnement en temps réel.

La procédure de l'algorithme de FEA dépend de plusieurs facteurs opérationnels essentiels à la qualité et à la fiabilité des enregistrements obtenus par l'algorithme de FEA. Ces facteurs incluent la position de la caméra et l'éclairage ambiant. Les enregistrements réalisés dans des conditions d'éclairage ambiant inconstant ou insuffisant peuvent altérer considérablement la qualité de l'extraction des caractéristiques. La position de la tête et du corps doit rester stable tout au long de chaque session d'enregistrement ; par conséquent, les participants présentant une mobilité réduite de la tête ou du cou ont été exclus. Il est essentiel de minimiser les interférences comportementales pendant l'enregistrement. Les participants étaient assis seuls, le chercheur étant absent de la pièce, afin de réduire les effets de désirabilité sociale et l'auto-surveillance, qui pourraient inhiber l'expression naturelle des expressions faciales.

L'intégration du cadre Navarasa permet une classification des émotions sensible au contexte culturel. L'étude a appliqué une approche basée sur la théorie de l'esprit (ToM) afin d'évaluer les variations des scores des algorithmes d'analyse des expressions faciales (FEA) en réponse à des stimuli émotionnels. La ToM représente une fonction cognitive sociale de haut niveau, dont les substrats neurobiologiques sont documentés dans la littérature¹⁵, ce qui soutient la plausibilité biologique des modifications observées dans les scores des algorithmes FEA.

Aucune corrélation n’a été observée entre les scores de l’algorithme d’analyse des expressions faciales (FEA) et les scores de dépression ou d’anxiété, ce qui suggère que les états émotionnels internes des participants ont probablement eu peu d’influence sur les enregistrements de l’algorithme FEA. Toutefois, il est difficile de contrôler complètement les états émotionnels des participants durant l’expérience. De plus, un traitement cognitif descendant pourrait inhiber les réponses émotionnelles naturelles, en particulier en réaction à des stimuli émotionnels négatifs. Des études futures devraient évaluer les expériences subjectives des participants lors de la vision de stimuli émotionnels, car cela pourrait davantage valider si la simple observation induit effectivement un état émotionnel subjectif. La sensibilité modeste de l’algorithme FEA pris isolément pourrait potentiellement être améliorée par l’ajout de données neurophysiologiques, telles que l’électroencéphalographie (EEG), la variabilité du rythme cardiaque (HRV) ou la réponse électrodermale (GSR). Ceci devrait être évalué dans de futures études de validation. La validation a été réalisée sur une population adulte saine. L’utilité de l’algorithme FEA pour évaluer les états émotionnels subjectifs dans des conditions cliniques telles que la dépression et l’anxiété mérite d’être approfondie par des études cas-témoins.

Plusieurs limites de la présente étude méritent d'être soulignées. La nature propriétaire de l'algorithme d'analyse par éléments finis limite la transparence de son pipeline de traitement. Plus précisément, le nombre exact d'acteurs/participants, l'identité au niveau des acteurs/participants, le nombre exact d'enregistrements vidéo par acteur, les définitions précises des caractéristiques (indices des repères et identifiants des points clés), ainsi que les paramètres architecturaux détaillés du perceptron multicouche (dimensions exactes des couches et nombre de paramètres) ne peuvent être divulgués. Les métriques de validation interne (précision croisée de 96 % ; validation indépendante sur >15 000 min de vidéos) sont indiquées dans le matériel supplémentaire. Les étiquettes de classes représentant les noms d'émotions sont anonymisées en raison de contraintes liées à la propriété intellectuelle. Nous reconnaissons que ces contraintes limitent la possibilité de réplication indépendante.

L'étude a observé une concordance entre les scores de l'algorithme FEA et la précision de la reconnaissance des émotions chez des adultes en bonne santé, avec une sensibilité modeste pour discriminer entre différents états émotionnels. Cela fournit une validation préliminaire de l'algorithme FEA, un algorithme propriétaire basé sur l'apprentissage automatique qui analyse les micro-mouvements du haut du corps et génère des représentations dynamiques des trajectoires émotionnelles ainsi que des scores agrégés pour chacun des neuf rasas, selon le cadre du Navarasa. Les futures versions de l'algorithme devraient viser à améliorer sa capacité discriminatoire dans toutes les catégories émotionnelles en intégrant des données physiologiques ou contextuelles supplémentaires. Une validation auprès de populations cliniques plus larges nécessite des investigations supplémentaires.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Emoscape	Nihilent Ltd, Pune	1	Développeur d'Emoscape
Centres Manoshanti pour le bien-être émotionnel	GNR Health Care Pvt Ltd.	2	Partenaire clinique et de recherche
Outil de reconnaissance des émotions dans les troubles neuropsychiatriques	droits d'auteur détenus par l'auteur correspondant de l'étude	3	Outil utilisé pour la validation dans l'étude