Le protocole de l'étude a été approuvé par le Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (EC registration number: ECR/372/INST/KA/2013/RR-19), et un consentement éclairé écrit a été obtenu de tous les participants avant leur inclusion.
L'algorithme FEA est une méthode propriétaire basée sur l'apprentissage automatique permettant l'analyse en temps réel des micro-expressions faciales et des mouvements du haut du corps afin de déduire les états émotionnels à l'aide du cadre Navarasa. Le cadre Navarasa, dérivé de la théorie esthétique indienne classique, définit neuf émotions primaires : shringara (amour), haasya (joie), karuna (tristesse/mélancolie), adbhuta (surprise), shanta (paix), raudra (colère), veera (courage), bhayanaka (peur) et vibhitsa (dégoût). L'algorithme FEA utilise un modèle d'apprentissage automatique entraîné sur des micro-expressions faciales et des mouvements du haut du corps extraits d'images d'acteurs incarnant les neuf émotions Navarasa. L'algorithme détermine l'état émotionnel d'un individu en analysant les dynamiques faciales subtiles et les micromouvements à partir d'une entrée visuelle capturée par une seule caméra RVB, et génère des scores quantitatifs pour chacune des neuf émotions primaires. Cette configuration non invasive permet une évaluation émotionnelle discrète et naturaliste, la rendant adaptée à un large éventail de contextes de recherche et d'applications pratiques.
Développement du modèle
L'algorithme FEA repose sur une architecture de réseau neuronal (NN). L'ensemble de données d'entraînement a été collecté en interne et comprend plusieurs heures de données vidéo enregistrées d'acteurs indiens incarnant les neuf émotions du Navarasa. Cet ensemble de données provient d'enregistrements vidéo contrôlés réalisés auprès de plusieurs acteurs/participants, avec de multiples enregistrements/tests effectués pour chaque acteur/participant dans différents états émotionnels induits. Après un prétraitement comprenant la détection des points caractéristiques du visage, des vérifications de cohérence temporelle, un filtrage de qualité et la suppression des images inutilisables ou présentant une faible confiance, environ 25 000 échantillons d'entraînement structurés ont été conservés. Lors de la constitution de l'ensemble de données, les enregistrements ont été stratifiés selon plus de dix paramètres démographiques et liés à l'enregistrement, notamment l'âge, le sexe et d'autres attributs pertinents, puis délibérément équilibrés afin d'assurer une représentation équitable selon ces paramètres et de minimiser les biais démographiques. La répartition selon le sexe a été maintenue à environ 52 % d'hommes et 48 % de femmes. Les participants couvraient largement les groupes d'âge adolescent et adulte, avec une représentation dans les cohortes d'adultes jeunes, d'âge moyen et âgés. Les acteurs/participants étaient basés en Inde et représentaient plusieurs origines régionales et culturelles indiennes, ainsi que plusieurs ethnies internationales présentes en Inde. En raison de restrictions liées à la propriété intellectuelle, le nombre exact d'acteurs/participants, l'identité au niveau des acteurs/participants, le nombre précis d'enregistrements vidéo par acteur, le nombre exact de trames, ainsi que la méthodologie interne d'annotation ne peuvent être divulgués, car ils font partie intégrante de la propriété intellectuelle de Nihilent Ltd. relative à son ensemble de données propriétaire et au développement de modèles ; cette limitation est explicitement reconnue dans la section Discussion.
Les images faciales extraites de ces enregistrements ont été traitées à l’aide de techniques de traitement d’image afin d’obtenir des caractéristiques quantitatives, qui ont ensuite été utilisées comme entrées d’un réseau neuronal pour la prédiction. Ce modèle a ensuite été évalué sur une population cible, et les connaissances acquises ont permis d’affiner de manière itérative les versions ultérieures. Ce cycle de développement, de test et d’amélioration a été répété jusqu’à ce que les performances du modèle se stabilisent. Le modèle prédictif final est implémenté sous la forme d’un perceptron multicouche (MLP) composé d’une couche d’entrée avec environ 300 caractéristiques sélectionnées, de couches cachées et d’une couche de sortie produisant un vecteur de scores à neuf dimensions correspondant aux neuf catégories émotionnelles de Navarasa. Plus de 700 caractéristiques ont été initialement extraites des données recueillies, puis réduites par des procédures de sélection de caractéristiques et d’optimisation du modèle. Le score de sortie du MLP est ensuite transmis à des algorithmes propriétaires de post-traitement afin d’obtenir les scores finaux agrégés de l’algorithme FEA. D’autres détails architecturaux — notamment le nombre exact de paramètres entraînables et les dimensions spécifiques des couches — sont confidentiels et ne peuvent être divulgués ; cela est reconnu comme une limitation du présent rapport. Une description détaillée du développement du modèle est fournie dans le matériel supplémentaire (Supplementary File 1 et Supplementary Figure 1).
Au cours du développement itératif, les performances du modèle ont été évaluées à l'aide d'une validation croisée sur le jeu de données interne, atteignant une précision de classification croisée de 96 % sur les neuf catégories de Navarasa. Une validation indépendante ultérieure a été réalisée sur plus de 15 000 min de données vidéo. Une matrice de confusion normalisée 9 × 9 résumant les performances de classification pour l'ensemble des neuf catégories de Navarasa est fournie dans le matériel supplémentaire (Supplementary File 1).
Après la stabilisation, le modèle a subi une validation interne contrôlée sous la supervision d'experts. Cette approche met l'accent sur la validation empirique par des tests directs sur des sujets humains, permettant d'évaluer l'applicabilité réelle et la robustesse dans des populations variées. Le développement du modèle est résumé dans Figure 1.
Le questionnaire de santé du patient-9 (PHQ-9) et l'échelle du trouble anxieux généralisé-7 (GAD-7) : Les participants ont rempli des questionnaires auto-administrés sous la supervision d'un psychologue formé afin d'évaluer leur état émotionnel actuel. Les instruments utilisés comprenaient le questionnaire de santé du patient-9 (PHQ-9) et l'échelle du trouble anxieux généralisé-7 (GAD-7). Un score supérieur à 9 sur l'une ou l'autre de ces échelles était considéré comme cliniquement significatif.
TENDANCES
L'outil d'évaluation de la reconnaissance des émotions dans les troubles neuropsychiatriques (TRENDS) est un instrument validé sur le plan culturel et sensible sur le plan écologique, conçu pour évaluer les capacités de reconnaissance des émotions faciales11. Il a été validé pour une utilisation dans les populations indiennes et comprend 40 photographies d'acteurs illustrant les émotions fondamentales universelles de neutralité, de bonheur, de peur, de colère et de tristesse. Les images provenant de TRENDS ont été utilisées comme stimuli de référence pour valider les résultats de classification des émotions fournis par l'algorithme FEA.
Conception expérimentale
L'expérience a été conçue pour susciter une réponse algorithmique à des stimuli émotionnels. Deux paradigmes de suscitation des émotions ont été mis au point et utilisés pour cette étude.
Paradigme d'images TRENDS
Dans le premier paradigme, une séquence vidéo présentait initialement un écran vide pendant 60 s, suivi de l'affichage de stimuli émotionnels. Les stimuli émotionnels ont été sélectionnés à partir de l'outil TRENDS. Un total de 20 images a été présenté, représentant la neutralité, la joie, la tristesse, la colère et la peur × deux genres × deux groupes d'âge. Chaque stimulus était affiché pendant 5 s. Le temps total d'affichage des stimuli était donc de 20 × 5 s, avec un intervalle supplémentaire de 10 s d'écran vide entre chaque image consécutive, ce qui donnait une durée totale de 300 s. Pendant chacun des intervalles de 10 s, les participants devaient identifier l'émotion représentée dans l'image précédente en choisissant l'un des cinq libellés d'émotion affichés à l'écran.
Paradigme Navarasa
Un deuxième paradigme vidéo, analogue au précédent, a été conçu selon le cadre des neuf rasas de Navarasa. Un total de 18 images a été présenté (neuf émotions × deux genres). Chaque stimulus était affiché pendant 5 s, suivi d'un écran vide de 10 s entre chaque image, ce qui donnait une durée totale de 270 s. Les neuf émotions ont été classées comme neutres (shanta), agréables (haasya, veera, shringara, adbhuta) ou désagréables (Krodha, vibhitsa, bhayanaka, karuna). Pendant chaque intervalle vide de 10 s, les participants devaient classer l'émotion représentée dans l'image précédente en choisissant l'une des trois options affichées à l'écran : neutre, agréable ou désagréable. Les neuf Navarasa ont été regroupés en trois catégories afin de faciliter l'enregistrement des réponses des participants à l'identification des émotions.
Participants
Des volontaires adultes en bonne santé ont été recrutés auprès de milieux professionnels et d'établissements d'enseignement. Les critères d'inclusion comprenaient des individus âgés de 18 à 50 ans, de tout sexe/genre. Les critères d'exclusion incluaient des antécédents de troubles psychiatriques diagnostiqués, de troubles neurologiques, d'altération visuelle importante ou de handicaps physiques limitant les mouvements de la tête et du cou.
Procédure
Les participants étaient assis de manière à ce que la caméra soit à hauteur des yeux et positionnée à une distance de 60 à 70 cm. L'algorithme FEA a été utilisé dans l'étude. L'application a été ouverte sur l'ordinateur portable, et le chercheur a saisi l'identifiant du sujet. Tout au long de l'expérience, l'algorithme FEA a enregistré en continu des données vidéo afin de permettre l'analyse ultérieure des expressions faciales et des micro-mouvements. Initialement, un enregistrement de base de 60 s a été effectué, pendant lequel les participants ont reçu l'instruction de se détendre et de s'abstenir de comportements expressifs manifestes. Après l'acquisition de la ligne de base, les participants ont été exposés aux deux paradigmes vidéo (images TRENDS suivies de Navarasa). Tous les participants ont visionné les paradigmes dans le même ordre fixe afin de minimiser les effets de confusion potentiels liés à la séquence de présentation ; toutefois, cet ordre fixe aurait pu introduire des effets d'ordre. Pendant les séances d'enregistrement, le chercheur est resté à l'extérieur de la pièce afin de réduire les distractions. Le chercheur a surveillé l'expérience à distance via une application mobile pendant qu'il se trouvait hors de la pièce. Une courte pause a été proposée aux participants entre les deux paradigmes (Figure 2).
Analyse
Les données recueillies ont été associées à l'identifiant du sujet saisi dans l'application afin de garantir l'intégrité des données. L'algorithme FEA utilise un pipeline computationnel structuré de bout en bout pour l'inférence automatique des émotions, composé de cinq étapes principales : acquisition vidéo, détection et extraction de caractéristiques, prétraitement des données, classification des émotions et interprétation des résultats. Les caractéristiques extraites ont subi une série d'opérations de prétraitement, notamment la réduction du bruit, la normalisation entre les sujets et les conditions d'éclairage, ainsi que l'interpolation des images manquantes. Un lissage temporel a été appliqué pour améliorer la stabilité du signal. Les vecteurs de caractéristiques obtenus ont été alignés temporellement afin d'être correctement intégrés par le modèle de classification. Ces matrices de caractéristiques débruitées et alignées dans le temps ont servi d'entrées pour le composant de classification des émotions.
Extraction de caractéristiques
Le cadre d'extraction utilise un pipeline algorithmique à plusieurs étapes d'extraction de caractéristiques, qui transforme des flux d'images vidéo 2D monoculaires standards en un espace de coordonnées 3D reconstruit. Plutôt que de s'appuyer sur le suivi brut des pixels 2D, le système cartographie des coordonnées spatiales localisées sur le visage et la partie supérieure du corps. Les caractéristiques obtenues se répartissent en trois grandes catégories : (i) régions des points caractéristiques du visage, englobant des descripteurs géométriques de la structure et de la dynamique faciales (incluant des indices liés à la région des yeux et des corrélats d'expressions microfaciales issus du cadre Navarasa, basé sur le Natyashastra — le cadre le plus ancien formalisant l'expression émotionnelle humaine, reconnu par l'UNESCO) ; (ii) informations sur l'orientation de la tête, capturant l'orientation et les mouvements de la tête ; et (iii) les caractéristiques de mouvement de la partie supérieure du corps, rendant compte des déplacements induits de cette région. Les définitions précises des caractéristiques, y compris les indices exacts des points caractéristiques et les identifiants des points clés, sont confidentielles et ne peuvent être entièrement divulguées ; cette restriction est reconnue comme une limitation. Le système n'utilise pas directement les unités d'action du Facial Action Coding System (FACS) ; à la place, il dérive des caractéristiques géométriques et temporelles à partir des mouvements du visage et du corps. Ces transformations spatiales 3D sont agrégées dans le temps afin de générer un vecteur récapitulatif comportemental complet, qui sert d'entrée au classificateur MLP. Au total, plus de 700 caractéristiques candidates ont été initialement extraites des données recueillies, puis réduites à environ 300 caractéristiques sélectionnées par sélection de caractéristiques et optimisation du modèle. Le pipeline structurel progresse depuis l'acquisition vidéo jusqu'à la reconstruction spatiale 2D-à-3D, l'agrégation temporelle et la normalisation des caractéristiques, avant la classification.
Modèle de classification des émotions
Les vecteurs de caractéristiques prétraités ont été fournis à une architecture de réseau neuronal perceptron multicouche (MLP) supervisé, entraînée sur un jeu de données annoté en interne correspondant aux neuf catégories émotionnelles des Navarasa : Śṛṅgāra (amour), Hāsya (joie), Karuṇā (tristesse), Raudra (colère), Vīra (courage), Bhayānaka (peur), Bībhatsa (dégoût), Adbhuta (émerveillement) et Śānta (paix). Le modèle a été explicitement conçu pour capturer les dépendances spatiotemporelles dans les données comportementales expressives. À chaque pas de temps, l'architecture produisait un vecteur d'intensités émotionnelles prédites pour les neuf catégories.
Post-traitement des sorties du modèle
Les sorties brutes du modèle ont ensuite été post-traitées afin de produire des scores d'émotion stables et interprétables. Trois opérations séquentielles ont été appliquées : (i) un lissage temporel pour réduire les fluctuations à court terme, (ii) une normalisation pour assurer la comparabilité dans le temps et entre les dimensions émotionnelles, et (iii) une agrégation pour obtenir des mesures synthétiques sur des fenêtres temporelles définies ou sur des séquences entières. Les procédures de post-traitement garantissent la comparabilité entre sujets et permettent de contrôler les variations interindividuelles de base.
Interprétation et visualisation des résultats
L'algorithme FEA génère des représentations quantitatives et visuelles des dynamiques émotionnelles déduites à partir de données vidéo. Les deux formes principales de sortie sont les trajectoires émotionnelles temporelles. Les valeurs d'intensité émotionnelle sont visualisées sous forme de graphiques en séries chronologiques montrant l'évolution de chaque émotion tout au long de la vidéo. Cette représentation offre une vue continue des variations affectives, facilitant l'analyse des changements transitoires, des pics d'activation et des phases de récupération ou de désamorçage de l'excitation émotionnelle. Score émotionnels comparatifs : Les valeurs émotionnelles agrégées pour chacune des neuf catégories Navarasa sont affichées sous forme de graphiques de scores comparatifs, illustrant l'ampleur relative de chaque émotion sur l'intervalle analysé. Ces visualisations comparatives permettent des comparaisons directes entre les émotions et fournissent un résumé concis du profil affectif global. Les scores générés par l'algorithme FEA au moment de la ligne de base ont été examinés afin de détecter toute ligne plate ou absence de variation significative, ce qui indiquerait un enregistrement inadéquat.
Analyse statistique
Les scores pour les neuf domaines émotionnels de Navarasa, générés par l'algorithme FEA pendant l'intervalle de 10 s suivant chaque présentation d'image dans le paradigme, ont été considérés comme des variables de résultat. Des scores de l'algorithme FEA ont été générés pour chaque seconde dans la fenêtre de 10 s (T0, T1, T2… T9). Le score de l'algorithme FEA à T0 a été considéré comme le score de base. Le score maximal de l'algorithme FEA parmi les enregistrements de T1 à T9 a été défini comme Tmax. La variation du score de l'algorithme FEA par rapport au score de base (Tmax − T0) a été calculée et utilisée comme variable de résultat dans les analyses. L'évolution des scores de l'algorithme FEA au cours de la série temporelle pour chaque émotion est représentée dans Figure 3A–D.
Pour les images TRENDS, les catégories d'émotions cibles correspondantes ont été associées comme suit : Shanta > Neutre ; Haasya > Heureux ; Krodha > Colère ; et Bhayanaka > Peur. Pour les images Navarasa, les scores de l'algorithme FEA ont été regroupés et moyennés en trois catégories composites : neutre (Shanta), agréable (Haasya, Veera, Shringara, Adbhuta) et désagréable (Krodha, Vibhitsa, Bhayanaka, Karuna).
Des analyses au niveau du groupe et au niveau des sujets ont été réalisées.
Analyse au niveau du groupe : Pour chaque catégorie d'émotion décrite ci-dessus, le changement du score de l'algorithme FEA entre la ligne de base et Tmax a été comparé à l'aide de tests t appariés. Un changement significatif par rapport à la ligne de base dans le score de l'algorithme FEA indiquerait une bonne concordance avec la reconnaissance de l'émotion. Toutefois, une différence significative n'indiquerait pas nécessairement une forte précision de classification.
Analyse au niveau du sujet : Toute augmentation du score dans un domaine émotionnel d'un algorithme FEA par rapport à la valeur de base a été classée comme une réponse émotionnelle positive. Des indices de précision ont ensuite été calculés : sensibilité et spécificité. La sensibilité et la spécificité quantifient respectivement la probabilité que le test soit positif lorsque la condition cible est présente (+) et négatif lorsqu'elle est absente (−). Lorsque les deux estimations s'approchent de 1, le test présente une bonne performance en termes de précision diagnostique. La sensibilité et la spécificité estimées ont été définies comme les proportions de participants avec et sans la condition de référence (expressions Navarasa), respectivement, qui ont été correctement classés.
Un sujet était considéré comme présentant la condition cible (+) s'il identifiait correctement au moins 75 % des émotions représentées. Cette classification était fondée sur des études de validation de TRENDS, dans lesquelles une précision de 60 à 80 % était considérée comme une validité discriminante adéquate. Une analyse de la courbe ROC (receiver operating characteristic) pour un prédicteur continu a été réalisée afin d'estimer l'aire sous la courbe (AUC) ainsi que les valeurs correspondantes de sensibilité et de spécificité. Une sensibilité supérieure à 80 % était considérée comme une bonne capacité discriminante, tandis qu'une sensibilité inférieure à 80 % était jugée modeste.