Validação Preliminar de um Algoritmo de Análise de Movimentos e Expressões Faciais Durante Tarefas de Eliciação de Emoções em Adultos Saudáveis

Resumo

Este estudo valida preliminarmente o algoritmo FEA, um algoritmo proprietário de aprendizado de máquina, para detectar respostas durante tarefas com estímulos emocionais. Ele examina a concordância entre os escores do algoritmo FEA e estímulos faciais padronizados de emoção utilizando o framework Navarasa em adultos saudáveis, avaliando se o sistema reflete de forma confiável respostas relacionadas à emoção sob condições experimentais controladas.

Resumo

Este protocolo foi desenvolvido para validar preliminarmente o Emoscape, um algoritmo proprietário de aprendizado de máquina baseado na estrutura Navarasa, testando se suas pontuações emocionais mudam em concordância com tarefas padronizadas de indução emocional em adultos saudáveis. Setenta e dois adultos saudáveis foram recrutados após fornecerem consentimento informado por escrito. Os participantes responderam ao Questionário de Saúde do Paciente-9 e ao Transtorno de Ansiedade Generalizada-7, e em seguida visualizaram estímulos de emoções faciais do conjunto TRENDS e imagens Navarasa, enquanto o algoritmo FEA registrava micro-movimentos do tronco superior durante toda a tarefa. Os participantes também identificaram as emoções exibidas. Foram analisadas as alterações nas pontuações do algoritmo FEA em relação à linha de base durante a exposição a estímulos neutros, felizes, de medo e de raiva do TRENDS, bem como durante a exposição às imagens Navarasa. A análise da curva característica de operação do receptor foi utilizada para estimar a sensibilidade e especificidade na discriminação entre categorias emocionais. As pontuações do algoritmo FEA mostraram desvios significativos em relação à linha de base para as imagens do TRENDS associadas às emoções correspondentes (Neutro–Shanta, Feliz–Haasya, Medo–Bhayanaka e Raiva–Raudra). Alterações concordantes também foram observadas nas imagens Navarasa, com todas as diferenças médias estatisticamente significativas (p < 0,001). Os valores da área sob a curva (AUC) variaram entre as categorias. O algoritmo FEA apresentou sensibilidade moderada para emoções agradáveis (70–80%) e emoções desagradáveis (60–70%). Esses achados fornecem suporte preliminar ao protocolo e ao uso do algoritmo FEA para avaliar respostas relacionadas à emoção durante tarefas controladas de indução emocional em adultos saudáveis.

Introdução

O reconhecimento de emoções é uma área importante de investigação na neurociência cognitiva social, com possíveis aplicações clínicas e de pesquisa. Os métodos existentes de avaliação emocional quantificam alterações na atividade fisiológica, como eletroencefalografia (EEG) ou resistência cutânea galvânica (GSR), para inferir estados emocionais. No entanto, esses métodos são complexos e invasivos. Medições diretas de movimentos faciais e corporais oferecem um índice mais imediato e observável do estado afetivo de um indivíduo^1,2,3. Algoritmos de aprendizado de máquina (ML), especialmente aqueles treinados em grandes conjuntos de dados heterogêneos de expressões faciais, são utilizados para decodificar esses sinais não verbais sutis e classificar estados emocionais. Embora algoritmos convencionais de ML, como máquinas de vetores de suporte (SVMs), ainda sejam amplamente utilizados, arquiteturas de aprendizado profundo, particularmente redes neurais (NNs)^4,5, demonstraram desempenho superior, especialmente quando treinadas em conjuntos de dados em larga escala, devido à sua capacidade de extração automática de características⁶. Um exemplo de modelo convencional no contexto indiano é uma ferramenta interativa que adota um modelo dimensional baseado em valência para determinar o grau de excitação. As estruturas de reconhecimento de emoções devem ser sensíveis ao contexto cultural. No ambiente cultural indiano, o quadro de Navarasa fornece uma taxonomia matizada de nove emoções primárias, ainda que permaneça amplamente inexplorado na pesquisa de reconhecimento emocional impulsionada por ML. Existe uma relativa escassez de abordagens de ML rigorosamente validadas que analisam diretamente pistas comportamentais observáveis—como microexpressões faciais e movimentos corporais^7,8. Tais algoritmos baseados em expressão podem ser utilizados em tempo real, são fáceis de aplicar e não são invasivos.

O algoritmo de Análise de Expressão e Movimento Facial [aqui designado como algoritmo FEA] é um algoritmo proprietário baseado em aprendizado de máquina (ML) que analisa microexpressões faciais e movimentos da parte superior do corpo e gera representações dinâmicas de trajetórias emocionais e escores agregados para cada um dos nove rasas, com base na estrutura do Navarasa. Este estudo teve como objetivo realizar uma validação preliminar do algoritmo FEA mediante a análise da concordância entre os escores derivados do FEA e as respostas a estímulos padronizados de emoções faciais em voluntários adultos saudáveis.

Para esse fim, recorremos aos conceitos da Teoria da Mente (ToM) e do sistema de neurônios espelho. A ToM é uma capacidade socio-cognitiva fundamental que permite aos indivíduos inferir e interpretar os estados mentais e emocionais dos outros em contextos sociais⁹. Evidências empíricas sugerem que a exposição a estímulos emocionais faciais ativa redes de neurônios espelho, as quais, por sua vez, provocam um estado emocional concordante e vicário no observador¹⁰. A modulação resultante do estado emocional interno e subjetivo de um indivíduo em resposta à visualização de expressões faciais de emoção, se capturada pelo algoritmo de FEA, pode fornecer uma validação preliminar do algoritmo.

Hipotetizamos que a exposição a estímulos emocionais faciais correspondentes a uma categoria específica de Navarasa provocará um desvio estatisticamente significativo em relação à linha de base na pontuação do algoritmo FEA para a emoção de Navarasa.

Protocolo

O protocolo do estudo foi aprovado pelo Comitê de Ética dos Hospitais Sushruta, Hubballi, Karnataka, Índia (número de registro do comitê de ética: ECR/372/INST/KA/2013/RR-19), e o consentimento informado por escrito foi obtido de todos os participantes antes da inscrição.

O algoritmo FEA é um método proprietário baseado em aprendizado de máquina para análise em tempo real de microexpressões faciais e movimentos do tronco superior, com o objetivo de inferir estados emocionais utilizando o framework Navarasa. O framework Navarasa, derivado da teoria estética clássica indiana, define nove emoções primárias: shringara (amor), haasya (alegria), karuna (tristeza/pena), adbhuta (surpresa), shanta (paz), raudra (raiva), veera (coragem), bhayanaka (medo) e vibhitsa (nojo). O algoritmo FEA utiliza um modelo de aprendizado de máquina treinado com microexpressões faciais e movimentos do tronco superior extraídos de imagens de atores representando as nove emoções Navarasa. O algoritmo infere o estado emocional de um indivíduo analisando dinâmicas faciais sutis e micromovimentos a partir de entradas visuais capturadas por uma única câmera RGB e gera pontuações quantitativas para cada uma das nove emoções primárias. Essa configuração não invasiva permite uma avaliação emocional discreta e naturalista, tornando-a adequada para uma ampla variedade de contextos de pesquisa e aplicações práticas.

Desenvolvimento do modelo

O algoritmo FEA baseia-se em uma arquitetura de rede neural (NN). O conjunto de dados de treinamento foi coletado internamente e consiste em várias horas de dados de vídeo gravados de atores indianos representando as nove emoções Navarasa. O conjunto de dados foi derivado de gravações em vídeo controladas de diversos atores/participantes, com múltiplas gravações/testes realizados para cada ator/participante em diferentes estados emocionais induzidos. Após o pré-processamento, incluindo detecção de pontos faciais, verificações de consistência temporal, filtragem de qualidade e remoção de quadros inutilizáveis ou de baixa confiança, foram mantidas aproximadamente 25.000 amostras estruturadas para treinamento. Durante a curadoria do conjunto de dados, as gravações foram estratificadas por mais de dez parâmetros demográficos e relacionados à gravação, incluindo idade, sexo e outros atributos relevantes, e intencionalmente balanceadas para alcançar representação equitativa entre esses parâmetros e minimizar vieses demográficos. A distribuição por sexo foi mantida em aproximadamente 52% do sexo masculino e 48% do sexo feminino. Os participantes abrangeram amplamente os grupos etários adolescente e adulto, com representação nas faixas de jovens adultos, adultos de meia-idade e idosos. Os atores/participantes residiam na Índia e representavam diversos contextos regionais e culturais indianos, bem como múltiplas etnias internacionais presentes na Índia. Devido a restrições proprietárias, não é possível divulgar o número exato de atores/participantes, a identidade em nível individual de atores/participantes, a contagem exata de vídeos/gravações por ator, o número preciso de quadros e a metodologia interna de anotação, pois essas informações fazem parte do conjunto de dados proprietários e da propriedade intelectual do desenvolvimento de modelos da Nihilent Ltd.; essa limitação é explicitamente reconhecida na seção de Discussão.

Imagens faciais extraídas dessas gravações foram processadas utilizando técnicas de processamento de imagem para derivar características quantitativas, que foram subsequentemente usadas como entradas para uma rede neural com fins preditivos. Esse modelo foi então avaliado em uma população-alvo, e os conhecimentos obtidos foram utilizados para refinar iterativamente versões posteriores. Esse ciclo de desenvolvimento, testes e aprimoramento foi repetido até que o desempenho do modelo se estabilizasse. O modelo preditivo final é implementado como um perceptron multicamadas (MLP), composto por uma camada de entrada com aproximadamente 300 características selecionadas, camadas ocultas e uma camada de saída que produz um vetor de pontuação de nove dimensões, correspondente às nove categorias emocionais de Navarasa. Mais de 700 características foram inicialmente derivadas dos dados capturados e posteriormente reduzidas por meio de procedimentos de seleção de características e otimização do modelo. A pontuação de saída do MLP é então encaminhada a algoritmos proprietários de pós-processamento para derivar as pontuações finais agregadas do algoritmo FEA. Detalhes arquiteturais adicionais — incluindo o número exato de parâmetros treináveis e as dimensões específicas das camadas — são proprietários e não podem ser divulgados; isso é reconhecido como uma limitação do presente relatório. Uma descrição detalhada do desenvolvimento do modelo é fornecida no material suplementar (Arquivo Suplementar 1 e Figura Suplementar 1).

Durante o desenvolvimento iterativo, o desempenho do modelo foi avaliado utilizando validação cruzada no conjunto de dados interno, alcançando 96% de precisão na classificação validada cruzadamente nas nove categorias de Navarasa. Posteriormente, foi realizada uma validação independente em mais de 15.000 min de dados de vídeo. Uma matriz de confusão normalizada 9 × 9, resumindo o desempenho da classificação em todas as nove categorias de Navarasa, está disponível no material suplementar (Supplementary File 1).

Após a estabilização, o modelo passou por validação interna controlada sob supervisão especializada. Esta abordagem enfatiza a validação empírica por meio de testes diretos em sujeitos humanos, permitindo a avaliação da aplicabilidade no mundo real e da robustez em diversas populações. O desenvolvimento do modelo é resumido na Figura 1.

O Questionário de Saúde do Paciente-9 (PHQ-9) e a escala do Transtorno de Ansiedade Generalizada-7 (GAD-7): Os participantes preencheram questionários de autorrelato sob supervisão de um psicólogo treinado para avaliar seus estados emocionais atuais. Os instrumentos aplicados incluíram o Questionário de Saúde do Paciente-9 (PHQ-9) e a escala do Transtorno de Ansiedade Generalizada-7 (GAD-7). Uma pontuação acima de 9 em qualquer uma das escalas foi considerada clinicamente significativa.

TENDÊNCIAS

A Ferramenta para o Reconhecimento de Emoções em Transtornos Neuropsiquiátricos (TRENDS) é um instrumento validado culturalmente e sensível ao contexto ecológico, projetado para avaliar as habilidades de reconhecimento de emoções faciais¹¹. Foi validada para uso em populações indianas e consiste em 40 fotografias de atores representando as emoções básicas universais de neutralidade, felicidade, medo, raiva e tristeza. As imagens da TRENDS foram utilizadas como estímulos de referência para validar as saídas de classificação de emoções do algoritmo FEA.

Desenho experimental

O experimento foi projetado para provocar uma resposta algorítmica a estímulos emocionais. Dois paradigmas de indução emocional foram desenvolvidos e utilizados para este estudo.

Paradigma de imagens TRENDS

No primeiro paradigma, uma sequência de vídeo apresentou inicialmente uma tela em branco por 60 s, seguida pela exibição de estímulos emocionais. Os estímulos emocionais foram selecionados da ferramenta TRENDS. Um total de 20 imagens foi apresentado, representando neutralidade, felicidade, tristeza, raiva e medo × dois gêneros × dois grupos etários. Cada estímulo foi exibido por 5 s. O tempo total de apresentação dos estímulos foi, portanto, 20 × 5 s, com um intervalo adicional de tela em branco de 10 s entre imagens consecutivas, resultando em uma duração total de 300 s. Durante cada intervalo de 10 s em branco, os participantes deveriam identificar a emoção retratada na imagem anterior, selecionando uma das cinco etiquetas de emoção exibidas na tela.

Paradigma Navarasa

Um segundo paradigma de vídeo análogo foi construído com base na estrutura Navarasa, composta por nove rasas. Um total de 18 imagens foi apresentado (nove emoções × dois gêneros). Cada estímulo foi exibido por 5 s, com uma tela em branco de 10 s entre as imagens, resultando em uma duração total de 270 s. As nove emoções foram categorizadas como neutras (shanta), agradáveis (haasya, veera, shringara, adbhuta) ou desagradáveis (Krodha, vibhitsa, bhayanaka, karuna). Durante cada intervalo em branco de 10 s, os participantes deveriam classificar a emoção representada na imagem anterior, selecionando uma das três opções apresentadas na tela: neutra, agradável ou desagradável. Os nove Navaras foram agrupados em três categorias para facilitar o registro das respostas dos participantes à identificação emocional.

Participantes

Voluntários adultos saudáveis foram recrutados em ambientes de trabalho e instituições educacionais. Os critérios de inclusão compreendiam indivíduos com idade entre 18 e 50 anos, de qualquer sexo/gênero. Os critérios de exclusão incluíam histórico de transtornos psiquiátricos diagnosticados, transtornos neurológicos, comprometimento visual significativo ou deficiências físicas que restringissem movimentos da cabeça e do pescoço.

Procedimento

Os participantes foram acomodados de modo que a câmera ficasse ao nível dos olhos e posicionada a uma distância de 60–70 cm. O algoritmo de AEF foi utilizado no estudo. O aplicativo foi aberto no laptop, e o pesquisador inseriu o ID do sujeito. Durante todo o experimento, o algoritmo de AEF gravou continuamente dados em vídeo para permitir a análise subsequente de expressões faciais e micro-movimentos. Inicialmente, foi obtida uma gravação de linha de base de 60 s, durante a qual os participantes foram instruídos a relaxar e a se absterem de comportamentos expressivos evidentes. Após a aquisição da linha de base, os participantes foram expostos aos dois paradigmas de vídeo (imagens do TRENDS seguidas pelo Navarasa). Todos os participantes visualizaram os paradigmas na mesma ordem fixa para minimizar possíveis efeitos de confusão relacionados à sequência de apresentação; no entanto, essa ordem fixa poderia ter introduzido efeitos de ordem. Durante as sessões de gravação, o pesquisador permaneceu fora da sala para reduzir distrações. O pesquisador monitorou o experimento remotamente por meio de um aplicativo móvel enquanto estava fora da sala. Foi oferecido aos participantes um breve intervalo de descanso entre os dois paradigmas (Figura 2).

Análise

Os dados coletados foram associados ao ID do participante inserido no aplicativo para garantir a fidelidade dos dados. O algoritmo de FEA utiliza um pipeline computacional estruturado e completo para inferência automática de emoções, composto por cinco etapas principais: aquisição de vídeo, detecção e extração de características, pré-processamento dos dados, classificação de emoções e interpretação da saída. As características extraídas passaram por uma série de operações de pré-processamento, incluindo redução de ruído, normalização entre participantes e condições de iluminação e interpolação de quadros ausentes. Foi aplicado um suavização temporal para melhorar a estabilidade do sinal. Os vetores de características resultantes foram alinhados temporalmente para alimentação subsequente pelo modelo de classificação. Essas matrizes de características alinhadas no tempo e livres de ruído serviram como entradas para o componente de classificação de emoções.

Extração de características

A estrutura de extração emprega um pipeline algorítmico com múltiplas etapas de extração de características que converte sequências de imagens padrão em vídeo 2D monoculário em um espaço de coordenadas 3D reconstruído. Em vez de depender do rastreamento bruto de pixels 2D, o sistema mapeia coordenadas espaciais localizadas ao longo do rosto e da parte superior do corpo. As características derivadas dividem-se em três categorias amplas: (i) regiões de pontos referenciais faciais, abrangendo descritores geométricos da estrutura e dinâmica facial (incluindo pistas da região dos olhos e correlatos de microexpressões faciais extraídos do framework Navarasa, baseado no Natyashastra — o mais antigo sistema formalizado de expressão emocional humana, reconhecido pela UNESCO); (ii) informações sobre a postura da cabeça, capturando orientação e movimento da cabeça; e (iii) características de movimento da parte superior do corpo, que registram o movimento resultante do tronco superior. As definições específicas das características, incluindo índices exatos dos pontos referenciais e identificadores de pontos-chave, são proprietárias e não podem ser totalmente divulgadas; isso é reconhecido como uma limitação. O sistema não utiliza diretamente os rótulos de unidades de ação do Sistema de Codificação de Ações Faciais (FACS); ao invés disso, deriva características geométricas e temporais a partir dos movimentos faciais e corporais. Essas transformações espaciais 3D são agregadas ao longo do tempo para gerar um vetor abrangente de resumo comportamental, que serve como entrada para o classificador MLP. No total, mais de 700 características candidatas foram inicialmente derivadas dos dados capturados e posteriormente reduzidas a aproximadamente 300 características selecionadas por meio de seleção de características e otimização do modelo. O pipeline estrutural avança da aquisição de vídeo até a reconstrução espacial 2D-para-3D, agregação temporal e normalização de características antes da classificação.

Modelo de classificação de emoções

Os vetores de características pré-processados foram fornecidos a uma arquitetura de rede neural perceptron multicamadas (MLP) supervisionada, treinada com o conjunto de dados anotados internamente, correspondente às nove categorias emocionais Navarasa: Śṛṅgāra (amor), Hāsya (alegria), Karuṇā (tristeza), Raudra (raiva), Vīra (coragem), Bhayānaka (medo), Bībhatsa (nojo), Adbhuta (admiração) e Śānta (paz). O modelo foi explicitamente projetado para capturar dependências espaciotemporais em dados comportamentais expressivos. Em cada passo temporal, a arquitetura gerava um vetor com as intensidades emocionais previstas para as nove categorias.

Pós-processamento das saídas do modelo

As saídas brutas do modelo foram posteriormente pós-processadas para gerar pontuações de emoção estáveis e interpretáveis. Três operações sequenciais foram aplicadas: (i) suavização temporal para reduzir flutuações de curto prazo, (ii) normalização para garantir comparabilidade ao longo do tempo e entre dimensões emocionais, e (iii) agregação para derivar medidas resumidas em janelas temporais específicas ou em sequências inteiras. Os procedimentos de pós-processamento garantem a comparabilidade entre sujeitos e controlam a variação basal interindividual.

Interpretação e visualização dos resultados

O algoritmo FEA gera representações quantitativas e visuais das dinâmicas emocionais inferidas a partir de dados de vídeo. As duas formas principais de saída são trajetórias emocionais temporais. Os valores de intensidade emocional são visualizados como gráficos de séries temporais que mostram a evolução de cada emoção ao longo do vídeo. Essa representação fornece uma visão contínua da variação afetiva, facilitando a análise de mudanças transitórias, ativações máximas e fases de recuperação ou desescalonamento na excitação emocional. Pontuações emocionais comparativas: Valores agregados de emoção para cada uma das nove categorias Navarasa são exibidos como gráficos de pontuação comparativa, ilustrando a magnitude relativa de cada emoção ao longo do intervalo analisado. Essas visualizações comparativas permitem comparações diretas entre emoções e fornecem um resumo conciso do perfil afetivo geral. As pontuações do algoritmo FEA geradas na linha de base foram examinadas quanto a qualquer sinal plano ou ausência de mudança significativa, o que indicaria gravação inadequada.

Análise estatística

Os escores para os nove domínios emocionais Navarasa, gerados pelo algoritmo FEA durante o intervalo de 10 s após cada apresentação de imagem no paradigma, foram tratados como variáveis de desfecho. Os escores do algoritmo FEA foram gerados para cada s na janela de 10 s (T0, T1, T2… T9). O escore do algoritmo FEA em T0 foi considerado o escore basal. O escore mais alto do algoritmo FEA entre os registros de T1–T9 foi definido como Tmax. A variação do escore do algoritmo FEA em relação ao valor basal (Tmax − T0) foi calculada e utilizada como variável de desfecho nas análises. A variação dos escores do algoritmo FEA ao longo da série temporal para cada emoção é apresentada na Figura 3A–D.

Para as imagens TRENDS, as categorias correspondentes de emoções-alvo foram mapeadas da seguinte forma: Shanta > Neutro; Haasya > Feliz; Krodha > Raiva; e Bhayanaka > Medo. Para as imagens Navarasa, os escores do algoritmo FEA foram agrupados e médias calculadas em três categorias compostas: neutro (Shanta), agradável (Haasya, Veera, Shringara, Adbhuta) e desagradável (Krodha, Vibhitsa, Bhayanaka, Karuna).

Foram realizadas análises em nível grupal e em nível individual.

Análise em nível de grupo: Para cada categoria de emoção descrita acima, a alteração na pontuação do algoritmo FEA do valor basal até Tmax foi comparada utilizando testes t pareados. Uma alteração significativa na pontuação do algoritmo FEA em relação ao valor basal indicaria boa concordância com o reconhecimento da emoção. No entanto, uma diferença significativa não indicaria necessariamente uma alta precisão de classificação.

Análise em nível individual: Qualquer aumento no escore do domínio emocional do algoritmo FEA acima do valor basal foi classificado como uma resposta emocional positiva. Índices de precisão foram então derivados — sensibilidade e especificidade. Sensibilidade e especificidade quantificam, respectivamente, a probabilidade de o teste ser positivo quando a condição-alvo está presente (+) e negativo quando está ausente (−). Quando ambas as estimativas se aproximam de 1, o teste apresenta bom desempenho em termos de precisão diagnóstica. A sensibilidade e especificidade estimadas foram definidas como as proporções de participantes com e sem a condição de referência (expressões Navarasa), respectivamente, que foram corretamente classificados.

Considerou-se que um sujeito apresentava a condição-alvo presente (+) se identificasse corretamente pelo menos 75% das emoções representadas. Essa classificação baseou-se em estudos de validação do TRENDS, nos quais uma precisão de 60–80% foi considerada validade discriminante adequada. Foi realizada uma análise de característica de operação do receptor (ROC) para um preditor contínuo, a fim de estimar a área sob a curva (AUC) e os valores correspondentes de sensibilidade e especificidade. Uma sensibilidade acima de 80% foi considerada boa capacidade discriminatória, e abaixo de 80% foi considerada moderada.

Resultados

O estudo examinou as variações nos escores do algoritmo FEA em resposta a estímulos que provocam emoções e avaliou o desempenho diagnóstico do algoritmo FEA por meio de análise da curva característica de operação do receptor (ROC). Setenta e dois voluntários saudáveis foram recrutados para o estudo. A idade média (DP) foi de 31,9 (11,9) anos, e a amostra incluiu 26 homens e 46 mulheres. Todos os participantes tinham pelo menos 10 anos de escolaridade e todos eram de etnia indiana. Os escores médios (DP) nos questionários PHQ-9 e GAD-7 foram 4,4 (4,8) e 4,7 (4,5), respectivamente.

Alterações nos escores do algoritmo FEA em resposta a estímulos emocionais: As medidas derivadas do algoritmo FEA demonstraram alterações estatisticamente significativas entre o momento basal (T0) e Tmax, conforme determinado por testes t pareados para ambas as condições de estímulo — imagens do TRENDS e Navarasa (p < 0,001; Tabela 1, Figura 4, Tabela 2 e Figura 5).

Precisão diagnóstica do algoritmo FEA: O desempenho diagnóstico do algoritmo FEA foi avaliado por meio de análise da curva característica de operação do receptor (ROC), com cálculo dos valores da área sob a curva (AUC) para estados emocionais distintos (Tabela 3). A maior AUC foi obtida para a pontuação do algoritmo FEA correspondente ao estado Shanta em resposta a estímulos faciais emocionais neutros (AUC = 0,665), seguida pela emoção positiva de felicidade (AUC = 0,637) (Figura 6). A sensibilidade para emoções neutras e positivas (feliz, agradável) foi de 70–80%, enquanto a sensibilidade para emoções negativas (raiva, medo, desagradável) foi de 60–70%. Esses valores de sensibilidade estão abaixo de 80% e representam um desempenho discriminativo modesto.

Correlação entre os escores do algoritmo FEA e os escores do PHQ-9 e GAD-7: Nenhuma correlação significativa foi observada entre os escores do algoritmo FEA e os escores do PHQ-9 ou GAD-7.

DISPONIBILIDADE DE DADOS:

Todos os dados brutos estão fornecidos no Arquivo Suplementar 2.

Figura 1: Diagrama esquemático do pipeline de desenvolvimento do modelo do algoritmo FEA. O esquema mostra o conjunto de dados de vídeo interno, composto por atores indianos de ambos os sexos, passando pela extração de quadros e extração de características em três categorias: regiões de pontos faciais (incluindo pistas derivadas do Natyashastra/Navarasa relacionadas aos olhos e microexpressões faciais), informações sobre a pose da cabeça e movimentos do tronco superior, que são agregadas em um único vetor de características e encaminhadas a um classificador do tipo perceptron multicamadas (MLP). A saída do MLP passa por um pós-processamento proprietário (suavização temporal, normalização e agregação; caixa laranja tracejada) antes de gerar a saída final de predição em nove categorias do Navarasa. Caixas azuis sólidas indicam etapas de processamento; caixas azuis sombreadas indicam categorias de características; a caixa laranja tracejada indica uma etapa de processamento proprietária cujos parâmetros internos não podem ser divulgados. Como este é um esquema de processo e não um gráfico de dados, barras de erro e escalas não são aplicáveis. Clique aqui para visualizar uma versão maior desta figura.

Figura 2: Procedimento experimental do algoritmo FEA. Fluxograma que ilustra as etapas sequenciais do protocolo experimental: avaliação clínica semiestruturada (PHQ-9, GAD-7); posicionamento do participante com a câmera na altura dos olhos, a 60–70 cm do participante; gravação de linha de base de 60 s; o paradigma de imagens emocionais TRENDS (20 imagens distribuídas em cinco categorias emocionais; apresentação do estímulo de 5 s e intervalo de resposta de 10 s por imagem; total de 300 s); um breve intervalo de descanso; e o paradigma de imagens emocionais Navarasa (18 imagens distribuídas em nove categorias Navarasa; apresentação do estímulo de 5 s e intervalo de resposta de 10 s por imagem; total de 270 s). As setas indicam a sequência temporal dos procedimentos, desde a inscrição até a conclusão da aquisição de dados. Como este é um fluxograma de processo e não um gráfico de dados, barras de erro e escalas não são aplicáveis. Clique aqui para visualizar uma versão maior desta figura.

Figura 3: Mudança em série temporal nos escores do algoritmo FEA em resposta às imagens emocionais correspondentes do TRENDS (T0 a T9 s). Quatro painéis (A–D) mostram a trajetória média do grupo, segundo a segundo, do escore do algoritmo FEA (eixo y; unidades arbitrárias de escore geradas pelo algoritmo proprietário de pontuação) ao longo da janela de 10 s pós-estímulo (eixo x; T0 = escore no desligamento do estímulo/base para aquele ensaio, T1–T9 = cada segundo subsequente), para (A) o domínio Shanta após imagens neutras, (B) o domínio Haasya após imagens felizes, (C) o domínio Bhayanaka após imagens de medo e (D) o domínio Krodha após imagens de raiva (n = 72 participantes por painel). Os pontos/linhas representam as médias do grupo em cada ponto temporal; as barras de erro/faixas sombreadas representam o desvio padrão (DP) entre os participantes. Barras de escala não são aplicáveis a este formato de gráfico de linhas em série temporal. Clique aqui para visualizar uma versão maior desta figura.

Figura 4: Gráfico de barras mostrando a alteração média nos escores do algoritmo FEA em resposta à visualização de imagens emocionais TRENDS. As barras representam a alteração média do grupo no escore do algoritmo FEA (Tmax −T0; eixo y, unidades arbitrárias de escore) para cada uma das quatro categorias emocionais mapeadas pelo TRENDS (Shanta/Neutro, Haasya/Felicidade, Krodha/Ira, Bhayanaka/medo; eixo x) (n = 72). As barras de erro representam o desvio padrão (SD) da alteração do escore dentro de cada categoria. Todas as quatro categorias apresentaram alteração estatisticamente significativa em relação à linha de base pelo teste t pareado (p < 0,001; ver Tabela 1). Barras de escala não são aplicáveis a este formato de gráfico de barras. Clique aqui para visualizar uma versão maior desta figura.

Figura 5: Gráfico de barras mostrando a alteração média nos escores do algoritmo FEA em resposta à visualização de imagens de emoções Navarasa. As barras representam a alteração média do grupo no escore do algoritmo FEA (Tmax − T0; eixo y, unidades arbitrárias de escore) para as três categorias compostas de Navarasa — neutra (Shanta), agradável (média de Haasya, Veera, Shringara, Adbhuta) e desagradável (média de Krodha, Vibhitsa, Bhayanaka, Karuna) (eixo x) (n = 72). As barras de erro representam o desvio padrão (DP) da alteração do escore dentro de cada categoria. As três categorias apresentaram alteração estatisticamente significativa em relação à linha de base pelo teste t pareado (p < 0,001; ver Tabela 2). Barras de escala não são aplicáveis a este formato de gráfico de barras. Clique aqui para visualizar uma versão maior desta figura.

Figura 6: Curva característica de operação do receptor (ROC) mostrando a sensibilidade em diversos pontos de corte do escore Shanta do algoritmo FEA em resposta a imagens de emoções neutras. O eixo y representa a sensibilidade (taxa de verdadeiros positivos, %) e o eixo x representa 1 − especificidade (taxa de falsos positivos, %), plotados ao longo da faixa de valores possíveis de pontos de corte do escore Shanta; a linha diagonal de referência representa a discriminação ao nível do acaso (AUC = 0,5). A área sob a curva (AUC) = 0,665 (ver Tabela 3 para os valores de AUC, sensibilidade e especificidade de todas as categorias de emoção). Barras de erro e barras de escala não são aplicáveis a este formato de curva. Clique aqui para visualizar uma versão maior desta figura.

Emoção (estímulos TRENDS)	Média T0	Média Tmax	Diferença Média	valor-p
Neutro – Shanta	0.2261	0.2664	0.0403	<0.001
Felicidade – Haasya	0.0834	0.1127	0.0294	<0.001
Medo – Bhayanaka	0.0648	0.0848	0.02	<0.001
Raiva – Raudra	0.0901	0.1108	0.0207	<0.001

Tabela 1: Valores médios de T0 e Tmax das pontuações do algoritmo FEA em resposta à visualização de estímulos emocionais TRENDS. Para cada categoria emocional mapeada pelo TRENDS (Shanta/Neutro, Haasya/Feliz, Krodha/ Raiva, Bhayanaka/Medo), a tabela apresenta as pontuações médias do algoritmo FEA (± DP) no momento basal (T0) e no máximo intraensaio (Tmax), a variação média (Tmax − T0) e o resultado do teste t pareado (valor de p) comparando T0 e Tmax (n = 72). Todos os valores são expressos em unidades arbitrárias de pontuação do algoritmo FEA; considerou-se estatisticamente significativo p < 0,05.

Categoria de Emoção (estímulos Navarasa)	Média T0	Média Tmax	Diferença Média	valor-p
Neutro – Shanta	0.24	0.29	0.047	<0.001
Positivo (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Negativo (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tabela 2: Valores médios de T0 e Tmax das pontuações do algoritmo FEA em resposta à visualização de estímulos emocionais Navarasa. Para cada categoria composta de Navarasa (neutro, agradável, desagradável), a tabela apresenta as pontuações médias do algoritmo FEA (± DP) no momento basal (T0) e no máximo intraensaio (Tmax), a variação média (Tmax − T0) e o resultado do teste t pareado (p-valor) comparando T0 e Tmax (n = 72). Todos os valores são expressos em unidades arbitrárias de pontuação do algoritmo FEA; considerou-se estatisticamente significativo p < 0,05.

Painel A: Estímulos TRENDS
Estímulos TRENDS	AUC	IC 95%	Pontuação de Corte Δ Emoscape	Sensibilidade (%)	Especificidade (%)
Neutro – Shanta	0.665	0.456–0.873	0.065	82,5	50
Felicidade – Haasya	0.637	0.493–0.780	0,0345	70,7	46,2
Medo – Bhayanaka	0.583	0.446–0.721	0,018	61,2	54,5
Raiva – Raudra	0.532	0.374–0.689	0,023	67,3	45,5
Painel B: Estímulos Navarasa
Estímulos Navarasa	AUC	IC 95%	Pontuação de Corte Δ Emoscape	Sensibilidade (%)	Especificidade (%)
Shanta (Neutro)	0.596	0.412–0.779	0,03	85,7	44,6
Agreeable (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0,012	70,2	40
Desagradável (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0,007	67,8	38

Tabela 3: Valores da área sob a curva (AUC), sensibilidade e especificidade para os escores do algoritmo FEA por categoria emocional. Para cada categoria emocional avaliada por meio de análise da curva característica de operação do receptor (ROC), a tabela apresenta a AUC, sensibilidade (%) e especificidade (%). Uma sensibilidade ≥ 80% foi previamente definida como indicadora de boa capacidade discriminatória; valores abaixo desse limiar foram classificados como modestos (ver Análise Estatística).

Figura Suplementar 1: Matriz de confusão normalizada para o modelo de classificação de emoções Navarasa com nove classes. As linhas representam a classe de emoção verdadeira (real) e as colunas representam a classe de emoção prevista pelo modelo; os valores das células indicam a proporção de instâncias da classe real atribuídas a cada classe prevista, normalizada em uma escala de 0 a 1 (barra de cores, à direita). Os rótulos das classes (1–9) correspondem às nove categorias de emoções Navarasa; devido a restrições proprietárias, o mapeamento específico entre números e emoções não é divulgado. A precisão média da classificação validada cruzadamente em todas as nove categorias foi de 96%. Barras de erro não são aplicáveis a este formato de matriz.Clique aqui para baixar este arquivo.

Arquivo Suplementar 1: Descrição do desenvolvimento do modelo de algoritmo FEA (inclui métricas de validação interna, acurácia com validação cruzada e matriz de confusão Navarasa 9 × 9).Clique aqui para baixar este arquivo.

Arquivo Suplementar 2: Arquivo contendo dados brutos.Clique aqui para baixar este arquivo.

Discussão

Este estudo buscou fornecer uma validação preliminar do algoritmo FEA ao examinar a concordância entre os escores derivados do algoritmo FEA e as respostas a estímulos padronizados de emoções faciais em voluntários adultos saudáveis. Essas descobertas iniciais indicam que o algoritmo FEA exibe alterações estatisticamente detectáveis em resposta a estímulos visuais que induzem emoções em diversas categorias emocionais discretas, incluindo neutro (shanta), felicidade (haasya), medo (bhayanaka) e raiva (raudra), bem como classificações mais amplas de estados agradáveis e desagradáveis. Isso sugere que os escores do algoritmo FEA são concordantes com as respostas a tarefas com estímulos emocionais.

Observou-se que a sensibilidade do algoritmo FEA variava de 70% a 80% para emoções neutras ou positivas e de 60% a 70% para emoções negativas. Esses valores de sensibilidade são modestos para qualquer teste destinado a ser usado como medida de triagem¹². Em comparação, modelos mais amplos baseados em aprendizado de máquina para inferência de emoções que utilizam marcadores neurofisiológicos, como a eletroencefalografia (EEG), relatam precisões de classificação de até 90%¹³. Um sistema classificador em conjunto para classificação de emoções a partir de EEG e GSR para detecção de autismo demonstrou precisão de detecção de 99,97%¹⁴. No entanto, esses modelos tendem a ser mais intensivos computacionalmente e exigem processamento off-line. Em contraste, uma vantagem notável do algoritmo FEA reside em seu foco em pistas faciais e corporais observáveis, permitindo operação em tempo real.

O procedimento do algoritmo de AEF depende de diversos fatores operacionais críticos para a qualidade e confiabilidade dos registros do algoritmo de AEF. Estes incluem a posição da câmera e a iluminação ambiente. Gravações realizadas sob iluminação ambiente inconsistente ou baixa podem degradar significativamente a qualidade da extração de características. A posição da cabeça e do corpo deve permanecer estável durante toda a sessão de gravação; portanto, participantes com mobilidade limitada da cabeça ou pescoço foram excluídos. Minimizar a interferência comportamental durante a gravação é essencial. Os participantes foram acomodados sentados sozinhos, com o pesquisador ausente da sala, para reduzir os efeitos de desejo social e a autorregulação, que poderiam suprimir expressões faciais naturalísticas.

A incorporação do quadro Navarasa fornece uma classificação culturalmente sensível das emoções. O estudo aplicou uma abordagem de teoria da mente (ToM) para avaliar alterações nos escores do algoritmo FEA em resposta a estímulos emocionais. A ToM representa uma função cognitiva social de ordem superior, e seus substratos neurobiológicos já foram documentados na literatura¹⁵, apoiando, assim, a plausibilidade biológica das alterações observadas nos escores do algoritmo FEA.

Nenhuma correlação foi encontrada entre os escores do algoritmo de AEF e os escores de depressão ou ansiedade, sugerindo que os estados emocionais internos dos participantes provavelmente não influenciaram as gravações do algoritmo de AEF. No entanto, é difícil controlar completamente os estados emocionais dos participantes durante o experimento. Além disso, o processamento cognitivo descendente pode inibir respostas emocionais naturais, particularmente em reação a estímulos emocionais negativos. Estudos futuros devem avaliar as experiências subjetivas dos participantes durante a visualização de estímulos emocionais, pois isso poderia validar ainda mais se a observação passiva realmente induz um estado emocional subjetivo. A sensibilidade moderada com o algoritmo de AEF isoladamente poderia potencialmente ser aprimorada com dados neurofisiológicos adicionais, como EEG, variabilidade da frequência cardíaca (VFC) ou resposta eletrodérmica (GSR). Isso deve ser avaliado em futuros estudos de validação. A validação foi realizada em uma população adulta saudável. A utilidade do algoritmo de AEF na avaliação de estados emocionais subjetivos em condições clínicas, como depressão e ansiedade, exige investigação adicional por meio de estudos caso-controle.

Várias limitações do presente estudo merecem reconhecimento. A natureza proprietária do algoritmo de FEA limita a transparência de seu fluxo de processamento. Especificamente, o número exato de atores/participantes, a identidade em nível de ator/participante, as contagens exatas de vídeos/gravações por ator, as definições exatas das características (índices de marcos anatômicos e identificadores de pontos-chave) e os parâmetros arquiteturais detalhados da MLP (dimensões precisas das camadas e contagens de parâmetros) não podem ser divulgados. As métricas internas de validação (acurácia com validação cruzada de 96%; validação independente em >15.000 minutos de vídeo) são relatadas no material suplementar. Os rótulos das classes que representam os nomes das emoções são anonimizados devido a restrições proprietárias. Reconhecemos que essas restrições limitam a replicação independente.

O estudo observou concordância entre os estímulos e os escores do algoritmo FEA e a precisão no reconhecimento de emoções em adultos saudáveis, com sensibilidade moderada para discriminar entre estados emocionais. Isso fornece uma validação preliminar para o algoritmo FEA, um algoritmo proprietário baseado em ML que analisa micro-movimentos do tronco superior e gera representações dinâmicas das trajetórias emocionais e escores agregados para cada um dos nove rasas, com base na estrutura do Navarasa. Versões futuras do algoritmo devem buscar melhorar seu poder discriminatório em todas as categorias emocionais mediante a incorporação de dados fisiológicos ou contextuais adicionais. A validação em populações clínicas mais amplas exige investigação adicional.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Emoscape	Nihilent Ltd, Pune	1	Desenvolvedor do Emoscape
Centros Manoshanti para Bem-Estar Emocional	GNR Health Care Pvt Ltd.	2	Parceiro clínico e de pesquisa
Ferramenta para reconhecimento de emoções em transtornos neuropsiquiátricos	direitos autorais com o autor correspondente do estudo	3	Ferramenta utilizada para validação no estudo