Vorläufige Validierung eines Algorithmus zur Analyse von Gesichtsausdrücken und Bewegungen während Aufgaben zur Emotionsauslösung bei gesunden Erwachsenen

Zusammenfassung

Diese Studie validiert vorläufig den FEA-Algorithmus, einen proprietären maschinellen Lernalgorithmus, zur Erkennung von Reaktionen während emotionaler Stimulationsaufgaben. Sie untersucht die Übereinstimmung zwischen den Bewertungen des FEA-Algorithmus und standardisierten facialen Emotionsreizen unter Verwendung des Navarasa-Frameworks bei gesunden Erwachsenen und prüft, ob das System unter kontrollierten experimentellen Bedingungen zuverlässig emotionale Reaktionen widerspiegelt.

Zusammenfassung

Dieses Protokoll wurde entwickelt, um Emoscape, einen proprietären maschinellen Lernalgorithmus basierend auf dem Navarasa-Framework, vorläufig zu validieren, indem überprüft wird, ob sich seine Emotionsscores in Übereinstimmung mit standardisierten Emotionsauslösungs-Aufgaben bei gesunden Erwachsenen verändern. Siebenundzwanzig gesunde Erwachsene wurden nach schriftlicher Einwilligung rekrutiert. Die Teilnehmer absolvierten den Patient Health Questionnaire-9 und den Generalized Anxiety Disorder-7, anschließend betrachteten sie Gesichtsemotionsreize aus dem TRENDS-Satz und Navarasa-Bilder, während der FEA-Algorithmus mikroskopische Oberkörperbewegungen während der gesamten Aufgabe aufzeichnete. Die Teilnehmer identifizierten zudem die dargestellten Emotionen. Änderungen der FEA-Algorithmus-Scores gegenüber dem Ausgangswert wurden während der Exposition gegenüber neutralen, glücklichen, ängstlichen und wütenden Reizen aus TRENDS sowie während der Exposition gegenüber Navarasa-Bildern analysiert. Eine Receiver-Operating-Characteristic-Analyse wurde verwendet, um Sensitivität und Spezifität zur Unterscheidung zwischen emotionalen Kategorien zu schätzen. Die FEA-Algorithmus-Scores zeigten signifikante Abweichungen vom Ausgangswert für TRENDS-Bilder, die den entsprechenden Emotionen zugeordnet waren (Neutral–Shanta, Glücklich–Haasya, Angst–Bhayanaka und Wut–Raudra). Übereinstimmende Veränderungen wurden ebenfalls bei Navarasa-Bildern beobachtet, wobei alle mittleren Unterschiede statistisch signifikant waren (p < 0,001). Die Fläche unter der Kurve (AUC) variierte zwischen den Kategorien. Der FEA-Algorithmus zeigte eine moderate Sensitivität für angenehme Emotionen (70–80 %) und unangenehme Emotionen (60–70 %). Diese Ergebnisse liefern vorläufige Hinweise auf die Eignung des Protokolls und die Verwendung des FEA-Algorithmus zur Beurteilung emotionsbezogener Reaktionen während kontrollierter Emotionsauslösungs-Aufgaben bei gesunden Erwachsenen.

Einleitung

Die Erkennung von Emotionen ist ein wichtiger Forschungsbereich der sozialen kognitiven Neurowissenschaft mit potenziellen klinischen und wissenschaftlichen Anwendungen. Bestehende Verfahren zur emotionalen Bewertung quantifizieren Veränderungen in der physiologischen Aktivität, wie beispielsweise Elektroenzephalographie (EEG) oder galvanische Hautreaktion (GSR), um emotionale Zustände abzuleiten. Diese Methoden sind jedoch komplex und invasiv. Direkte Messungen von Gesichts- und Körpersignalen bieten einen unmittelbareren und beobachtbareren Indikator für den affektiven Zustand einer Person^1,2,3. Maschinelle Lernalgorithmen (ML), insbesondere solche, die auf großen, heterogenen Datensätzen von Gesichtsausdrücken trainiert wurden, werden verwendet, um solch subtile nonverbale Signale zu entschlüsseln und emotionale Zustände zu klassifizieren. Während herkömmliche ML-Algorithmen wie Support-Vektor-Maschinen (SVMs) weiterhin weit verbreitet sind, haben Deep-Learning-Architekturen, insbesondere neuronale Netze (NNs)^4,5, aufgrund ihrer Fähigkeit zur automatischen Merkmalsextraktion eine überlegene Leistung gezeigt, insbesondere bei der Ausbildung an umfangreichen Datensätzen⁶. Ein Beispiel für ein herkömmliches Modell im indischen Kontext ist ein interaktives Werkzeug, das ein valenzbasiertes dimensionales Modell zur Bestimmung der Erregung verwendet. Emotionsklassifizierungsansätze müssen kulturell sensibel sein. Im indischen kulturellen Umfeld bietet das Navarasa-Modell eine differenzierte Taxonomie von neun Grundemotionen, die jedoch bisher weitgehend unerforscht in der maschinellen Emotionsforschung geblieben ist. Es gibt einen relativen Mangel an streng validierten maschinellen Lernverfahren, die direkt beobachtbare Verhaltenssignale – wie mikrofeine Gesichtsausdrücke und Körpersignale – analysieren^7,8. Solche ausdrucksbasierten ML-Algorithmen können in Echtzeit eingesetzt, einfach angewendet und sind nicht invasiv.

Der Algorithmus zur Analyse von Gesichtsausdruck und Bewegung [im Folgenden als FEA-Algorithmus bezeichnet] ist ein proprietärer, auf maschinellem Lernen basierender Algorithmus, der faciale Mikroexpressionen und Oberkörperbewegungen analysiert und dynamische Darstellungen emotionaler Verläufe sowie aggregierte Bewertungen für jede der neun Rasas auf Grundlage des Navarasa-Frameworks generiert. Ziel dieser Studie war eine vorläufige Validierung des FEA-Algorithmus durch Untersuchung der Übereinstimmung zwischen vom FEA-Algorithmus ermittelten Bewertungen und Reaktionen auf standardisierte emotionale Gesichtsreize bei gesunden erwachsenen Probanden.

Zu diesem Zweck greifen wir auf die Konstrukte der Theory of Mind (ToM) und des Spiegelneuronensystems zurück. Die ToM ist eine zentrale sozial-kognitive Fähigkeit, die es Individuen ermöglicht, in sozialen Kontexten auf die mentalen und emotionalen Zustände anderer zu schließen und diese zu interpretieren⁹. Empirische Befunde deuten darauf hin, dass die Exposition gegenüber emotionalen Gesichtsreizen Spiegelneuronen-Netzwerke aktiviert, die wiederum einen übereinstimmenden, stellvertretenden emotionalen Zustand beim Beobachter hervorrufen¹⁰. Die resultierende Modulation des inneren, subjektiven emotionalen Zustands einer Person als Reaktion auf das Betrachten emotionaler Gesichtsausdrücke kann, sofern sie vom FEA-Algorithmus erfasst wird, eine vorläufige Validierung des Algorithmus liefern.

Wir vermuten, dass die Exposition gegenüber emotionalen Gesichtsreizen, die einer bestimmten Navarasa-Kategorie entsprechen, eine statistisch signifikante Abweichung vom Ausgangswert in der FEA-Algorithmus-Score für diese Navarasa-Emotion hervorruft.

Protokoll

Das Studienprotokoll wurde von dem Sushruta Hospitals Ethics Committee, Hubballi, Karnataka, India (EC-Registrierungsnummer: ECR/372/INST/KA/2013/RR-19) genehmigt, und alle Teilnehmer gaben vor der Einschreibung ihre schriftliche informierte Einwilligung ab.

Der FEA-Algorithmus ist eine proprietäre, auf maschinellem Lernen basierende Methode zur Echtzeitanalyse von Gesichtsmikroexpressionen und Oberkörperbewegungen, um emotionale Zustände anhand des Navarasa-Frameworks abzuleiten. Das Navarasa-Framework, abgeleitet von der klassischen indischen Ästhetiktheorie, beschreibt neun primäre Emotionen: shringara (Liebe), haasya (Freude), karuna (Traurigkeit/Besinnlichkeit), adbhuta (Überraschung), shanta (Frieden), raudra (Zorn), veera (Mut), bhayanaka (Angst) und vibhitsa (Ekel). Der FEA-Algorithmus verwendet ein Modell des maschinellen Lernens, das anhand von Gesichtsmikroexpressionen und Oberkörperbewegungen trainiert wurde, die aus Bildern von Darstellern extrahiert wurden, die die neun Navarasa-Emotionen darstellen. Der Algorithmus leitet den emotionalen Zustand einer Person ab, indem er subtile Gesichtsdynamiken und Mikrobewegungen aus visuellen Aufnahmen analysiert, die von einer einzelnen RGB-Kamera erfasst wurden, und erzeugt quantitative Werte für jede der neun primären Emotionen. Diese nichtinvasive Konfiguration ermöglicht eine unaufdringliche, naturalistische emotionale Bewertung und eignet sich daher für eine breite Palette von Forschungs- und Anwendungsbereichen.

Modellentwicklung

Der FEA-Algorithmus basiert auf einer neuronalen Netzwerk-(NN-)Architektur. Der Trainingsdatensatz wurde intern erhoben und umfasst mehrere Stunden aufgezeichnetes Videomaterial indischer Darsteller, die die neun Navarasa-Emotionen darstellen. Der Datensatz wurde aus kontrollierten Videoaufnahmen mehrerer Darsteller/Teilnehmer abgeleitet, wobei für jeden Darsteller/Teilnehmer mehrere Aufnahmen/Tests in verschiedenen hervorgerufenen emotionalen Zuständen durchgeführt wurden. Nach einer Vorverarbeitung, die die Detektion von Gesichtslandmarken, temporale Konsistenzprüfungen, Qualitätsfilterung sowie die Entfernung unbrauchbarer oder unsicherer Einzelbilder umfasste, blieben etwa 25.000 strukturierte Trainingsbeispiele erhalten. Während der Datensatzzusammenstellung wurden die Aufnahmen nach mehr als zehn demografischen und aufnahmebezogenen Parametern stratifiziert, darunter Alter, Geschlecht und andere relevante Merkmale, und gezielt ausgeglichen, um eine gleichmäßige Repräsentation über diese Parameter hinweg zu gewährleisten und demografische Verzerrungen zu minimieren. Die Geschlechterverteilung betrug etwa 52 % männlich und 48 % weiblich. Die Teilnehmer umfassten breit gefächert die Altersgruppen der Jugendlichen und Erwachsenen mit Repräsentanz in jüngeren, mittleren und älteren Erwachsenenkohorten. Die Darsteller/Teilnehmer stammten aus Indien und repräsentierten mehrere indische regionale und kulturelle Hintergründe sowie mehrere in Indien vertretene internationale ethnische Gruppen. Aufgrund proprietärer Beschränkungen können die genaue Anzahl der Darsteller/Teilnehmer, die Identität auf Ebene der Darsteller/Teilnehmer, die exakte Anzahl der Videos/Aufnahmen pro Darsteller, die genaue Anzahl der Einzelbilder sowie die interne Annotationstechnik nicht offengelegt werden, da diese Bestandteil des proprietären Datensatzes und des geistigen Eigentums von Nihilent Ltd. im Bereich Modellentwicklung sind; dieser Umstand wird im Diskussionsteil ausdrücklich anerkannt.

Aus diesen Aufnahmen extrahierte Gesichtsbilder wurden mithilfe von Bildverarbeitungstechniken verarbeitet, um quantitative Merkmale abzuleiten, die anschließend als Eingaben für ein neuronales Netz zur Vorhersage verwendet wurden. Dieses Modell wurde dann an einer Zielgruppe evaluiert, und die gewonnenen Erkenntnisse dienten dazu, nachfolgende Versionen schrittweise zu verbessern. Dieser Zyklus aus Entwicklung, Testen und Verbesserung wurde wiederholt, bis die Modellleistung stabil war. Das endgültige Vorhersagemodell ist als Multilayer-Perzeptron (MLP) implementiert, das aus einer Eingabeschicht mit etwa 300 ausgewählten Merkmalen, versteckten Schichten und einer Ausgabeschicht besteht, die einen neundimensionalen Score-Vektor erzeugt, der den neun Navarasa-Emotionskategorien entspricht. Zunächst wurden mehr als 700 Merkmale aus den erfassten Daten abgeleitet und anschließend durch Verfahren der Merkmalsauswahl und Modelloptimierung reduziert. Der MLP-Ausgabescore wird danach an proprietäre Nachverarbeitungsalgorithmen übergeben, um die endgültigen aggregierten FEA-Algorithmus-Scores zu berechnen. Weitere architektonische Details – einschließlich der genauen Anzahl trainierbarer Parameter und spezifischer Schichtdimensionen – sind proprietär und können nicht offengelegt werden; dies wird als Einschränkung des vorliegenden Berichts anerkannt. Eine detaillierte Beschreibung der Modellentwicklung findet sich im ergänzenden Material (Supplementary File 1 und Supplementary Figure 1).

Während der iterativen Entwicklung wurde die Modellleistung anhand einer Kreuzvalidierung auf dem hauseigenen Datensatz bewertet und erreichte eine kreuzvalidierte Klassifizierungsgenauigkeit von 96 % über alle neun Navarasa-Kategorien hinweg. Anschließend erfolgte eine unabhängige Validierung an mehr als 15.000 Minuten Videodaten. Eine normalisierte 9 × 9-Konfusionsmatrix, die die Klassifizierungsleistung über alle neun Navarasa-Kategorien zusammenfasst, ist im ergänzenden Material enthalten (Supplementary File 1).

Nach der Stabilisierung durchlief das Modell eine kontrollierte interne Validierung unter fachlicher Aufsicht. Dieser Ansatz betont die empirische Validierung durch direkte Tests an menschlichen Probanden, wodurch die Beurteilung der Anwendbarkeit in der Praxis und der Robustheit über verschiedene Populationen hinweg ermöglicht wird. Die Modellentwicklung ist in Abbildung 1 zusammengefasst.

Der Patient Health Questionnaire-9 (PHQ-9) und die Generalized Anxiety Disorder-7 (GAD-7) Skala: Die Teilnehmer füllten Selbstbeurteilungsfragebögen unter Aufsicht eines geschulten Psychologen aus, um ihren aktuellen emotionalen Zustand zu bewerten. Zu den eingesetzten Instrumenten gehörten der Patient Health Questionnaire-9 (PHQ-9) und die Generalized Anxiety Disorder-7 (GAD-7) Skala. Ein Wert über 9 auf einer der beiden Skalen galt als klinisch bedeutsam.

TRENDS

Das Tool for Recognition of Emotions in Neuropsychiatric Disorders (TRENDS) ist ein kulturell validiertes, ökologisch sensibles Instrument, das zur Beurteilung der Fähigkeit zur Erkennung von Gesichtsemotionen entwickelt wurde¹¹. Es wurde für die Anwendung in indischen Populationen validiert und besteht aus 40 Fotografien von Schauspielern, die die universellen Grundemotionen Neutralität, Freude, Angst, Wut und Traurigkeit darstellen. Bilder aus TRENDS wurden als Referenzreize verwendet, um die Emotionsklassifizierungsergebnisse des FEA-Algorithmus zu validieren.

Experimenteller Aufbau

Das Experiment wurde so konzipiert, dass es eine algorithmische Reaktion auf emotionale Reize hervorruft. Für diese Studie wurden zwei Paradigmen zur Hervorriefung von Emotionen entwickelt und verwendet.

Paradigma der TRENDS-Bilder

Im ersten Paradigma wurde zunächst 60 s lang ein leeres Bildschirmfeld angezeigt, gefolgt von der Präsentation emotionaler Reize. Die emotionalen Reize wurden aus dem TRENDS-Instrument ausgewählt. Insgesamt wurden 20 Bilder präsentiert, die Neutralität, Freude, Traurigkeit, Wut und Angst × zwei Geschlechter × zwei Altersgruppen repräsentierten. Jeder Reiz wurde 5 s lang angezeigt. Die gesamte Präsentationsdauer der Reize betrug somit 20 × 5 s, mit einem zusätzlichen 10 s langen Intervall mit leerem Bildschirm zwischen aufeinanderfolgenden Bildern, was eine Gesamtdauer von 300 s ergab. Während jedes 10 s langen Intervalls mit leerem Bildschirm mussten die Teilnehmer die im vorangegangenen Bild dargestellte Emotion identifizieren, indem sie eines von fünf auf dem Bildschirm angezeigten Emotionslabels auswählten.

Navarasa-Paradigma

Ein zweites, analoges Videoparadigma wurde basierend auf dem Navarasa-Rahmenwerk der neun Rasas konstruiert. Insgesamt wurden 18 Bilder präsentiert (neun Emotionen × zwei Geschlechter). Jeder Reiz wurde 5 s lang angezeigt, jeweils mit einem 10-s-Intervall eines leeren Bildschirms zwischen den Bildern, was eine Gesamtdauer von 270 s ergab. Die neun Emotionen wurden in die Kategorien neutral (shanta), angenehm (haasya, veera, shringara, adbhuta) oder unangenehm (Krodha, vibhitsa, bhayanaka, karuna) eingeteilt. Während jedes 10-s-leeren Intervalls mussten die Teilnehmer die in dem vorangegangenen Bild dargestellte Emotion klassifizieren, indem sie eine aus drei auf dem Bildschirm angezeigten Optionen auswählten: neutral, angenehm oder unangenehm. Die neun Navaras wurden in drei Kategorien zusammengefasst, um die Erfassung der Reaktionen der Teilnehmer bei der Emotionsidentifikation zu erleichtern.

Teilnehmer

Gesunde erwachsene Freiwillige wurden aus Arbeitsstätten und Bildungseinrichtungen rekrutiert. Die Einschlusskriterien umfassten Personen im Alter von 18 bis 50 Jahren, unabhängig vom Geschlecht. Ausschlusskriterien waren eine Anamnese mit diagnostizierten psychiatrischen Erkrankungen, neurologischen Störungen, erheblicher Sehbeeinträchtigung oder körperlichen Behinderungen, die Kopf- und Nackenbewegungen einschränkten.

Verfahren

Die Teilnehmer saßen so, dass die Kamera auf Augenhöhe war und in einem Abstand von 60–70 cm positioniert wurde. Im Rahmen der Studie kam der FEA-Algorithmus zum Einsatz. Die Anwendung wurde auf dem Laptop geöffnet, und der Forscher gab die Probanden-ID ein. Während des gesamten Experiments zeichnete der FEA-Algorithmus kontinuierlich Videodaten auf, um anschließend Gesichtsausdrücke und Mikrobewegungen analysieren zu können. Zunächst wurde eine 60 s dauernde Basislinienaufnahme durchgeführt, während der die Teilnehmer angewiesen wurden, sich zu entspannen und keine offensichtlichen expressiven Verhaltensweisen zu zeigen. Nach Abschluss der Basislinienaufnahme wurden die Teilnehmer den beiden Videoparadigmen ausgesetzt (TRENDS-Bilder, gefolgt von Navarasa). Alle Teilnehmer sahen die Paradigmen in derselben festgelegten Reihenfolge, um potenzielle störende Einflüsse durch die Präsentationsreihenfolge zu minimieren; diese feste Reihenfolge könnte jedoch Reihenfolgeneffekte hervorgerufen haben. Während der Aufnahmesitzungen blieb der Forscher außerhalb des Raums, um Ablenkungen zu vermeiden. Von außerhalb des Raums überwachte der Forscher das Experiment remote mithilfe einer mobilen Anwendung. Zwischen den beiden Paradigmen erhielten die Teilnehmer eine kurze Ruhepause (Abbildung 2).

Analyse

Die gesammelten Daten wurden der im Anwendungsbereich eingegebenen Probanden-ID zugeordnet, um die Datenintegrität sicherzustellen. Der FEA-Algorithmus nutzt eine strukturierte, durchgängige Rechenpipeline zur automatischen Emotionsinferenz, die aus fünf Hauptstufen besteht: Videoaufnahme, Merkmalsdetektion und -extraktion, Daten-Vorverarbeitung, Emotionsklassifizierung und Ergebnisinterpretation. Die extrahierten Merkmale durchliefen eine Reihe von Vorverarbeitungsschritten, einschließlich Rauschunterdrückung, Normalisierung über Probanden und Beleuchtungsbedingungen hinweg sowie Interpolation fehlender Bildsequenzen. Zur Verbesserung der Signalstabilität wurde eine zeitliche Glättung angewandt. Die resultierenden Merkmalsvektoren wurden zeitlich synchronisiert, um sie anschließend dem Klassifizierungsmodell zuzuführen. Diese zeitlich ausgerichteten, rauschreduzierten Merkmalsmatrizen dienten als Eingaben für die Emotionsklassifizierungskomponente.

Merkmalsextraktion

Der Extraktionsrahmen verwendet eine algorithmische Pipeline mit mehreren Merkmalsextraktionsstufen, die standardmäßige 2D-Monokular-Videobildfolgen in einen rekonstruierten 3D-Koordinatenraum umwandelt. Anstatt auf die Verfolgung roher 2D-Pixel zu setzen, bildet das System lokalisierte räumliche Koordinaten im Gesicht und im Oberkörperbereich ab. Die abgeleiteten Merkmale lassen sich in drei breite Kategorien einteilen: (i) Regionen der Gesichtslandmarken, die geometrische Beschreibungen der Gesichtsstruktur und -dynamik umfassen (einschließlich Hinweise aus dem Augenbereich und Korrelate von Gesichtsmikroausdrücken, die auf dem Navarasa-Rahmen basieren, welcher wiederum auf dem Natyashastra beruht – dem frühesten formalisierten Rahmen menschlicher emotionaler Ausdrucksformen, der von der UNESCO anerkannt ist); (ii) Kopfhaltungs-Informationen, die Orientierung und Bewegung des Kopfes erfassen; und (iii) Merkmale der Oberkörperbewegung, die die resultierende Bewegung des Oberkörpers erfassen. Spezifische Merkmalsdefinitionen, einschließlich genauer Landmarkenindizes und Schlüsselpunktkennungen, sind proprietär und können nicht vollständig offengelegt werden; dies wird als Einschränkung anerkannt. Das System verwendet keine direkten Labels der Facial Action Coding System (FACS) Aktions-Einheiten; stattdessen leitet es geometrische und zeitliche Merkmale aus Gesichts- und Körperbewegungen ab. Diese 3D-räumlichen Transformationen werden über die Zeit aggregiert, um einen umfassenden Verhaltenszusammenfassungsvektor zu erzeugen, der als Eingabe für den MLP-Klassifikator dient. Insgesamt wurden zunächst mehr als 700 Kandidatenmerkmale aus den erfassten Daten abgeleitet und anschließend durch Merkmalsauswahl und Modell-Optimierung auf etwa 300 ausgewählte Merkmale reduziert. Die strukturelle Pipeline verläuft von der Videoaufnahme über die 2D-zu-3D-Raumrekonstruktion, zeitliche Aggregation und Merkmalsnormalisierung bis hin zur Klassifizierung.

Modell zur Klassifizierung von Emotionen

Die vorverarbeiteten Merkmalsvektoren wurden einer überwachten mehrschichtigen Perzeptron-(MLP-)Neuronalen-Netzwerk-Architektur bereitgestellt, die auf dem hauseigenen annotierten Datensatz für die neun Navarasa-Emotionskategorien trainiert wurde: Śṛṅgāra (Liebe), Hāsya (Freude), Karuṇā (Trauer), Raudra (Zorn), Vīra (Mut), Bhayānaka (Angst), Bībhatsa (Ekel), Adbhuta (Erstaunen) und Śānta (Frieden). Das Modell wurde explizit entwickelt, um räumlich-zeitliche Abhängigkeiten in expressiven Verhaltensdaten zu erfassen. In jedem Zeitschritt erzeugte die Architektur einen Vektor vorhergesagter Emotionsintensitäten für die neun Kategorien.

Nachbearbeitung der Modellergebnisse

Die Rohmodellergebnisse wurden anschließend einer Nachbearbeitung unterzogen, um stabile und interpretierbare Emotionswerte zu erhalten. Es wurden drei aufeinanderfolgende Operationen angewendet: (i) zeitliche Glättung zur Verringerung kurzfristiger Schwankungen, (ii) Normalisierung, um die Vergleichbarkeit über die Zeit und zwischen Emotionsdimensionen sicherzustellen, und (iii) Aggregation, um zusammenfassende Maße über definierte Zeitfenster oder gesamte Sequenzen abzuleiten. Die Nachbearbeitungsverfahren gewährleisten die Vergleichbarkeit zwischen Probanden und kontrollieren individuelle Basislinienunterschiede.

Ausgabeinterpretation und Visualisierung

Der FEA-Algorithmus erzeugt quantitative und visuelle Darstellungen emotionaler Dynamiken, die aus Videodaten abgeleitet werden. Die beiden primären Ausgabeformen sind zeitliche Emotionsverläufe. Emotionsintensitätswerte werden als Zeitreihendiagramme dargestellt, die die Entwicklung jeder Emotion während des gesamten Videos zeigen. Diese Darstellung bietet eine kontinuierliche Übersicht über affektive Schwankungen und erleichtert die Untersuchung vorübergehender Veränderungen, maximaler Aktivierungen sowie Erholungs- oder Deeskalationsphasen emotionaler Erregung. Vergleichende Emotionsscores: Zusammengefasste Emotionswerte für jede der neun Navarasa-Kategorien werden als vergleichende Score-Diagramme angezeigt, die die relative Stärke jeder Emotion im analysierten Zeitintervall veranschaulichen. Diese vergleichenden Visualisierungen ermöglichen direkte Vergleiche zwischen Emotionen und liefern eine prägnante Zusammenfassung des gesamten affektiven Profils. Die beim Ausgangszustand generierten FEA-Algorithmscores wurden auf etwaige Ausreißer oder fehlende aussagekräftige Veränderungen überprüft, was auf eine unzureichende Aufnahme hindeuten würde.

Statistische Analyse

Die Bewertungen für die neun Emotionsdomänen der Navarasa, die vom FEA-Algorithmus im 10-s-Intervall nach jeder Bildpräsentation im Paradigma generiert wurden, wurden als Zielvariablen behandelt. FEA-Algorithmus-Bewertungen wurden für jede Sekunde im 10-s-Fenster (T0, T1, T2… T9) erzeugt. Die FEA-Algorithmus-Bewertung zu T0 galt als Basislinienbewertung. Die höchste FEA-Algorithmus-Bewertung unter den Aufzeichnungen von T1–T9 wurde als Tmax definiert. Die Veränderung der FEA-Algorithmus-Bewertung gegenüber der Basislinie (Tmax − T0) wurde berechnet und als Zielvariable in den Analysen verwendet. Die Veränderung der FEA-Algorithmus-Bewertungen über die Zeitreihe für jede Emotion ist in Abbildung 3A–D dargestellt.

Bei den TRENDS-Bildern wurden die entsprechenden Ziel-Emotionskategorien wie folgt zugeordnet: Shanta > Neutral; Haasya > Freude; Krodha > Wut; und Bhayanaka > Angst. Bei den Navarasa-Bildern wurden die FEA-Algorithmus-Scores in drei zusammengesetzte Kategorien gruppiert und gemittelt: neutral (Shanta), angenehm (Haasya, Veera, Shringara, Adbhuta) und unangenehm (Krodha, Vibhitsa, Bhayanaka, Karuna).

Sowohl Analysen auf Gruppenebene als auch auf Ebene der Versuchspersonen wurden durchgeführt.

Analyse auf Gruppenebene: Für jede der oben beschriebenen Emotionskategorien wurde die Veränderung des FEA-Algorithmus-Scores vom Ausgangswert bis Tmax mithilfe abhängiger t-Tests verglichen. Eine signifikante Veränderung des FEA-Algorithmus-Scores gegenüber dem Ausgangswert würde auf eine gute Übereinstimmung mit der Emotionserkennung hindeuten. Ein signifikanter Unterschied weist jedoch nicht zwangsläufig auf eine hohe Klassifikationsgenauigkeit hin.

Analyse auf Ebene der Versuchspersonen: Jede Erhöhung eines Emotionsdomänenwerts gemäß dem FEA-Algorithmus gegenüber dem Basiswert wurde als positive emotionale Reaktion klassifiziert. Anschließend wurden Genauigkeitskennzahlen abgeleitet – Sensitivität und Spezifität. Sensitivität und Spezifität quantifizieren jeweils die Wahrscheinlichkeit, dass der Test positiv ist, wenn die Zielbedingung vorliegt (+), und negativ, wenn sie nicht vorliegt (−). Wenn beide Schätzungen dem Wert 1 nahekommen, weist der Test eine hohe diagnostische Genauigkeit auf. Die geschätzte Sensitivität und Spezifität wurden definiert als die Anteile der Teilnehmer mit beziehungsweise ohne die Referenzbedingung (Navarasa-Ausdrücke), die korrekt klassifiziert wurden.

Ein Proband galt als positiv (+) für die Zielbedingung, wenn er mindestens 75 % der dargestellten Emotionen korrekt identifizierte. Diese Klassifizierung basierte auf Validierungsstudien zu TRENDS, bei denen eine Genauigkeit von 60–80 % als ausreichende diskriminative Validität angesehen wurde. Eine Receiver-Operating-Characteristic-(ROC)-Analyse für einen kontinuierlichen Prädiktor wurde durchgeführt, um die Fläche unter der Kurve (AUC) sowie die entsprechenden Werte für Sensitivität und Spezifität zu schätzen. Eine Sensitivität über 80 % wurde als guter diskriminativer Wert eingestuft, unter 80 % als mäßig.

Ergebnisse

Die Studie untersuchte Variationen der FEA-Algorithmus-Scores als Reaktion auf emotionsauslösende Reize und bewertete die diagnostische Leistung des FEA-Algorithmus mittels ROC-Analyse (Receiver Operating Characteristic). Für die Studie wurden 72 gesunde Probanden rekrutiert. Das durchschnittliche (SD) Alter betrug 31,9 (11,9) Jahre, die Stichprobe umfasste 26 Männer und 46 Frauen. Alle Teilnehmer verfügten über mindestens zehn Jahre Schulbildung und waren indischer Ethnie. Die mittleren (SD) PHQ-9- und GAD-7-Scores lagen bei 4,4 (4,8) bzw. 4,7 (4,5).

Änderungen der FEA-Algorithmus-Scores als Reaktion auf emotionale Reize: Die aus dem FEA-Algorithmus abgeleiteten Messwerte zeigten statistisch signifikante Veränderungen von der Ausgangsbasis (T0) bis Tmax, wie durch gepaarte t-Tests für beide Stimulusbedingungen – TRENDS-Bilder und Navarasa – ermittelt wurde (p < 0,001; Tabelle 1, Abbildung 4, Tabelle 2 und Abbildung 5).

Diagnostische Genauigkeit des FEA-Algorithmus: Die diagnostische Leistung des FEA-Algorithmus wurde mittels Analyse der Receiver-Operating-Characteristic-(ROC)-Kurve bewertet, wobei die Fläche unter der Kurve (AUC) für unterschiedliche emotionale Zustände berechnet wurde (Tabelle 3). Die höchste AUC ergab sich für den FEA-Algorithmus-Score im Zusammenhang mit dem Shanta-Zustand als Reaktion auf neutrale Gesichts-Emotionsreize (AUC = 0,665), gefolgt von der positiven Emotion Freude (AUC = 0,637) (Abbildung 6). Die Sensitivität für neutrale und positive Emotionen (glücklich, angenehm) lag bei 70–80 %, während die Sensitivität für negative Emotionen (Wut, Angst, unangenehm) bei 60–70 % lag. Diese Sensitivitätswerte liegen unter 80 % und weisen auf eine bescheidene Diskriminierungsleistung hin.

Korrelation zwischen FEA-Algorithmus-Scores und PHQ-9- sowie GAD-7-Scores: Es wurden keine signifikanten Korrelationen zwischen den FEA-Algorithmus-Scores und den PHQ-9- oder GAD-7-Scores beobachtet.

VERFÜGBARKEIT VON DATEN:

Alle Rohdaten sind in Zusatzdatei 2 enthalten.

Abbildung 1: Schematische Darstellung der Pipeline zur Entwicklung des FEA-Algorithmusmodells. Das Schema zeigt den internen Videodatensatz indischer Schauspieler beider Geschlechter, bei dem eine Extraktion von Einzelbildern und Merkmalen in drei Kategorien erfolgt: Gesichtslandmarkenbereiche (einschließlich aus Natyashastra/Navarasa abgeleiteter Augen- und mikroexpressiver Gesichtssignale), Kopfhaltungsdaten und Oberkörperbewegungen. Diese werden zu einem einzigen Merkmalsvektor zusammengefasst und an einen mehrschichtigen Perzeptron-Klassifikator (MLP) übergeben. Die MLP-Ausgabe durchläuft eine proprietäre Nachbearbeitung (zeitliche Glättung, Normalisierung und Aggregation; gestrichelter orangefarbener Kasten), bevor die endgültige Neun-Kategorien-Navarasa-Vorhersage generiert wird. Durchgezogene blaue Kästen kennzeichnen Verarbeitungsschritte; schattierte blaue Kästen bezeichnen Merkmalskategorien; der gestrichelte orangefarbene Kasten steht für einen proprietären Verarbeitungsschritt, dessen interne Parameter nicht offengelegt werden können. Da es sich hierbei um ein prozessbezogenes Schema und nicht um eine Datenauftragung handelt, sind Fehler- und Maßstabsbalken nicht anwendbar. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 2: Ablauf des FEA-Algorithmen-Experiments. Flussdiagramm, das die aufeinanderfolgenden Phasen des experimentellen Protokolls darstellt: halbstrukturierte klinische Beurteilung (PHQ-9, GAD-7); Platzierung der Teilnehmer mit der Kamera auf Augenhöhe, 60–70 cm vom Teilnehmer entfernt; eine 60 s dauernde Basismessung; das TRENDS-Emotionsbild-Paradigma (20 Bilder über fünf Emotionskategorien; 5 s Stimulusdarbietung und 10 s Antwortintervall pro Bild; insgesamt 300 s); eine kurze Ruhepause; und das Navarasa-Emotionsbild-Paradigma (18 Bilder über neun Navarasa-Kategorien; 5 s Stimulusdarbietung und 10 s Antwortintervall pro Bild; insgesamt 270 s). Pfeile zeigen die zeitliche Abfolge der Verfahren von der Rekrutierung bis zum Abschluss der Datenaufnahme an. Da es sich hierbei um ein Prozessflussdiagramm und nicht um eine Datenabbildung handelt, sind Fehlerbalken und Maßstabsbalken nicht anwendbar. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 3: Zeitreihenänderung der FEA-Algorithmus-Scores als Reaktion auf entsprechende TRENDS-Emotionsbilder (T0 bis T9 s). Vier Felder (A–D) zeigen die gruppenbasierte, sekündliche Trajektorie des FEA-Algorithmus-Scores (y-Achse; willkürliche Score-Einheiten, generiert durch den proprietären Bewertungsalgorithmus) über das 10-s-Poststimulus-Fenster hinweg (x-Achse; T0 = Score zum Zeitpunkt des Stimulusendes/Baseline für diesen Durchlauf, T1–T9 = jede nachfolgende Sekunde) für (A) den Shanta-Bereich nach neutralen Bildern, (B) den Haasya-Bereich nach glücklichen Bildern, (C) den Bhayanaka-Bereich nach Angstbildern und (D) den Krodha-Bereich nach Wutbildern (n = 72 Teilnehmer pro Panel). Datenpunkte/Linien stellen die Gruppenmittelwerte zu jedem Zeitpunkt dar; Fehlerbalken/geschattete Bänder zeigen die Standardabweichung (SD) über alle Teilnehmer hinweg an. Maßstäbe sind für dieses Liniendiagramm im Zeitreihenformat nicht anwendbar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4: Balkendiagramm, das die mittlere Veränderung der FEA-Algorithmus-Scores als Reaktion auf das Betrachten der TRENDS-Emotionsbilder zeigt. Die Balken stellen die durchschnittliche Gruppenveränderung des FEA-Algorithmus-Scores (Tmax −T0; y-Achse, willkürliche Score-Einheiten) für jede der vier TRENDS-zugeordneten Emotionskategorien (Shanta/Neutral, Haasya/Freude, Krodha/Wut, Bhayanaka/Angst; x-Achse) dar (n = 72). Die Fehlerbalken zeigen die Standardabweichung (SD) der Veränderungsscores innerhalb jeder Kategorie an. Alle vier Kategorien zeigten im gepaarten t-Test eine statistisch signifikante Abweichung vom Ausgangswert (p < 0,001; siehe Tabelle 1). Skalierbalken sind für dieses Balkendiagramm-Format nicht anwendbar. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 5: Balkendiagramm, das die mittlere Veränderung der FEA-Algorithmus-Scores als Reaktion auf die Betrachtung von Navarasa-Emotionsbildern zeigt. Die Balken stellen die mittlere Gruppenveränderung des FEA-Algorithmus-Scores (Tmax − T0; y-Achse, willkürliche Score-Einheiten) für die drei zusammengesetzten Navarasa-Kategorien dar – neutral (Shanta), angenehm (Mittelwert aus Haasya, Veera, Shringara, Adbhuta) und unangenehm (Mittelwert aus Krodha, Vibhitsa, Bhayanaka, Karuna) (x-Achse) (n = 72). Die Fehlerbalken zeigen die Standardabweichung (SD) der Veränderungsscores innerhalb jeder Kategorie. Alle drei Kategorien zeigten eine statistisch signifikante Veränderung gegenüber dem Ausgangswert im gepaarten t-Test (p < 0,001; siehe Tabelle 2). Skalierbalken sind für dieses Balkendiagrammformat nicht anwendbar. Bitte klicken Sie hier, um eine vergrößerte Darstellung dieser Abbildung anzusehen.

Abbildung 6: ROC-Kurve (Receiver Operating Characteristic), die die Sensitivität bei verschiedenen Schwellenwerten des FEA-Algorithmus Shanta-Score als Reaktion auf neutrale Emotionsbilder zeigt. Die y-Achse stellt die Sensitivität (Anteil der richtigen Positiven, %) dar, die x-Achse 1 − Spezifität (Anteil der falschen Positiven, %), aufgetragen über den Bereich möglicher Shanta-Score-Schwellenwerte; die diagonale Referenzlinie repräsentiert die Diskriminierung auf Zufallsniveau (AUC = 0,5). Die Fläche unter der Kurve (AUC) beträgt 0,665 (siehe Tabelle 3 für AUC-, Sensitivitäts- und Spezifitätswerte aller Emotionskategorien). Fehlerbalken und Maßstabsbalken sind für dieses Kurvenformat nicht anwendbar. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Emotion (TRENDS-Stimuli)	Mittelwert T0	Mittelwert Tmax	Mittlere Differenz	p-Wert
Neutral – Shanta	0.2261	0.2664	0.0403	<0.001
Freude – Haasya	0.0834	0.1127	0.0294	<0.001
Angst – Bhayanaka	0.0648	0.0848	0.02	<0.001
Wut – Raudra	0.0901	0.1108	0.0207	<0.001

Tabelle 1: Mittelwerte der T0- und Tmax-Werte der FEA-Algorithmus-Scores als Reaktion auf die Betrachtung der TRENDS-Emotionsreize. Für jede TRENDS-zugeordnete Emotionskategorie (Shanta/Neutral, Haasya/Freude, Krodha/Wut, Bhayanaka/Angst) enthält die Tabelle die mittleren FEA-Algorithmus-Scores (± SD) zum Zeitpunkt der Grundlinie (T0) und zum innerhalb des Durchlaufs maximalen Zeitpunkt (Tmax), die mittlere Veränderung (Tmax − T0) sowie das Ergebnis des gepaarten t-Tests (p-Wert) zum Vergleich von T0 und Tmax (n = 72). Alle Werte sind in willkürlichen FEA-Algorithmus-Score-Einheiten angegeben; ein p < 0,05 wurde als statistisch signifikant angesehen.

Emotionskategorie (Navarasa-Stimuli)	Mittelwert T0	Mittelwert Tmax	Mittlere Differenz	p-Wert
Neutral – Shanta	0.24	0.29	0.047	<0.001
Angenehm (Haasya, Veera, Shringara, Adbhuta)	0.034	0.045	0.011	<0.001
Unangenehm (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

Tabelle 2: Mittelwerte der T0- und Tmax-Werte der FEA-Algorithmus-Scores als Reaktion auf die Wahrnehmung von Navarasa-Emotionsreizen. Für jede zusammengesetzte Navarasa-Kategorie (neutral, angenehm, unangenehm) werden in der Tabelle die mittleren FEA-Algorithmus-Scores (± SD) der Gruppe zum Zeitpunkt der Grundlinie (T0) und zum innerhalb des Versuchs erreichten Maximums (Tmax), die mittlere Veränderung (Tmax − T0) sowie das Ergebnis des gepaarten t-Tests (p-Wert) zum Vergleich von T0 und Tmax (n = 72) angegeben. Alle Werte werden in willkürlichen FEA-Algorithmus-Score-Einheiten angegeben; ein p < 0,05 wurde als statistisch signifikant betrachtet.

Panel A: TRENDS-Reize
TRENDS-Reize	AUC	95 % KI	Schwellenwert Δ Emoscape-Score	Sensitivität (%)	Spezifität (%)
Neutral – Shanta	0.665	0.456–0.873	0.065	82,5	50
Freude – Haasya	0.637	0.493–0.780	0,0345	70,7	46,2
Angst – Bhayanaka	0.583	0.446–0.721	0,018	61,2	54,5
Wut – Raudra	0.532	0.374–0.689	0,023	67,3	45,5
Panel B: Navarasa-Reize
Navarasa-Reize	AUC	95 % KI	Schwellenwert Δ Emoscape-Score	Sensitivität (%)	Spezifität (%)
Shanta (Neutral)	0.596	0.412–0.779	0,03	85,7	44,6
Angenehm (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0,012	70,2	40
Unangenehm (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0,007	67,8	38

Tabelle 3: Fläche unter der Kurve (AUC), Sensitivität und Spezifitätswerte der FEA-Algorithmus-Scores nach Emotionskategorie. Für jede mit der Receiver-Operating-Characteristic-(ROC)-Analyse bewertete Emotionskategorie enthält die Tabelle die AUC, die Sensitivität (%) und die Spezifität (%). Eine Sensitivität ≥ 80 % wurde a priori als Hinweis auf eine gute Diskriminationsfähigkeit festgelegt; Werte unterhalb dieser Schwelle wurden als mäßig eingestuft (siehe Statistische Analyse).

Abbildung 1, Zusatzmaterial: Normalisierte Konfusionsmatrix für das Neun-Klassen-Navarasa-Emotionsklassifizierungsmodell. Zeilen repräsentieren die tatsächliche (wahre) Emotionsklasse und Spalten repräsentieren die vom Modell vorhergesagte Emotionsklasse; die Zellenwerte geben den Anteil der Instanzen der wahren Klasse an, die jeder vorhergesagten Klasse zugeordnet wurden, normiert auf eine Skala von 0 bis 1 (Farbleiste rechts). Die Klassenbezeichnungen (1–9) entsprechen den neun Emotionskategorien des Navarasa; aufgrund von Schutzrechten wird die genaue Zuordnung von Zahlen zu Emotionen nicht offengelegt. Die gesamte, mittels Kreuzvalidierung ermittelte Klassifizierungsgenauigkeit über alle neun Kategorien betrug 96 %. Fehlerbalken sind für dieses Matrixformat nicht anwendbar.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 1: Beschreibung der Entwicklung des FEA-Algorithmus-Modells (enthält interne Validierungsmetriken, kreuzvalidierte Genauigkeit und eine 9 × 9 Navarasa-Konfusionsmatrix).Bitte klicken Sie hier, um diese Datei herunterzuladen.

Zusatzdatei 2: Datei mit Rohdaten.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Diese Studie hatte die vorläufige Validierung des FEA-Algorithmus zum Ziel, indem die Übereinstimmung zwischen den mittels des FEA-Algorithmus ermittelten Bewertungen und den Reaktionen auf standardisierte emotionale Gesichtsreize bei gesunden erwachsenen Probanden untersucht wurde. Diese ersten Ergebnisse deuten darauf hin, dass der FEA-Algorithmus statistisch nachweisbare Veränderungen als Reaktion auf emotionsauslösende visuelle Reize in verschiedenen diskreten Emotionskategorien aufweist, darunter neutral (shanta), Freude (haasya), Angst (bhayanaka) und Wut (raudra), sowie umfassendere Klassifikationen angenehmer und unangenehmer Zustände. Dies legt nahe, dass die Bewertungen des FEA-Algorithmus mit den Reaktionen auf emotionale Reizaufgaben übereinstimmen.

Die Empfindlichkeit des FEA-Algorithmus lag bei neutralen oder positiven Emotionen zwischen 70 % und 80 %, bei negativen Emotionen zwischen 60 % und 70 %. Diese Empfindlichkeitswerte sind für einen Test, der als Screening-Maßnahme eingesetzt werden soll, bescheiden¹². Im Vergleich dazu berichten umfassendere, auf maschinellem Lernen basierende Modelle zur Emotionsinferenz, die neurophysiologische Marker wie die Elektroenzephalographie (EEG) nutzen, von Klassifizierungsgenauigkeiten bis zu 90 %¹³. Ein Ensemble-Klassifizierungssystem zur Emotionsklassifizierung anhand von EEG und GSR zur Autismuserkennung hat eine Erkennungsgenauigkeit von 99,97 % gezeigt¹⁴. Solche Modelle sind jedoch tendenziell rechenintensiver und erfordern eine Offline-Verarbeitung. Im Gegensatz dazu liegt eine bemerkenswerte Stärke des FEA-Algorithmus in seinem Fokus auf beobachtbaren Gesichts- und Körpersignalen, wodurch ein Betrieb in Echtzeit ermöglicht wird.

Das FEA-Algorithmus-Verfahren hängt von mehreren prozeduralen Faktoren ab, die für die Qualität und Zuverlässigkeit der FEA-Algorithmus-Aufnahmen entscheidend sind. Dazu gehören die Kameraposition und die Umgebungsbeleuchtung. Aufnahmen, die unter inkonsistenter oder schwacher Umgebungsbeleuchtung durchgeführt werden, können die Qualität der Merkmalsextraktion erheblich beeinträchtigen. Die Positionierung von Kopf und Körper muss während jeder Aufnahmesitzung stabil bleiben; Teilnehmer mit eingeschränkter Kopf- oder Nackenbeweglichkeit wurden daher ausgeschlossen. Es ist entscheidend, Verhaltensstörungen während der Aufnahme zu minimieren. Die Teilnehmer saßen allein, während der Forscher den Raum verlassen hatte, um soziale Erwünschtheitseffekte und Selbstüberwachung zu reduzieren, die natürliche Gesichtsausdrücke unterdrücken könnten.

Die Einbindung des Navarasa-Rahmenwerks ermöglicht eine kultursensible Klassifizierung von Emotionen. Die Studie wandte einen Theory-of-Mind-(ToM)-Ansatz an, um Veränderungen der FEA-Algorithmus-Scores als Reaktion auf emotionale Reize zu bewerten. ToM stellt eine soziale kognitive Funktion höherer Ordnung dar, und ihre neurobiologischen Substrate sind in der Literatur dokumentiert¹⁵, was die biologische Plausibilität der beobachteten Veränderungen der FEA-Algorithmus-Scores unterstützt.

Es wurde keine Korrelation zwischen den FEA-Algorithmus-Scores und den Werten für Depression oder Angst gefunden, was darauf hindeutet, dass die inneren emotionalen Zustände der Teilnehmer die Aufzeichnungen des FEA-Algorithmus wahrscheinlich nicht beeinflusst haben. Es ist jedoch schwierig, die emotionalen Zustände der Teilnehmer während des Experiments vollständig zu kontrollieren. Zudem könnte eine top-down-kognitive Verarbeitung natürliche emotionale Reaktionen hemmen, insbesondere als Reaktion auf negative emotionale Reize. Zukünftige Studien sollten die subjektiven Erlebnisse der Teilnehmer beim Betrachten emotionaler Reize erfassen, da dies weiter bestätigen könnte, ob passives Betrachten tatsächlich einen subjektiven emotionalen Zustand hervorruft. Die bescheidene Sensitivität des FEA-Algorithmus könnte möglicherweise durch zusätzliche neurophysiologische Daten, wie EEG, Herzfrequenzvariabilität (HRV) oder galvanische Hautreaktion (GSR), verbessert werden. Dies sollte in zukünftigen Validierungsstudien überprüft werden. Die Validierung erfolgte an einer gesunden erwachsenen Population. Die Eignung des FEA-Algorithmus zur Beurteilung subjektiver emotionaler Zustände bei klinischen Erkrankungen wie Depression und Angst erfordert weitere Untersuchungen im Rahmen von Fall-Kontroll-Studien.

Mehrere Einschränkungen der vorliegenden Studie müssen anerkannt werden. Die proprietäre Natur des FEA-Algorithmus schränkt die Transparenz seiner Verarbeitungspipeline ein. Insbesondere können die genaue Anzahl der Akteure/Teilnehmer, die Identität auf Ebene der Akteure/Teilnehmer, die exakte Anzahl der Videos/Aufnahmen pro Akteur, die genauen Merkmalsdefinitionen (Landmark-Indizes und Keypoint-Identifikatoren) sowie detaillierte architektonische Parameter des MLP (genaue Schichtdimensionen und Parameteranzahlen) nicht offengelegt werden. Die internen Validierungsmetriken (kreuzvalidierte Genauigkeit von 96 %; unabhängige Validierung an >15.000 Minuten Video) sind im ergänzenden Material angegeben. Die Klassenbezeichnungen, die Emotionsnamen repräsentieren, sind aus proprietären Gründen anonymisiert. Wir erkennen an, dass diese Einschränkungen die unabhängige Reproduzierbarkeit beeinträchtigen.

Die Studie zeigte eine Übereinstimmung zwischen den FEA-Algorithmen-Scores und der Genauigkeit der Emotionserkennung bei gesunden Erwachsenen, wobei eine moderate Sensitivität bei der Unterscheidung zwischen emotionalen Zuständen festgestellt wurde. Dies liefert eine vorläufige Validierung des FEA-Algorithmus, eines proprietären, auf maschinellem Lernen basierenden Algorithmus, der Mikrobewegungen des Oberkörpers analysiert und dynamische Darstellungen emotionaler Verläufe sowie aggregierte Scores für jede der neun Rasas auf Grundlage des Navarasa-Frameworks generiert. Zukünftige Versionen des Algorithmus sollten darauf abzielen, seine Diskriminierungsfähigkeit über alle emotionalen Kategorien hinweg zu verbessern, indem zusätzliche physiologische oder kontextuelle Daten einbezogen werden. Eine Validierung in breiteren klinischen Populationen erfordert weitere Untersuchungen.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Emoscape	Nihilent Ltd, Pune	1	Entwickler von Emoscape
Manoshanti-Zentren für emotionales Wohlbefinden	GNR Health Care Pvt. Ltd.	2	Klinischer und Forschungspartner
Werkzeug zur Erkennung von Emotionen bei neuropsychiatrischen Störungen	Urheberrecht beim entsprechenden Autor der Studie	3	Werkzeug, das zur Validierung in der Studie verwendet wurde