健常成人における感情誘発タスク中の表情および動作解析アルゴリズムの予備的妥当性確認

サマリー

本研究では、感情刺激タスク中の反応を検出するための独自のマシンラーニングアルゴリズムであるFEAアルゴリズムを予備的に検証します。健康な成人を対象に、Navarasaフレームワークを用いた標準化された顔面感情刺激とFEAアルゴリズムのスコアとの一致性を検討し、制御された実験条件下で本システムが感情に関連する反応を信頼性高く反映しているかを評価します。

要約

本プロトコルは、Navarasaフレームワークに基づく独自の機械学習アルゴリズムであるEmoscapeを用いて、健康な成人における標準的な感情喚起タスクに伴い感情スコアが一致して変化するかを検証し、予備的な妥当性を確認することを目的として設計されました。書面によるインフォームドコンセントを得た健康な成人72名を被験者として募集しました。参加者は患者健康質問票-9（PHQ-9）および全般性不安障害-7（GAD-7）に回答した後、TRENDSセットの表情感情刺激およびNavarasa画像を視聴し、その間、FEAアルゴリズムによって上半身の微小運動が記録されました。また、参加者は提示された感情を識別しました。TRENDSの「中立」、「喜び」、「恐怖」、「怒り」の刺激、およびNavarasa画像の提示時における、ベースラインからのFEAアルゴリズムスコアの変化を分析しました。感情カテゴリー間の識別の感度と特異度を推定するために、受信者動作特性（ROC）分析を用いました。FEAアルゴリズムのスコアは、対応する感情にマッピングされたTRENDS画像（中立-Shanta、喜び-Haasya、恐怖-Bhayanaka、怒り-Raudra）において、ベースラインから有意な偏差を示しました。Navarasa画像においても一致した変化が観察され、すべての平均差に統計的有意性が認められました（p < 0.001）。曲線下面積（AUC）の値はカテゴリーによって異なりました。FEAアルゴリズムは、快感情（70–80%）および不快感情（60–70%）に対して中程度の感度を示しました。これらの知見は、本プロトコル、および健康な成人における制御された感情喚起タスク中の感情関連反応を評価するためのFEAアルゴリズムの使用を予備的に支持するものです。

概要

感情認識は、社会認知神経科学における重要な研究領域であり、臨床および研究への応用が期待されています。既存の感情評価手法では、脳波（EEG）や皮膚電気活動（GSR）などの生理学的活動の変化を定量化することで感情状態を推定しますが、これらの手法は複雑で侵襲的です。一方、顔や身体の動きを直接測定することで、個人の情動状態をより直接的かつ客観的に指標化できます^1,2,3。こうした微細な非言語的信号を解読し、感情状態を分類するために、機械学習（ML）アルゴリズム、特に表情に関する大規模かつ不均一なデータセットで学習させたアルゴリズムが用いられています。サポートベクターマシン（SVM）などの従来のMLアルゴリズムも広く利用されていますが、ディープラーニングアーキテクチャ、とりわけニューラルネットワーク（NN）は^4,5、自動的な特徴抽出能力を備えているため、特に大規模データセットで学習させた場合に優れた性能を示しています⁶。インドにおける従来モデルの一例として、バレンスに基づく次元モデルを採用して覚醒度を判定するインタラクティブツールがあります。感情認識のフレームワークは、文化的背景に配慮したものである必要があります。インドの文化的環境において、Navarasaフレームワークは9つの基本感情に関する詳細な分類を提供していますが、ML主導の感情認識研究においてはほとんど検証されていません。顔の微細表情や身体の動きといった観察可能な行動の手がかりを直接分析する、厳密に検証されたMLアプローチは相対的に不足しています^7,8。このような表情駆動型のMLアルゴリズムは、リアルタイムでの利用が可能であり、実施が容易で、非侵襲的です。

表情および動作解析アルゴリズム［以下、FEAアルゴリズムと称する］は、顔の微細表情と上半身の動きを解析し、Navarasaフレームワークに基づいた9つのラサ（rasas）それぞれの集約スコアと感情軌跡のダイナミックな表現を生成する、独自の機械学習（ML）ベースのアルゴリズムである。本研究では、健康な成人ボランティアを対象に、FEAから導出されたスコアと標準化された顔の感情刺激に対する反応との一致度を検討することで、FEAアルゴリズムの予備的な妥当性検証を行うことを目的とした。

この目的を達成するために、我々は心の理論（ToM）およびミラーニューロンシステムの概念を利用します。ToMは、社会的な文脈において他者の精神的および感情的な状態を推論し、解釈することを可能にする核心的な社会認知能力です⁹。実証的な証拠によれば、顔の感情刺激にさらされることでミラーニューロンネットワークが活性化され、それが観察者に調和した共感的な感情状態を誘発することが示唆されています¹⁰。感情的な顔の表情を観察することに応じて個人の内部的な主観的感情状態に生じる変動がFEAアルゴリズムによって捉えられれば、それは同アルゴリズムの予備的な検証となり得ます。

特定のNavarasaカテゴリーに対応する顔の感情刺激への曝露により、そのNavarasa感情におけるFEAアルゴリズムスコアがベースラインから統計的に有意に逸脱すると仮定します。

プロトコル

本研究プロトコルは、インド、カルナータカ州ハバルリのSushruta Hospitals倫理委員会（EC登録番号：ECR/372/INST/KA/2013/RR-19）によって承認され、登録前にすべての参加者から書面によるインフォームドコンセントを得た。

FEAアルゴリズムは、Navarasaフレームワークを用いて、顔の微小表情と上半身の動きをリアルタイムで分析し、感情状態を推論するための独自のMLベースの手法です。古典的なインドの美学理論に由来するNavarasaフレームワークでは、9つの主要な感情、すなわちshringara（愛）、haasya（喜び）、karuna（悲しみ/沈思）、adbhuta（驚き）、shanta（平穏）、raudra（怒り）、veera（勇気）、bhayanaka（恐怖）、vibhitsa（嫌悪）を定義しています。FEAアルゴリズムは、Navarasaの9つの感情を演じる俳優の画像から抽出された顔の微小表情と上半身の動きで学習させた機械学習モデルを使用します。このアルゴリズムは、単一のRGBカメラで捉えた視覚入力から、顔の微妙なダイナミクスと微小な動きを分析することで個人の感情状態を推論し、9つの主要な感情それぞれに対して定量的なスコアを生成します。この非侵襲的な構成により、目立たず自然な感情評価が可能となり、幅広い研究および応用場面への適応が可能となります。

モデルの開発

FEAアルゴリズムは、ニューラルネットワーク（NN）アーキテクチャに基づいています。トレーニングデータセットは自社で収集したもので、9つのナヴァラサ（Navarasa）の感情を演じるインド人俳優の数時間にわたる録画ビデオデータで構成されています。このデータセットは、複数の俳優・被験者の管理されたビデオ録画から派生しており、各俳優・被験者に対して、誘発された異なる感情状態で複数回の録画・テストが行われました。顔のランドマーク検出、時間的一貫性のチェック、品質フィルタリング、および使用不可または信頼性の低いフレームの除去を含む前処理を経て、約25,000個の構造化されたトレーニングサンプルが保持されました。データセットのキュレーションにおいて、録画内容は年齢、性別、その他の関連属性を含む10以上の人口統計学的および録画関連のパラメータで層別化され、これらのパラメータにわたって公平な表現を実現し、人口統計学的バイアスを最小限に抑えるために意図的にバランスが調整されました。性別分布は、男性約52％、女性約48％に維持されました。被験者は概ね思春期および成人年齢層をカバーしており、若年、中年、および高齢の成人コホートが代表されていました。俳優・被験者はインドを拠点とし、インドの複数の地域的・文化的背景、およびインドに存在する複数の国際的な民族を代表していました。機密保持上の制限により、俳優・被験者の正確な人数、個々の識別情報、俳優ごとの正確なビデオ/録画数、正確なフレーム数、および内部アノテーション手法は開示できません。これらはNihilent Ltd.の機密データセットおよびモデル開発の知的財産の一部を構成しているためです。この制限については、考察（Discussion）セクションで明示的に認められています。

これらの記録から抽出した顔画像は、画像処理技術を用いて定量的特徴を導出し、その後、予測のためのニューラルネットワークへの入力として使用されました。このモデルをターゲット集団で評価し、得られた知見を用いて後続のバージョンを反復的に洗練させました。この開発、テスト、および改善のサイクルを、モデルの性能が安定するまで繰り返しました。最終的な予測モデルは、約300個の選択された特徴量を持つ入力層、隠れ層、および9つのNavarasa感情カテゴリに対応する9次元のスコアベクトルを生成する出力層で構成される多層パーセプトロン（MLP）として実装されています。当初はキャプチャされたデータから700以上の特徴量が導出されましたが、その後、特徴選択およびモデル最適化の手順を通じて削減されました。MLPの出力スコアは、その後、独自の後処理アルゴリズムに渡され、最終的な集約FEAアルゴリズムスコアが導出されます。学習可能なパラメータの正確な数や特定の層の次元を含む詳細なアーキテクチャについては、機密情報であるため開示できません。これは本レポートの制限事項として認められています。モデル開発の詳細な説明は、補足資料（Supplementary File 1 および Supplementary Figure 1）に記載されています。

反復的な開発において、社内データセットを用いた交差検証によりモデルの性能を評価した結果、9つのNavarasaカテゴリー全体で96%の交差検証分類精度を達成した。その後、15,000分以上のビデオデータを用いて独立した検証を実施した。9つのNavarasaカテゴリー全般にわたる分類性能をまとめた正規化9 × 9混同行列を、補完資料（Supplementary File 1）に提示している。

安定化後、モデルは専門家の監督下で制御された内部検証を受けた。このアプローチでは、ヒト被験者による直接的な試験を通じた経験的検証を重視しており、これにより、多様な集団における実世界での適用可能性と堅牢性の評価が可能となる。モデルの開発概要は図1にまとめられている。

患者健康質問票-9 (PHQ-9) および全般性不安障害-7 (GAD-7) 尺度： 参加者は、現在の感情状態を評価するため、訓練を受けた心理学者の監督下で自記式質問票に回答した。使用した評価尺度には、患者健康質問票-9 (PHQ-9) および全般性不安障害-7 (GAD-7) 尺度が含まれる。いずれかの尺度のスコアが 9 を超えた場合を、臨床的に有意であると見なした。

トレンド

神経精神疾患における感情認識ツール（TRENDS: Tool for Recognition of Emotions in Neuropsychiatric Disorders）は、顔の感情認識能力を評価するために設計された、文化的妥当性と生態学的妥当性を有する評価尺度である¹¹。これはインド人を対象とした使用について妥当性が確認されており、中立、幸福、恐怖、怒り、悲しみという普遍的な基本感情を表現した俳優の写真40枚で構成されている。FEAアルゴリズムによる感情分類出力の検証を行うための参照刺激として、TRENDSの画像を使用した。

実験デザイン

本実験は、感情的な刺激に対するアルゴリズム的な反応を誘発させるよう設計されました。本研究では、2つの感情誘発パラダイムを開発し、使用しました。

TRENDS画像パラダイム

最初のパラダイムでは、ビデオシーケンスにおいて最初に60 sの間ブランク画面を表示し、続いて感情刺激を提示しました。感情刺激はTRENDSツールから選定しました。中立、幸福、悲しみ、怒り、恐怖の5つの感情 × 2つの性別 × 2つの年齢層を表す、計20枚の画像が提示されました。各刺激の提示時間は5 sでした。したがって、刺激の総提示時間は20 × 5 sとなり、連続する画像間にさらに10 sのブランク画面の間隔を設けたため、合計時間は300 sとなりました。各10 sのブランク間隔において、参加者は画面に表示された5つの感情ラベルから1つを選択し、直前の画像に描かれていた感情を特定することが求められました。

ナヴァラサ・パラダイム

9つのラサ（rasa）からなるナヴァラサ（Navarasa）の枠組みに基づいた、2つ目の同様のビデオパラダイムを構築した。計18枚の画像（9つの感情 × 2つの性別）を提示した。各刺激は5 s間表示され、画像間に10 sのブランクスクリーンを設けたため、合計時間は270 sとなった。9つの感情は、中立（shanta）、快（haasya, veera, shringara, adbhuta）、または不快（Krodha, vibhitsa, bhayanaka, karuna）に分類された。10 sの各ブランク区間において、参加者は画面上に提示された「中立」、「快」、「不快」の3つの選択肢から1つを選択し、直前の画像に描かれていた感情を分類することが求められた。感情識別の回答記録を容易にするため、9つのナヴァラサは3つのカテゴリーにグループ化した。

参加者

健康な成人ボランティアを、職場および教育機関から募集した。組み入れ基準は、性別を問わず18～50歳の個人とした。除外基準は、精神疾患、神経疾患、重大な視覚障害、または頭頸部の動作を制限する身体的障害の診断歴がある者とした。

手順

参加者は、カメラが目の高さにあり、60–70 cm離れた位置に配置されるように座った。本研究ではFEAアルゴリズムを使用した。ノートパソコンでアプリケーションを開き、研究者が被験者IDを入力した。実験を通して、FEAアルゴリズムはビデオデータを継続的に記録し、顔の表情と微細な動きの事後解析を可能にした。まず、参加者にリラックスし、あからさまな表情を控えるよう指示し、60 sのベースライン記録を取得した。ベースライン取得後、参加者は2つのビデオパラダイム（TRENDS画像、続いてNavarasa）にさらされた。提示順序に関連する潜在的な交絡影響を最小限にするため、すべての参加者が同じ固定順序でパラダイムを視聴したが、この固定順序によって順序効果が生じた可能性がある。記録セッションの間、研究者は注意散漫を避けるため室外にいた。研究者は室外からモバイルアプリケーションを介してリモートで実験を監視した。2つのパラダイムの間には、短い休息時間が設けられた（図 2）。

分析

データの忠実性を確保するため、収集したデータはアプリケーションで入力された被験者IDにマッピングされました。FEAアルゴリズムは、ビデオ取得、特徴検出および抽出、データの前処理、感情分類、出力解釈の5つの主要な段階からなる、自動感情推論のための構造化されたエンドツーエンドの計算パイプラインを利用しています。抽出された特徴は、ノイズ除去、被験者間および照明条件間の正規化、欠損フレームの補間を含む一連の前処理操作に付されました。信号の安定性を向上させるために、時間的平滑化が適用されました。得られた特徴ベクトルは、分類モデルで後続処理を行うために時間的に整合されました。これらの時間的に整合され、ノイズが除去された特徴行列が、感情分類コンポーネントへの入力として使用されました。

特徴抽出

抽出フレームワークは、標準的な2D単眼ビデオ画像フィードを再構成された3D座標空間に変換する、多機能抽出ステージのアルゴリズムパイプラインを採用しています。本システムは、生の2Dピクセル追跡に依存するのではなく、顔面および上半身の局所的な空間座標をマッピングします。抽出される特徴は大きく3つのカテゴリーに分類されます。(i) 顔面ランドマーク領域：顔の構造とダイナミクスの幾何学的記述子（ユネスコによって認められた、人間の感情表現に関する最初期に定式化されたフレームワークであるナティヤシャストラに根ざしたNavarasaフレームワークから導き出された、眼領域の手がかりや顔の微細表情の相関関係を含む）が含まれます。(ii) 頭部ポーズ情報：頭部の向きと動きを捉えます。(iii) 上半身の動きの特徴：結果として生じる上半身の動きを捉えます。正確なランドマークインデックスやキーポイント識別子を含む具体的な特徴の定義は、独自の機密事項であるため完全に開示することはできず、これが制限事項として認められています。本システムは、Facial Action Coding System (FACS) のアクションユニットラベルを直接使用せず、代わりに顔面および身体の動きから幾何学的および時間的な特徴を導出します。これらの3D空間変換は時間的に集約され、包括的な行動サマリーベクトルを生成し、これがMLP分類器への入力として機能します。合計で、捕捉されたデータから当初700以上の候補特徴が導出され、その後、特徴選択とモデル最適化を通じて約300の選択された特徴に削減されました。構造的なパイプラインは、ビデオ取得から始まり、2Dから3Dへの空間再構成、時間的集約、そして分類前の特徴正規化へと進みます。

感情分類モデル

前処理済みの特徴ベクトルを、Navarasaの9つの感情カテゴリー（Śṛṅgāra（愛）、Hāsya（喜び）、Karuṇā（悲しみ）、Raudra（怒り）、Vīra（勇気）、Bhayānaka（恐怖）、Bībhatsa（嫌悪）、Adbhuta（驚き）、Śānta（平安））に対応する、自社でアノテーションを付けたデータセットで学習させた教師あり多層パーセプトロン（MLP）ニューラルネットワークアーキテクチャに供給しました。このモデルは、表現的な行動データの時空間依存性を捉えるように明確に設計されています。各タイムステップにおいて、このアーキテクチャは9つのカテゴリーに対する予測感情強度のベクトルを生成しました。

モデル出力の後処理

モデルの未処理出力は、その後、安定し解釈可能な感情スコアを得るために後処理されました。具体的には、(i) 短期的な変動を抑えるための時間的平滑化、(ii) 時間経過および感情次元間での比較可能性を確保するための正規化、(iii) 指定された時間窓またはシーケンス全体における要約尺度を算出するための集計、という3つの連続的な操作が適用されました。これらの後処理手順により、被験者間の比較可能性が確保され、個人間のベースラインの変動が制御されます。

出力の解釈と可視化

FEAアルゴリズムは、ビデオデータから推論された感情動態の定量的および視覚的な表現を生成します。主な出力形式は2つあり、1つは時間的感情軌跡です。感情強度の値は、ビデオ全体における各感情の推移を示す時系列プロットとして視覚化されます。この表現により、感情的な変動を連続的に捉えることができ、感情喚起における一過性の変化、ピーク活性化、および回復または減衰フェーズの検討が容易になります。比較感情スコア：9つのナヴァラサ（Navarasa）カテゴリーそれぞれの集計された感情値は、比較スコアプロットとして表示され、解析区間における各感情の相対的な大きさを的に示します。これらの比較視覚化により、感情間の直接的な比較が可能になり、全体的な感情プロファイルの簡潔な要約が得られます。ベースラインで生成されたFEAアルゴリズムのスコアを点検し、記録が不十分であることを示すフラットライン（平坦な線）や有意な変化の欠如がないかを確認しました。

統計解析

パラダイムにおける各画像の提示後10秒間のインターバル中に FEAアルゴリズムによって算出された、Navarasaの9つの感情ドメインのスコアをアウトカム変数として扱った。FEAアルゴリズムのスコアは、10秒のウィンドウ内の各s（T0, T1, T2… T9）について算出された。T0におけるFEAアルゴリズムのスコアをベースラインスコアとした。T1からT9までの記録の中で最も高いFEAアルゴリズムスコアをTmaxと定義した。ベースラインからのFEAアルゴリズムスコアの変化量（Tmax − T0）を算出し、解析のアウトカム変数として用いた。各感情における時系列に沿ったFEAアルゴリズムスコアの変化をFigure 3A–Dに示す。

TRENDS画像について、対応する標的感情カテゴリーは次のようにマッピングされました：Shanta > 中立（Neutral）、Haasya > 幸福（Happy）、Krodha > 怒り（Anger）、およびBhayanaka > 恐怖（Fear）。Navarasa画像については、FEAアルゴリズムのスコアをグループ化し、中立（Shanta）、快（Haasya, Veera, Shringara, Adbhuta）、不快（Krodha, Vibhitsa, Bhayanaka, Karuna）の3つの複合カテゴリーに平均化しました。

グループレベルおよび被験者レベルの両方の解析を実施した。

グループレベル解析： 上記で述べた各感情カテゴリーについて、ベースラインからTmaxまでのFEAアルゴリズムスコアの変化を対応のあるt検定を用いて比較した。FEAアルゴリズムスコアにベースラインからの有意な変化が認められれば、感情認識との良好な一致を示すことになる。ただし、有意差があるからといって、必ずしも分類精度が高いことを示すわけではない。

被験者レベルの解析：FEAアルゴリズムによる感情ドメインのスコアがベースライン値を上回った場合は、すべて肯定的な感情反応として分類しました。次に、正確性指標である感度と特異度を算出しました。感度と特異度はそれぞれ、標的条件が存在する場合（+）にテストが陽性となる確率、および標的条件が存在しない場合（−）に陰性となる確率を定量化したものです。両方の推定値が1に近づくほど、診断精度の観点からテストの性能が高いことを示します。推定感度および特異度は、それぞれ参照条件（Navarasa表情）がある参加者とない参加者のうち、正しく分類された者の割合として定義しました。

被験者が描かれた感情の少なくとも75%を正しく識別できた場合、標的の状態がある（+）とみなされました。この分類はTRENDSの妥当性確認研究に基づいており、そこでは60–80%の正解率が適切な判別妥当性とされていました。連続予測変数に対する受信者動作特性（ROC）解析を行い、曲線下面積（AUC）およびそれに対応する感度と特異度の値を推定しました。感度が80%以上の場合は良好な判別能ありとみなし、80%未満の場合は緩やかな判別能ありとみなしました。

結果

本研究では、感情を誘発する刺激に対するFEAアルゴリズムのスコアの変化を検討し、受信者動作特性（ROC）分析を用いてFEAアルゴリズムの診断性能を評価しました。研究には72名の健康なボランティアが募集されました。平均（SD）年齢は31.9（11.9）歳で、サンプルには男性26名と女性46名が含まれていました。参加者は全員10年以上の教育を受けており、すべてインド系でした。PHQ-9およびGAD-7の平均（SD）スコアは、それぞれ4.4（4.8）および4.7（4.5）でした。

感情刺激に対するFEAアルゴリズムスコアの変化：FEAアルゴリズムから導出された指標は、TRENDS画像およびNavarasaの両方の刺激条件において、対応のあるt検定により、ベースライン（T0）からTmaxにかけて統計的に有意な変化を示した（p < 0.001；表1、図4、表2、および図5）。

FEAアルゴリズムの診断精度： FEAアルゴリズムの診断能は、受信者動作特性（ROC）曲線分析を用いて評価し、個々の感情状態で曲線下面積（AUC）値を算出した（表3）。最も高いAUCは、中立的な顔の感情刺激に対するShanta状態に対応するFEAアルゴリズムスコアで得られ（AUC = 0.665）、次いで幸福感という正の感情（AUC = 0.637）であった（図6）。中立および正の感情（幸福、快）の感度は70–80%であったのに対し、負の感情（怒り、恐怖、不快）の感度は60–70%であった。これらの感度値は80%を下回っており、判別能は中程度であることを示している。

FEA-アルゴリズムスコアとPHQ-9およびGAD-7スコアの相関：FEA-アルゴリズムのいずれのスコアと、PHQ-9またはGAD-7のスコアとの間にも、有意な相関は認められなかった。

データの可用性：

すべての生データは補足ファイル2に提供されています。

図1FEAアルゴリズムのモデル開発パイプラインの概略図。 この概略図は、男女のインド人俳優による自社ビデオデータセットから、3つのカテゴリー、すなわち顔のランドマーク領域（ナティヤ・シャーストラ/ナヴァラサに基づく目および顔の微細表情の手がかりを含む）、頭部ポーズ情報、および上半身の動きにわたるフレーム抽出と特徴抽出が行われる様子を示している。これらは単一の特徴ベクトルに集約され、多層パーセプトロン（MLP）分類器に送られる。MLPの出力は、最終的な9カテゴリーのナヴァラサ予測出力を生成する前に、独自の後処理（時間的平滑化、正規化、および集約；オレンジ色の破線ボックス）を受ける。青色の実線ボックスは処理ステップを、青色の網掛けボックスは特徴カテゴリーを表し、オレンジ色の破線ボックスは内部パラメータを開示できない独自の処理ステップを表す。本図はデータプロットではなくプロセス概略図であるため、エラーバーおよびスケールバーは適用されない。 この図の拡大版を表示するには、ここをクリックしてください。

図2: FEA-アルゴリズムの実験手順。実験プロトコルの連続的な段階を示すフローチャート：半構造化臨床評価（PHQ-9、GAD-7）；参加者の着席（カメラを参加者から60–70 cm離れた目の高さに配置）；60 sのベースライン記録；TRENDS感情画像パラダイム（5つの感情カテゴリーにわたる20枚の画像；1枚につき刺激提示5 sおよび反応間隔10 s；計300 s）；短時間の休息時間；およびNavarasa感情画像パラダイム（9つのNavarasaカテゴリーにわたる18枚の画像；1枚につき刺激提示5 sおよび反応間隔10 s；計270 s）。矢印は、登録からデータ収集完了までの手順の時間的順序を示している。これはデータプロットではなくプロセスフローチャートであるため、エラーバーおよびスケールバーは適用されない。この図の拡大版を表示するには、ここをクリックしてください。

図3: 対応するTRENDS感情画像に対するFEAアルゴリズムスコアの時系列変化（T0からT9 sまで）。 4つのパネル（A–D）は、刺激後10 sのウィンドウ（x軸；T0 = その試行の刺激オフセット/ベースライン時のスコア、T1–T9 = その後の各s）における、FEAアルゴリズムスコア（y軸；独自のスコアリングアルゴリズムによって生成された任意スコア単位）のグループレベルでの秒単位の軌跡を示している。（A）中立画像後のShanta領域、（B）幸福画像後のHaasya領域、（C）恐怖画像後のBhayanaka領域、（D）怒り画像後のKrodha領域（各パネル n = 72名）。データポイントおよび線は各時点でのグループ平均を表し、エラーバーおよび網掛け領域は参加者間の標準偏差（SD）を表す。この時系列線グラフ形式においてスケールバーは適用されない。こちらのリンクから、この図の拡大版を表示できます。

図4TRENDS感情画像を閲覧した際のFEAアルゴリズムスコアの平均変化量を示す棒グラフ。 棒グラフは、TRENDSで定義された4つの感情カテゴリー（Shanta/中立、Haasya/幸福、Krodha/怒り、Bhayanaka/恐怖；x軸）における、FEAアルゴリズムスコアのグループ平均変化量（Tmax −T0；y軸、任意スコア単位）を示す（n = 72）。エラーバーは、各カテゴリー内における変化量スコアの標準偏差（SD）を表す。対応のあるt検定により、4つのカテゴリーすべてにおいてベースラインから統計的に有意な変化が認められた（p < 0.05）。 < 0.001; 参照 表1）。この棒グラフ形式では、スケールバーは適用されません。 この図の拡大版を表示するには、ここをクリックしてください。

図 5: Navarasa感情画像の閲覧に応答したFEAアルゴリズムスコアの平均変化を示す棒グラフ。棒は、3つの複合的なNavarasaカテゴリー、すなわち中立（Shanta）、快（Haasya、Veera、Shringara、Adbhutaの平均）、不快（Krodha、Vibhitsa、Bhayanaka、Karunaの平均）（x軸）におけるFEAアルゴリズムスコアの群平均変化（Tmax − T0; y軸、任意のスコア単位）を表す（n = 72）。エラーバーは、各カテゴリー内における変化スコアの標準偏差（SD）を表す。対応のあるt検定により、3つのカテゴリーすべてでベースラインからの統計的に有意な変化が認められた（p < 0.001; 表 2を参照）。この棒グラフ形式においてスケールバーは適用されない。こちらのリンクをクリックして、この図の拡大版を表示してください。

図6中立的な感情画像に対するFEAアルゴリズムShantaスコアの、さまざまなカットオフ値における感度を示す受信者動作特性（ROC）曲線。 y軸は感度（真陽性率、%）を、x軸は1－特異度（偽陽性率、%）を表し、考えられるShantaスコアのカットオフ値の範囲にわたってプロットされています。対角線の参照線はチャンスレベルの識別（AUC = 0.5）を示しています。曲線下面積（AUC） = 0.665（参照 表3 （すべての感情カテゴリーにおけるAUC、感度、および特異度の値）。この曲線形式では、エラーバーおよびスケールバーは適用されません。 この図の拡大表示はこちらをクリックしてください。

感情（TRENDS刺激）	平均T0	平均最高血中濃度到達時間（Mean Tmax）	平均差	p値
ニュートラル – Shanta	0.2261	0.2664	0.0403	<0.001
幸福 – ハーシャ（Haasya）	0.0834	0.1127	0.0294	<0.001
恐怖 – Bhayanaka	0.0648	0.0848	0.02	<0.001
怒り – ラウドラ	0.0901	0.1108	0.0207	<0.001

表 1：TRENDS感情刺激の視聴に対するFEAアルゴリズムスコアの平均T0およびTmax値。 TRENDSにマッピングされた各感情カテゴリー（Shanta/中立、Haasya/幸福、Krodha/怒り、Bhayanaka/恐怖）について、ベースライン（T0）および試行内最大値（Tmax）におけるグループ平均FEAアルゴリズムスコア（± SD）、平均変化量（Tmax − T0）、およびT0とTmaxを比較した対応のあるt検定の結果（p値）を示す（n = 72）。すべての値は任意のFEAアルゴリズムスコア単位で報告されており、p < 0.05を統計的に有意とみなした。

感情カテゴリー（Navarasa 刺激）	平均 T0	平均 Tmax	平均差	p値
中立 – Shanta	0.24	0.29	0.047	<0.001
快（Haasya, Veera, Shringara, Adbhuta）	0.034	0.045	0.011	<0.001
不快（Krodha, Vibhitsa, Bhayanaka, Karuna）	0.054	0.068	0.014	<0.001

表2：Navarasa感情刺激の視聴に対するFEAアルゴリズムスコアの平均T0およびTmax値。 各複合Navarasaカテゴリー（中立、快、不快）について、ベースライン（T0）および試行内最大値（Tmax）におけるグループ平均FEAアルゴリズムスコア（± SD）、平均変化量（Tmax − T0）、およびT0とTmaxを比較した対応のあるt検定の結果（p値）を報告する（n = 72）。すべての値は任意のFEAアルゴリズムスコア単位で報告されており、p < 0.05を統計的に有意とみなした。

パネル A：TRENDS 刺激
TRENDS 刺激	AUC	95% CI	カットオフ Δ Emoscape スコア	感度 (%)	特異度 (%)
中立 – Shanta	0.665	0.456–0.873	0.065	82.5	50
快 – Haasya	0.637	0.493–0.780	0.0345	70.7	46.2
恐怖 – Bhayanaka	0.583	0.446–0.721	0.018	61.2	54.5
怒り – Raudra	0.532	0.374–0.689	0.023	67.3	45.5
パネル B：Navarasa 刺激
Navarasa 刺激	AUC	95% CI	カットオフ Δ Emoscape スコア	感度 (%)	特異度 (%)
Shanta (中立)	0.596	0.412–0.779	0.03	85.7	44.6
快 (Haasya, Veera, Shringara, Adbhuta)	0.515	0.369–0.660	0.012	70.2	40
不快 (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.565	0.384–0.745	0.007	67.8	38

表3：感情カテゴリー別のFEAアルゴリズムスコアにおける曲線下面積（AUC）、感度および特異度の値。受信者動作特性（ROC）解析を用いて評価した各感情カテゴリーについて、AUC、感度（%）、および特異度（%）を示す。感度80%以上を良好な判別能を示すとして事前に定義し、この閾値を下回る値は中程度に分類した（「統計解析」を参照）。

付録図 1：9クラスのNavarasa感情分類モデルにおける正規化混同行列。行は正解（実際）の感情クラスを、列はモデルが予測した感情クラスを表している。セルの値は、正解クラスのインスタンスが各予測クラスに割り当てられた割合を、0～1のスケールで正規化したものである（右側のカラーバーを参照）。クラスラベル（1～9）は9つのNavarasa感情カテゴリーに対応しているが、機密保持上の制限により、具体的な番号と感情の対応関係は開示されていない。全9カテゴリーにおける交差検証済みの総合分類精度は96%であった。この行列形式ではエラーバーは適用されない。こちらのリンクからファイルをダウンロードしてください。

補足ファイル 1： FEA-アルゴリズムモデル開発の説明（内部検証メトリクス、クロスバリデーション精度、および 9 × 9 Navarasa 混同行列を含む）。このファイルをダウンロードするには、ここをクリックしてください。

補足ファイル 2： 生データを含むファイル。こちらをクリックしてファイルをダウンロードしてください。

ディスカッション

本研究では、健常成人ボランティアを対象に、FEAアルゴリズムから得られたスコアと標準化された顔情動刺激への反応との一致度を検討することで、FEAアルゴリズムの予備的な検証を行うことを目的とした。これらの初期知見は、FEAアルゴリズムが、中立（shanta）、幸福（haasya）、恐怖（bhayanaka）、怒り（raudra）などのさまざまな個別の情動カテゴリー、およびより広範な分類である快・不快の状態において、情動誘発視覚刺激に反応して統計的に検出可能な変化を示すことを示している。このことは、FEAアルゴリズムのスコアが、情動刺激タスクへの反応と一致していることを示唆している。

FEAアルゴリズムの感度は、中立またはポジティブな感情では70%から80%、ネガティブな感情では60%から70%の範囲であることが観察されました。これらの感度値は、スクリーニング指標として使用することを目的とした検査としては控えめな数値です¹²。対照的に、脳波（EEG）などの神経生理学的マーカーを利用する、より広範な機械学習ベースの感情推論モデルでは、最大90%の分類精度が報告されています¹³。自閉症検出のためのEEGおよびGSR（皮膚電気活動）による感情分類アンサンブル分類器システムでは、99.97%の検出精度が示されています¹⁴。しかし、これらのモデルは計算負荷が高くなる傾向があり、オフライン処理が必要となります。対照的に、FEAアルゴリズムの顕著な強みは、観察可能な顔や身体の手がかりに焦点を当てている点にあり、リアルタイム環境での運用を可能にしています。

FEAアルゴリズムの手順は、FEAアルゴリズムによる記録の質と信頼性に不可欠な、いくつかの手続き的要因に依存しています。これには、カメラの位置と周囲の照明が含まれます。不整合または不十分な周囲照明の下で実施された記録は、特徴抽出の質を著しく低下させる可能性があります。各記録セッションを通じて、頭部と身体の位置を安定させなければなりません。そのため、頭部や頸部の可動性が制限されている参加者は除外されました。記録中の行動的な干渉を最小限に抑えることが不可欠です。社会的望まし性バイアスや、自然な表情を抑制させる自己監視を軽減するため、参加者は研究者が室内にいない状態で一人で着席しました。

Navarasaフレームワークを取り入れることで、文化的な感受性を考慮した感情分類が可能になります。本研究では、感情刺激に対するFEAアルゴリズムスコアの変化を評価するために、心の理論（ToM）アプローチを適用しました。ToMは高次な社会認知機能を代表するものであり、その神経生物学的基盤は文献¹⁵で報告されており、これによりFEAアルゴリズムスコアで観察された変化の生物学的な妥当性が裏付けられています。

FEAアルゴリズムのスコアと、うつまたは不安のスコアとの間に相関は見られず、参加者の内部的な感情状態がFEAアルゴリズムの記録に影響を与えた可能性は低いことが示唆されました。しかし、実験中に参加者の感情状態を完全に制御することは困難です。さらに、トップダウンの認知処理が、特に負の感情刺激に対する自然な感情反応を抑制する可能性があります。今後の研究では、感情刺激を視聴している際の参加者の主観的な体験を評価すべきであり、それによって受動的な視聴が実際に主観的な感情状態を誘発するかどうかをさらに検証できる可能性があります。FEAアルゴリズム単独での感度が控えめであった点は、EEG、心拍変動（HRV）、または皮膚電気反応（GSR）などの追加の神経生理学的データによって向上させられる可能性があります。これについては、今後の検証研究で評価されるべきです。本検証は健康な成人集団を対象に行われました。うつや不安などの臨床的な状態における主観的な感情状態を評価する上でのFEAアルゴリズムの有用性については、ケースコントロール研究を通じてさらなる調査が必要です。

本研究には、認めるべきいくつかの限界があります。FEAアルゴリズムが独自技術であるため、その処理パイプラインの透明性が制限されています。具体的には、アクター/参加者の正確な人数、アクター/参加者レベルの識別情報、アクターごとの正確なビデオ/録画数、正確な特徴定義（ランドマークインデックスおよびキーポイント識別子）、および詳細なMLPアーキテクチャパラメータ（正確な層の次元およびパラメータ数）を開示することはできません。内部検証メトリクス（クロスバリデーション精度96%、>15,000分のビデオによる独立検証）は、補足資料に記載されています。感情名を表すクラスラベルは、機密保持の制約により匿名化されています。これらの制約が、独立した再現性を制限することを認めます。

本研究では、健康な成人を対象に、FEAアルゴリズムのスコアと感情認識の正確性の間に刺激の一致性が認められ、感情状態の判別において緩やかな感度を示しました。これにより、Navarasaフレームワークに基づき、上半身のマイクロムーブメントを分析して感情軌道のダイナミックな表現と9つのrasaそれぞれの集計スコアを生成する、独自のMLベースのアルゴリズムであるFEAアルゴリズムの予備的な妥当性が確認されました。今後のアルゴリズムの改良では、生理学的データや文脈的データを追加的に組み込むことで、すべての感情カテゴリーにおける判別能を向上させる必要があります。より広範な臨床集団における妥当性の検証については、さらなる調査が必要です。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Emoscape	Nihilent Ltd, Pune	1	Emoscapeの開発元
Manoshanti Centers for Emotional Well Being	GNR Health Care Pvt Ltd.	2	臨床および研究パートナー
神経精神疾患における感情認識ツール	本研究の責任著者による著作権	3	本研究で検証に使用されたツール