本研究では、感情刺激タスク中の反応を検出するための独自のマシンラーニングアルゴリズムであるFEAアルゴリズムを予備的に検証します。健康な成人を対象に、Navarasaフレームワークを用いた標準化された顔面感情刺激とFEAアルゴリズムのスコアとの一致性を検討し、制御された実験条件下で本システムが感情に関連する反応を信頼性高く反映しているかを評価します。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
本研究では、感情刺激タスク中の反応を検出するための独自のマシンラーニングアルゴリズムであるFEAアルゴリズムを予備的に検証します。健康な成人を対象に、Navarasaフレームワークを用いた標準化された顔面感情刺激とFEAアルゴリズムのスコアとの一致性を検討し、制御された実験条件下で本システムが感情に関連する反応を信頼性高く反映しているかを評価します。
本プロトコルは、Navarasaフレームワークに基づく独自の機械学習アルゴリズムであるEmoscapeを用いて、健康な成人における標準的な感情喚起タスクに伴い感情スコアが一致して変化するかを検証し、予備的な妥当性を確認することを目的として設計されました。書面によるインフォームドコンセントを得た健康な成人72名を被験者として募集しました。参加者は患者健康質問票-9（PHQ-9）および全般性不安障害-7（GAD-7）に回答した後、TRENDSセットの表情感情刺激およびNavarasa画像を視聴し、その間、FEAアルゴリズムによって上半身の微小運動が記録されました。また、参加者は提示された感情を識別しました。TRENDSの「中立」、「喜び」、「恐怖」、「怒り」の刺激、およびNavarasa画像の提示時における、ベースラインからのFEAアルゴリズムスコアの変化を分析しました。感情カテゴリー間の識別の感度と特異度を推定するために、受信者動作特性（ROC）分析を用いました。FEAアルゴリズムのスコアは、対応する感情にマッピングされたTRENDS画像（中立-Shanta、喜び-Haasya、恐怖-Bhayanaka、怒り-Raudra）において、ベースラインから有意な偏差を示しました。Navarasa画像においても一致した変化が観察され、すべての平均差に統計的有意性が認められました（p < 0.001）。曲線下面積（AUC）の値はカテゴリーによって異なりました。FEAアルゴリズムは、快感情（70–80%）および不快感情（60–70%）に対して中程度の感度を示しました。これらの知見は、本プロトコル、および健康な成人における制御された感情喚起タスク中の感情関連反応を評価するためのFEAアルゴリズムの使用を予備的に支持するものです。
感情認識は、社会認知神経科学における重要な研究領域であり、臨床および研究への応用が期待されています。既存の感情評価手法では、脳波（EEG）や皮膚電気活動（GSR）などの生理学的活動の変化を定量化することで感情状態を推定しますが、これらの手法は複雑で侵襲的です。一方、顔や身体の動きを直接測定することで、個人の情動状態をより直接的かつ客観的に指標化できます1,2,3。こうした微細な非言語的信号を解読し、感情状態を分類するために、機械学習（ML）アルゴリズム、特に表情に関する大規模かつ不均一なデータセットで学習させたアルゴリズムが用いられています。サポートベクターマシン（SVM）などの従来のMLアルゴリズムも広く利用されていますが、ディープラーニングアーキテクチャ、とりわけニューラルネットワーク（NN）は4,5、自動的な特徴抽出能力を備えているため、特に大規模データセットで学習させた場合に優れた性能を示しています6。インドにおける従来モデルの一例として、バレンスに基づく次元モデルを採用して覚醒度を判定するインタラクティブツールがあります。感情認識のフレームワークは、文化的背景に配慮したものである必要があります。インドの文化的環境において、Navarasaフレームワークは9つの基本感情に関する詳細な分類を提供していますが、ML主導の感情認識研究においてはほとんど検証されていません。顔の微細表情や身体の動きといった観察可能な行動の手がかりを直接分析する、厳密に検証されたMLアプローチは相対的に不足しています7,8。このような表情駆動型のMLアルゴリズムは、リアルタイムでの利用が可能であり、実施が容易で、非侵襲的です。
表情および動作解析アルゴリズム［以下、FEAアルゴリズムと称する］は、顔の微細表情と上半身の動きを解析し、Navarasaフレームワークに基づいた9つのラサ（rasas）それぞれの集約スコアと感情軌跡のダイナミックな表現を生成する、独自の機械学習（ML）ベースのアルゴリズムである。本研究では、健康な成人ボランティアを対象に、FEAから導出されたスコアと標準化された顔の感情刺激に対する反応との一致度を検討することで、FEAアルゴリズムの予備的な妥当性検証を行うことを目的とした。
この目的を達成するために、我々は心の理論（ToM）およびミラーニューロンシステムの概念を利用します。ToMは、社会的な文脈において他者の精神的および感情的な状態を推論し、解釈することを可能にする核心的な社会認知能力です9。実証的な証拠によれば、顔の感情刺激にさらされることでミラーニューロンネットワークが活性化され、それが観察者に調和した共感的な感情状態を誘発することが示唆されています10。感情的な顔の表情を観察することに応じて個人の内部的な主観的感情状態に生じる変動がFEAアルゴリズムによって捉えられれば、それは同アルゴリズムの予備的な検証となり得ます。
特定のNavarasaカテゴリーに対応する顔の感情刺激への曝露により、そのNavarasa感情におけるFEAアルゴリズムスコアがベースラインから統計的に有意に逸脱すると仮定します。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究プロトコルは、インド、カルナータカ州ハバルリのSushruta Hospitals倫理委員会（EC登録番号：ECR/372/INST/KA/2013/RR-19）によって承認され、登録前にすべての参加者から書面によるインフォームドコンセントを得た。
FEAアルゴリズムは、Navarasaフレームワークを用いて、顔の微小表情と上半身の動きをリアルタイムで分析し、感情状態を推論するための独自のMLベースの手法です。古典的なインドの美学理論に由来するNavarasaフレームワークでは、9つの主要な感情、すなわちshringara（愛）、haasya（喜び）、karuna（悲しみ/沈思）、adbhuta（驚き）、shanta（平穏）、raudra（怒り）、veera（勇気）、bhayanaka（恐怖）、vibhitsa（嫌悪）を定義しています。FEAアルゴリズムは、Navarasaの9つの感情を演じる俳優の画像から抽出された顔の微小表情と上半身の動きで学習させた機械学習モデルを使用します。このアルゴリズムは、単一のRGBカメラで捉えた視覚入力から、顔の微妙なダイナミクスと微小な動きを分析することで個人の感情状態を推論し、9つの主要な感情それぞれに対して定量的なスコアを生成します。この非侵襲的な構成により、目立たず自然な感情評価が可能となり、幅広い研究および応用場面への適応が可能となります。
モデルの開発
FEAアルゴリズムは、ニューラルネットワーク（NN）アーキテクチャに基づいています。トレーニングデータセットは自社で収集したもので、9つのナヴァラサ（Navarasa）の感情を演じるインド人俳優の数時間にわたる録画ビデオデータで構成されています。このデータセットは、複数の俳優・被験者の管理されたビデオ録画から派生しており、各俳優・被験者に対して、誘発された異なる感情状態で複数回の録画・テストが行われました。顔のランドマーク検出、時間的一貫性のチェック、品質フィルタリング、および使用不可または信頼性の低いフレームの除去を含む前処理を経て、約25,000個の構造化されたトレーニングサンプルが保持されました。データセットのキュレーションにおいて、録画内容は年齢、性別、その他の関連属性を含む10以上の人口統計学的および録画関連のパラメータで層別化され、これらのパラメータにわたって公平な表現を実現し、人口統計学的バイアスを最小限に抑えるために意図的にバランスが調整されました。性別分布は、男性約52％、女性約48％に維持されました。被験者は概ね思春期および成人年齢層をカバーしており、若年、中年、および高齢の成人コホートが代表されていました。俳優・被験者はインドを拠点とし、インドの複数の地域的・文化的背景、およびインドに存在する複数の国際的な民族を代表していました。機密保持上の制限により、俳優・被験者の正確な人数、個々の識別情報、俳優ごとの正確なビデオ/録画数、正確なフレーム数、および内部アノテーション手法は開示できません。これらはNihilent Ltd.の機密データセットおよびモデル開発の知的財産の一部を構成しているためです。この制限については、考察（Discussion）セクションで明示的に認められています。
これらの記録から抽出した顔画像は、画像処理技術を用いて定量的特徴を導出し、その後、予測のためのニューラルネットワークへの入力として使用されました。このモデルをターゲット集団で評価し、得られた知見を用いて後続のバージョンを反復的に洗練させました。この開発、テスト、および改善のサイクルを、モデルの性能が安定するまで繰り返しました。最終的な予測モデルは、約300個の選択された特徴量を持つ入力層、隠れ層、および9つのNavarasa感情カテゴリに対応する9次元のスコアベクトルを生成する出力層で構成される多層パーセプトロン（MLP）として実装されています。当初はキャプチャされたデータから700以上の特徴量が導出されましたが、その後、特徴選択およびモデル最適化の手順を通じて削減されました。MLPの出力スコアは、その後、独自の後処理アルゴリズムに渡され、最終的な集約FEAアルゴリズムスコアが導出されます。学習可能なパラメータの正確な数や特定の層の次元を含む詳細なアーキテクチャについては、機密情報であるため開示できません。これは本レポートの制限事項として認められています。モデル開発の詳細な説明は、補足資料（Supplementary File 1 および Supplementary Figure 1）に記載されています。
反復的な開発において、社内データセットを用いた交差検証によりモデルの性能を評価した結果、9つのNavarasaカテゴリー全体で96%の交差検証分類精度を達成した。その後、15,000分以上のビデオデータを用いて独立した検証を実施した。9つのNavarasaカテゴリー全般にわたる分類性能をまとめた正規化9 × 9混同行列を、補完資料（Supplementary File 1）に提示している。
安定化後、モデルは専門家の監督下で制御された内部検証を受けた。このアプローチでは、ヒト被験者による直接的な試験を通じた経験的検証を重視しており、これにより、多様な集団における実世界での適用可能性と堅牢性の評価が可能となる。モデルの開発概要は図1にまとめられている。
患者健康質問票-9 (PHQ-9) および全般性不安障害-7 (GAD-7) 尺度： 参加者は、現在の感情状態を評価するため、訓練を受けた心理学者の監督下で自記式質問票に回答した。使用した評価尺度には、患者健康質問票-9 (PHQ-9) および全般性不安障害-7 (GAD-7) 尺度が含まれる。いずれかの尺度のスコアが 9 を超えた場合を、臨床的に有意であると見なした。
トレンド
神経精神疾患における感情認識ツール（TRENDS: Tool for Recognition of Emotions in Neuropsychiatric Disorders）は、顔の感情認識能力を評価するために設計された、文化的妥当性と生態学的妥当性を有する評価尺度である11。これはインド人を対象とした使用について妥当性が確認されており、中立、幸福、恐怖、怒り、悲しみという普遍的な基本感情を表現した俳優の写真40枚で構成されている。FEAアルゴリズムによる感情分類出力の検証を行うための参照刺激として、TRENDSの画像を使用した。
実験デザイン
本実験は、感情的な刺激に対するアルゴリズム的な反応を誘発させるよう設計されました。本研究では、2つの感情誘発パラダイムを開発し、使用しました。
TRENDS画像パラダイム
最初のパラダイムでは、ビデオシーケンスにおいて最初に60 sの間ブランク画面を表示し、続いて感情刺激を提示しました。感情刺激はTRENDSツールから選定しました。中立、幸福、悲しみ、怒り、恐怖の5つの感情 × 2つの性別 × 2つの年齢層を表す、計20枚の画像が提示されました。各刺激の提示時間は5 sでした。したがって、刺激の総提示時間は20 × 5 sとなり、連続する画像間にさらに10 sのブランク画面の間隔を設けたため、合計時間は300 sとなりました。各10 sのブランク間隔において、参加者は画面に表示された5つの感情ラベルから1つを選択し、直前の画像に描かれていた感情を特定することが求められました。
ナヴァラサ・パラダイム
9つのラサ（rasa）からなるナヴァラサ（Navarasa）の枠組みに基づいた、2つ目の同様のビデオパラダイムを構築した。計18枚の画像（9つの感情 × 2つの性別）を提示した。各刺激は5 s間表示され、画像間に10 sのブランクスクリーンを設けたため、合計時間は270 sとなった。9つの感情は、中立（shanta）、快（haasya, veera, shringara, adbhuta）、または不快（Krodha, vibhitsa, bhayanaka, karuna）に分類された。10 sの各ブランク区間において、参加者は画面上に提示された「中立」、「快」、「不快」の3つの選択肢から1つを選択し、直前の画像に描かれていた感情を分類することが求められた。感情識別の回答記録を容易にするため、9つのナヴァラサは3つのカテゴリーにグループ化した。
参加者
健康な成人ボランティアを、職場および教育機関から募集した。組み入れ基準は、性別を問わず18～50歳の個人とした。除外基準は、精神疾患、神経疾患、重大な視覚障害、または頭頸部の動作を制限する身体的障害の診断歴がある者とした。
手順
参加者は、カメラが目の高さにあり、60–70 cm離れた位置に配置されるように座った。本研究ではFEAアルゴリズムを使用した。ノートパソコンでアプリケーションを開き、研究者が被験者IDを入力した。実験を通して、FEAアルゴリズムはビデオデータを継続的に記録し、顔の表情と微細な動きの事後解析を可能にした。まず、参加者にリラックスし、あからさまな表情を控えるよう指示し、60 sのベースライン記録を取得した。ベースライン取得後、参加者は2つのビデオパラダイム（TRENDS画像、続いてNavarasa）にさらされた。提示順序に関連する潜在的な交絡影響を最小限にするため、すべての参加者が同じ固定順序でパラダイムを視聴したが、この固定順序によって順序効果が生じた可能性がある。記録セッションの間、研究者は注意散漫を避けるため室外にいた。研究者は室外からモバイルアプリケーションを介してリモートで実験を監視した。2つのパラダイムの間には、短い休息時間が設けられた（図 2）。
分析
データの忠実性を確保するため、収集したデータはアプリケーションで入力された被験者IDにマッピングされました。FEAアルゴリズムは、ビデオ取得、特徴検出および抽出、データの前処理、感情分類、出力解釈の5つの主要な段階からなる、自動感情推論のための構造化されたエンドツーエンドの計算パイプラインを利用しています。抽出された特徴は、ノイズ除去、被験者間および照明条件間の正規化、欠損フレームの補間を含む一連の前処理操作に付されました。信号の安定性を向上させるために、時間的平滑化が適用されました。得られた特徴ベクトルは、分類モデルで後続処理を行うために時間的に整合されました。これらの時間的に整合され、ノイズが除去された特徴行列が、感情分類コンポーネントへの入力として使用されました。
特徴抽出
抽出フレームワークは、標準的な2D単眼ビデオ画像フィードを再構成された3D座標空間に変換する、多機能抽出ステージのアルゴリズムパイプラインを採用しています。本システムは、生の2Dピクセル追跡に依存するのではなく、顔面および上半身の局所的な空間座標をマッピングします。抽出される特徴は大きく3つのカテゴリーに分類されます。(i) 顔面ランドマーク領域：顔の構造とダイナミクスの幾何学的記述子（ユネスコによって認められた、人間の感情表現に関する最初期に定式化されたフレームワークであるナティヤシャストラに根ざしたNavarasaフレームワークから導き出された、眼領域の手がかりや顔の微細表情の相関関係を含む）が含まれます。(ii) 頭部ポーズ情報：頭部の向きと動きを捉えます。(iii) 上半身の動きの特徴：結果として生じる上半身の動きを捉えます。正確なランドマークインデックスやキーポイント識別子を含む具体的な特徴の定義は、独自の機密事項であるため完全に開示することはできず、これが制限事項として認められています。本システムは、Facial Action Coding System (FACS) のアクションユニットラベルを直接使用せず、代わりに顔面および身体の動きから幾何学的および時間的な特徴を導出します。これらの3D空間変換は時間的に集約され、包括的な行動サマリーベクトルを生成し、これがMLP分類器への入力として機能します。合計で、捕捉されたデータから当初700以上の候補特徴が導出され、その後、特徴選択とモデル最適化を通じて約300の選択された特徴に削減されました。構造的なパイプラインは、ビデオ取得から始まり、2Dから3Dへの空間再構成、時間的集約、そして分類前の特徴正規化へと進みます。
感情分類モデル
前処理済みの特徴ベクトルを、Navarasaの9つの感情カテゴリー（Śṛṅgāra（愛）、Hāsya（喜び）、Karuṇā（悲しみ）、Raudra（怒り）、Vīra（勇気）、Bhayānaka（恐怖）、Bībhatsa（嫌悪）、Adbhuta（驚き）、Śānta（平安））に対応する、自社でアノテーションを付けたデータセットで学習させた教師あり多層パーセプトロン（MLP）ニューラルネットワークアーキテクチャに供給しました。このモデルは、表現的な行動データの時空間依存性を捉えるように明確に設計されています。各タイムステップにおいて、このアーキテクチャは9つのカテゴリーに対する予測感情強度のベクトルを生成しました。
モデル出力の後処理
モデルの未処理出力は、その後、安定し解釈可能な感情スコアを得るために後処理されました。具体的には、(i) 短期的な変動を抑えるための時間的平滑化、(ii) 時間経過および感情次元間での比較可能性を確保するための正規化、(iii) 指定された時間窓またはシーケンス全体における要約尺度を算出するための集計、という3つの連続的な操作が適用されました。これらの後処理手順により、被験者間の比較可能性が確保され、個人間のベースラインの変動が制御されます。
出力の解釈と可視化
FEAアルゴリズムは、ビデオデータから推論された感情動態の定量的および視覚的な表現を生成します。主な出力形式は2つあり、1つは時間的感情軌跡です。感情強度の値は、ビデオ全体における各感情の推移を示す時系列プロットとして視覚化されます。この表現により、感情的な変動を連続的に捉えることができ、感情喚起における一過性の変化、ピーク活性化、および回復または減衰フェーズの検討が容易になります。比較感情スコア：9つのナヴァラサ（Navarasa）カテゴリーそれぞれの集計された感情値は、比較スコアプロットとして表示され、解析区間における各感情の相対的な大きさを的に示します。これらの比較視覚化により、感情間の直接的な比較が可能になり、全体的な感情プロファイルの簡潔な要約が得られます。ベースラインで生成されたFEAアルゴリズムのスコアを点検し、記録が不十分であることを示すフラットライン（平坦な線）や有意な変化の欠如がないかを確認しました。
統計解析
パラダイムにおける各画像の提示後10秒間のインターバル中に FEAアルゴリズムによって算出された、Navarasaの9つの感情ドメインのスコアをアウトカム変数として扱った。FEAアルゴリズムのスコアは、10秒のウィンドウ内の各s（T0, T1, T2… T9）について算出された。T0におけるFEAアルゴリズムのスコアをベースラインスコアとした。T1からT9までの記録の中で最も高いFEAアルゴリズムスコアをTmaxと定義した。ベースラインからのFEAアルゴリズムスコアの変化量（Tmax − T0）を算出し、解析のアウトカム変数として用いた。各感情における時系列に沿ったFEAアルゴリズムスコアの変化をFigure 3A–Dに示す。
TRENDS画像について、対応する標的感情カテゴリーは次のようにマッピングされました：Shanta > 中立（Neutral）、Haasya > 幸福（Happy）、Krodha > 怒り（Anger）、およびBhayanaka > 恐怖（Fear）。Navarasa画像については、FEAアルゴリズムのスコアをグループ化し、中立（Shanta）、快（Haasya, Veera, Shringara, Adbhuta）、不快（Krodha, Vibhitsa, Bhayanaka, Karuna）の3つの複合カテゴリーに平均化しました。
グループレベルおよび被験者レベルの両方の解析を実施した。
グループレベル解析： 上記で述べた各感情カテゴリーについて、ベースラインからTmaxまでのFEAアルゴリズムスコアの変化を対応のあるt検定を用いて比較した。FEAアルゴリズムスコアにベースラインからの有意な変化が認められれば、感情認識との良好な一致を示すことになる。ただし、有意差があるからといって、必ずしも分類精度が高いことを示すわけではない。
被験者レベルの解析：FEAアルゴリズムによる感情ドメインのスコアがベースライン値を上回った場合は、すべて肯定的な感情反応として分類しました。次に、正確性指標である感度と特異度を算出しました。感度と特異度はそれぞれ、標的条件が存在する場合（+）にテストが陽性となる確率、および標的条件が存在しない場合（−）に陰性となる確率を定量化したものです。両方の推定値が1に近づくほど、診断精度の観点からテストの性能が高いことを示します。推定感度および特異度は、それぞれ参照条件（Navarasa表情）がある参加者とない参加者のうち、正しく分類された者の割合として定義しました。
被験者が描かれた感情の少なくとも75%を正しく識別できた場合、標的の状態がある（+）とみなされました。この分類はTRENDSの妥当性確認研究に基づいており、そこでは60–80%の正解率が適切な判別妥当性とされていました。連続予測変数に対する受信者動作特性（ROC）解析を行い、曲線下面積（AUC）およびそれに対応する感度と特異度の値を推定しました。感度が80%以上の場合は良好な判別能ありとみなし、80%未満の場合は緩やかな判別能ありとみなしました。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究では、感情誘発刺激に対するFEAアルゴリズムスコアの変動を検討し、受信者動作特性（ROC）解析を用いてFEAアルゴリズムの診断能を評価した。本研究には72名の健康なボランティアを募集した。平均（SD）年齢は31.9（11.9）歳であり、サンプルには男性26名と女性46名が含まれていた。すべての参加者は10年以上の教育を受けており、全員がインド系であった。彼らのPHQ-9およびGAD-7の平均（SD）スコアは、それぞれ4.4（4.8）および4.7（4.5）であった。
感情刺激に応答したFEAアルゴリズムスコアの変化：FEAアルゴリズムから導出された指標は、TRENDS画像とNavarasaの両刺激条件下において、対応のあるt検定により、ベースライン（T0）からTmaxにかけて統計的に有意な変化を示した（p < 0.001；表1、図4、表2、および図5）。
F...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究では、健常成人ボランティアを対象に、FEAアルゴリズムから得られたスコアと標準化された顔情動刺激への反応との一致度を検討することで、FEAアルゴリズムの予備的な検証を行うことを目的とした。これらの初期知見は、FEAアルゴリズムが、中立（shanta）、幸福（haasya）、恐怖（bhayanaka）、怒り（raudra）などのさまざまな個別の情動カテゴリー、およびより広範な分類である快・不快の状態において、情動誘発視覚刺激に反応して統計的に検出可能な変化を示すことを示している。このことは、FEAアルゴリズムのスコアが、情動刺激タスクへの反応と一致していることを示唆している。
FEAアルゴリズムの感度は、中立またはポジティブな感情では70%から80%、ネガティブな感情では60%から70%の範囲であることが観察されました。これらの感度値は、スクリーニング指標として使用することを目的とした検査としては控えめな数値です12。対照的に、脳波（EEG）などの神経生理学的マーカーを利用する、より広範な機械学習ベースの感情推論モデルでは、最大9...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
The FEAアルゴリズムはNihilent Ltd.の独自アルゴリズムであり、同社は本研究のデータ収集を行うManoshantiに資金援助を提供した。NihilentはFEAアルゴリズムによるスコアを提供した。データ解析はManoshantiによって独立して行われた。Nihilent Ltd. データ解析には関与していない。
教授の方々に感謝いたします。 P. T. Sivakumar および博士 本研究の科学的監督を行ったShivarama Varamballyに感謝いたします。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| Emoscape | Nihilent Ltd, Pune | 1 | Emoscapeの開発元 |
| Manoshanti Centers for Emotional Well Being | GNR Health Care Pvt Ltd. | 2 | 臨床および研究パートナー |
| 神経精神疾患における感情認識ツール | 本研究の責任著者による著作権 | 3 | 本研究で検証に使用されたツール |
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
この記事は公開されました
動画は近日公開