マルチモーダル生理学的および行動的シグナルを用いた感情的ユーザー体験の計算モデリング

Summary

このプロトコルは、生理的および行動的シグナルをマルチモーダル方式で統合し、相関に基づく特徴学習やマルチモーダル融合の手法を用いて、感情的ユーザー体験をモデル化する計算フレームワークを記述します。このプロトコルは、AMIGOSベンチマークデータセットを用いたマルチモーダル情動モデリングのフレームワークを提案し、テストします。

Abstract

本研究は、生理学的信号を利用するマルチモーダル感情モデリングのための再現可能な計算プロトコルを提案します。このプロトコルの目的は、複数のバイオシグナルを統合し、統一されたディープラーニングフレームワークを用いてオフラインの感情認識を可能にすることです。提案された作業は、データ収集、前処理、特徴整合、マルチモーダル融合、評価の5つのステップで構成されています。本研究では、公開されているAMIGOSデータからのEEG、ECG、GSR信号を実験ベースラインとして用いています。バイオシグナルは前処理され、モダリティ特異的特徴を抽出するために正規化されました。深正則相関解析(Deep Canonical Correlation Analysis)を用いて異種特徴空間をモダリティ間で整列させ、その後多モーダル融合ネットワークを用いて感情状態を分類しました。このプロトコルはオフライン実験で評価され、精度、精度、リコール、F1スコア、AUCなどの標準的な性能指標を用いて従来の融合モデルや分類モデルと比較しています。本研究は、リアルタイムインタラクティブシステムの展開ではなく、マルチモーダルな感情的ユーザー体験モデリングのための計算フレームワークの開発と検証に焦点を当てています。UX情動状態予測の精度は92.1%、価数覚醒分類では94.2%のF1スコアで、感情的側面ではベースラインモデルを一貫して上回る成果を示しました。これらの発見により、生理学的データのベンチマーキングを通じて、計算感情モデリングにおける提案されたマルチモーダル融合ワークフローの有効性が検証されました。

Introduction

思考、感情、行動の複雑な相互作用が人々の思考や行動を形作っています。アフェッシブコンピューティングは、神経科学、心理学、人工知能の学際的な知識を活用し、人間の感情を分析・理解・反応できるシステムを構築することで、これらの関係性を研究しています。この分野は、表現的意識を応答型AI構造に組み込むことで、人間と技術のコミュニケーションにますます応用され、技術が知的条件だけでなく感情的な条件とも相互作用し、より個別化され感情に敏感なユーザー知識を生み出すことが実現しています。感情、すなわち複雑な精神的プロセスは人間の知覚の反映であり、人間関係において重要な役割を果たし^ます。現在、感情認識に関する研究が必要な多くの人間とコンピュータの相互作用(HCI)アプリケーション^{があります。}HCIシステム環境は動的かつ複雑です。ほとんどの場合、その機能は被告側と同期する必要があります。したがって、感情知能を持つ文脈はこのような環境により適応できます。したがって、本研究では、マルチモーダルな生理学的および行動的シグナルを通じた感情的ユーザー体験の計算モデリングを探求^します。実際にインタラクティブなシステムを開発・検証するのではなく、マルチモーダル信号統合に関連する方法論や、没入型や展示ベースの環境の応用文脈で推論に影響を与える傾向があります。概念の幅広さを避けるため、本研究は主に2つの概念に焦点を当てます。すなわち、計算的アプローチを用いたマルチモーダル感情モデリングフレームワークの実装と、生理学的および行動的データを組み合わせるマルチモーダルデータ融合技術です。原稿で浮かび上がる他のすべてのトピックは、開発されたモデルの関連性に関する文脈として参照されています。

感情のあらゆる様式は、他の感覚系からは導き出せない、その人の感情について異なる情報を伝えます。身体の動きから感情を抽出することは、全体的な身体の動きパターンを含み^、人の非言語的な感情を特定するという利点があります。話し言葉や顔の外見は、身体の動きや人間の身体信号には得られない素材を伝えることができます。人間はさまざまな感情のモダリティを並行して、または組み合わせて利用します。それぞれの治療法には限界があり、それぞれの強みがあります。感情を正しく検出するために、マルチモーダル感情認識法はユニモーダル感情認識よりも高い認識性能を持つ可能性があります。しかし、感情の変化が起きた場合、表情の手がかり、生体信号や生理信号、音声信号は他の信号よりも早く現れる傾向があります。したがって、コンピュータビジョンに基づく感情検出は主に顔の感情表現に関心を持っています⁵。

感情計算は、子供とロボットの相互作用(CRI)において包括的に研究されています。感情認識システムは、ユーザーの生理的および行動的な信号に基づいて反応を変化させます。これらの研究は、生物物理的感情感知と適応的相互作用の実現可能性を示しています。しかし、設計されたCRIシステムは主に構造化され、タスク指向的かつ参加者型の文脈にのみ適しています。そのため、CRIシステムはインタラクティブな展示のような動的で公共の環境への一般化が限られています。彼らの研究は、感情認識型ロボットがモチベーションを高めるために不可欠であると指摘しており、パーソナライズなどの課題にも取り組んでいます。関与は、感情的に反応するロボットの方がより豊かで効果的な学習体験を提供するため、子どもとロボットの感情的な相互作用の重要な要素です。著者⁶ は、タスクおよび社会的相互作用の特性に基づいてユーザーの関与を検出するフレームワークを提示しています。彼らは、表情や社会的行動を含む感情的な手がかりを特定することで、ロボットが反応を動的に調整し、ユーザーの交流や関与を高めることができることを発見で証明しています。長期CRIにおける情動適応は継続的な課題です。7^の著 者たちは、ある期間中の子どもたちの感情を提示し、ロボットが個人的な感情パターンや学習スタイルに適応する必要があることを強調しています。

また、高い時間分解能と感情状態への感度により、EEGからも高い性能を発揮しています。最近^{の研究8、9、10}はディープラーニング手法を用いて、時空間モデリングとグラフベースの注意メカニズムを導入することで、対象間の堅牢性を向上させました。しかし、ほとんどの研究は単峰性のままで、複数の感覚チャネルをまたぐ知覚と感情の相互作用を考慮したものはごくわずかです。そのため、没入型UXシナリオ^11、12、13ではあまり適用できません。モデルはデータセット上で評価され、現在の最先端技術と比較して性能が向上していることが示されました。感情依存的臨界選択アルゴリズムは¹⁴で提案され、EEG機能的接続ネットワークの特徴の強度、クラスタリング係数、固有ベクトル中心性が検討されました。 15の著者らはEEG信号から時間的特徴を得るために深く単純な再帰単位ネットワークを研究し、実験結果は文献中の関連研究を上回り^ました。EEG信号の大規模なデータセットを収集することはほぼ不可能ですが、クロスサブジェクトアプローチなど他の方法を試すことができます。

最近の研究^20,21は、EEG信号に基づく被写体間感情分類の問題に取り組むために、非常に高度な時空間モデリングアルゴリズムを用いる上で大きな進展を遂げています。これには、EEG信号による感情分類における被験者間変動を扱うための、ドメイン適応強化と動的グラフアテンションを備えた時空間的ハイブリッドネットワーク^{が含まれます。}特に、時間的モデリングメカニズムや動的注意を用いた空間的脳関係モデリングを用いることで、被験者に依存しない感情分類のパフォーマンスを大幅に向上させました。この問題に関する別の研究には、時空間的同型クロスブレイン領域相互作用ネットワーク²³があります。本研究では、EEG信号からの感情分類における被験者間ロバスト性を有意に向上させるために、時空間的不変量のモデリングにより重点を置いています。これら2つの研究成果は純粋な神経信号からの感情分類における卓越した性能を成功裏に記録していますが、単一モーダル信号に限定され、多モーダルP-E相互作用の探求は不足しています。一方で、現在の研究は複数のP/Eモダリティを深い相関学習を通じて結合させる深層学習ソリューションを用いて、より豊かで味わいのある感情的UXモデリングソリューションを提供することで、拡張されたユニモーダル信号モデルに進んでいます。

現在の研究、特に生物物理情報を用いた表現的意識を持つ子どもとロボットのインターフェースプロジェクトは、多様態生理学的信号を利用して感情認識を改善する可能性を検証していますが、それでもドメイン関連の制約により制限されています。特に、これらのシステムは主に構造化されたタスク指向の子どもとの交流に最適化されており、インタラクティブな展示のようなより複雑で動的な環境には一般化できません。さらに、ベースライン研究で用いられる特徴融合技術は拡張性がなく、浅い融合アプローチに依存しがちであり、多感覚UX環境に存在する複雑な知覚と感情の相互作用を効果的に捉えきれていません。また、ベースライン論文は、EEG、表情、視線追跡などの高次元マルチモーダルデータの流れを異なる環境刺激の下で整合・融合できる最先端のディープラーニング技術を活用していません。これは、多様な聴衆の属性や刺激文脈に対応するだけでなく、深正準相関解析(DCCA)やマルチモーダル融合ネットワーク(MMFN)アーキテクチャを通じて知覚と感情の相互作用を捉える高性能計算パラダイムの構築における根本的な知識ギャップを明らかにしています。このギャップを埋めることで、ユーザーエクスペリエンス(UX)の理解が大きく向上します。

本研究の主な目的は、マルチモーダルな生物物理的および行動的センシングを通じて、インタラクティブな展示の文脈内で感情的に適応したユーザー体験を促進する計算システムを構築することです。子どもとロボットの相互作用研究や感情計算に基づく感情モデリングの基本原理を基に、このフレームワークはEEG、ECG、EDA、顔表情、視線追跡などの異質な生理学的・行動的手がかりに基づいて、ユーザーの知覚と感情の相互作用をモデル化・記録することを目指しています。深正準相関解析(DCCA)とマルチモーダル融合ネットワーク(MMFN)の統合を通じて、システムはモダリティ間で共通する潜在的な感情表象を学び、それらの表現を感情的ユーザー体験(UX)状態に投影しようとします。このアーキテクチャは、浅い特徴融合や年齢制約された感情モデルのハンディキャップを克服し、動的で公共の環境における文脈認識感情推論と多感覚統合をサポートすることを使命としています。最後に、本研究はユーザーのリアルタイムの感情的フィードバックや相互作用モードに応答する、より高度で感情的に感受性の高い展示システムの開発を支援し、デジタル文化体験におけるエンゲージメント、満足度、認知・感情共鳴をさらに高めることを目的としています。

本論文は以下の点で文献に貢献します:生理学的および行動的データの両方を考慮するマルチモーダル情動モデリングのための計算的枠組み。複数のデータソースから知覚や感情表現の効果的な学習を促進するマルチモーダル融合アプローチ。本研究は、AIベースのマルチモーダルセンシングと知覚と感情の相互作用の多感覚統合パイプラインモデリングを通じて、感情的ユーザー体験(UX)を補強する新たな計算パラダイムを導入します。主な貢献は、DCCAとMMFNの融合により、EEG、ECG、EDA、顔表情、視線追跡などの異種モダリティにおける強固な特徴整合と高水準の表象学習を促進したことです。これにより、感覚知覚を興味、関与、驚き、退屈などの感情状態にマッピングした正確なオフライン評価モデルが可能となります。公開されているAMIGOSデータセットを用いた実験的検証により、開発されたDCCA+MMFNモデルはベースラインモデル(例:1D-CNN、CNN-ResNet、LSTM-CNN)よりも優れており、価数覚醒感情状態の平均分類精度は89.4%、離散的な感情クラスでは87.1%であることが示されました。

これまでの研究が参加者を重視したり、タスク中心の状況を重視したり、表面的な特徴融合技術を用いたりしたのに対し、提案されたアプローチは動的な実世界の展示環境向けに特別に設計されたディープラーニングフレームワークを提供します。DCCAとMMFNの統合により、この研究は異質なユーザーグループにおける連続的な知覚・感情の変化を理解できる拡張可能かつノイズロバスト性の手法を提供します。この高次元の生理学的、行動的、環境的シグナルの明確な融合は、感情UXモデリングにおける主要な革新です。本論文は、マルチモーダルセンシングと多感覚統合を用いてインタラクティブ展示における感情的ユーザー体験をモデル化するためのAI駆動フレームワークを提示します。提案されたフレームワークは、DCCAとMMFNを組み合わせることで、EEG、ECG、EDA、顔表情、眼球トラッキングなどの異種モダリティの堅牢なアライメントと融合を実現します。従来の研究がユーザー中心またはタスク中心の環境に限定されていたのとは異なり、提案されたアプローチは動的な公共環境における継続的な知覚・感情モデリングを支援しており、感情UX研究における重要な進展となっています。

異種特徴アラインメントを融合前に体系的に扱う、生理的表現モデリングのための体系的かつ再現可能なマルチモーダル計算アプローチの創出が、本研究の主な新規性である。提案されたフレームワークは、DCCAを用いた中間的なクロスモーダル潜在アラインメントステージを導入することで、EEG、ECG、GSR信号にわたる相関表現学習を強制します。これは、直接的な特徴連結や意思決定レベルの融合に依存する従来の多モーダル感情認識研究とは対照的です。分類前にモダリティの一貫性を保証することで、このアラインメント駆動型融合アプローチは、感情的次元にわたる一般化可能性と堅牢性を高めます。この貢献は、ベンチマーク指向のエンドツーエンドワークフローであり、前処理、表現アライメント、マルチモーダル融合、評価を単一のディープラーニングアーキテクチャ内で標準化し、単一のアルゴリズム変更を提案するのではなく、繰り返し可能かつタスクに依存しない生理的感情モデリングを可能にします。本研究で提案された枠組みは、展示に似た体験のためのマルチモーダル情動モデリングの実現可能性かつ概念的実証として位置づけられています。実際の多感覚展示環境を直接モデル化しようとするのではなく、AMIGOSデータセットは管理された環境でモデリングアプローチを検証するためのベンチマークプロキシとして使われています。

Protocol

本研究で使用されたAMIGOSデータセットは公開されており、事前の機関審査委員会の承認とインフォームドコンセントのもとで収集されており、元の論文に記載されています。本研究はデータセットの二次分析のみを含み、追加の倫理承認は必要ありませんでした。

本手法は特徴アライメントおよびマルチモーダル融合アプローチを用いて、マルチモーダル生理学的および行動データを扱い、知覚と感情の相関を記述しています。本研究は、マルチモーダル生物物理センシングとAIベースの感情モデリングを活用した、インタラクティブ展示における感情的ユーザー体験(UX)の計算モデルを提案します。ベースライン論文の生物物理学データの洞察に基づき、この手法は同期されたEEG、ECG、EDA、視線追跡、表情、環境入力から計算モデリングのユーザー状態をデジタル化します。原稿における「空間・時間モデリング」という用語は、DCCAを用いた空間的多チャネル生理学的特徴表現およびモダリティ間相関アライメントを指します。時間的:BiLSTMによる逐次符号化と、分割されたウィンドウ内で時間的依存性の保存。これらの多様な信号は、まず前処理され、モダリティ間の時間的・空間的相関を考慮して正規化されます。各モダリティごとに特徴ベクトルが独立して学習され、興奮、注意、関与などの感情に関連するパターンを捉えます。異種なデータストリームをまたぐ共有感情表象から成功裏に学習するために、DCCAが使用されます。DCCAは各モダリティを潜在的な共通部分空間に投影し、そこで相関特徴が最大化されつつ、拡張されたクロスモーダル関連性を通じてモダリティ固有の情報を保持します。これらのモダリティにアラインメントされた潜在的埋め込みは、ハイブリッドなBiLSTMと注意層を介して時間的および文脈的情報を組み合わせたマルチモーダル融合ネットワーク(MMFN)に渡されます。この融合により、システムは高レベルの感情状態を生成し、それがユーザー体験指標(例:退屈、興味、不快感)に変換されます。最後に、分類モジュールは感情的なUX状態を推定し、視覚的または音声刺激の計算モデリングにおける調整などの展示適応のためのフィードバックを提供します。 図1 は提案された手法のアーキテクチャを示しています。

図1:提案手法のアーキテクチャ。 DCCAおよびMMFNを用いた、EEG、ECG、EDA、顔表情、眼の凝視を含むマルチモーダル入力を融合した提案されたUXモデリングフレームワークの構造。略語;UX = ユーザーエクスペリエンス;EEG = 心波計;ECG = 心電図;EDA = 電気皮膚活性;DCCA = 深範正準相関解析;MMFN = マルチモーダル融合ネットワーク。 この図の拡大版はこちらをクリックしてご覧ください。

図1の提案アーキテクチャは、深正準相関解析(DCCA)とマルチモーダルフュージョンネットワーク(MMFN)を用いたエンドツーエンドの感情的ユーザー体験(UX)システムを示しており、インタラクティブ展示における知覚と感情の相互作用モデリングを行っています。システムはまず、EEG、ECG、EDA生理信号などの生のマルチモーダル入力を取ることから始まります。表情や目の視線による行動信号、また、視聴覚情報や環境情報などの文脈入力も含まれます。これらの信号は前処理および特徴抽出モジュールに送られ、信号特異的処理(ノイズ除去、正規化、特徴計算など)が実行され、各モダリティに対して意味のある記述子が作成されます。次に、DCCAモジュールはモダリティのペアを共通の潜在空間に投影し、モダリティ間で内在的な感情パターンを符号化する最大相関の埋め込みを学習します。これら複数のDCCAモジュールの高相関機能は、その後マルチモーダル融合ネットワーク(MMFN)によって融合され、学習された特徴を深層学習層(場合によってはBiLSTM)、注意メカニズム、トランスフォーマーと階層的に融合させ、コンパクトで高レベルの感情表現を作り出します。この統合された表象は感情およびUX状態分類層に入力され、モデルは価数、覚醒、関与、退屈、過負荷などの感情的結果や認知・感情的状態を予測します。パイプライン終端には適応型UXフィードバックループがオプションで提供されており、システムは展示の文脈で刺激やコンテンツを適応させることでユーザーの状態に対話的に応答できます。このスケーラブルでモジュール化されたアーキテクチャは、相関認識型表現学習と深いマルチモーダル統合による強力な感情モデリングを保証し、インタラクティブまたは体験型環境における感情コンピューティングの計算モデリングに非常に適しています。

DCCAとMMFNの融合の選択は、標準的な単峰および浅い融合モデルの現行制約に基づいています。CNN-ResNetやLSTM-CNNは時間的または空間的特徴を抽出しますが、EEG、EDA、異なる環境刺激下での顔表情などの異質なモダリティのバランスを取るのは不十分です。DCCAはクロスモーダル相関を最大化し、共有された潜在表現を確保しますが、MMFNは階層的な融合と注意メカニズムを用いて最も情報性の高いシグナルを動的に強調します。これらのモジュールを組み合わせることで、インタラクティブな多感覚環境に対してより信頼性が高く、理解しやすく、広く適用可能な感情的UXモデリングアプローチを提供します。

データ取得
インタラクティブ展示のための知覚-感情相互作用のモデルフレームワークの提案では、公開されているAMIGOSデータセット²⁴がマルチモーダル感情データの基礎として用いられています。AMIGOSデータセットは、動画クリップのような感情喚起刺激を受ける人間の参加者からの生理学的および行動的測定を網羅的に収集しています。このデータには、同期されたEEG、ECG、GSR信号、顔面映像記録、および自己申告の感情ラベルが、離散的(例:幸福、悲しい)および次元的(価数/覚醒)形態が含まれます。これらのモダリティは、ここで提案されたシステムのニーズとよく合致しており、没入型の多感覚展示インタラクション中に感情的ユーザー体験(UX)状態を推測することを目的としています。データセットには、40人の被験者の録音が含まれており、それぞれが短い(動画クリップ<150秒)と長(映画>14分)の感情刺激の両方にさらされ、実際のメディア関与を模した状況下で行われています。この提案された研究の範囲には、データセットの事前処理されたサブセットが用いられています。すなわち、アーティファクトのない高品質なEEG、ECG、GSR信号を持つ30名の被験者の記録、さらに完全な顔面映像および注釈ファイルです。これらは展示状況における多様性の感情的ダイナミクスを模倣するために選ばれたサンプルです。学習されたデータセットは、DCCA + Multimodal Fusion Network(MMFN)パイプラインのトレーニングおよびベンチマーキングの基盤であり、視覚、聴覚、空間刺激に対する反応として関与、退屈、混乱、覚醒といった感情状態を、シミュレートされた展示環境で探求しています。 表1は 提案された方法のデータセットの説明を示しています。

パラメータ	詳細
データセット名	AMIGOS(感情、性格、気分研究のためのデータセット)
いいえ。参加者数	合計40件(30件は完全なマルチモーダルデータを用いた提案作業で使用)
刺激の種類	短いものと長いビデオクリップ(感情的な注釈付き)
脳波チャネル	14チャンネルEmotiv EPOC EEGヘッドセット
心電図	心拍センサー(HRVと覚醒用)
GSR	皮膚伝導センサー(交感神経活動の測定)
フェイシャルビデオ	表情分析のための高解像度正面顔動画
感情ラベル	自己評価価数、覚醒度、優性(スケール1–9)、および離散的なラベル
サンプリングレート	EEG:128Hz、ECG/GSR:1000Hz
データフォーマット	.matファイルと同期されたタイムスタンプログ
モダリティ同期	はい – すべてのセンサーと映像で同期
セッションあたりの所要時間	短いクリップ(<150秒)と長編映画(>14分)
応用適合性	感情UXモデリング、マルチモーダル融合、リアルタイム知覚-感情マッピング

表1:AMIGOSデータセットの説明。 提案されたフレームワークで使用されたAMIGOSデータセットの説明、参加者情報、モダリティ、サンプリング率、実験設計を含む。略語;AMIGOS = 個人およびグループに関する感情、性格、気分研究のためのデータセット。

提案フレームワークで適用された公開されているAMIGOSデータセットは、40名の参加者から収集された多様態的行動および生理学的データで構成されており、そのうち33名が記録の優秀さと充実度を基に本研究に選ばれました。このデータセットは短距離および長距離のビデオクリップに対する感情反応を記録し、14チャンネルのEmotiveヘッドセットからのEEG、心拍変動のための心電図、皮膚伝導度のGSR、表情測定のための高解像度顔面映像などの信号を特徴としています。感情状態は、価価性、覚醒、優位性などの二次元と離散的なカテゴリーの両方で自己申告されます。データはモダリティで適切に整合しており、適切にサンプリングされています。EEGは128Hz、心電図は1000Hz、GSRは1000Hzです。このような構成により、インタラクティブ展示におけるユーザー体験(UX)のモデリングに理想的であり、AIベースのマルチモーダルセンシングを用いて知覚と感情の相互作用を正確に追跡できます。

データ前処理
すべての前処理ステップ、モデルトレーニング、評価は、個別にカスタム作成されたPythonスクリプト(Python 3.10、PyTorch 2.0)で個別に実装され、各モジュールは信号前処理、DCCAベースのアライメント、MMFNトレーニング、パフォーマンス評価に割り当てられました。主要なパラメータの設定やいくつかの重要な計算構成は表 1にまとめられています。インタラクティブ展示の感情的UXモデリングのために公開されているAMIGOSデータセットを処理するために、まずEEG、ECG、GSR、顔面ビデオなどの生理学的および行動的モダリティに関する体系的なデータ前処理パイプラインを実装します。まず各モダリティを標準化・同期し、その後モダリティ固有の前処理を行います。現在、文脈情報は、顔の表情、視覚的動きパターン、音声韻律や背景音声などの音声的特徴など、ビデオ刺激内の内在的な視聴覚手がかりからのみ得られています。

信号正規化とリサンプリング
すべてのモダリティからの生生理学的信号 x(t)は、モダリティ間で時間的なアラインメントを行うために共通周波数fs=128 Hzにリサンプリングされます。

(1)

リサンプリングはカスタム設計されたアルゴリズムではなく、標準的な信号処理ライブラリ関数を用いて行われました。具体的には、Python信号処理エコシステム(SciPy)で利用可能なリサンプリングユーティリティを用いて行われました。このユーティリティはフーリエ法ベースの補間を適用し、信号を目標のサンプリング周波数に変換します。対象サンプリングレート_fsは、セグメンテーションおよび特徴抽出前にモダリティ間で均一な時間分解能を確保するために選定されました。その後、すべての信号は被験者間変動を排除するためにzスコア正規化されます。

(2)

ここで μ_x と σ_x は試行窓の平均と信号の標準偏差です。

EEG前処理
14チャンネルから取得されたEEG信号は、認知関連周波数を保持するために4〜45Hzの選択でバンドパスフィルタリングされています。

(3)

パワースペクトルは信号の周波数パターンを決定するために用いられ、これは脳信号の場合は感情の種類によって異なることがあり、信号に関する有用な情報を提供します。ウェルチの手法は、スペクトル密度の推定を提供し、スペクトログラムを得るために用いられる周期計方程式3の優れた手法です。ウェルチの手法は、時間領域信号を離散的な時間間隔と構成要素に分割します。各セグメントごとにスペクトログラムを作成し、式4で示すようにすべてのスペクトログラムを平均化します。このプロセスはフルFFT方式に比べて滑らかであり、信号から最大の出力を引き出します。最後に、パワースペクトル密度(PSD)¹⁹ がウェルチ手法を用いて周波数領域特性を捉えるために計算されます。

(4)

PSDの特徴は5つのバンドにまとめられています:シータ(4–8 Hz)、アルファ(8–13 Hz)、ベータ(13–30 Hz)、ローガンマ(30–45 Hz)。

ビデオベースの顔の特徴
マルチチャンネルEEGデータセットや類似ソフトウェアを用いて、各映像フレームの顔面アクションユニット(AU)およびアイゲイズベクトルを抽出し、これらを時間的シーケンスとして組み合わせます。

(5)

感情ラベルマッピング
価数覚醒スコアと離散的な感情タグはAMIGOSによって与えられます。連続的な評価は[0,1]に正規化されます:

(6)

ここで、Vは正規化前の実際の観測値、V最小はデータセット内の変数の最小値、Vmaxはデータセット内の変数の最大値、V'は0から1の範囲内の正規化値です。これらのラベルは教師ありの感情モデリングの根源として適用されます。これらのラベルは教師ありの感情モデリングの根源として適用されます。

モダリティ間の同期
すべてのモダリティは、必要に応じてタイムスタンプアライメントまたは動的タイムワープ(DTW)を用いて同期されます。

(7)

前処理された特徴豊富なデータは、深正準相関解析(DCCA)モジュールに入力され、モダリティ間の最大相関表現を学習します。

DCCAを用いた特徴抽出
インタラクティブ展示のための感情的UXモデリングの枠組みの中で、DCCAはEEG、ECG、EDA、表情、眼球追跡データなどの異種モダリティにおける関連潜在的特徴の学習に活用されています。目的は、個別にノイズが多いかモダリティ特異的であっても、さまざまなモダリティからの信号が最大限に相関し、知覚される感情状態において意味的に一貫している共通の表象空間を学ぶことです。本研究では、DCCAを以下のモダリティペアに適用しました:i) EEG–ECG、ii) EEG–GSR、iii) EEG–顔の特徴表現。これらのペアは、感情的関与に関連する補完的な神経生理学的および神経行動的相関を捉えるために選定されました。DCCAをマルチモーダル設定に拡張するために、各モダリティペアのペアワイズDCCA埋め込みを計算し、提案されたMMFNを用いて融合させました。これにより、コアとなるDCCA定式化を変更することなく、2つ以上のモダリティを効率的に統合できます。

融合前に相関駆動型潜在アラインメントを行うことで、DCCAは表現アライメントと意思決定フュージョンを構造的に分離します。これは、誤った表現に直接対応するクロスモーダルアテンションやテンソルフュージョンネットワークとは対照的です。冗長性が減少し、表現の一貫性が向上します。さらに、DCCAは共有損失関数に依存するのではなく、マルチタスク学習フレームワークよりも異種生理学的データにより適しているため、クロスモーダルの統計依存性を直接最適化します。まず、DCCA²⁰は複数の非線形変換層を積み重ねて逐次処理することで、複数のモダリティの表現を計算するために用いられます。 図2 は、本研究で用いられたDCCAの構築を示しています。私たちはグリッドサーチ手法を用いて、DCCAアプローチで利用するディープラーニングモデルの設計に最適なハイパーパラメータを決定しました。徹底的な実験解析の後、著者らは確率勾配降下最適化器、交差エントロピー損失、そして調節パラメータ1e5を選定しました。次に、著者らはバイアスベクトルをすべてゼロ、検証を早期停止基準、ザビエル初期化器を重み初期化器として15ステップ選びました。 図2 はDCCAの動作過程を示しています。

図2:DCCAの作業過程。 DCCAのプロセスワークフローは、多様なモダリティの特徴を共通の潜在空間にマッピングし、相関を最大化する様子を示しています。
略語;DCCA = 深範正準相関解析。 この図の拡大版はこちらをクリックしてご覧ください。

図2 は、EEG(モダリティA)とEDA(モダリティB)という2つの異なるモダリティ間の共有表現学習のためのディープカノニカル相関分析(DCCA)の内部作業フレームワークを視覚的に示しています。両モダリティはそれぞれの深層フィーチャエクストラクタネットワーク(フィーチャーエクストラクタAおよびB)に入力され、これらのネットワークには抽象的でモダリティ固有の特徴を学習する複数の隠れた層があります。融合前には、深正準相関解析(DCCA)を用いてクロスモーダルの潜在アライメントが行われます。各モダリティペア(EEG–ECG、EEG–EDA、およびEEG–顔面)に対して、2つの並列な深部投影ネットワークが構築されます。ReLUの活性化を用いることで、各投影ネットワークは寸法[256, 128, 64]の3つの完全接続層で構成されています。共有潜在空間の場合、64は究極の埋め込み次元です。数値的安定性を保証するためにL2正則化係数が1e-5であることで、目的関数は投影されたモダリティ埋め込み間の標準相関を最大化します。バイアスベクトルはゼロに初期化され、重みはザビエル初期化によって初期化されます。アライメント学習を安定させるため、DCCAモジュールはMMFNトレーニング前に別々にトレーニングされます。アライメントの一貫性を維持するために、DCCAとMMFN間でエンドツーエンドのファインチューニングはありません。これらのニューラルネットワークのパイプラインは、入力データストリームを並列で受け付けますが、孤立しています。それぞれのモダリティから出力される特徴抽出器は共通の潜在空間に投影され、そこで両モダリティの特徴が構造的に比較可能になるようにマッピングされます。投影はDCCAの目的、すなわちEEGとEDAの対応する潜在表現の相関を最大化することに基づいて最適化されています。この最大相関の部分空間を取得することで、DCCAは出力埋め込みが両モダリティからの相補的かつ意味的に有意なパターンを保持していることを保証し、感情認識や感情コンピューティングなどの下流応用に不可欠です。

この作業では、DCCAを用いて特徴量を変換し、その後分類のために統合します。図2に示されるDCCAモデルは、特徴変換のためにディープラーニングモデルを使用しています。CCA層は相関を計算し、それを特徴結合や分類に用います。マトリックスEEGモダリティの試験を保存し、マトリックス顔のビデオモダリティ実験を含むとします。この場合、EEG試験の特徴寸法と顔のビデオクリップの寸法はそれぞれ_n1と_n2で表され、総試験数はMAで示されます。各モダリティに対して、著者らは入力特性を非線形的に再配置する以下の深層ニューラルネットワークを作成しました。

(8)

ここで非線形変換のパラメータは_HT1および_HT2として表されます。すべてのニューラルネットワークからのその後の特性はととして表され、DCCAの特徴の測定はnとして表されます。DCCAから生成された再帰的に学習されたパラメータHT₁と_HT2は、ON₁とON₂の相関を可能な限り高いレベルまで高めています。

(9)

_HT1と_HT2 が逆伝播アルゴリズムによって学習される過程で相互学習されたパラメータ。目的の答えを得るために、目的関数の勾配を提案したように近似しました。改造された特徴ON1とON2∈SPは、2つのニューラルネットワークが訓練された後の統合されたハイパースペースSPに存在します。DCCAの著者たちは主に変化した特性の使用について具体的に言及していません。変更された機能は、ユーザーのアプリケーションに最適な方法で使用できます。本研究では、著者らは変性特徴から以下の融合特徴を得ました。

(10)

ここでαとβはα + β = 1を維持する重みを表します。DCCAを用いて統合されたONの特徴はSoftMax分類器に入力されます。感情認識タスクは分類器の訓練に用いられます。前述の通り、多様なフォーマットでデータ融合のためのDCCAを構築することにはいくつかの利点があります。例えば、モダリティ中心変換の特徴と相関を観察するために、DCCAは各モダリティに対して特徴レベルの融合でON1とON2を明示的に取得します。さらに、感情に基づくデータは非線形写像関数f1(·)およびf2(··)を制御することで保存可能です。さらに、著者らは加重和融合の各モダリティに対して同等の重みを用いています。ユーザー体験の状態を予測するマルチモーダル融合ネットワーク(MMFN)がこの複合空間を受け取ります。マルチモーダルアライメントでは階層的アプローチが用いられ、生信号をリサンプリングとタイムスタンプのアラインメントで時間的に整列し、多様なモダリティからの意味的に豊かな信号のアラインメントは深準相関解析(DCCA)によって得られます。これにより、モダリティ意識型表象がMMFN内の注意ベースの融合プロセスの前に共通の潜在空間へと変換されます。

感情的UXモデリングのためのマルチモーダルフュージョンネットワーク(MMFN)
MMFNは各モダリティを個別に符号化し、フュージョンゲートと注意機構を用いて融合させて感情予測のための統合表現を出力します。

モーダリティ特異符号化
x⁽ⁱ⁾∈R^diを第i形態(例:EEG、EDA)の特徴ベクトルとする。各モダリティは神経エンコーダで符号化されます:

(11)

ゲート融合機構
各モダリティからの情報の流れを管理するために、フュージョンゲートが用いられます:

(12)

(13)

σはシグ結腸活性化機能です。⊙元素ごとの発達を特徴づけます。これにより、ネットワークはノイズの多いモダリティをダウンウェイトしたり、有用な特徴を動的に重み付けしたりすることができます。

クロスモーダリティ注意融合
注意層は各モダリティの表現にどれだけの重みを置くべきかを学びます:

(14)

(15)

α(i)は注意重み融合された最終表現です。

感情状態予測
融合ベクトルは出力層への入力として、価数/覚醒状態やUX状態の予測を行います。

22(16)

は以下の区分を表すことができます:離散的な感情クラス(幸せ、中立、悲しい)、連続的なスケール(価高/覚醒)、UXカテゴリー(関与、気を散らしている、過負荷)。

図3:MMFNの構造。 感情状態予測のためのモーダリティ特異エンコーダ、ゲートフュージョン、注意に基づく統合を用いたMMFNの構造。
略語;MMFN = マルチモーダル融合ネットワーク。 この図の拡大版はこちらをクリックしてご覧ください。

図3 は、感情およびユーザー体験(UX)予測のための感情計算フレームワークで用いられるマルチモーダルフュージョンネットワーク(MMFN)の作業過程を示しています。モダリティ特化エンコーダ、ゲート融合層、注意ベースの積分モジュール、最終分類ヘッドがMMFNの階層的融合アーキテクチャを構成しています。EEG(モダリティA)、EDA(モダリティB)、顔の表情(モダリティC)などの異種入力モダリティが、それぞれ独自の専門的なエンコーダネットワーク(エンコーダ:A、B、C)によって処理される様子を示しています。ReLU活性化による2つの完全接続層からなる独立したエンコーダが、各モダリティ(EEG、ECG、EDA、顔の特徴)を処理し、その後双方向長短期記憶(BiLSTM)層が時間的依存関係を捕捉します。各エンコーダーは、対応するデータストリームから重要な感情的または生理的特徴を保持するモダリティ特有の特徴表現を学習します。BiLSTMの各方向には128の隠れた単位があり、各モダリティは256次元の文脈埋め込みを持っています。過学習を避けるため、BiLSTM層の後にドロップアウト(レート=0.5)が行われます。シグモイド活性化を用いてモダリティ寄与を動的に制御するゲーテッドフュージョンアプローチが符号化されたモダリティ表現に適用されます。自己注意レイヤーは、騒がしい信号を抑制し、関連情報を強調するためにモダリティ間の注意重みを計算します。完全連結層と、価覚醒回帰タスク用の線形出力層、離散分類タスク用のSoftmax出力層のいずれかが融合表現を投影します。各エンコーダの出力はマルチモーダルフュージョンレイヤーに入力され、すべてのモーダリティ特徴を連結し、より情報的な信号やノイズを遮蔽する注意機構を適用します。この操作は、すべてのモダリティにまたがる感情信号を統合して高レベルの高密度ベクトルにまとめる共通の潜在表現を生成します。

モダリティ特異的な逐次埋め込みに適用されるBiLSTM層は、時間的ダイナミクスを直接モデル化します。BiLSTMは、分割された生理的配列内で順方向および後方時間的依存関係の両方を捉えることで、変化する感情状態の文脈モデリングを可能にします。さらに、時間情報特徴の適応的重み付けは、時間符号化された表現上で機能する注意ベースの融合層によって可能となります。著者らは最近、シーケンス構築、再帰符号化、注意重み付けがどのように連携して時間モデリングを支えるかをより明確にするためにテキストを更新しました。

提案された擬似コード1は、DCCA-MMFNを用いた感情的ユーザー体験モデリングの全体的なプロセスを再現可能な形で示しています。まず、マルチモーダルの生理的および行動的信号が、ノイズ低減とスケールの正規化を含む独立した前処理ステップに入力されます。特徴はDCCAに入力され、指定されたモダリティペアに対して相関特徴を共同学習し、堅牢なクロスモーダルアライメントを目指します。アライン化された特徴は、その後、モダリティ特異的変調のためのゲート機構と注意メカニズムからなるMMFN内で統合され、情報提供モダリティを促進しノイズ抑制を目的としています。最終的な複合特徴表現は、感情的およびUX関連の状態推定を目的とした分類器の訓練に用いられ、全体的なパフォーマンス評価は標準的な指標に基づいて行われます。この提案された疑似コードの段階的な性質は、技術に詳しいすべての方々が透明性、実現可能性、そして他者による容易な複製を保証します。

提案されたフレームワークは、AMIGOSデータセットからのマルチモーダル生理学的および行動的信号を用いて、以下のステップに基づいて感情的ユーザー体験(UX)状態を予測することを目的としています。ステップ1:入力されたマルチモーダルデータはEEG、ECG、EDA、眼球、表情信号で構成されています。まず、AMIGOSマルチモーダルデータセットにアクセスし、各モダリティはノイズフィルタリングや正規化を含む信号前処理を受け、データの品質と一貫性を確保します。ステップ2:モダリティ間の時間的均一性を維持するために、すべての信号を標準周波数にリサンプリングします。その後、各信号タイプに対応する特徴表現を得るためにモダリティ特異の特徴抽出が行われます。ステップ3:モーダル間の関係を捉えるために、選ばれたモーダリティペア(EEG–ECG、EEG–EDA、EEG–フェイシャル)を深範標準相関分析(DCCA)で処理します。DCCAネットワークは、ペアモダリティ間の相関潜在表現を学習するよう訓練されており、その結果、各モダリティペアに対してアラインメントされた特徴埋め込みが得られます。これらの整列された表現は結合され、統一された多様性特徴空間を形成します。ステップ4:集約されたアラインメント特徴はマルチモーダル融合ネットワーク(MMFN)に入力され、注意メカニズムとゲート融合戦略を用いてモダリティ間で補完的な情報を効果的に統合します。この融合過程は包括的な感情的表象を生み出します。ステップ5:得られた表現は、感情データにラベル付けされた分類器を学習させ、感情UX状態を予測します。最後に、モデルのパフォーマンスは、精度、精度、リコール、F1スコア、曲線下面積(AUC)などの標準的な指標を用いて評価されます。予測されたエフェクトUX状態はフレームワークの最終出力として返されます。

提案されたDCCA-MMFNフレームワークを用いた知覚・感情モデリング
インタラクティブ展示の感情的ユーザー体験(UX)の計算的枠組みとして提案されている中で、知覚・感情モデリングモジュールは、環境刺激に対するユーザーの知覚反応と、多様態の生物物理学的に導かれる感情状態を結びつける中心的なプロセスです。このモジュールは、DCCAが得た生理学的および行動的モダリティの共通表現に基づいており、EEG、EDA、ECG、顔表情、眼球運動など、ユーザーの感情動態を記録します。同時に、周囲の展示環境に関するメタデータ—視覚刺激、音景、インタラクティクスのパターン、環境特性—が知覚手がかりを符号化するために用いられます。これらのマルチモーダル表現を組み合わせるマルチモーダル融合ネットワーク(MMFN)を用いて、モデルは知覚刺激の特徴や感情ラベルや次元(例:価数、覚醒、関与)から詳細で非線形なマッピングを取得します。このマッピングにより、ユーザーがさまざまな展示要素に対してどのように感情的に反応するかを常に把握し、それに応じてコンテンツやインターフェースを修正してエンゲージメント、満足度、認知共鳴を高めることができます。最後に、知覚-感情モデリングは感情認識したインタラクションの適応を促進し、計算モデリングとユーザー感受性展示システムの中核を成しています。

まず、DCCAモジュールは各モダリティペアの相関潜在表現を学習するよう訓練されました。その結果得られた埋め込みはMMFNへの入力として機能し、さらに感情予測タスクのために順次学習されます。トレーニングの安定性を維持するためのエンドツーエンドの微調整は行われていません。

カテゴリー	パラメータ	価値 / 説明
信号前処理	EEGバンドパスフィルター	4–45 Hz
	リサンプリング周波数	128 Hz
	ウィンドウの長さ	2 s
	ウィンドウの重なり	50%
	正規化	Zスコア正規化
DCCAアーキテクチャ	隠れ層の数	各モダリティにつき3層
	層ごとのニューロン数	128–64–32
	潜在次元サイズ(n)	32
	正則化パラメータ	1 × 10⁻⁵
	オプティマイザー	アダム
	学習率	0.001
	バッチサイズ	32
	最大訓練時代	150
	早期停止忍耐	15の時代
MMFN構成	エンコーダータイプ	BiLSTM
	隠れたユニット	64
	中退率	0.3
	融合戦略	注意付きゲート融合
	注意の種類	脳波検査(EEG)、心電図(ECG)、大脳波検査(GSR)、ビデオ
研修と評価	損失関数	交差エントロピー損失
	列車と試験の分割	5分割クロス検証
	評価指標	正確さ、正確さ、リコール、F1スコア、コーエンズカッパ、AUC–ROC
再現性チェックポイント	EEG入力テンソル形状	チャネル×時間サンプル(例:1ウィンドウあたり14×256)
	DCCA出力表現	32次元共有潜在埋め込み
	MMFN出力	感情クラスの確率(価数–覚醒クラスまたは離散クラス)
	期待される検証性能	分類精度85〜90%

表2:提案されたDCCA–MMFNアルゴリズムのパラメータ。 提案された感情的UXモデリングフレームワークで考慮された前処理、アーキテクチャ、融合、トレーニング、評価、再現性パラメータの要約。略語;DCCA = 深範正準相関解析;MMFN = マルチモーダル融合ネットワーク;UX = ユーザーエクスペリエンス。

表2には、提案されたDCCA-MMFNフレームワーク内で使用される全パラメータセットが示されており、信号前処理、ディープアーキテクチャ設計、融合技術、訓練条件を考慮しています。生理学的信号は均一に再サンプリングされ、それぞれのモダリティに同期させられました。DCCA層は多層非線形変換を用いるよう構成されており、最大相関の潜在空間の学習を支援しました。一方、MMFNコンポーネントは、ゲーテッドアテンション機構を持つBiLSTMエンコーダネットワークを用いて、異なるモダリティの価値を動的に重み付けしました。研修と評価の要件は明確に定められており、既存の選択肢との公平な比較が確保されています。

提案されたフレームワークは、行動情報や生理情報を多次元で用いる感情認識システムの計算基盤として機能することを意図しています。このアーキテクチャは、インテリジェント展示空間、適応型スマートインターフェース、アフェクト認識型人間–コンピュータインタラクションシステムなど、現実世界環境に概念的に適応可能ですが、本研究では公開されているAMIGOSデータセットを用いた制御されたオフライン実験によってモデルが検証されています。このフレームワークは、統一されたフュージョン技術、クロスモーダルアラインメント、構造化前処理を提供することで、信頼性の高い感情推論を必要とするアプリケーションの基本モジュールとして機能します。しかし、実験的に展開されたシステムではなく、本研究ではこれらの環境を可能な展開コンテキストとして記述しています。

Results

提案されたシステムの評価
提案されたシステムを評価するため、感情刺激にさらされた40人のユーザーのEEG、ECG、GSR、ビデオ、音声の同期測定を提供する公開されているAMIGOSデータセットで実験を行いました。本研究の目的で、著者らは33名の参加者(不完全な試験の前処理および除去後)データを用い、価数および覚醒度の1,320件の有効なサンプルを得ました。この評価は、DCCAベースの表現学習層とマルチモーダルフュージョンネットワーク(MMFN)を用いて感情分類と感情UX状態予測を重視しました。結果は、すべての感情状態において予測精度と堅牢性において著しく優れています。MMFNにおける注意強化融合プロセスは、各文脈における支配的なモダリティの役割を強調する鍵となりました。 表3は シミュレーション環境を示しています。

...

Discussion

空間的、環境的、物理的な相互作用の文脈、例えば空間配置、群衆密度、環境環境条件はAMIGOSデータセットには明示的に示されていません。したがって、これらの要因も現在の実験では直接モデル化されていません。感情的ユーザー体験(UX)モデリングのための計算フレームワークの提案は、生物物理的感情検出を用いたユーザー・タスク指向の子どもとロボットの相互作用を扱った基礎論文の基礎概念よりもはるかに進んでいます。感情コンピューティングを動的でインタラクティブな展示環境に一般化し、このモデルは応用範囲、ユーザー層、条件を拡張します。基礎論文が動的ベイズ混合モデル(DBMM)を用いた構造的相互作用と静的介入ロジックを用いたのに対し、新しいフレームワークは深範正準相関解析(DCCA)とマルチモーダル融合ネットワーク(MMFN)を含む、よりスケーラブルで堅牢なアーキテクチャを統合しています。これにより、EEG、ECG、EDA、表情、眼線追跡、文脈環境情報など複数のセンサーモダリティにおける複雑な知覚-感情ダイナミクスを管理し、より詳細で連続的かつ移転可能な感情状態モデリングを提供します。二元...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
データセット	AMIGOSデータセット	参加者は40名、EEG(128Hz)、心電図(1000Hz)、GSR(1000Hz)、顔面ビデオ、自己申告の価数/覚醒ラベル	感情状態モデリングのためのマルチモーダル・グラウンドトゥルースデータ
生理センサー	EEGヘッドセット	Emotiv EPOC+(14チャンネル、128Hz)	注意、覚醒、関与に関連する脳活動の記録
	心電図センサー	Biopac MP150または同等の機器(1000Hz)	心拍変動と覚醒
	GSR/EDAセンサー	シマーGSR+または同等の機器(1000Hz)	覚醒の指標としての皮膚伝導率
行動センサー	視線追跡装置	Tobii Pro X2-60または同等の機器	視線固定とサッケードの記録
	表情記録	高解像度ビデオカメラ、OpenFace(AU、ゲイズベクトル)で解析	顔のアクションユニット(AU)と視線の手がかりの抽出
環境投入	視聴覚録画装置	マイク+カメラ(刺激と同期)	展示中の文脈刺激の捉え方
ソフトウェア/ツールキット	オープンフェイス	オープンソースの顔の行動分析ツールキット	アクションユニット(AU)の抽出、ゲーズ方向
	MATLAB / Python(NumPy、SciPy、scikit-learn)	信号前処理(リサンプリング、zスコア正規化、PSD計算)	データ前処理と特徴抽出
	TensorFlowv2.13 / PyTorchv2.0	DCCAおよびMMFN向けのディープラーニングフレームワーク	モデル実装と訓練
アルゴリズム/モデル	ディープカノニカル相関解析(DCCA)	非線形特徴アラインメント法	モダリティ間の相関潜在表現の学習
	マルチモーダル融合ネットワーク(MMFN)	BiLSTM + 注意ベースの融合層	UX状態分類のための異種モダリティの階層的融合
評価指標	正確さ、正確さ、リコール、F1スコア、コーエンs カッパ、AUC-ROC、混乱マトリックス	scikit-learn / TensorFlowのメトリクスで実装	モデルのパフォーマンス評価
コンピューティングハードウェア	ワークステーション/GPUクラスター	NVIDIA RTX 3080(10GB)または同等のRAM、32GB RAM、Intel i9プロセッサ	モデルトレーニングとシミュレーション