方法論記事

多様なデータセットにおけるEEGに基づく感情認識強化のための複合加重特徴相関アプローチ

DOI：

10.3791/69073

⸱

2026年4月17日

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

この記事について

サマリー

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本論文は、神経科学と感情コンピューティングにおける新興分野であるEEGベースの感情認識に焦点を当てています。従来の線形手法では、複雑な感情構造をビデオで表現することは不可能であり、不十分です。これに対処するため、著者らは感情関係を捉える新しいモデルである複合加重特徴相関(CWFC)を提案しています。バンドパスフィルタリングの後、独立成分解析(ICA)、離散ウェーブレット変換(DWT)、快速フーリエ変換(FFT)を用いてEEGから非線形特徴を抽出します。この場合、LSTMによって最良の特徴が選ばれ、これらの特徴はランダムフォレスト分類器によって評価されます。はじめに 生成的敵対ネットワーク(GAN)ベースのデータ拡張は、価数に対して88%、テスト結果評価において86%の精度を提供します。提案されたGANベースの覚醒率は、データ拡張が非常に高いDEAPデータセットに対して、パフォーマンスを向上させることに成功しました。このモデルは、CWFCがデータセット全体で有益であることを検証しており、SEEDデータセットにおける感情状態の分類精度は全体的に89%に達します。

要約

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

EEG信号を用いた感情認識は、感情コンピューティングや神経科学の分野で活発な研究分野であり、科学者が感情に関与する脳のプロセスを理解するための探求を支援しています。線形EEGの特徴に焦点を当てた既存の研究とは異なり、本研究は非線形の特徴に焦点を当て、感情反応の細かい変化をよりよく特徴づけています。この点に触発され、本論文では非線形成分が感情検出の性能に与える影響を調査するために、複合加重特徴相関法(CWFC)と呼ばれています。最初のステップとして、EEGデータはバンドパスフィルターを用いて事前処理され、ベータ、アルファ、ガンマ、デルタ、シータなどの周波数帯域を分離します。複雑な感情パターンを検出するために、特徴抽出は独立成分分析(ICA)、離散ウェーブレット変換(DWT)、およびFFT(高速フーリエ変換)によって行われます。これらの特徴はCWFCCモデルに統合された特徴として組み込まれ、その信頼性と全体的な予測精度を向上させることができます。次にランダムフォレスト分類器を適用して、これらの複合特徴がどれほど重要かを調べます。提案された研究は、最適な特徴選択後のGANデータ拡張(特にLSTMに重点を置き)を統合します。DEAPデータセットでは、この拡張により驚異的な88%の価数精度と86%の覚醒精度が達成され、感情の認識精度が著しく向上しました。提案モデルは、GANデータ拡張なしの初期DEAPで価数精度62%と覚醒精度65%を達成しました。さらに、このモデルは中立的な感情状態、ネガティブ、ポジティブなSEEDデータセットを平均89%の精度で区別できます。本論文は、詳細な分析と比較研究を通じて、EEGを用いたGANベースのデータ拡張を用いたCWFCモデルの優れた性能を異なるデータセットで評価しています。

概要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

感情の認識は人間関係やコミュニケーションにおいて重要です。成功した対人関係を築くためには、感情を知覚し理解する能力が必要であり、心理学、神経学、人間とコンピュータの相互作用など多様な領域に広範な影響を及ぼします。近年、脳波(EEG)に基づくBCI(脳コンピュータインターフェース)は、研究者たちが感情を検出するために注目しているメリットツールとなっています。しかし、EEGベースのBCIは人間の脳の電気活動を直接観察できる窓口を提供し、感情状態を探るための適切な研究ツールとなります。自動かつ正確な感情状態分類は、機械学習技術とEEGベースのBCI2を通じて感情認識の分野を根本的に変革しました。

前述の研究では、感情認識とその重要性が紹介されており、医療、人間とコンピュータの相互作用、神経科学など様々な分野での重要性が紹介されています。大きな進展があるにもかかわらず、現在のEEGに基づく感情認識研究には明確な研究ギャップが残っています。まず、文献で紹介された手法は単一領域の特徴抽出(例:スペクトルや時間周波数特徴)や、単独で孤立可能な非線形記述子を用いており、複雑で定常的でない脳波信号の部分的な表現のみを扱うため、モデリングに十分な情報を提供しません。第二に、さまざまな非線形特徴は優れた識別力を持つと報告されていますが、通常は別々に用いられ、ドメイン間でこれらの特徴間の関係を分離しています。この制約により、感情脳の活性化に関わる多スケールおよびソースレベルの動態をモデル化する能力が低下しています。第三に、ほとんどのディープラーニング手法は分類性能の最適化を目的としていますが、クラスの不均衡が存在する場合の特徴解釈可能性、冗長性の削減、堅牢性は考慮していません。したがって、異なる電極構成、サンプリングレート(128–256 Hz)、記録時間(30–60秒)を用いた研究間で、データセット間の一般化は依然として未解決の問題です。感情知能の主な側面は 図1に示されています。

このような欠点を克服するため、本論文では、複数のドメイン非線形特徴を1つのアーキテクチャに集約する複合重み付き特徴連結(CWFC)フレームワークを紹介します。従来の手法のようにICA、DWT、FFTを独立した抽出手法として扱うのではなく、ソースレベル分解(ICA)、多分解能時間動態(DWT)、スペクトルパワー表現(FFT)を重み付き相関を通じてモデル化します。この構造は、モデルが補完的な神経情報を活用し、冗長性を減らして識別能力を高めるのに役立ちます。また、特徴重要度ランキングとGANベースの増強の両方を用いて、最も不均衡なEEGサンプルの少ない強度で堅牢性を達成しています。LSTM分類を通じてマルチモーダル特徴関係と時間的依存性を統合し、統合モデルは多様なEEG獲得条件における一般化を向上させます。したがって、本研究の主な貢献は、非線形EEG表象間の統合不足と既存の手法における一般化可能性の欠如を克服し、実生活のBCI応用において体系的で再現可能かつ安定した感情認識フレームワークを導入したことです。

figure-introduction-1
図1:感情知能の段階。 感情知能のフェーズは、EEG信号から感情認識を抽出する方法を表し、その後、メンタルヘルス評価における感情問題の診断やモニタリングに活用しています。 この図の拡大版はこちらをクリックしてご覧ください。

感情認識研究のための非線形EEG機能は、感情処理に関わる神経プロセスのより深い理解を提供します。非侵襲的で高時間分解能の技術であり、高速な神経動態に敏感であるため、EEGは感情状態に関連する脳活動の研究に広く利用されています。非線形手法は、非定常的かつ複雑な性質を持つため、感情過程における誘発および誘発される活動の両方をより良くモデル化するため、特にEEG信号の研究に適しています。多くの計算モデルにおいて、感情は基本感情モデル4(BEM)やサーカムプレックスモデル5,6など既存の理論モデルを参照して表現されています。構造的かつ機能的に異なる感情の概念は、生物学的に基づいて基本的な核心感情7,8(特に愛)が存在すると仮定する基本感情モデルと、感情を2つの基礎次元、すなわち価数9(正・負)と興奮10,11(低・高)に基づいて感情を組織する概略モデルです。図2に示された価数–覚醒の枠組みは、標準データセットとの整合性や連続的な感情状態のモデル化に応用できるため、EEGに基づく感情認識研究で広く見られます。この次元ベースの表現は、神経活動を感情のカテゴリーに体系的かつ定量的にマッピングする手段を提供し、機械学習に基づく分類を促進します。

figure-introduction-2
図2:価子覚醒感情表象。 感情状態を示す二軸図で、価数は肯定的または否定的な感情を示し、興奮は低から高い感情強度を反映しています。 この図の拡大版はこちらをクリックしてご覧ください。

興奮とは感情的な強度であり、正または負の価数です。感情分析は最近、感情の神経相関を探るためにEEGに重点が置かれています。特徴抽出は非常に重要で、EEGを時間、周波数、時間-周波数領域の量にマッピングします。最も一般的な非線形特性のいくつかにはウェーブレットエントロピー12、相関次元13があり、本研究ではDWTとICAを融合させた複合的な重み付けアプローチとFFT13が用いられています。標準的なDEAP14およびSEED15データセットが再現性評価のために利用可能です。従来の線形特徴はもはや十分でなくなることが多いため、非線形アプローチの設計が必要となります。周波数帯に基づく感情パターンは図2に示されており、EEGバンドの寄与の重みは表1に示されています。

異なる周波数帯周波数帯域(Hz)感情認識における周波数帯の機能
ガンマ30Hzを超える感情データの統合や複数の脳領域の同期は、ガンマ線活動に反映される可能性があります。
Beta13Hzから30Hzの間ですベータ値の変動は感情的興奮や感情表現に関連する運動反応のサインかもしれません。
アルファ8Hzから13Hzの間です感情状態やアルファパワーの変動、特にアルファの非対称性は関連しています。感情的に興奮し、感情入力により注意を払うと、アルファパワーの低下が頻繁に見られます。
シータ4Hzから8Hzの間です感情的体験はシータパワーの増加と関連し、感情記憶の符号化や検索を助ける場合があります。
デルタ0.5〜4 Hz感情検出の文脈でデルタ活動の増加は、リラックスまたは安静状態の感情状態を示している可能性があります。

表1:感情認識におけるEEG周波数帯の機能と異なる範囲。 この表は、一般的に認識されているEEG周波数帯を概説し、それぞれの周波数帯域を指定し、感情認識研究における機能的意義を説明しています。各バンドが異なる認知的および感情的プロセスと関連していることを強調し、感情状態分類におけるEEG信号の解釈の基盤を提供します。

EEGに基づく感情認識の最近の開発は、ディープラーニングと非線形信号処理のブレークスルーによって促進されています。CNNベースのモデルは電極選択とハイパーパラメータ調整を用いて高い性能を達成し、動的微分エントロピーを用いた被験者非依存CNNモデルは着用性を向上させ、複雑性を低減しました18。しかし、この問題のモデルは通常、被験者に一般化することはできません。シーケンス依存関係をモデル化するために、ドメイン適応機構を持つ注意ベースのLSTMアーキテクチャが提案されましたが、これらは大規模な計算を必要とし、解釈可能性に欠けています。ディープネットワークの領域を超えて、非線形および位相的手法も大きな関心を集めています。持続的相同性に基づく位相空間解析を用いることで、微妙な感情状態に対する識別力が向上しました21,22。エントロピーとフラクタル出力を様々な特徴選択と組み合わせたアンサンブル法は、より良い予測因子であることが知られていました。ハイブリッドCNN–LSTMモデル23はDEAP24で直接価数–覚醒分類を上回り、多柱CNNは電極の空間分布を効果的に活用しました。地形特徴図26、27(TOPO-FM)およびホログラフィック特徴図(HOLO-FM)に基づく特徴表現は、公開データセット28、29、30で評価されました。分類精度の大幅な進歩を示す結果にもかかわらず、モデルの被験者間一般化や解釈可能性、そしてEEG獲得条件の異質性に対する堅牢性に関する課題は依然として残っています。著者31は、この分野における主な課題、アプローチ、さらなる方向性について、信号品質、特徴抽出、応用ソフトコンピューティングにおけるスケーラビリティに焦点を当てた広範な調査を提供しています。関連研究32では、高度な機能的接続性が異なるEEG周波数帯間の振幅包絡線相関を補正し、悪化した運転状況を特定し、オンザフライ行動モニタリングにおけるマルチバンド接続性の強さを強調しました。

より広範な神経画像関係33,36では、EEGや顔の表情、生理学的データなど異なる信号を組み合わせたマルチモーダル学習手法の強力な概観であり、より信頼性の高い感情検出を実現し、AIシステムの性能を大幅に向上させるモダリティ統合の可能性を示すことを目的としています。DEAPやSEEDに加え、DREAMERデータセットはEEGベースの感情認識研究における代表的なベンチマークに最近加わったものです。DREAMERはKatsigiannisとRamzanによって提案されました。37は、安価なワイヤレスデバイスで視聴覚感情刺激を観察した被験者から得られるEEGおよびECG信号を含んでいます。データセットの内容は、感情の境界モデルに沿った価値、覚醒、優位階層を持つ感情の次元モデリングに応用可能です。そのよく考えられた実験パラダイムにより、DREAMERデータセットは深層学習や被験者非依存感情認識モデルの評価に広く利用されています。その応用は、他の次元感情表現データベースと比較できるだけでなく、cirrus dance、DEAP、SEEDデータセットの補完として価値ある代替手段であることも示されました。これらのデータセットは感情計算研究で広く利用されており、標準化された感情刺激を用いた制御された実験条件下で取得されたEEG記録を含みます。このデータセットは、感情的なビデオクリップを受けた32人の被験者からの32チャンネルEEG信号で構成されています。データは価数と覚醒に関する注釈が付されています。SEED:フィルムを基にした感情誘発実験中の被験者の複数セッションEEG記録で、カテゴリー的な感情ラベルを付けています。DREAMERは、感情誘導時に視聴覚刺激の提示を通じて記録されるEEGおよびECGデータセットです。すべてのデータセットは、元の出版物で報告された標準化されたプロトコル、ハードウェア構成、ラベル付け手順の検証を用いて収集されました。ここでは、これらのデータセットのみのEEG信号を分析しました。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

研究には人間の被験者との直接的な関与は含まれていませんでした。本研究で使用されたすべてのデータセットは、公開されているプラットフォームから取得し、それぞれの利用方針に従って使用されました。したがって、正式な倫理的承認は必要ありませんでした。

1. 計算環境準備

  1. 標準的なワークステーション上でPython環境(バージョン3.8以上)を準備します。
  2. pipを使ってTensorFlow(v2.x)、Keras、Scikit-learn、NumPy、SciPy、MNE、PyWaveletをインストールしてください。
  3. NumPyとTensorFlowでランダムシード(seed=42)を固定し、実験結果の一貫性を確保します。

2. データセット取得と構造化(DEAP、SEED、DREAMER)

  1. DEAP、SEED、DREAMERの公開リポジトリからEEGデータセットを取得してください。本研究で使用された生のEEGデータセットは公開記録を通じて入手可能です。DEAPデータセット(http://www.eecs.qmul.ac.uk/mmv/datasets/deap/)、SEEDデータセット(BCMIラボラトリーリポジトリ:http://bcmi.sjtu.edu.cn/~seed/seed.html)、およびDREAMERデータセットはIEEE Data Port(https://ieee-dataport.org/documents/dreamer-dataset)でアクセス可能です。
  2. すべての被験者と試験の生の脳波記録(.dat)を抽出します。
  3. 録音をNumPyアレイ形式に変換し、被写体別と裁判別に整理して処理します。
  4. DEAPデータセットを読み、すべての被験者のEEG記録を抽出してください。合計32のEEGチャネル(Fp1からO2まで)を保持し、非EEG生理学的信号を除去します。
  5. SEEDデータセットをダウンロードし、各実験からすべてのEEG記録を抽出してください。必要に応じて200Hzにダウンサンプリングしても構いません。0–75Hzのバンドパスフィルターを適用し、信号をエポックごと(eeg_1からeeg_15)のアレイに分割します。
  6. 各フレームに感情(−1:ネガティブ、0:ニュートラル、+1:ポジティブ)をラベル付けし、チャンネル×時間でデータを再配置します。
  7. DREAMERデータセットを取得し、すべての被験者や試験の脳波記録を取得してください。利用可能な脳波(EEG)チャンネルと感情ラベルを選びましょう。
  8. すべての実験を指定された期間の小さなウィンドウに分類し、値を対象ごとに構造化された行列として再構成し、価数、覚醒、優性スコアの分類変数を符号化します。
    注:解析に使用される前処理済みDEAPデータセットの詳細仕様は 表2にまとめられており、 図3 は価数および覚醒スコアの分布を示しています。
異なるステップで記録された信号DEAPデータセットによるEEG(脳波計)装置
データ収集24科目(シーズン2、シーズン4、シーズン5、シーズン6、シーズン7、シーズン8、シーズン9、シーズン10、シーズン11、シーズン12、シーズン13、シーズン14、シーズン15、シーズン16、シーズン17、シーズン18、シーズン19、シーズン20、シーズン21、シーズン22、シーズン23、シーズン24、シーズン25、シーズン26)
チャネル指数「Fp1」、「AF3」、「F3」、「F7」、「FC5」、「FC1」、「C3」、「T7」、「CP5」、「CP1」、「P3」、「P7」、「PO3」、「O1」、「オズ」、「Pz」、「Fp2」、「AF4」、「Fz」、「F4」、「F8」、「FC6」、「FC2」、「Cz」、「C4」、「T8」、「CP6」、「CP2」、「P4」、「P8」、「PO4」、「O2」
ウィンドウサイズ256
ビデオや裁判の禁止40
ステップサイズ16(各0.125秒、1回更新)
サンプリングレート128 Hz
教科一覧32
感情興奮、ヴァレンス

表2:データセットの前処理説明。 特徴抽出およびモデルトレーニング前に実施された、フィルタリング、アーティファクト除去、セグメント化、正規化を含むEEGデータセットの前処理ステップの概要。

figure-protocol-1
図3:DEAPデータセット Valence-最初の40データの覚醒表現。 DEAPデータセットの最初の40件のEEG試験の価子–覚醒マッピングで、2次元にわたる感情状態の分布と変動性を示しています。この表現は感情反応の拡散に関する洞察を提供し、感情分類のための特徴抽出プロセスを支えます。 この図の拡大版はこちらをクリックしてご覧ください。

注:異なる脳領域にわたるEEG電極の位置は図4に示されています。チャネル構成は、DEAP、SEED、DREAMERデータセットのデータ収集に用いられている標準的な頭皮EEG電極配置に従っています。電極は前頭、側頭、頭頂、後頭領域に分布しており、感情処理に関連する局所的および分散型の神経活動の両方をカバーできます。

figure-protocol-2
図4:EEG信号電極の表現。 頭皮信号取得のためのEEG 10–20国際システムにおける電極配置。 この図の拡大版はこちらをクリックしてご覧ください。

3. 信号再サンプリングとウィンドウセグメンテーション

  1. scipy.signal.resample()を用いて512Hzから200HzにSEED EEG記録をダウンサンプリングし、計算複雑さを軽減します。次に、各試行を256サンプルの固定長ウィンドウに分割し、ステップサイズは16サンプルです。
  2. DEAPおよびDREAMER(128Hzデータセット)の元のサンプリングレートを保持してください。ステップサイズは16サンプル(128Hzで0.125秒の重なり)。
  3. 各EEG試験を256サンプルのウィンドウに分割し、ステップサイズは16サンプルで重複するセグメントを作ります。

4. バンドパスフィルタリングと周波数分解

  1. サンプリング周波数(fs)を定義し、フィルターの順序を2に設定します。ナイキスト周波数(0.5 × fs)を計算し、カットオフ周波数を正規化します。
  2. scipy.signal.butter()を使ってバターワースバンドパスフィルターを設計します。
  3. 位相歪みを避けるために、scipy.signal.filt()を使ってゼロ位相フィルタリングを適用してください。
  4. 5つの標準的なEEG周波数帯を抽出します:デルタ(0.5–4 Hz)、シータ(4–8 Hz)、アルファ(8–13 Hz)、ベータ(13–30 Hz)、ガンマ(30–45 Hz)。

5. 独立成分解析を用いたアーティファクト除去

  1. Scikit-learnのFastICAを、EEGチャネル数と同じコンポーネント数で適用します。
  2. 分散や峰度などの統計指標を用いて人工成分を特定します。
  3. 特定された成分を取り除き、洗浄したEEG信号を再構築してさらなる分析を行います。

6. CWFCに基づく微分エントロピー特徴抽出

  1. 各フィルタリングされた脳波セグメントのチャネル軸に沿った分散を計算します。
  2. 微分エントロピーの計算方法は以下の通りです:
  3. すべての周波数帯域とEEGチャネルのエントロピー値を抽出します。
  4. 得られたエントロピー特徴を構造化特徴行列に保存します。

7. 離散ウェーブレット変換(DWT)特徴抽出

  1. 「db4」母ウェーブレットを用いて多層ウェーブレット分解を行います。
  2. 各EEGセグメントをレベル4まで分解してください。
  3. 各分解レベルから統計的記述子(平均、分散、エネルギー、エントロピー)を抽出します。
  4. 既存の特徴マトリックスにDWT由来の特徴を付け加えます。

8. FFTを用いたスペクトル特徴抽出

  1. 各EEGセグメントにnumpy.fft.fft()を使って高速フーリエ変換を適用します。
  2. 定義された周波数帯域にわたるスペクトルパワー密度を計算します。
  3. 全チャンネルのバンド電力値を抽出してください。
  4. FFTベースの特徴量と、以前に抽出された特徴を連結します。

9. Random Forestによる特徴選択

  1. ジニ不純物基準を使って300本の木を持つランダムフォレスト分類器を訓練します。
  2. 最大ツリー深度を20に設定し、バッグ外推定を用いたブートストラップサンプリングを有効にします。
  3. 重要度スコアに基づいて特徴をランク付けします。
  4. 冗長性を減らすために、あらかじめ定められた重要度閾値以下の特徴を削除します。

10. データ分割

  1. 感情カテゴリー間のクラスバランスを保つために、階層化されたサンプリングを用いてデータセットをシャッフルします。
  2. データセットを10等分に分割します。各反復ごとに、トレーニング用に9回、テスト用に1回回のフォールドを使用し、必ず各折りが1回テストセットであることを確認しましょう。
  3. この方法を各フォールドで使い、平均的なパフォーマンス指標(正確さ、精度、リコール率、F1スコア)と標準偏差を計算してモデルの安定性を確認します。
    注意:すべての分割はサンプルごとに実施し、各フォールド内のトレーニングセットとテストセット間でサンプルが共有されないようにしてください。

11. 生成的敵対ネットワークを用いたデータ拡張

  1. Keras Sequential APIを使って機能レベルのGANを構築します。発電機ネットワークと識別器ネットワークの両方に対して完全連結層を定義します。
  2. マイノリティクラスの特徴ベクトルを用いて200エポクを学習します。訓練済みの生成生成器から合成特徴サンプルを生成します。
  3. 識別器によって評価された高信頼度の合成サンプルのみを保持します。選択した合成サンプルを元の訓練セットとマージします。

12. LSTMモデルアーキテクチャ

  1. Kerasを用いて逐次LSTMモデルを構築します。128個の隠れたユニットを持つ最初のLSTMレイヤーを追加し、return_sequences=trueに設定します。
  2. 128個の隠れたユニットを持つ2つ目のLSTMレイヤーを追加します。過学習を防ぐために、各LSTMレイヤーの後にドロップアウト(レート=0.3)を適用してください。
  3. 多クラス分類のためにSoftMaxアクティベーション付きのDense出力レイヤーを追加してください。

13. モデルのコンパイルとトレーニング

  1. 学習率0.001のAdam optimizerを使ってモデルをコンパイルします。
  2. カテゴリカルクロスエントロピー損失を用いましょう。バッチサイズ=64で80エポックを訓練します。
  3. 検証精度に基づいて、忍耐=10で早期停止を適用します。

14. パフォーマンス評価

  1. 独立したテストデータセットを用いて訓練済みモデルを評価します。精度、精度、リコール率、F1スコアなどのパフォーマンス指標を計算します。
  2. 再現性のために訓練済みのモデル重みと評価結果を保存してください。このようなよく組織されたパイプラインは、提案された枠組みが容易に再現できることを保証します。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

2つの異なるEEGデータセットの収集;DEAPとSEEDが分析の第一段階を形成しました。図5は、LAHV、HALV、LALV、HAHVの価価-覚醒のグラフを示しており、それぞれ低覚醒高価数、高覚醒低価数、低覚醒低価数、高覚醒高価数の短縮形です。心理的反応は4つのカテゴリーが報告されています:HAHV、LAHV、HALV、LALV。それぞれの状態には、価数と覚醒という二つの基本的な感情的特徴があり、平均偏差と標準偏差で測定されます。参加者は平均価数7.12(標準差=1.04)でHAHV状態を評価しました。標準偏差、すなわち結果としての覚醒スコアの平均はそれぞれ6.81と0.84でした。4つのテスト状況における感情状態の表現には顕著な差異が明らかになります。LAHV状態では、平均価数スコアは6.67(SD = 1.09)で、全体的に気分が良好であることを示し、平均覚醒スコアは3.87(SD = 1.09)で、中程度の覚醒レベルを示唆しました。対照的に、HALV状態は評価平均値3.19(SD = 1.23)でネガティブな気分状態を示し、平均覚醒は6.79(SD = 0.96)...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本論文では、DEAPとSEEDという2つのベンチマークデータセットを用いたEEGベースの感情認識を徹底的に調査し、提案されたCWFCモデルが感情に関連する識別情報を効果的に捉えられることを示しました。従来の線形記述や特徴タイプに基づく研究とは異なり、提案された手法は相互に関連する様々な非線形特徴抽出を統合し、重み付き相関モデルを通じて機能的関係を推論します。この多視点特徴融合は本研究の大きな新規性であり、EEGにおける感情処理の基盤となる異なる特徴間の微妙な非線形動態や相互依存性を捉えることを可能にしています。この結果は、CWFCが従来の機械学習手法や強力な深層学習ベースラインモデルに比べて優位であることを示しています。増強を行わなくても、CWFCはDEAPデータセットで61%の精度を達成し、これはロジスティック回帰やEESCNよりも高い数値です。重要なのは、GANベースのデータ拡張(本論文の主要な貢献の一つ)の導入により、トレーニングの分布が大幅に増加し、データ不足を緩和し、価数で88%、覚醒で86%を達成したことです。この研究はSEEDデータセットでも同様の傾向を示...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者たちは何も明かすことはありません。

謝辞

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

また、DEAPおよびSEED EEGデータベースの関係者や研究者の皆様にも、本研究への多大な貢献に感謝いたします。最後に、この調査を実施するためのリソースや励ましを通じて支援してくださった大学の皆様にも感謝申し上げます。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
DEAPデータセットロンドン・クイーン・メアリー大学v1.0EEG感情データセット
DREAMERデータセットIEEE DataPort公開EEG感情データセット
ケラスGoogle LLC2.x(TensorFlowバックエンド)ニューラルネットワークモデリング
ワークステーションレノボIntel Core i7、16GB RAM、8GB NVIDIA GPUモデル訓練と計算
MNE-PythonMNE開発者1.xEEG前処理
NumPyNumPy 開発者1.x数値計算
オペレーティングシステムマイクロソフト・コーポレーションWindows 11(64ビット)計算プラットフォーム
パイソンPythonソフトウェア財団3.8+プログラミング環境
パイウェーブレットPyWavelets 開発者1.xウェーブレット分解
Scikit-learn(シキット学習)scikit-learn 開発者1.x機械学習ユーティリティ
サイピーサイピー・コミュニティ1.x信号処理とリサンプリング
シードデータセット上海交通大学BCMI研究所公開EEG感情データセット
テンソルフローGoogle LLC2.xディープラーニングフレームワーク

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

EEG EEG GAN LSTM DEAP

関連記事