SET Net EEGベースの注意リラクゼーション分類のためのハイブリッド深層学習フレームワーク 脳コンピュータインターフェースアプリケーション

Summary

本論文は、スペクトログラムの特徴を用いて注意状態と弛緩状態を認識し、脳コンピュータインターフェース(BCI)応用に用いる93.7%の精度と高い一般化度で注意状態と弛緩状態を識別するハイブリッドCNN-トランスフォーマーネットワーク(SET-Net)を紹介します。

Abstract

脳コンピュータインターフェース(BCI)技術は、人間の脳と外部環境との間に直接的なコミュニケーションチャネルを提供するツールとして用いられています。これは支援システムやインタラクティブシステムに応用されています。脳波計(EEG)を用いた非侵襲的な神経活動の習得は、BCIシステムにおいて標準的です。しかし、EEG信号が非固定的で騒音が多いため、注意やリラクゼーションを含む認知状態を効果的に分類するのは難しいです。これらの欠点を克服するために、本研究は新しいハイブリッドディープラーニングアーキテクチャ、すなわちスクイーズ・アンド・エキテーション(SE)トランスフォーマーネットワーク(SET-Net)を提案します。この方法では、EEG信号を前処理し、時間的ウィンドウに分割して有意なスペクトログラム表現を解析します。提案モデルは分類精度93.7%、F1スコア0.93、ROC-AUC0.98を達成しています。これは、EEGに基づく注意弛緩状態の識別能力を高めるハイブリッド深層学習モデルの有効性を示しています。これにより、ヒューマンとコンピュータの相互作用における支援技術としてのリアルタイムBCIアプリケーション向けのスケーラブルなシステムが提供されます。

Introduction

脳・コンピュータインターフェース(BCI)は、人間の脳と外部機器が従来の神経筋接続を使わずに直接通信できるようにする破壊的な技術となっています。脳波検査(EEG)は、非侵襲的で携帯性が高く、^{費用対効果}が高いことから最も一般的かつ広く使われている技術です。EEGベースのBCIは、医療だけでなく、神経リハビリテーション、ゲーム、神経障害者向けの支援技術にも用いられており、脳活動の検査を通じて活用されています^。最も重要な応用の一つは、注意やリラクゼーションを含む認知状態の特定であり、これを用いて適応型ヒューマンコンピュータインターフェースやデジタルアクセシビリティの作成に活用できます^。信号対雑音比が低く、被験者間で大きな変動性があり、注意状態とリラクゼーション状態間の複雑な時間的ダイナミクスがEEGを用いて解釈されます。したがって、EEGを用いて注意状態やリラクゼーション状態を分類^{するのは難しいです}。サポートベクトルマシン(SVM)やランダムフォレストを含む古典的な機械学習モデルは中程度の性能を示しており、しかし、EEG⁵の空間・スペクトル・時間的複雑さを十分に活用していないため、通常は特徴工学に基づいています。特に畳み込みニューラルネットワーク(CNN)やトランスフォーマーを用いた深層学習の最近の進展は、自動的な特徴抽出やEEG信号の強分類に新たな機会をもたらしました^。

EEGベースのBCIシステムは、認知状態モニタリング、神経リハビリテーション、インタラクティブシステムのツールとして長年にわたり広く研究されてきました。精神状態の定義は、例えばリラクゼーションや注意状態など、最も重要な課題の一つです。これに対し、科学者たちは標準的な特徴工学や高度な深層学習モデルなど、さまざまな解決策を実証してきました。古典的な機械学習の手法は主に、時間、周波数、または時間-周波数空間における手動設計された特徴に依存しています。EEGに基づく注意・リラクゼーション分類のSET-Netシステムの一部としてのハイブリッド深層学習アルゴリズムの研究は、実世界で使えるBCIシステムを強化する可能性があるため、重要な科学的方向性であることが示されています^7,8.畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、トランスフォーマーなどの深層学習モデルは、過去10年間でEEG信号の復号において大きな進展を遂げてきました^9,10.これらの発展により、認知状態の解読がより改善され、より効率的になり、神経リハビリテーションや補助技術のための認知状態にとって望ましいものとなっています^11,12.BCIシステムの人気が高まることは、分類の精度向上の応用的重要性を強調しており、最近の結果では運動イメージや注意活動において分類が85%を超えることが示されています^13,14.それでも、こうした発展にもかかわらず、多様でノイズの多い環境下で強力なリアルタイム分類を達成するための課題は依然として存在します^15,16.本研究で取り上げられる主な問題は、特にSET-NetアーキテクチャにおけるハイブリッドディープラーニングモデルにおけるEEGベースの注意弛緩分類モデルの精度と外部妥当性です^17,18、 は制限されています。既存の手法は通常、被験者間の変動性、信号ノイズの低さ、時空間的特性の不十分な活用と関連しています^19,20,21.畳み込み関数抽出を重視した手法もあれば、注意やトランスフォーマーアーキテクチャに重点を置く手法もあり、最適なモデル設計については様々な意見があります^22,23,24.さらに、EEGモデルは大規模な注釈付きデータセットが利用できないため、訓練や正当化が容易ではありません^25,26.この知識の欠如は、実際の状況でのBCIの使用を制限しており、最も重要となるのは柔軟かつ正確であることです ^27,28.これは理論的には、ハイブリッド深層学習モデルを用いた空間的、時間的、注意に基づく特徴抽出を組み合わせて確立されています^29,30,31.この組み合わせはSET-Netフレームワークに見られ、局所特徴を抽出するための畳み込み層や自己注意メカニズムを通じてグローバル依存関係を学習する仕組みで実現されます³².この相乗効果により脳波信号の表現が向上し、リラクゼーション状態や注意状態の分類に応用できます。この理論は、多スケールの時空間特性とドメイン適応技術の強みを用いて、EEG信号やノイズの変動性を排除できるという現実に基づいて開始されています³³.本レビューは、EEGベースの注意・リラクゼーション分類のSET-Netアーキテクチャにおけるハイブリッド深層学習手法の正確性と実践的応用の理論的進展を批判的に検証することに焦点を当てています³⁴.このレビューは、最新の開発を総合し、手法の強みと限界の特定を通じて、今後の実験においてより良く、より解釈的かつ一般化可能なBCIシステムの構築に役立てられます。こうしたギャップは、将来的にBCIの実世界での応用開発に役立ち、ユーザーの利用性と信頼性の向上に寄与します。このレビューは広範な文献レビュー手法を用いており、EEGの注意・リラクゼーション分類におけるハイブリッドディープラーニングモデルに基づく査読付き論文を適用しました³⁴.包含基準は、SET-Netや類似システムの枠組みにおける畳み込み型、再帰型、注意型アーキテクチャの最近の動向に焦点を当てています³⁵.解析モデルは、モデル設計、特徴選択アルゴリズム、分類の精度、実世界での実用性を評価します。研究結果は理論構築、実践、将来の研究機会を説明するために整理されています。

最近の進歩にもかかわらず、既存の手法は単一チャネルEEG信号における空間的、スペクトル的、長距離の時間的依存性を同時に捉えることができず、注意-弛緩分類の性能が最適とは言えません。さらに、既存の手法は手動で特徴を追加したり、EEG信号のいくつかの特徴のみを考慮したりしています。したがって、参加者やリアルタイムの条件に一般化することはできません。したがって、多次元EEGの特徴を十分にモデル化でき、リアルタイムで強力かつ研究可能な統一フレームワークが必要です。

これらの欠点を克服するために、本研究はハイブリッド深層学習モデルを提案しており、これはスクイーズ・アンド・エキテーション変換ネットワーク(SET-Net)と呼ばれています。特に、CNNモジュールはEEGスペクトログラムを用いた局所的な空間スペクトルパターンを学習し、手作業による特徴抽出の制約を克服します。SEブロックはチャネルごとの重要度を適応させ、ノイズや変動性の堅牢性を高めることで特徴表現を向上させます。トランスエンコーダはCNNのみのモデルに限定されない長距離時間的依存関係をモデル化します。さらに、スペクトログラムに基づく表現を用いて時間周波数解析を効果的に行うことが可能で、識別特徴の学習が向上します。安定したパフォーマンスを保証するために、バランスの取れたトレーニングと漏れのない検証が採用され、被験者間での性能の一般化が向上しました。

さらに、提案された構造はリアルタイムの応用で確認されており、分類された認知状態がインタラクティブシステムの指令を制御するために変換されます。これは、このモデルが支援技術やデジタルアクセシビリティにおいて実用的に適用可能であり、BCIの実用的な実装にも応用可能であることを示しています。

本研究の主な成果は、畳み込みニューラルネットワーク、圧縮・励起注意、トランスエンコーダを取り入れた新しいSET-Netハイブリッドアーキテクチャの設計であり、EEG信号のモデル化をより良く可能にしたことです。さらに、スペクトログラムを用いた表現が用いられ、EEG信号の時間・周波数特性を成功裏に表現しました。提案された枠組みは、注意とリラクゼーションの認知状態を強く分類することを可能にします。さらに、このモデルはリアルタイムの脳とコンピュータ間のインターフェースアプリケーションにおいて実用的な応用性があることが示されました。

本論文は、BCIシステムに応用された脳活動の注意およびリラクゼーションクラスを分類した研究のレビューをまとめたセクションで構成されています。本論文は、まずBCIシステムの開発に伴う研究のギャップと課題を提示し、その後、EEG信号記録を含むデータ取得プロセスと方法論を提示する構成となっています。 前処理および特徴表現。注意やリラクゼーション活動の重要性、そしてEEGデータから意味のある特徴を導き出す過程について論じています。その結果は定量的および比較的分析、さらにアプリケーションの実際の性能を用いて提示・評価されます。最後の部分では、研究の発見、限界、今後の研究方向について論じています。

Protocol

この調査はヘルシンキ宣言に従って実施され、インド・テルangana州ワランガルのSR大学の制度倫理委員会(承認番号007/2026)によって承認されました。データ収集前に、すべての参加者から書面によるインフォームド・コンセントが取得されました。

参加者選考

神経学的または精神疾患の既往がない健康な参加者11名(年齢範囲:25–45歳、平均年齢:28歳)からEEGデータを収集しました。本研究では合計1175の脳波セグメントが考慮され、そのうち527がリラクゼーションクラス、648が注意クラスに属しました。EEG記録で過度な運動アーティファクトや信号品質の低下が見られた参加者は除外されました。

EEG取得装置

提案されているEEGベースの脳コンピュータインターフェースシステムの一般的なレイアウトは 図1に示されており、信号取得、分類、リアルタイム利用の全パイプラインを示しています。EEGデータは、マイクロコントローラベースのシステムに接続された小型バイオポテンシャル取得モジュールを用いて記録されました。ゲル電極は国際10–20システム、すなわちFp1およびFp2の前頭前線点に配置され、参照電極と接地電極は 図2に示されている耳たぶに配置されました。信号は128Hzの速度でデジタル化され、自己作成のPython取得スクリプトを使ってコンピュータに送信されました。十分な皮膚前治療と導電性ジェルを用いて電極インピーダンスを低減し、信号品質を向上させました。

実験的手法

EEG記録は、リラクゼーションと注意の2つの認知条件の下で、標準化されたプロトコルに従って実施されました。リラクゼーション条件では、参加者は快適で騒音の少ない環境に座り、最小限の動きでじっとしているよう指示されました。イヤホンから落ち着く器楽音声が流れ、コマンドPython collect.py を使ってEEG取得を開始しました。脳波信号は1回のセッションに5分間記録され、4回のセッションにわたり繰り返し行われました。注意状態では、参加者はリラクゼーション条件と同じ習得セットアップを維持しつつ、インタラクティブゲームなどの注意を要する課題を行うよう指示されました。脳波信号は1回のセッションに5分間記録され、4回のセッションにわたり繰り返し行われました。各参加者は合計40分間参加し、そのうち20分はリラックス、20分は注意課題を行い、認知状態の信頼性の比較が可能となりました。

処理されたデータセットは以下のラベル付きセグメントに整理されました:リラクゼーション(0);注意(1)。各セグメントの持続時間は4秒で、50%の重なりがあり、短時間フーリエ変換を用いてスペクトログラムとして表現されました。

信号処理、特徴表現、モデル実装

得られた脳波信号はノイズやアーティファクトを除去するために事前処理されました。電力線の干渉を除去するために50 Hzノッチフィルターが用いられ、0.5 Hzから30 Hzの信号には4次バターワースバンドパスフィルターが用いられ、関連するEEG周波数帯域が選択されました。振幅閾値測定と目視検査を用いてアーティファクト汚染セグメントを特定し、約8〜12%のデータが削除されました。ガウスノイズ加算、時間マスキング、周波数マスキングは、モデルの堅牢性を高めるために用いられるデータ拡張手法です。脳波信号はフィルタリングされ、50%間隔の4秒間のウィンドウに分割されました。

個々のEEGセグメントは、式(1)に示されるように時間周波数表現(短時間フーリエ変換)に変換され、時間的およびスペクトル的特性の抽出が可能になりました。

(1)

得られたスペクトログラムは正規化され、分類モデルの入力として固定次元にリサイズされました。重複によるデータ漏洩を防ぐため、セグメント化前にデータセットはトレーニング(70%)、検証(10%)、テスト(20%)のサブセットに分割されており、図3に示されています。さらに、被験者間一般化を評価するために、1被験者除外(LOSO)クロスバリデーションが実施されました。これは、1つの被験者のデータがテストに用い、残りのデータはトレーニングに使用されるものでした。

図4に示される提案されたSET-Netアーキテクチャは、多次元EEGの特徴を捉えるために設計されました。このモデルは、畳み込みニューラルネットワーク(CNN)バックボーンを統合して空間スペクトル表現を抽出し、その後、チャネルごとの特徴重要度を適応的に再調整するスクイーズ・アンド・エキサイテーション(SE)ブロックを用いています。これは式(2)に説明されています。CNNバックボーンは、核サイズが3 × 3の2つの畳み込み層で構成され、その後にバッチ正規化と指数線形単位(ELU)活性化が行われます

(2)

SEブロックの内部構造は図5に示されています。長距離時間依存関係を捉えるために、トランスコーダーが組み込まれており、その注意メカニズムは式(3)に定義され、図6に示されています。

(3)

適応平均プーリング層を用いて特徴マップを16×16の固定サイズに縮小しました。SEブロックのリダクション比は8で、チャネルごとの特徴応答の再調整に使われます。トランスエンコーダは4層からなり、4つの注意ヘッド、フィードフォワード次元サイズは256、モデル埋め込みサイズは128でした。

最終的な分類は、完全連結層とドロップアウト正則化とソフトマックス活性化関数を用いて注意状態とリラクゼーション状態を区別しました。提案されたモデルの詳細な層別アーキテクチャは表1に示されています。

このモデルはAdamW最適化器を用いて訓練され、初期学習率は0.001、重み減衰は1×10⁻⁴でした。収束性を高めるためにコサインアニーリングスケジューラが用いられ、50のエポックが32のバッチサイズで訓練されました。クラスの不均衡は、式(4)に記載された加重付きクロスエントロピー損失関数を用いて克服されました。

(4)

表2は 訓練構成をまとめ、 表3は EEGベースの注意弛緩分類で用いられた提案されたSET-Netのハイパーパラメータ探索を示しています。選ばれたパラメータは、訓練の安定性、汎化の向上、脳波信号の変化に対する耐性を提供します。選ばれたパラメータは訓練過程の安定性を提供し、一般化を促進し、EEG信号の変化に抵抗します。モデル性能の測定には、精度、精度、リコール、F1スコア、ROC-AUCが用いられました。前処理、モデルトレーニング、評価を含むすべてのパイプラインは、再現性を確保するためにPyTorchフレームワークを用いてPythonで作成されました。 表4は 、EEGの取得、前処理、モデルトレーニング、リアルタイム使用に関連する問題を指針・解決するためのトラブルシューティングの詳細な説明を提供しています。 表5は 、実験や実験セットアップの簡単な枠組みとなるよう、EEG装置の材料の概要を示しています。提案されたSET-Netフレームワークの実装には、Python 3.8とPyTorchのディープラーニングフレームワークが使用されました。標準的な科学計算ライブラリが、NumPy、SciPy、Matplotlibを用いた信号前処理や特徴抽出に使用されました。すべての実験手順は、モデルの訓練を早めるためにIntel i7プロセッサと16GB RAMを搭載したシステム上で実施されました。

データの利用可能性:

本研究で生成・解析された匿名化されたEEGデータセットは、Zenodoリポジトリの以下のaccessionリンク(https://zenodo.org/records/19627795)で公開されています。

すべてのデータは、SR大学の倫理委員会(承認番号007/2026)に基づき、参加者の機密性を確保するために非特定化されています。

処理された情報、モデル設定、実装の詳細は原稿に示されており、ソースコードは以下の場所で公開されています:https://github.com/Ravichanderj/SET-Net-EEG-BCI。

Results

スペクトログラムベースの特徴表現

この研究の主な目的は、EEG信号を用いて注意状態とリラクゼーションの状態を適切に分類することでした。生のEEG信号をスペクトログラムに変換することで、識別特徴を効果的に抽出することが可能になりました。スペクトログラムは、リラクゼーション時にアルファバンド活動(8–13 Hz)が増加し、注意中はベータ活動(14–25 Hz)が増加していることを示しています。この周波数領域特性の明確な分裂は、入力の表現自体が二つの認知状態間の有意な違いを示すことを示すことで、研究目的を明確に正当化しています。

SET-Netモデルのパフォーマンス

表6は 、注目緩和分類の成功を示す提案されたSET-Netモデルの性能をまとめています。モデルは93.7%の精度、F1スコア0.93、ROC-AU...

Discussion

現在の研究では、EEGに基づく注意・リラクゼーション分類のためのハイブリッド深層学習モデルであるSET-Netが提案されています。EEG信号の空間的、スペクトル的、時間的特徴を学習するために、このアーキテクチャは畳み込みニューラルネットワーク、圧縮・励起注意、トランスエンコーダを組み合わせており、 図5に示されています。この結果は、提案された方法が研究の目的を達成できることを示しています。精度、F1スコア、ROC-AUC値(表6)は高く、モデルの信頼性と分類性能のバランスを証明しています。混乱行列(図8)によると、予測の大部分は正確であり、移行認知状態間の類似性に関連する小さな誤分類も存在しました。アブレーション研究(表7)は、すべてのアーキテクチャ要素が性能向上に大きく貢献できることをさらに裏付けています。

本研究は、認知状態分...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
コンピューター/ノートパソコン	ジェネリック	任意の標準システム	≥推奨8GBのRAMです
データ取得スクリプト	習慣	collect.py	Pythonベースの取得スクリプト
使い捨てゲル電極	ジェネリック	事前にゲルされたAg/AgCl電極	使い捨て接着剤
EEG取得モジュール	アップサイドダウン・ラボ	BioAmp EXGピル	バイオポテンシャル信号のためのアナログフロントエンド
電極ゲル(再利用可能な電極を使用する場合)	ジェネリック	導電性ゲル	信号伝導率の向上
インタラクティブアプリケーション(ゲーム)	ジェネリック	どんなシンプルなゲーム(例:レース)でも	キーボード操作インターフェース
ジャンパーワイヤー	ジェネリック	Male–メスコネクター	標準的なブレッドボード配線
Matplotlib / Seaborn	オープンソース	最新バージョン	可視化ライブラリ
マイクロコントローラ基板	Arduino	ウノ / メイカーウノ	10ビットADC、USBインターフェース
Pythonプログラミング環境	Pythonソフトウェア財団	Python ≥3.8	オープンソースプログラミング言語
PyTorchライブラリ	メタAI	バージョン & ge;1.12	ディープラーニングフレームワーク
Scikit-learn(シキット学習)	オープンソース	最新の安定版	MLユーティリティ
信号処理ライブラリ	サイピー	最新バージョン	フィルタリング、STFT
USBケーブル	ジェネリック	USB Type-A to B	データ転送ケーブル