方法論記事

解釈可能なコンピュータ支援による脳疾患診断のための、混合エキスパートモデルを用いた脳波-機能的磁気共鳴画像融合法

0 回視聴

⸱

DOI:

10.3791/73432

⸱

2026年9月25日

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

この記事について

サマリー

本プロトコルでは、脳疾患のコンピュータ支援診断に向けた、適応的かつ解釈可能な脳波（EEG）および機能的磁気共鳴画像法（fMRI）の融合フレームワークであるBrain Mixture-of-Expertsを紹介します。この手法は、モダリティ固有のエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングを通じて、異種であるEEGとfMRIの表現を統合し、同時に解釈可能性と、モダリティが欠損したシミュレーション条件下での推論能を維持します。

要約

脳波測定（EEG）と機能的磁気共鳴画像法（fMRI）は、脳機能に関する相補的な情報を提供し、さまざまな脳疾患における機能的異常の検出において大きな可能性を示しています。しかし、EEGとfMRIの信号特性の違いおよび表現空間の不一致は、効果的なマルチモーダル融合において深刻な課題となり、従来の固定モデルによる脳疾患の正確なコンピュータ支援診断を妨げています。本研究では、脳疾患のコンピュータ支援診断のための適応的かつ解釈可能なEEG-fMRI融合フレームワークであるBrain Mixture-of-Experts（BrainMoE）を提案します。これは、モダリティ固有のエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングメカニズムを通じて、マルチモーダルな脳特徴を統合するものです。BrainMoEは、まずEEGおよびfMRI信号を統一されたDesikan-Killiany（DK）アトラスの関心領域（ROI）空間に投影し、次にグラフエンコーダを用いてモダリティ固有の脳ネットワーク表現を抽出します。ソフトルーティングモジュールがルーティング表現を生成し、融合モジュールのエキスパートゲートがサンプル固有の重みを生成して、EEG、fMRI、および共有ニューラル状態エキスパートの表現を結合します。不完全なデータ取得シナリオに対処するため、モダリティ状態マスクと欠損モダリティトークンを組み込み、同一の学習済みモデルでフルEEG-fMRI、EEGのみ、およびfMRIのみの推論を可能にしました。最後に、ノード遮蔽分析によって、EEGおよびfMRI由来の予測の両方に対してROIレベルの属性マップを提供します。本フレームワークをHealthy Brain Network（HBN）データセットを用いて、大うつ病性障害、不安障害、読字障害、自閉スペクトラム症、注意欠如・多動性障害を含む5つの二値脳疾患分類タスクで評価しました。BrainMoEは最新の比較アルゴリズムを上回り、平均AUC 86.9 ± 3.0%を達成し、アブレーション実験によってルーティングおよびエキスパート融合コンポーネントの寄与が裏付けられました。さらに、解釈性分析により、過去に報告された神経画像所見と一致する、疾患分類に対するグループレベルのROI寄与が特定されました。本手法は、解釈性と擬似的なモダリティ欠損条件下での推論を維持しつつ、不均一なEEG-fMRIニューラル表現の統合という課題を解決することで、脳疾患のコンピュータ支援診断を支援します。

概要

脳疾患は、単一のイメージング手法では特徴付けが困難な、神経活動および脳ネットワーク構成の複雑な変化を伴います1。ソース再構成2後、EEG（脳波）は領域レベルの電気生理学的活動を提供し、一方で機能的磁気共鳴画像法（fMRI）は領域レベルの機能的結合性を捉えるため、脳機能に関する相補的な視点が得られます。これらの統合を容易にするため、先行するマルチモーダル研究では、両方のモダリティを68領域のDesikan-Killiany（DK）アトラス3にマッピングしています。この空間的な対応関係は、時間分解能や生理学的起源の等価性を意味するものではありませんが、モダリティ固有の情報を保持しつつ、ノードレベルのグラフ融合、固定されたグラフ次元、および一貫した関心領域（ROI）レベルの解釈のための統一された解剖学的インデックスを提供します。これらの解剖学的に整合しつつもモダリティ固有の表現を統合することで、疾患に関連する脳信号表現を豊かにし、コンピュータ支援による脳疾患診断を支援することが可能になります3,4。

脳疾患のコンピュータ支援診断においてEEG-fMRI融合には大きな可能性がありますが、これら2つのモダリティ間の不均質性が、効果的な統合に向けた技術的な課題となっています。SVMやMLPなどの古典的な機械学習手法は、ベースラインの分類モデルを提供できますが、非線形なクロスモーダル相互作用を捉える能力には限界があります。GNN5、ResNet6、Transformer7アーキテクチャを含む汎用的なディープラーニングモデルは、より強力な表現学習を可能にしますが、ROIレベルの脳グラフやモダリティ状態のモデリングに特化した設計ではありません。近年の高度なモデル3,8,9では、脳ネットワークをより適切にモデリングするために非線形複雑性が向上しています。BrainNetCNN8は、畳み込み演算を脳の結合行列に適応させるために導入されました。BrainGNN9は、グラフニューラルネットワークとプーリングを用いてROIレベルのグラフトポロジーをさらにモデリングしました。また、BNT10は、Transformerベースのマルチレベルアテンションにより機能的脳ネットワーク解析を強化しました。しかし、これらの進展は依然として主に単一モダリティの設定で開発されていました。その後、MultiEpilepsyNet11がフェデレーション・ハイブリッドフレームワークを通じて、EEG-MRIによる発作検出にマルチモーダル学習を拡張し、そのMRI側のEpiSkullNet++モジュールによって脳のセグメンテーションと前処理が改善されました。続いてSZAtt-Net12が、CNN、BiGRU、MLPブロックにチャネル、自己、空間、および時間アテンションメカニズムを組み合わせることで、統合失調症のマルチモーダル分類モデルを開発しました。しかし、これらの手法はタスク特異的なままであり、比較的固定的な融合設計に依存しており、全モダリティが存在する場合と一部が欠損している状態の間で適応的なルーティングを明示的にサポートしてはいませんでした。

Mixture-of-Experts (MoE) モデル13,14は、異種の情報源を専門のエキスパートモジュールで処理し、ルーティングメカニズムを通じて動的に結合できるため、マルチモーダル学習において increasingly 採用されています。Softmaxゲーティングは入力依存の正規化されたエキスパート重みを提供し、収束率の観点から理論的に特徴づけられています15。関連するマルチゲートアーキテクチャでは、大規模なマルチタスク学習において、個別のゲートが共有エキスパートのタスク依存的な組み合わせを学習できることがさらに実証されています16。神経科学研究や脳研究において、MoEの変異体17,18,19は、異種特徴の融合を促進するためにますます利用されるようになっています。dFCExpert17は、モジュール性と状態ベースのエキスパートを用いて、fMRIからの動的機能的結合パターンをモデル化しました。EvoMoE18はさらに、ユーザー独立的なSSVEP-EEG分類のために適切なエキスパートを選択するゲーティングネットワークを使用しました。NeuroMoE++19は、神経疾患の分類に向けた患者適応的なマルチモーダル融合を探索しました。これらの成功にもかかわらず、これらのモデルは一般的に粗粒度のミキシングと離散的なルーティングに依存しており、クロスモーダルな神経状態の高度に同期した性質を無視しているため、脳疾患の診断に不可欠な、微細ながらも有益なパターンの検出を妨げています。さらに、統合された共有神経状態からモダリティ固有のニュアンスを解きほぐす専用のメカニズムがないため、これらのモデルは解釈可能性が限られており、重要なモダリティ（fMRIまたはEEG）が欠落した際に性能が低下するという課題があります。

これらの限界に対処するため、本研究では、大うつ病性障害（MDD）、不安障害（ANX）、読字障害を伴う限局性学習症（RI）、自閉スペクトラム症（ASD）、注意欠如・多動性障害（ADHD）を含む5つの脳疾患カテゴリーのコンピュータ支援診断のための、適応的かつ解釈可能なEEG-fMRI融合フレームワークであるBrain Mixture-of-Experts（BrainMoE）を提案します。本プロトコルでは、まずソース再構成されたEEGおよびfMRIの特徴をDK-atlas20のROI空間に整合させ、次いで両モダリティのグラフベースのモダリティ表現を構築します。BrainMoEは、EEGエキスパート、fMRIエキスパート、および共有ニューラル状態エキスパートを使用し、これらをソフトルーティングモジュールで統合することで、モダリティ特有の情報と共有情報を組み合わせて活用します。さらに、モダリティ状態マスクと欠損モダリティトークンを導入することで、単一の学習済みモデル内で、完全なEEG-fMRI、EEGのみ、およびfMRIのみによる推論を可能にしています。生物学的な解釈可能性をサポートするため、本プロトコルではノード遮蔽（node-occlusion）分析を適用します。この分析では、各DK-atlas ROIを選択的にマスクし、その結果生じる疾患予測確率の変化を用いて、EEGおよびfMRI由来の領域的寄与度を推定します。本プロトコルでは、データの整合、モデルの構築、学習、評価、およびノード遮蔽に基づくROI解釈の完全なワークフローを記述し、異種EEG-fMRI脳信号融合を通じた脳疾患のコンピュータ支援診断のための適応的かつ解釈可能な戦略を提供します。再現性と今後の拡張を容易にするため、公開GitHubリポジトリにてBrainMoEのモデル、学習および評価コードを提供しており、EEGおよびfMRIの前処理には公開されているサードパーティ製ソフトウェアを使用しました。リポジトリは https://github.com/zhongruizhe123/BrainMoE で利用可能です。

プロトコル

本研究では、Healthy Brain Network (HBN) データベース21から得られた匿名化データを使用し、後続の診断分類タスクのために5つの異なる臨床疾患に焦点を当てた。倫理的承認および書面によるインフォームドコンセントは、HBNイニシアチブによってすべての参加施設および被験者から事前に取得されていた。EEGおよびfMRIの記録は、同時ではなく別々のセッションで取得され、HBNで利用可能な参加者およびセッション識別子を用いてペアリングされた。

1. 計算環境と入力データの準備

  1. 計算環境の構築
    1. Python 3.12.4の仮想環境を作成し、有効化する：python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. 公開GitHubリポジトリで提供されているrequirements.txtファイルを使用して、必要なパッケージとその固定バージョンをインストールする：pip install -r requirements.txt
    3. トレーニング前にPyTorchおよびCUDAの設定を確認する：python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." 出力結果がPyTorch 2.6.0+cu124、CUDA 12.4であり、CUDA availabilityがTrueであることを確認する。モデルのトレーニングは、CUDA対応のGPUを用いて行う。
  2. モデルトレーニング前にすべてのH5入力ファイルを検査する。
    1. 各ファイルに、EEGノード特徴量としてsLORETA_mean_func、EEGグラフとしてsLORETA_mean_CorrMatrix、fMRIノード特徴量としてfMRI-DK68-node-mat、fMRIグラフとしてfMRI-DK68-edge-mat、および診断用のlabelが含まれていることを確認する。キーの欠落、非数値エントリ、無効なラベル、または68領域のDesikan-Killianyアトラスと一致しない次元を持つファイルは除外する。次のようにH5入力チェックスクリプトを実行する：python checkH5.py (Supplementary File 1)。

2. EEGとfMRIの特徴量を共通の解剖学的空間にアライメントさせる

  1. fMRIデータのプリプロセスを行う。
    1. C-PAC (version 1.8.7) を使用してfMRIデータを処理する。C-PACプリプロセススクリプトを次のように実行する：bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Supplementary File 2)。初期の非定常状態信号の影響を軽減するため、最初の5ボリュームを破棄する。
    2. スライスタイミング補正、モーション補正、歪み補正、レジストレーション、MNI152解剖学的空間への正規化、および空間平滑化を行う。24個のモーション関連の nuisance parameter を回帰除去する。
    3. 0.01-0.08 Hzで時間的バンドパスフィルタを適用する。
  2. アトラス整合fMRI特徴量を生成する。
    1. FreeSurfer (version 7.4.1) を使用して、対応する構造的MRIを処理する。次のようにスクリプトを実行する：bash Step01_mgz_2_nifti.sh。得られたDesikan-Killiany皮質パーセレーションを参加者のネイティブfMRI空間に共登録する。次のようにスクリプトを実行する：python Step02_CoRegistration.py。68個の皮質領域それぞれの領域内での平均ボクセル信号を算出する。次のようにスクリプトを実行する：python Step03_fMRI_Signal_Extraction.py (Supplementary File 3)。
    2. 時間的なパディングを行わず、連続する370個のfMRIタイムポイントを保持し、68 x 370のfMRIノード特徴量行列を取得する。ここで、68はDK皮質領域を、370は保持されたfMRIタイムポイントを表す。
  3. fMRIグラフを構築する。
    1. 68個のDK領域における370点の時系列データ間でピアソン相関を算出する。得られた68 x 68の機能的結合行列をfMRIエッジ行列として保存する。
  4. EEGデータのプリプロセスを行う。
    1. MATLAB (version R2022a) のEEGLAB ツールボックス (version 2022.1) を使用して、129チャンネルのEEG記録を処理する。2つのEEGLABプリプロセススクリプトを次のように順次実行する：matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Supplementary File 4)。サンプリングレート 500 Hz を維持し、0.2–40 Hz のバンドパスフィルタを適用する。ノイズの多いセグメントと不良電極を特定し、隣接電極の平均信号を用いて不良チャンネルを補間する。
    2. ICLabel プラグインを用いた独立成分分析により、独立成分を分類する。眼球または筋肉アーチファクトの分類確率が 0.90 を超える成分を除去する。平均リリファレンスを適用する。プリプロセスおよびアーチファクト除去後に、使用可能なデータが 250 s 未満の記録は除外する。
  5. アトラス整合EEG特徴量を生成する。
    1. 各参加者の構造的MRIから、個別の3層境界要素法 (BEM) 頭部モデルを構築する。各参加者の個別の皮質表面にソース空間を定義する。EEG電極位置をBEM表面にレジストレーションし、リードフィールド行列を算出する。
    2. ベースラインノイズ共分散行列を用いて正則化した逆演算子を適用する。信号対雑音比 (SNR) を 3.0 に設定し、λ2 = 1/SNR2 = 1/9 (約 0.1111) とし、MNE-Python (version 1.9) に実装されている標準化低解像度電磁トモグラフィー (sLORETA) を用いてソース局在化を行う。
    3. 各Desikan-Killiany パーセル内の頂点ごとのソース推定値を算術平均で集計し、68個のROIレベルの時系列データを取得する。最初の連続する 250 s セグメントを保持し、各ROI時系列を、連続して重複しない 1 s のエポック 250 個に分割する。
    4. 各エポック内の 8–12 Hz のアルファ帯域電力を算出し、68 x 250 のEEGノード特徴量行列を取得する。ここで、68はDK皮質領域を、250は連続して重複しない 1 s のエポック 250 個を表す。
  6. EEGグラフを構築し、クロスモーダルアライメントを確認する。
    1. 68個のDK領域における 250 エポックの 8–12 Hz アルファ電力系列間でピアソン相関を算出する。得られた 68 x 68 の行列をEEGグラフとして保存する。
    2. EEG行列とfMRI行列が同じDK領域の順序を使用していることを確認し、モデルへの入力、属性割り当て、および可視化に同じDK領域インデックスファイルを使用する。MNE-Python のソース局在化および特徴量抽出スクリプトを次のように実行する：python "Extract features - templates.py" (Supplementary File 5)。
  7. 各サンプル内のノード特徴量を正規化する。
    1. EEGおよびfMRIのノード特徴量行列にノードごとの z-score 正規化を適用する。グラフ行列は結合入力として保持し、BrainMoE モデル内部でグラフ正規化を適用する。
    2. 交差検証のフォールドからの情報をプリプロセスパラメータの決定に使用せず、固定設定を用いて参加者ごとに独立して EEG および fMRI のプリプロセスを行う。

3. 疾患特異的な二値分類タスクの構築

  1. 5つの疾患特異的な二値分類タスクを定義せよ。
    1. すべてのタスクにおいて、健康対照群（HC）をクラス0としてエンコードし、それぞれのタスク内では選択した疾患群のみをクラス1としてエンコードしてください。
    2. うつ病、不安障害、特定学習障害および読字障害を伴う神経発達症、自閉スペクトラム症、および注意欠如・多動性障害について、それぞれ健常群と疾患群を比較する個別のタスクを構築する。
  2. 研究コホートの特性を明らかにし、性別および採取部位による潜在的な影響を検討する。
    1. 疾患特異的な各タスクにおいて、完全なEEG、fMRI、および構造的磁気共鳴画像法（sMRI）データと有効な診断ラベルを有するHBN参加者を組み入れる。疾患陽性コホートからは、併存疾患の診断がある参加者を除外する。前処理およびアーチファクト除去後に使用可能なデータが250秒未満のEEG記録を除外し、セクション1.2に記載された品質管理基準を満たした入力ファイルのみを保持する。
    2. 共有の健康対照群（HCコホート）および各疾患コホートにおける、保持されたマルチモーダルレコード数、ユニークな参加者数、疾患対対照比、年齢範囲、性別分布、およびデータ取得サイトの分布を要約してください。 表4.
      注：5つのタスクすべてにおいて、同一の健康対照（HC）コホートがクラス0として再利用されているため、タスクレベルのパフォーマンス推定値は統計的に独立していません。この依存性は、疾患群の重複ではなく、共有されたHCコホートに起因するものです。
    3. 性能を性別および取得サイトごとに層別化し、5回の繰り返し5分割交差検証における得られた値を、両側ウェルチのt検定を用いて比較する。
  3. タスク固有のH5ファイルを選択し、交差検証の分割を定義します。
    1. 各タスクについて、HC（健康対照群）と標的疾患群のみを保持する。参加者レベルで5分割交差検証を10回繰り返して生成する。フォールド間でのクラス分布を維持するため、個々の参加者をバイナリクラスラベル（HC対標的疾患）に基づいて層化させる。
    2. 固有の被験者識別子をグループ化変数として使用し、同一被験者のすべてのセッションおよびマルチモーダル記録を同一のフォールドに割り当てます。1〜10の乱数シードをそれぞれ使用して、10回の反復交差検証パーティションを生成します。モデルの初期化および学習には、固定乱数シードとして1を使用します。
    3. ホールドアウトフォールドは最終評価専用として確保し、各フォールドの参加者識別子、ファイルリスト、およびパーティションインデックスを、対応するチェックポイントとともに保存してください。各トレーニングフォールドについて、トレーニングラベルからクラスウェイトを算出し、それをクロスエントロピー損失に使用することで、クラス不均衡によるバイアスを軽減してください。

4. コンピュータ支援による脳疾患診断のためのBrainMoEアーキテクチャの構築

注：BrainMoEアーキテクチャは、グラフエンコーダ、共有神経状態ソフトルーティング、およびエキスパートベースの特徴統合を組み合わせた、欠損モダリティに対応するコンパクトなEEG-fMRI融合フレームワークとして、疾患特異的な二値診断のために設計されました。全体のアーキテクチャを以下に示します。 図1、実装コードは〜に提供されています。 補足ファイル 6.

  1. BrainMoEの入力とモダリティ状態を定義します。 ソース空間アライメント後のEEGモダリティおよびfMRIモダリティを、ペアとなるグラフ入力として使用します。ここで、Xは領域特徴行列、Aはモダリティ固有の脳グラフを表し、各行は68個のDesikan-Killiany領域のいずれかに対応します。
    figure-protocol-1
    figure-protocol-2
    モダリティ可用性マスクを m = [mEEG, mfMRI] として定義します。完全なEEG-fMRI入力には m = [1,1]、EEGのみの入力には m = [1,0]、fMRIのみの入力には m = [0,1] を使用します。
  2. グラフエンコーダー：EEGまたはfMRIである各モダリティ q について、特徴行列 Xq とグラフ Aq を、そのモダリティ固有のグラフエンコーダーに入力します。このエンコーダーは、ノード投影、グラフメッセージパッシング、正規化、活性化、およびドロップアウト（p=0.3）を含む学習可能なニューラルモジュールです。
    figure-protocol-3
    注：この表記において、Zq はEEGグラフエンコーダーまたはfMRIグラフエンコーダーによって生成されたROIレベルの潜在表現です。EEGグラフエンコーダーは各 68 x 250 の入力行列を 68 x 128 の潜在表現に写像し、fMRIグラフエンコーダーは各 68 x 370 の入力行列を 68 x 128 の潜在表現に写像します。各エンコーダーは、入力投影に続き、128個の隠れ次元、GELU活性化、レイヤー正規化、およびドロップアウトを備えた2つの残差グラフ畳み込み層を使用します。
  3. 学習可能な欠損モダリティトークン：モダリティ q のトークンを Tq、対応する可用性インジケーターを mq とします。このステップにより、完全な入力および単一モダリティ入力の下で同じ68領域のレイアウトを維持する状態認識表現が生成されます。
    figure-protocol-4
    注：各学習可能な欠損モダリティトークンは128次元のベクトルであり、対応するモダリティが利用不可である場合に68個のROI行にわたって拡張されます。
  4. 共有ニューラル状態ソフトルーティングモジュール：まず、状態認識EEG表現 ZEEG、状態認識fMRI表現 ZfMRI、および埋め込み済みモダリティ可用性マスクを結合します。モダリティ可用性マスクは、次元 2 → 128、GELU活性化、およびレイヤー正規化を備えたMLPによって埋め込まれます。ルーターは、チャネル次元 384 → 128 → 128、カーネルサイズ 3、パディング 1 の2つの1次元畳み込み層で構成されます。各畳み込み後にGELU活性化が適用され、最初の畳み込み後にドロップアウト（p=0.3）が適用されます。
    figure-protocol-5
    figure-protocol-6
  5. 共有ニューラル状態エキスパート。
    1. 状態認識EEG表現 ZEEG、状態認識fMRI表現 ZfMRI、およびソフトルーティング表現 R を特徴次元に沿って連結します。全結合融合層（384から128）を適用し、続いてレイヤー正規化、GELU活性化、およびドロップアウト（p=0.3）を行い、得られた表現を68個のROIにわたって平均プーリングして、128次元の被験者レベル融合表現 zfused を取得します：
      figure-protocol-7
    2. zfused を、全結合層（128から128）、レイヤー正規化、GELU活性化、およびドロップアウト（p=0.3）で構成される共有ニューラル状態エキスパートに通過させます。得られた128次元の共有エキスパート表現を Eshared と表記します：
      figure-protocol-8
  6. EEGおよびfMRIエキスパート。
    1. 各モダリティについて、状態認識表現を68個のROIにわたって平均プーリングし、得られた128次元表現を対応するモダリティ固有のエキスパートに通過させます：
      figure-protocol-9
    2. 各モダリティ固有のエキスパートは、全結合層（128から128）、レイヤー正規化、GELU活性化、およびドロップアウト（p=0.3）で構成されます。得られた128次元のモダリティ固有エキスパート表現を、それぞれ EEEG および EfMRI と表記します。
  7. 融合モジュール。
    1. エキスパートの重みを計算するために、128次元の被験者レベル融合表現 zfused を2次元のモダリティ可用性マスク m と連結し、130次元のゲート入力を生成します。融合モジュールには、エキスパート融合に使用されるサンプル固有の重みを生成するエキスパートゲートが含まれています。エキスパートゲートは、全結合層（130から128）、それに続くGELU活性化、ドロップアウト（p = 0.3）、および出力全結合層（128から3）で構成されます。3つの出力ロジットにソフトマックスを適用して、サンプル固有のエキスパート重みを得ます：figure-protocol-10
    2. 得られた重みは非負であり、各サンプルについて合計が1になります：
      figure-protocol-11
    3. 各128次元エキスパート表現に対応するゲート重みを乗算し、3つの重み付き表現を合計します：
      figure-protocol-12
      注：この操作により、密なソフトMoE融合が実装されます。
    4. 得られた128次元の最終エキスパート表現 efused を、セクション4.8で説明する脳疾患診断分類ヘッドに渡します。
  8. 脳疾患診断分類ヘッド：128次元の最終エキスパート表現を、レイヤー正規化、ドロップアウト（p = 0.3）、および128次元を2つの出力ロジットに写像する全結合層で構成される分類ヘッドに通過させます。ソフトマックスを適用して、HC確率と標的疾患確率を得ます。標的疾患確率が0.5以上である場合に、サンプルを疾患クラスに割り当てます。
    figure-protocol-13
  9. トレーニング前に実装の一貫性を検証します。m = [1,1]、m = [1,0]、および m = [0,1] の条件下でドライフォワードパスを実行します。EEG、fMRI、状態認識、ルーティング、および融合表現が、明示的にプーリングされない限り68個のROI行を維持していること、およびエキスパート重みの合計が、EEGエキスパート、fMRIエキスパート、共有ニューラル状態エキスパートの順で1になることを確認します。

5. 脳疾患診断のための5つのBrainMoEモデルのトレーニング

  1. 疾患特異的なバイナリタスクごとに1つのBrainMoEモデルを学習させる。
    1. すべてのタスクで同一のアーキテクチャとデフォルトのハイパーパラメータ（30エポック、バッチサイズ16、学習率0.001、ウェイトディケイ0.0001）を使用する。テストフォールドの評価前にモデルアーキテクチャとハイパーパラメータを固定し、すべてのフォールド、反復、および疾患特異的タスクにおいて変更せずに維持する。
    2. モデル選択やハイパーパラメータのチューニングに、ホールドアウトされたテストフォールドの性能を使用しない。各ミニバッチについて、共有モデルウェイトを用いて、フルマスク、EEGのみのマスク、およびfMRIのみのマスクを使用した3回のフォワードパスを実行する。BrainMoEの学習は次のように実行する：python train.py --config configs/brain_moe.json --task --data_dir (付録ファイル6)。には、depression、anxiety、reading_disorder、autism、またはadhdを設定する。
  2. 平均化された3状態分類損失を最適化する。各状態のクラス重み付きクロスエントロピー損失Lsを次のように算出する
    figure-protocol-14
    そして、損失を次のように平均化する
    figure-protocol-15
  3. 勾配をリセットし、誤差逆伝播を行い、AdamWを用いてすべての学習可能パラメータを更新する。

6. 全モダリティおよびモダリティ欠損時の推論状態を評価する

  1. 評価方法：選択した疾患タスクのチェックポイントをロードし、同じチェックポイントから保存されたテストファイルリストを使用します。EEG-fMRIによる完全な推論には m = [1,1] を、EEGのみの推論には m = [1,0] を、fMRIのみの推論には m = [0,1] を使用します。最後に、ソフトマックス関数を適用して標的疾患の確率を算出し、確率が 0.5 以上の場合にその疾患クラスを割り当てます。
  2. 評価指標：混同行列から評価指標を算出します。ここで、TP は疾患陽性サンプルが正しく疾患として分類されたものを、TN は HC が正しく健康として分類されたものを、FP は HC が誤って疾患として分類されたものを、FN は疾患陽性サンプルが誤って健康として分類されたものを表します。
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. 全体の正解分類率を報告するために正解率（accuracy）を使用します。疾患陽性の検出能を定量化するために感度（sensitivity）を、HC の識別能を定量化するために特異度（specificity）を使用します。
  4. 適合率（precision）と感度のバランスを要約するために F1 スコアを使用します。クラス不均衡の影響を軽減するためにバランス正解率（balanced accuracy）を使用します。さらに、決定しきい値に依存しない判別能を評価するために AUC を算出します。
  5. 各試行において、5 つのホールドアウト・フォールドにわたって各性能指標の平均を算出します。最終結果は、10 回の試行レベルの平均値の平均および標準偏差として報告します。
  6. BrainMoE をベースライン手法と比較します。すべてのベースラインでは、BrainMoE と同様の被験者レベルの分割および完全な EEG-fMRI 入力を使用し、構成はホールドアウト評価前に固定しました。BrainMoE と各ベースラインの比較には、Holm 補正を用いた両側ペアt検定を使用しました。

7. 5つの脳疾患にわたるグループレベルのノード遮蔽アトリビューションの実行

  1. アトリビューション・コホートを定義する。学習済みのBrainMoEチェックポイントとDK領域名ファイルをロードする。m = [1,1]の完全なEEG-fMRI状態で正しく分類された、疾患陽性のテストサンプルを選択する。このコホートをグループレベルのアトリビューション分析に使用し、各サンプルのベースラインとなる標的疾患確率を保存する。
  2. モダリティ固有のノードオクルージョン・スコアを算出する。EEG由来のアトリビューションでは、fMRI入力を変更せずに、選択したEEGノードの特徴ベクトルおよびEEGグラフの対応する行と列をゼロに設定することで、EEG ROIを一度に1つずつ遮蔽（オクルージョン）する。fMRI由来のアトリビューションでは、EEG入力を変更せずに、fMRIノード特徴行列およびfMRIグラフに同様の操作を適用する。この手順を全68個のDK領域で繰り返す。 Supplementary File 7で提供されているコードを用いて、ノードオクルージョン・アトリビューション分析を実行する。
  3. グループレベルのROI寄与度を算出し、可視化する。各ROIおよび各モダリティについて、選択した全サンプルにおける遮蔽後の標的疾患確率の平均減少量を寄与度スコアとして算出する。EEG由来のスコアとfMRI由来のスコアを個別にランク付けし、各モダリティの上位10個のROIをエクスポートして、図中の最高ランクのROIにラベルを付ける。

結果

疾患およびモダリティ状態におけるBrainMoEの性能
本プロトコルにより、5つの疾患特異的な健常者対疾患BrainMoE分類器が作成され、EEG-fMRI統合、EEGのみ、およびfMRIのみの推論状態に関する予測テーブルが作成された。EEG-fMRI統合状態では、5つのタスクすべてにおいて一貫して高い識別能が示され、AUC値はRIの84.4 ± 3.2%からASDの88.4 ± 3.8%の範囲であった（表 1）。5つのタスクにおける統合状態のマクロ平均性能は、AUC 86.9 ± 3.0%、正解率 81.4 ± 3.1%、均衡正解率 81.4 ± 2.5%、F1スコア 81.2 ± 3.0%に達した。

シミュレートされたモダリティ欠損条件下において、BrainMoEは1つの入力モダリティがマスクされた状態でも実用的な性能を維持しました。EEGのみの状態では、モデルのマクロ平均AUCは83.1 ± 3.7%に達し、EEGのみのAUCで最も高い値がADHDの87.9 ± 2.8%で観察されました。fMRIのみの状態では、マクロ平均AUCは80.0 ± 3.9%でした。これらの性能範囲および期待されるフルステートでの性能的優位性は、実装成功のための実用的なベンチマークとして機能し、学習済みBrainMoEフレームワークが、モダリティごとに個別のモデルを用意することなく、フル、EEGのみ、およびfMRIのみの推論を実行できることを示しています。

代表的な不十分な結果としては、期待されるフルステートの性能上の優位性が再現されないことが挙げられます。例えば、フルEEG-fMRIのAUCが、EEGのみまたはfMRIのみのAUCよりも低くなる場合などがこれに該当します。対照的に、実装が成功していれば、フルステートの優位性と表1に報告されているベンチマーク性能範囲が再現されるはずです。不十分なパターンが観察された場合は、モデルの出力を解釈する前に、H5入力次元、DK領域の順序、モダリティ利用可能マスクの割り当て、および保存された交差検証パーティションを確認してください。

ベンチマーク比較
提案されたBrainMoEモデルを、古典的な機械学習手法（サポートベクターマシン（SVM）および多層パーセプトロン（MLP））、一般的なディープラーニング手法（Transformer7、3D-CNN22、ResNet6）、高度なディープラーニング手法（BrainNetCNN8、BNT10、BrainGNN9、MultiEpilepsyNet11、SZAtt-Net12）、およびMoEベースのディープラーニング手法（dFCExpert17、EvoMoE18、NeuroMoE++19）と比較した（表2）。比較したすべての手法の中で、BrainMoEが最高の平均AUCである86.9 ± 3.0%を達成した。

従来の機械学習手法は平均パフォーマンスが低く、SVMの平均AUCは66.7 ± 4.5%、MLPは64.6 ± 6.3%でした。一般的なディープラーニング手法のパフォーマンスはばらつきがあり、ResNetの平均AUCは71.0 ± 3.3%、Transformerは63.8 ± 4.7%でした。高度なディープラーニングのベースラインの中では、BNT、BrainGNN、MultiEpilepsyNet、およびSZAtt-Netがほとんどの従来手法および一般的なディープラーニング手法を上回りましたが、それらの平均AUCは依然としてBrainMoEよりも低い値にとどまりました。

ベンチマーク比較に統計的な根拠を与えるため、BrainMoEを各性能指標における最強のベースラインと比較した（表3）。BrainMoEはAUCおよび平衡正確度（BA）においてNeuroMoE++を上回り、F1スコアおよび正確度においてSZAtt-Netを上回った。すべての比較は、Holm補正後も有意であった。

性別および撮像施設別サブグループ解析
保持されたマルチモーダル記録数、疾患群対対照群比、ユニーク参加者数、年齢要約、性別分布、および撮像施設分布を含むタスク固有のコホート特性を、コホート特性表（表 4）にまとめる。疾患群対対照群比はマルチモーダル記録数から算出し、人口統計学的特性および撮像施設特性はユニーク参加者レベルでまとめる。

性別および採取場所の潜在的な影響を評価するため、BrainMoEの性能をこれらの要因で層別化した（表5）。男性サブグループは女性サブグループよりも平均AUC、BA、F1スコア、および正解率が高かったが、対応する未調整のWelchのp値は0.089から0.321の範囲であった。同様に、RUBICサブグループはスタテンアイランドのサブグループよりも平均性能が高く、p値は0.055から0.309の範囲であった。これらの解析において、統計的に有意なサブグループ間の差は検出されなかった。

BrainMoEコンポーネントのアブレーション解析
モダリティ可用性マスク、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合設計の寄与度を評価するために、アブレーション実験を実施した（表6）。マスク埋め込みを削除すると平均AUCは79.2 ± 3.1%に低下し、畳み込みルーターをMLPルーターに置き換えると79.3 ± 3.7%に低下した。共有エキスパートを削除すると、fMRIのみのAUCは73.5 ± 3.3%となり、テストしたバリアントの中で最低値を示した。また、すべてのMoEエキスパートを削除すると、全体の均衡正解率も74.2 ± 3.0%に低下した。これらのアブレーション結果は、完全なBrainMoE設計が、全モダリティ利用状態およびモダリティ欠損状態の両方において最強の総合性能を達成したこと、また、マスク埋め込み、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合がそれぞれ最終的なモデルの挙動に寄与していることを示した。

5つの脳疾患におけるROIレベルの解釈可能性の結果
BrainMoEの予測の根拠となる領域的な寄与を調べるため、全EEG-fMRI状態において正しく分類された疾患陽性サンプルに対してノード遮蔽アトリビューションを実施した。DKアトラスの各領域を遮蔽した後の標的疾患確率の低下を測定することにより、EEG由来およびfMRI由来のROIの寄与を個別にランキングした。この解析により、5つの疾患タスクにわたってモダリティ特有の寄与パターンが特定された（図 2）。fMRI由来のアトリビューションでは、上位にランクされた領域は、MDDでは左後帯状皮質、ANXでは右鳥距溝周囲皮質、RIでは左海馬傍回皮質、ASDでは右三角部、ADHDでは左嗅皮質であった。EEG由来のアトリビューションでは、上位にランクされた領域は、MDDでは左上側頭溝辺縁部、ANXでは左中心前皮質、RIでは左楔前部、ASDでは左舌状回皮質、ADHDでは右島であった。各疾患において最も上位にランクされたEEGおよびfMRI由来のROIを、図 3の皮質表面に可視化した。これらの結果は、BrainMoEがEEG由来およびfMRI由来の表現に対して個別のアトリビューションプロファイルを維持しつつ、ROIレベルの解釈可能性を提供することを示した。正しく分類された疾患陽性サンプルについて、50個のホールドアウトフォールドにおけるTop-1 ROIの出現頻度を用いて、クロスフォールド安定性を評価した（表 7）。観察された頻度は36%から68%の範囲であり、理論的なランダム選択の参照値である1/68 (1.47%) を上回っており、絶対的な寄与の大きさではなく相対的なランキングに基づく解釈を支持する結果となった。先行する神経画像研究の知見との比較は事後的に行われ、アトリビューション結果を文脈化するためにのみ使用され、独立した検証としては使用されていない。

figure-results-1
図1: コンピュータ支援による脳疾患診断のための、適応型EEG-fMRI融合を用いたBrainMoEフレームワークの概要。ソース整合されたEEGおよびfMRIのROI特徴量は、個別のグラフエンコーダによって処理される。得られた表現は、EEGエキスパートおよびfMRIエキスパートに送られ、モダリティ可用性マスクとともに、共有ソフトルーティングモジュールに送られる。モダリティ表現とルーティング表現は融合され、共有ニューラル状態エキスパートによって処理される。その後、3つのエキスパート出力が融合モジュールで結合され、診断分類ヘッドに送られて、HC（健常対照群）および標的疾患の確率が算出される。こちらのリンクをクリックして、この図の拡大版を表示してください。

figure-results-2
図2: ノード閉塞に基づくROI寄与度解析。 完全なEEG-fMRI推論状態における各疾患タスクについて、EEG由来およびfMRI由来の上位10件のROI寄与度を視覚化した。パネル(A–E)はそれぞれMDD、ANX、RI、ASD、ADHDに対するfMRI由来の結果を示し、パネル(F–J)は同じ順序で対応するEEG由来の結果を示している。各プロットでは、最もランクの高いROIのみにラベルを付けた。ROI寄与度は、対応するDKアトラス領域を閉塞させた後の標的疾患確率の減少として定義した。ここをクリックして、この図の拡大版を表示してください。

figure-results-3
図 3: 5つの脳疾患における皮質ROIレベルの解釈可能性マップ。 パネル (A–E) は、それぞれ MDD、ANX、RI、ASD、および ADHD を示す。各パネルでは、DK皮質表面上の最もランクの高いEEG由来ROIを赤色で、最もランクの高いfMRI由来ROIをオレンジ色で表示している。色は寄与度ではなくモダリティを示しているため、定量的なカラースケールは適用されていない。接頭辞の lh および rh は、それぞれ左半球および右半球を表す。こちらのリンクから、この図の拡大版を表示できます。

疾患タスク状態AUC（曲線下面積）正確度BAF1感度特異性
大うつ病性障害完全な88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
大うつ病性障害EEGのみ83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
大うつ病性障害fMRIのみ82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
不安全文85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
不安EEGのみ81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
不安fMRIのみ74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
放射性同位体完全な84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
放射性同位体EEGのみ80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
放射性同位体fMRIのみ81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
自閉スペクトラム症完全な88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
自閉症スペクトラム症EEGのみ82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
自閉スペクトラム症fMRIのみ81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
注意欠如・多動性障害完全88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
注意欠如・多動性障害EEGのみ87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
注意欠陥多動性障害fMRIのみ80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

表1：疾患タスクおよびモダリティ利用可能状態におけるBrainMoEの分類性能。全EEG-fMRI、EEGのみ、およびfMRIのみの推論状態における、5つの健常者対疾患分類タスクに対するBrainMoEの性能。指標は平均 ± 標準偏差で示されており、受信者動作特性曲線下面積（AUC）、正解率、バランス正解率（BA）、F1スコア、感度、および特異度が含まれる。

手法手法グループ平均AUC平均BA平均F1平均正解率
SVM古典的ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLP古典的ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
Transformer汎用DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN汎用DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNet汎用DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNN高度DL70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNT高度DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNN高度DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNet高度DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Net高度DL78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoEベースDL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoEベースDL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoEベースDL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (本手法)MoEベースDL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

表2：従来の機械学習法、汎用的なディープラーニングモデル、および高度なニューロイメージング用ディープラーニングアーキテクチャと比較したBrainMoEの平均分類性能。結果は評価した疾患分類タスク全体で集計し、AUC、BA、F1スコア、および正解率の平均値 ± 標準偏差として報告している。

比較平均AUC平均BA平均F1平均正解率
最強のベースラインNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
最強ベースラインの性能81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
差+5.4+3.5+3.8+3.3
t検定 p値0.00060.00650.01870.0276
Holm補正後 p*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

表 3：各性能指標におけるBrainMoEと最強のベースラインの比較。 P値は両側対応t検定を用いて算出し、Holm法により補正した。Cohen's dzは標準化された対応差を示す。

コホートマルチモーダル記録 (n)疾患対対照比ユニーク参加者数 (n)年齢範囲（歳）性別（オス/メス、男性/女性）取得場所（スタテンアイランド/RUBIC）
ヘルスケア115--755.02–21.9035/4026/49
大うつ病性障害520.45:1338.36–19.7314/1915/18
不安1561.36:1985.53–21.0046/5245/53
放射性同位体1411.23:1855.75–19.6647/3839/46
自閉スペクトラム症820.71:1515.66–19.7945/627/24
注意欠如・多動性障害5554.83:13385.04–21.72241/97136/202

表4：5つの疾患特異的分類タスクに使用された研究コホートの特性。この表は、保持されたマルチモーダルレコード数、疾患群対対照群の比率、ユニーク参加者数、人口統計学的特性、およびデータ取得サイトの分布を報告している。

サブグループ番号平均AUC平均BA平均F1スコア平均正解率
性別
オス70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
雌39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
相違点+1.6+2.2+2.4+2.9
ウェルチのp値--0.3210.1920.1590.089
取得部位
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
スタテンアイランド42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
相違点+2.4+1.6+2.9+3.3
ウェルチのp値--0.1760.3090.0850.055

表5：性別および採取部位で層別化したBrainMoEの性能。結果は、5分割交差検証を10回繰り返した際の平均値±標準偏差として報告されている。差は、第1サブグループから第2サブグループを引いた値を示し、P値は両側Welchのt検定を用いて算出された。

変異体全AUCEEG単独のAUCfMRIのみのAUC平均AUC平均BA
マスク埋め込みなし83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Convルーターなし84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLPルーター82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
共有エキスパートなし83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoEエキスパートなし81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (本手法)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

表 6：BrainMoE の主要コンポーネントのアブレーション解析。 モダリティ可用性マスク、畳み込みルーター、共有エキスパート、および MoE エキスパート融合設計の寄与を示すアブレーション結果。各バリアントを、フル EEG-fMRI、EEG のみ、および fMRI のみの推論条件下で評価し、平均 AUC と平均 BA で全体のパフォーマンスをまとめている。

疾患EEG：上位の関心領域（ROI）EEG：最多出現周波数、n/N (%)fMRI：上位のROIfMRI：最頻度、n/N (%)偶然の一致の参照値 (%)
大うつ病性障害上側頭溝の左岸22/50 (44%)左後帯状回25/50 (50%)1.47
不安左中心前回皮質18/50 (36%)右側周被蓋皮質21/50 (42%)1.47
放射性同位体左楔状葉26/50 (52%)左海馬傍回皮質29/50 (58%)1.47
自閉症スペクトラム症左舌状回皮質27/50 (54%)右三角部28/50 (56%)1.47
注意欠如・多動性障害（ADHD）右島皮質31/50 (62%)左内嗅皮質34/50 (68%)1.47

表7：上位にランクされたEEGおよびfMRI由来のROIのクロスフォールド安定性。 Top-1頻度は、報告されたROIが1位にランクされた50回レベルの解析の回数および割合を示す。理論的なランダム選択の参照値は1/68 (1.47%)であった。

補足ファイル 1: H5入力チェック用スクリプトBrainMoEのトレーニング前に、必要なH5入力キー、データ型、診断ラベル、およびDK-atlas互換の入力次元を確認するためのPythonスクリプトです。 こちらをクリックしてファイルをダウンロードしてください。

補足ファイル 2：fMRI前処理スクリプトfMRI前処理に使用したC-PACの設定および実行ファイル。これには、初期ボリュームの除去、体動および歪みの補正、レジストレーションと正規化、 nuisance regression（不要成分の回帰）、時間フィルタリング、および空間スムージングが含まれます。 こちらをクリックしてファイルをダウンロードしてください。

補足ファイル 3：FreeSurfer 処理スクリプト構造 MRI データの処理、Desikan-Killiany 皮質パーセレーションのネイティブ fMRI 空間への共登録、および ROI レベルの fMRI 信号の抽出のためのスクリプトです。 こちらのリンクからファイルをダウンロードしてください。

補足ファイル 4：EEG前処理スクリプトフィルタリング、アーティファクト成分の特定および除去、リリファレンスを含む、EEG前処理に使用したMATLAB/EEGLABスクリプト。 こちらのリンクをクリックしてファイルをダウンロードしてください。

補足ファイル5：MNE-Pythonソース局在化および特徴抽出スクリプトEEGソース局在化、DKアトラスROI抽出、およびBrainMoEの入力として使用されるROIレベルのEEG特徴量の生成を行うためのPythonスクリプトです。 こちらをクリックしてファイルをダウンロードしてください。

補足ファイル 6：BrainMoE実装コード。BrainMoEアーキテクチャ、グラフエンコーダ、モダリティ状態の処理、エキスパートルーティングおよび融合、モデルトレーニング、評価、およびアブレーションバリアントのためのPythonコードと設定ファイル。 こちらのリンクからファイルをダウンロードしてください。

補足ファイル 7：ノード遮蔽アトリビューションコードモダリティ固有のノード遮蔽分析、ROI寄与スコアの算出、EEGおよびfMRI由来のROIのランキング、およびアトリビューション出力の生成を行うためのPythonコードです。 こちらのリンクからファイルをダウンロードしてください。

ディスカッション

EEGとfMRIは神経活動に関する相補的な情報を提供するため、マルチモーダル脳信号解析はコンピュータ支援による脳疾患診断の重要な方向性となっています。ベンチマーク比較において、SVMやMLPなどの古典的な機械学習手法は基本的な診断性能を示しましたが、階層的、グラフ構造的、およびクロスモーダルな特徴量間の相互作用をモデル化する能力には限界がありました。3D-CNN、ResNet、Transformerを含む汎用的なディープラーニングモデルは、より強力な非線形モデリング能力を提供しましたが、これらのアーキテクチャはEEG-fMRI融合や脳ネットワーク表現のために特別に設計されたものではありませんでした。高度なディープラーニング手法は、ほとんどの古典的および汎用的モデルよりも優れた性能を達成しましたが、その多くは依然として固定的な特徴統合戦略に依存しており、モダリティ固有の情報と共有された神経状態情報を明示的に分離できていませんでした。

本研究では、グラフベースのモダリティエンコーダー、モダリティ特異的なエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングメカニズムを組み合わせることで、この融合問題に対処するBrainMoEを提案しました。この設計により、EEG由来およびfMRI由来の表現を個別にモデル化し、その後エキスパートレベルの融合を通じて統合することが可能になりました。モダリティ状態マスクと欠損モダリティトークンを導入することで、欠損モダリティの条件ごとに個別のモデルを構築することなく、同一の学習済みモデルでEEGのみ、またはfMRIのみによる推論を実行できるようになりました。実験の結果、BrainMoEは5つの二値疾患分類タスク全体において最強の総合性能を達成し、EEGのみおよびfMRIのみの状態においても実用的な性能を維持したことが示されました。アブレーション解析により、マスク埋め込み、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合の寄与がさらに裏付けられました。これらの知見は、性能の向上が一つのコンポーネントによるものではなく、グラフエンコーディング、モダリティ状態モデリング、適応的ルーティング、およびエキスパート融合の協調的な設計によるものであることを示しています。

プロトコルの重要な手順とトラブルシューティング
プロトコルの重要な手順には、EEGおよびfMRIのノードおよびグラフ行列全体で同一の68領域DK順序を維持すること、定義済みの前処理設定を参加者ごとに独立して適用すること、および同一参加者のすべてのレコードが単一のフォールド内に保持されるよう参加者レベルの交差検証を強制することが含まれます。また、Modality Availability Maskは、各推論状態に対して提供される入力と一致している必要があります。

推論に失敗した場合、または期待されるフルステートの性能向上が再現されない場合は、まず、必要なH5キー、EEGおよびfMRI行列の次元、DK領域の順序、Modality Availability Maskの割り当て、および保存された交差検証パーティションを確認してください。キーの欠落、次元の不整合、または領域順序の不一致があるファイルは、トレーニングまたは評価の前に除外する必要があります。両方のモダリティが一貫したROI順序にマッピングされ、対応するモデル入力次元が調整されていれば、本フレームワークは代替の皮質パーセレーションやEEG/fMRI特徴表現に合わせて修正することが可能です。また、疾患特異的な分類ヘッドは、グラフエンコーディングおよびエキスパートフュージョンフレームワークを維持したまま、他の二値分類タスクに適応させることもできます。このような修正を行う場合は、本稿で報告されたモデルをそのまま適用するのではなく、再トレーニングおよび検証を行う必要があります。

ノード遮蔽に基づく解釈性解析
ノード遮蔽（node-occlusion）解析により、BrainMoEの予測に対するROIレベルでの解釈可能性がさらに提供され、疾患に関連する上位のROIが以下に示されています。 図3BrainMoEによって特定されたEEG由来の左後方ROIは、先行するボクセルベースのメタ分析の結果と一致している。23 大うつ病性障害（MDD）において、後部皮質領域の固有の脳活動が変化していることを示すエビデンス。EEG/fMRIから導出された左中心前回および右周視覚皮質の関心領域（ROI）は、不安症における従来の神経画像エビデンス、すなわち皮質厚のメタ解析の結果と一致している。24 不安症患者における左中心前回の皮質厚の増加が報告されており、一方で構造共分散ネットワーク研究では25 社交不安障害では、右周視覚野（pericalcarine cortex）を含む異常なノード中心性が報告されている。読字障害については、EEG由来の左楔前部（cuneus）ROIが、全脳コネクティビティ研究の結果と一致している。26 読み書き障害において左楔前小葉の結合性の変化が報告されている一方で、fMRI由来の左海馬傍回ROIは別の研究の結果と一致している27 特定の読解困難を有する青年における、異常な海馬傍回／海馬結合について報告する。自閉スペクトラム症のタスクにおいて、EEG由来のアトリビューションにより強調された左舌状回ROIは、先行する静止期fMRIのエビデンスと一致している。28 ASDを持つ思春期前の男児における、左舌状回のReHoの低下。fMRIから導出された右三角部のROIも生物学的に妥当である。なぜなら、下前頭回の右三角部におけるALFFの変動が報告されているためである。29 自閉症スペクトラム症の小児において。ADHDについては、EEGから導出された右側島皮質ROIが構造的MRIの根拠と一致している。30 ADHDを持つ若年者において前側頭島体積の減少が示されており、特に右側頭島短回が関与しています。fMRIから導出された左嗅内皮質ROIは、別のPsychological Medicine誌の研究において、よりサブタイプ特異的な所見を反映している可能性があります。31 FDR補正後、ADHD-Cサブグループにおいて左内嗅皮質後方の体積が減少していることが報告された。しかしながら、相関のあるROI信号によって単一ノードの遮断では個々の領域の寄与を完全に分離できず、推定値が保守的になる可能性があるため、これらの知見は領域間の依存性を考慮して解釈されるべきである。

限界と今後の方向性
内部的な性能評価を得るために繰り返し5分割交差検証を用いたが、今後の研究で入れ子状交差検証（nested cross-validation）や独立した外部検証を用いることで、モデル選択の安定性と汎化性能の評価をさらに強化できると考えられる。EEGのみおよびfMRIのみの出力は、完全なマルチモーダル記録において一方のモダリティをマスキングすることで生成されており、外部検証コホートで評価されていないため、今後の研究では汎化性能を評価するために外部のシングルモダリティ検証コホートを含めるべきである。さらなる限界として、健常者対単一疾患の設計では併存疾患の提示を捉えられないことが挙げられ、これが臨床的な汎用性を制限している。そのため、今後の研究においてマルチラベル分類や鑑別診断への取り組みが必要となる。また、今後の研究では、リークを考慮したコネクティビティ推定法を用いて、ソースレベルのEEG関連性の堅牢性を評価することも可能である。共有のDKパーセレーションは、マルチモーダル融合のための解剖学的根拠に基づいたインターフェースを提供するが、これはモデリング上の仮定であり、時間分解能や生理学的起源におけるモダリティ固有の違いを完全に捉えきれていない可能性がある。本研究で評価した5つの疾患以外にも、解剖学的に整合したマルチモーダル脳データを用いる他の神経学的または精神医学的な分類タスクにこのフレームワークを適応させ、マルチラベル分類や鑑別診断アプリケーションへ拡張することが期待される。

結論
要約すると、BrainMoEは、脳疾患のコンピュータ支援診断におけるEEG-fMRI融合のための、実用的かつ解釈可能なフレームワークを提供します。その主な利点は、マルチエキスパートアーキテクチャと、モダリティ固有の情報と共有情報のバランスを動的に調整するソフトルーティングメカニズムによって駆動される、適応的なマルチモーダル特徴統合にあります。さらに、モダリティ状態マスクと欠損モダリティトークンをシームレスに組み込むことで、同一の学習済みモデルが、個別の構成を必要とせずに、不完全なモダリティでの推論時においても堅牢な性能を実現します。極めて重要な点として、この解釈可能なフレームワークは、5つの異なる脳疾患にわたって透明性の高いグループレベルの領域帰属パスを提供し、従来のブラックボックス型アーキテクチャを、生理学的知見に基づいたコンピュータ支援診断ツールへと転換させます。これは、不均一なデータソース、不完全なモダリティの可用性、および説明可能なモデル出力がすべて中心的な検討事項となる、将来の計算神経画像ワークフローにとって重要です。

開示事項

著者らは利益相反がないことを宣言します。また、本原稿の作成、コード、データ解析、またはチャートの作成において、生成AIツールは一切使用されていないことを宣言します。

謝辞

本研究は、中国国家自然科学基金（Grant Nos. 62433002, 62277001, U25A20446）、北京市機関ハイレベル革新チーム建設・支援プロジェクト（Grant No. BPHR20220104）、および北京学者プログラム（Grant No. 099）の助成を受けたものです。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
BashGNU Project5.1.16(1)-releaseソフトウェア
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1ソフトウェア
CUDA ToolkitNVIDIA CorporationVersion 12.4ソフトウェア
CUDA対応GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPU機器
Desikan-Killiany 皮質アトラスFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)アトラス/リソース
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)ソフトウェア
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)ソフトウェア
FSLFMRIB, University of OxfordC-PAC 1.8.7に同梱；正確なバージョンは未指定 (RRID:SCR_002823)ソフトウェア
Healthy Brain Network (HBN) データセットChild Mind InstituteRRID:SCR_016989データセット
MATLABMathWorksR2022a (RRID:SCR_001622)ソフトウェア
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)ソフトウェア/ライブラリ
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)ソフトウェア
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)ライブラリ

参考文献

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

再版と許可

タグ

EEG-fMRI融合マルチモーダル脳イメージングコンピュータ支援診断グラフエンコーダROIアトリビューションマップニューラル状態エキスパートモダリティ状態マスクノード遮蔽分析

この記事は公開されました

動画は近日公開

お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。