方法論記事

解釈可能なコンピュータ支援による脳疾患診断のための、混合エキスパートモデルを用いた脳波-機能的磁気共鳴画像融合法

89 回視聴

⸱

DOI:

10.3791/73432

⸱

2026年9月25日

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

この記事について

サマリー

本プロトコルでは、脳疾患のコンピュータ支援診断に向けた、適応的かつ解釈可能な脳波（EEG）および機能的磁気共鳴画像法（fMRI）の融合フレームワークであるBrain Mixture-of-Expertsを紹介します。この手法は、モダリティ固有のエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングを通じて、異種であるEEGとfMRIの表現を統合し、同時に解釈可能性と、モダリティが欠損したシミュレーション条件下での推論能を維持します。

要約

脳波測定（EEG）と機能的磁気共鳴画像法（fMRI）は、脳機能に関する相補的な情報を提供し、さまざまな脳疾患における機能的異常の検出において大きな可能性を示しています。しかし、EEGとfMRIの信号特性の違いおよび表現空間の不一致は、効果的なマルチモーダル融合において深刻な課題となり、従来の固定モデルによる脳疾患の正確なコンピュータ支援診断を妨げています。本研究では、脳疾患のコンピュータ支援診断のための適応的かつ解釈可能なEEG-fMRI融合フレームワークであるBrain Mixture-of-Experts（BrainMoE）を提案します。これは、モダリティ固有のエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングメカニズムを通じて、マルチモーダルな脳特徴を統合するものです。BrainMoEは、まずEEGおよびfMRI信号を統一されたDesikan-Killiany（DK）アトラスの関心領域（ROI）空間に投影し、次にグラフエンコーダを用いてモダリティ固有の脳ネットワーク表現を抽出します。ソフトルーティングモジュールがルーティング表現を生成し、融合モジュールのエキスパートゲートがサンプル固有の重みを生成して、EEG、fMRI、および共有ニューラル状態エキスパートの表現を結合します。不完全なデータ取得シナリオに対処するため、モダリティ状態マスクと欠損モダリティトークンを組み込み、同一の学習済みモデルでフルEEG-fMRI、EEGのみ、およびfMRIのみの推論を可能にしました。最後に、ノード遮蔽分析によって、EEGおよびfMRI由来の予測の両方に対してROIレベルの属性マップを提供します。本フレームワークをHealthy Brain Network（HBN）データセットを用いて、大うつ病性障害、不安障害、読字障害、自閉スペクトラム症、注意欠如・多動性障害を含む5つの二値脳疾患分類タスクで評価しました。BrainMoEは最新の比較アルゴリズムを上回り、平均AUC 86.9 ± 3.0%を達成し、アブレーション実験によってルーティングおよびエキスパート融合コンポーネントの寄与が裏付けられました。さらに、解釈性分析により、過去に報告された神経画像所見と一致する、疾患分類に対するグループレベルのROI寄与が特定されました。本手法は、解釈性と擬似的なモダリティ欠損条件下での推論を維持しつつ、不均一なEEG-fMRIニューラル表現の統合という課題を解決することで、脳疾患のコンピュータ支援診断を支援します。

概要

脳疾患は、単一のイメージング手法では特徴付けが困難な、神経活動および脳ネットワーク構成の複雑な変化を伴います1。ソース再構成2後、EEG（脳波）は領域レベルの電気生理学的活動を提供し、一方で機能的磁気共鳴画像法（fMRI）は領域レベルの機能的結合性を捉えるため、脳機能に関する相補的な視点が得られます。これらの統合を容易にするため、先行するマルチモーダル研究では、両方のモダリティを68領域のDesikan-Killiany（DK）アトラス3にマッピングしています。この空間的な対応関係は、時間分解能や生理学的起源の等価性を意味するものではありませんが、モダリティ固有の情報を保持しつつ、ノードレベルのグラフ融合、固定されたグラフ次元、および一貫した関心領域（ROI）レベルの解釈のための統一された解剖学的インデックスを提供します。これらの解剖学的に整合しつつもモダリティ固有の表現を統合することで、疾患に関連する脳信号表現を豊かにし、コンピュータ支援による脳疾患診断を支援することが可能になります3,4。

脳疾患のコンピュータ支援診断においてEEG-fMRI融合には大きな可能性がありますが、これら2つのモダリティ間の不均質性が、効果的な統合に向けた技術的な課題となっています。SVMやMLPなどの古典的な機械学習手法は、ベースラインの分類モデルを提供できますが、非線形なクロスモーダル相互作用を捉える能力には限界があります。GNN5、ResNet6、Transformer7アーキテクチャを含む汎用的なディープラーニングモデルは、より強力な表現学習を可能にしますが、ROIレベルの脳グラフやモダリティ状態のモデリングに特化した設計ではありません。近年の高度なモデル3,8,9では、脳ネットワークをより適切にモデリングするために非線形複雑性が向上しています。BrainNetCNN8は、畳み込み演算を脳の結合行列に適応させるために導入されました。BrainGNN9は、グラフニューラルネットワークとプーリングを用いてROIレベルのグラフトポロジーをさらにモデリングしました。また、BNT10は、Transformerベースのマルチレベルアテンションにより機能的脳ネットワーク解析を強化しました。しかし、これらの進展は依然として主に単一モダリティの設定で開発されていました。その後、MultiEpilepsyNet11がフェデレーション・ハイブリッドフレームワークを通じて、EEG-MRIによる発作検出にマルチモーダル学習を拡張し、そのMRI側のEpiSkullNet++モジュールによって脳のセグメンテーションと前処理が改善されました。続いてSZAtt-Net12が、CNN、BiGRU、MLPブロックにチャネル、自己、空間、および時間アテンションメカニズムを組み合わせることで、統合失調症のマルチモーダル分類モデルを開発しました。しかし、これらの手法はタスク特異的なままであり、比較的固定的な融合設計に依存しており、全モダリティが存在する場合と一部が欠損している状態の間で適応的なルーティングを明示的にサポートしてはいませんでした。

Mixture-of-Experts (MoE) モデル13,14は、異種の情報源を専門のエキスパートモジュールで処理し、ルーティングメカニズムを通じて動的に結合できるため、マルチモーダル学習において increasingly 採用されています。Softmaxゲーティングは入力依存の正規化されたエキスパート重みを提供し、収束率の観点から理論的に特徴づけられています15。関連するマルチゲートアーキテクチャでは、大規模なマルチタスク学習において、個別のゲートが共有エキスパートのタスク依存的な組み合わせを学習できることがさらに実証されています16。神経科学研究や脳研究において、MoEの変異体17,18,19は、異種特徴の融合を促進するためにますます利用されるようになっています。dFCExpert17は、モジュール性と状態ベースのエキスパートを用いて、fMRIからの動的機能的結合パターンをモデル化しました。EvoMoE18はさらに、ユーザー独立的なSSVEP-EEG分類のために適切なエキスパートを選択するゲーティングネットワークを使用しました。NeuroMoE++19は、神経疾患の分類に向けた患者適応的なマルチモーダル融合を探索しました。これらの成功にもかかわらず、これらのモデルは一般的に粗粒度のミキシングと離散的なルーティングに依存しており、クロスモーダルな神経状態の高度に同期した性質を無視しているため、脳疾患の診断に不可欠な、微細ながらも有益なパターンの検出を妨げています。さらに、統合された共有神経状態からモダリティ固有のニュアンスを解きほぐす専用のメカニズムがないため、これらのモデルは解釈可能性が限られており、重要なモダリティ（fMRIまたはEEG）が欠落した際に性能が低下するという課題があります。

これらの限界に対処するため、本研究では、大うつ病性障害（MDD）、不安障害（ANX）、読字障害を伴う限局性学習症（RI）、自閉スペクトラム症（ASD）、注意欠如・多動性障害（ADHD）を含む5つの脳疾患カテゴリーのコンピュータ支援診断のための、適応的かつ解釈可能なEEG-fMRI融合フレームワークであるBrain Mixture-of-Experts（BrainMoE）を提案します。本プロトコルでは、まずソース再構成されたEEGおよびfMRIの特徴をDK-atlas20のROI空間に整合させ、次いで両モダリティのグラフベースのモダリティ表現を構築します。BrainMoEは、EEGエキスパート、fMRIエキスパート、および共有ニューラル状態エキスパートを使用し、これらをソフトルーティングモジュールで統合することで、モダリティ特有の情報と共有情報を組み合わせて活用します。さらに、モダリティ状態マスクと欠損モダリティトークンを導入することで、単一の学習済みモデル内で、完全なEEG-fMRI、EEGのみ、およびfMRIのみによる推論を可能にしています。生物学的な解釈可能性をサポートするため、本プロトコルではノード遮蔽（node-occlusion）分析を適用します。この分析では、各DK-atlas ROIを選択的にマスクし、その結果生じる疾患予測確率の変化を用いて、EEGおよびfMRI由来の領域的寄与度を推定します。本プロトコルでは、データの整合、モデルの構築、学習、評価、およびノード遮蔽に基づくROI解釈の完全なワークフローを記述し、異種EEG-fMRI脳信号融合を通じた脳疾患のコンピュータ支援診断のための適応的かつ解釈可能な戦略を提供します。再現性と今後の拡張を容易にするため、公開GitHubリポジトリにてBrainMoEのモデル、学習および評価コードを提供しており、EEGおよびfMRIの前処理には公開されているサードパーティ製ソフトウェアを使用しました。リポジトリは https://github.com/zhongruizhe123/BrainMoE で利用可能です。

プロトコル

本研究では、Healthy Brain Network（HBN）データベース21の匿名化データを使用し、下流の診断分類タスクに向けて5つの異なる臨床疾患に焦点を当てました。倫理的承認および書面によるインフォームドコンセントは、HBNイニシアチブによって、すべての参加施設および被験者から事前に得られています。EEGおよびfMRIの記録は、同時ではなく別々のセッションで取得され、HBNで利用可能な参加者およびセッション識別子を用いてペアリングされました。

1. 計算環境と入力データの準備

  1. 計算環境の構築
    1. Python 3.12.4の仮想環境を作成し、有効化する：python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. 公開GitHubリポジトリで提供されているrequirements.txtファイルを使用して、必要なパッケージとその固定バージョンをインストールする：pip install -r requirements.txt
    3. トレーニング前にPyTorchおよびCUDAの設定を確認する：python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." 出力結果がPyTorch 2.6.0+cu124、CUDA 12.4であり、CUDAの可用性がTrueであることを確認する。モデルのトレーニングはCUDA互換のGPUを使用して行う。
  2. モデルトレーニング前に、すべてのH5入力ファイルを検査する。
    1. 各ファイルに、EEGノード特徴量としてsLORETA_mean_func、EEGグラフとしてsLORETA_mean_CorrMatrix、fMRIノード特徴量としてfMRI-DK68-node-mat、fMRIグラフとしてfMRI-DK68-edge-mat、および診断用のラベルが含まれていることを確認する。キーの欠落、非数値のエントリ、無効なラベル、または68領域のDesikan-Killianyアトラスと不一致な次元を持つファイルは除外する。以下のようにH5入力チェック用スクリプトを実行する：python checkH5.py (Supplementary File 1)。

2. EEGとfMRIの特徴量を共通の解剖学的空間にアライメントさせる

  1. fMRIデータのプリプロセスを行う。
    1. C-PAC（バージョン 1.8.7）を用いてfMRIデータを処理する。次のようにC-PACプリプロセススクリプトを実行する：bash run_cpac_brainmoe.sh (補足ファイル 2)。初期の非定常状態信号の影響を低減するため、最初の5ボリュームを破棄する。
    2. スライスタイミング補正、モーション補正、歪み補正、レジストレーション、MNI152解剖学的空間への標準化、および空間スムージングを行う。24個のモーション関連の nuisance parameter を回帰除去する。
    3. 0.01-0.08 Hzで時間的なバンドパスフィルタを適用する。
  2. アトラス整合fMRI特徴量を生成する。
    1. FreeSurfer（バージョン 7.4.1）を用いて、対応する構造的MRIを処理する。次のようにスクリプトを実行する：bash Step01_mgz_2_nifti.sh。得られたDesikan-Killiany皮質パーセレーションを、被験者のネイティブfMRI空間に共登録（coregister）する。次のようにスクリプトを実行する：python Step02_CoRegistration.py。68個の皮質領域それぞれの領域内で、ボクセルごとの平均信号を算出する。次のようにスクリプトを実行する：python Step03_fMRI_Signal_Extraction.py (補足ファイル 3)。
    2. 時間的なパディングを行わず、連続する370個のfMRIタイムポイントを保持し、68 x 370のfMRIノード特徴量行列を取得する。ここで、68はDK皮質領域を、370は保持されたfMRIタイムポイントを表す。
  3. fMRIグラフを構築する。
    1. 68個のDK領域の370点タイムシリーズ間でピアソン相関を算出する。得られた68 x 68の機能的結合行列をfMRIエッジ行列として保存する。
  4. EEGデータのプリプロセスを行う。
    1. MATLAB（バージョン R2022a）のEEGLABツールボックス（バージョン 2022.1）を用いて、129チャネルのEEG記録を処理する。次のように2つのEEGLABプリプロセススクリプトを順次実行する：matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (補足ファイル 4)。サンプリングレートは500 Hzを維持し、0.2–40 Hzのバンドパスフィルタを適用する。ノイズの多いセグメントと不良電極を特定し、隣接する電極の平均信号を用いて不良チャネルを補間する。
    2. ICLabelプラグインを用いた独立成分分析（ICA）により、独立成分を分類する。眼球または筋肉アーチファクトの分類確率が0.90より大きい成分を除去する。平均再参照（average re-referencing）を適用する。プリプロセスおよびアーチファクト除去後、使用可能なデータが250 s未満となった記録は除外する。
  5. アトラス整合EEG特徴量を生成する。
    1. 各被験者の構造的MRIから、個別の3層境界要素法（BEM）頭部モデルを構築する。各被験者の個別の皮質表面上にソース空間を定義する。EEG電極位置をBEM表面にレジストレーションし、リードフィールド行列を算出する。
    2. ベースラインノイズ共分散行列を用いて正則化した逆演算子を適用する。信号対雑音比（SNR）を3.0に設定し、λ2 = 1/SNR2 = 1/9 (約0.1111) とし、MNE-Python（バージョン 1.9）に実装された標準化低解像度電磁トモグラフィー（sLORETA）を用いてソース局在化を行う。
    3. 算術平均により、各Desikan-Killianyパーセル内の頂点ごとのソース推定値を集約し、68個のROIレベルのタイムシリーズを取得する。最初の連続する250 sのセグメントを保持し、各ROIタイムシリーズを、連続して重複しない1 sのエポック250個に分割する。
    4. 各エポック内で8–12 Hzのアルファ帯域パワーを算出し、68 x 250のEEGノード特徴量行列を取得する。ここで、68はDK皮質領域を、250は連続して重複しない1 sのエポック250個を表す。
  6. EEGグラフを構築し、モーダル間整合性を検証する。
    1. 68個のDK領域の250エポック分の8–12 Hzアルファパワーシリーズ間でピアソン相関を算出する。得られた68 x 68の行列をEEGグラフとして保存する。
    2. EEG行列とfMRI行列が同じDK領域の順序を使用していることを確認し、モデルへの入力、アトリビューション、および可視化に同じDK領域インデックスファイルを使用する。次のようにMNE-Pythonソース局在化および特徴量抽出スクリプトを実行する：python "Extract features - templates.py" (補足ファイル 5)。
  7. 各サンプル内のノード特徴量を正規化する。
    1. EEGおよびfMRIのノード特徴量行列にノードごとのzスコア正規化を適用する。グラフ行列は結合入力として保持し、BrainMoEモデル内部でグラフ正規化を適用する。
    2. プリプロセスパラメータを決定するためにクロスバリデーションのフォールドからの情報を使用せず、固定設定を用いて、各被験者に対して独立にEEGおよびfMRIのプリプロセスを行う。

3. 疾患特異的な二値分類タスクの構築

  1. 5つの疾患特異的なバイナリ分類タスクを定義する。
    1. すべてのタスクにおいて健常対照群（HC）をクラス0としてエンコードし、各タスク内で選択された疾患グループのみをクラス1としてエンコードする。
    2. うつ病、不安障害、特定学習障害および読字障害を伴う神経発達症、自閉スペクトラム症、および注意欠陥多動性障害について、それぞれ健常群対疾患群のタスクを構築する。
  2. 研究コホートを特性評価し、潜在的な性別およびデータ収集サイトの影響を検討する。
    1. 各疾患特異的なタスクについて、完全なEEG、fMRI、および構造的磁気共鳴画像（sMRI）データと有効な診断ラベルを持つHBN参加者を組み入れる。疾患陽性コホートからは、併存診断のある参加者を除外する。前処理およびアーチファクト除去後に利用可能なデータが250 s未満のEEG記録を除外して、セクション1.2に記載された品質管理基準を通過した入力ファイルのみを保持する。
    2. 共有HCコホートおよび各疾患コホートについて、保持されたマルチモーダルレコード数とユニークな参加者数、疾患群対対照群の比率、年齢範囲、性別分布、および収集サイト分布を表4にまとめる。
      注：同じHCコホートが5つのすべてのタスクでクラス0として再利用されているため、タスクレベルのパフォーマンス推定値は統計的に独立していない。この依存性は、疾患グループの重複ではなく、共有HCコホートに起因するものである。
    3. パフォーマンスを性別および収集サイトで層別化し、繰り返しの5分割交差検証ランにわたって、得られた値を両側Welchのt検定を用いて比較する。
  3. タスク固有のH5ファイルを選択し、交差検証の分割を定義する。
    1. 各タスクについて、HCと標的疾患グループのみを保持する。参加者レベルで5分割交差検証を10回繰り返して生成する。フォールド間でのクラス分布を維持するため、ユニークな参加者をバイナリクラスラベル（HC対標的疾患）で層別化する。
    2. ユニークな参加者識別子をグループ化変数として使用し、同一参加者のすべてのセッションおよびマルチモーダルレコードを同じフォールドに割り当てる。10回の繰り返し交差検証パーティションを生成するために、それぞれランダムシード1–10を使用する。モデルの初期化およびトレーニングには、固定ランダムシード1を使用する。
    3. ホールドアウトフォールドを最終評価専用に確保し、各フォールドの参加者識別子、ファイルリスト、およびパーティションインデックスを対応するチェックポイントとともに保存する。各トレーニングフォールドについて、トレーニングラベルからクラスウェイトを算出し、それをクロスエントロピー損失に使用することで、クラス不均衡によるバイアスを軽減する。

4. コンピュータ支援による脳疾患診断のためのBrainMoEアーキテクチャの構築

注：BrainMoEアーキテクチャは、グラフエンコーダー、共有神経状態ソフトルーティング、およびエキスパートベースの特徴統合を組み合わせた、欠損モダリティ対応のコンパクトなEEG-fMRI融合フレームワークとして、疾患特異的な二値診断を行うために設計されました。全体のアーキテクチャを以下に示します。 図1、実装コードは以下に提供されています。 補足ファイル 6.

  1. BrainMoEの入力とモダリティ状態を定義します。 ソース空間アライメント後のEEGモダリティとfMRIモダリティを、ペアのグラフ入力として使用します。ここで、Xは領域特徴行列、Aはモダリティ固有の脳グラフを表し、各行は68のDesikan-Killiany領域のいずれに対応します。
    静的平衡、ΣFx=0、数学的行列表現、バランス分析の方程式。
    MRIデータ方程式、X_MRI ∈ R^(68×370)、A_MRI ∈ R^(68×68)、行列表現の公式。
    モダリティ可用性マスクを m = [mEEG, mfMRI] として定義します。EEG-fMRIの完全な入力には m = [1,1]、EEGのみの入力には m = [1,0]、fMRIのみの入力には m = [0,1] を使用します。
  2. グラフエンコーダー：各モダリティ q（EEGまたはfMRI）について、特徴行列 Xq とグラフ Aq を、そのモダリティ固有のグラフエンコーダーに入力します。このエンコーダーは、ノード投影、グラフメッセージパッシング、正規化、活性化、およびドロップアウト（p=0.3）を含む学習可能なニューラルモジュールです。
    EEG、fMRIパラメータを用いた神経データ統合のためのグラフエンコーディング方程式。
    注：この表記において、Zq はEEGグラフエンコーダーまたはfMRIグラフエンコーダーによって生成されるROIレベルの潜在表現です。EEGグラフエンコーダーは各 68 x 250 の入力行列を 68 x 128 の潜在表現にマッピングし、fMRIグラフエンコーダーは各 68 x 370 の入力行列を 68 x 128 の潜在表現にマッピングします。各エンコーダーは、入力投影に続き、128の隠れ次元を持つ2つの残差グラフ畳み込み層、GELU活性化、レイヤー正規化、およびドロップアウトを使用します。
  3. 学習可能な欠損モダリティトークン：モダリティ q のトークンを Tq、対応する可用性インジケータを mq とします。このステップにより、完全な入力および単一モダリティ入力の下で、同じ68領域のレイアウトを維持する状態認識表現が生成されます。
    ニューラルデータ融合図の方程式；重み付け係数を用いたEEG、fMRI分析の統合公式。
    注：各学習可能な欠損モダリティトークンは128次元のベクトルであり、対応するモダリティが利用不可である場合に68のROI行にわたって拡張されます。
  4. 共有ニューラル状態ソフトルーティングモジュール：まず、状態認識EEG表現 ZEEG、状態認識fMRI表現 ZfMRI、および埋め込み済みモダリティ可用性マスクを結合します。モダリティ可用性マスクは、次元 2 → 128 のMLP、GELU活性化、およびレイヤー正規化によって埋め込まれます。ルーターは、チャネル次元 384 → 128 → 128、カーネルサイズ 3、パディング 1 の2つの1次元畳み込み層で構成されます。各畳み込み後にGELU活性化が適用され、最初の畳み込み後にドロップアウト（p=0.3）が適用されます。
    多層パーセプトロン分析におけるEEG、MRIデータの連結のための数学方程式。
    静的平衡表記 Π=Router(U)；数学的公式の可視化。
  5. 共有ニューラル状態エキスパート。
    1. 状態認識EEG表現 ZEEG、状態認識fMRI表現 ZfMRI、およびソフトルーティング表現 R を特徴次元に沿って連結します。全結合融合層（384から128）を適用し、続いてレイヤー正規化、GELU活性化、ドロップアウト（p=0.3）を行い、得られた表現を68のROIにわたって平均プーリングすることで、128次元の被験者レベル融合表現 zfused を得ます：
      方程式：Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π]))；データ統合手法の図。
    2. zfused を共有ニューラル状態エキスパートに入力します。これは全結合層（128から128）、レイヤー正規化、GELU活性化、およびドロップアウト（p=0.3）で構成されます。得られた128次元の共有エキスパート表現を Eshared とします：
      共有エキスパート変換の方程式、E_shared = SharedExpert(z_user)。
  6. EEGおよびfMRIエキスパート。
    1. 各モダリティについて、状態認識表現を68のROIにわたって平均プーリングし、得られた128次元の表現を対応するモダリティ固有のエキスパートに入力します：
      EEG、fMRIデータ分析；方程式；Expert_q(MeanPool(Z_q))；神経科学、脳研究
    2. 各モダリティ固有のエキスパートは、全結合層（128から128）、レイヤー正規化、GELU活性化、およびドロップアウト（p=0.3）で構成されます。得られた128次元のモダリティ固有エキスパート表現を、それぞれ EEEG および EfMRI とします。
  7. 融合モジュール。
    1. エキスパートの重みを計算するために、128次元の被験者レベル融合表現 zfused と2次元のモダリティ可用性マスク m を連結し、130次元のゲート入力を生成します。融合モジュールには、エキスパート融合に使用されるサンプル固有の重みを生成するエキスパートゲートが含まれています。エキスパートゲートは、全結合層（130から128）、続いてGELU活性化、ドロップアウト（p = 0.3）、および出力全結合層（128から3）で構成されます。3つの出力ロジットにソフトマックスを適用し、サンプル固有のエキスパート重みを得ます：ディープラーニング公式図；ソフトマックス関数；ニューラルネットワーク方程式；アルゴリズム概念。
    2. 得られた重みは非負であり、各サンプルにおいて合計が1になります：
      脳画像分析のための重み付き分布方程式、W_EEG + W_fMRI + W_shared = 1。
    3. 各128次元のエキスパート表現に、対応するゲート重みを掛け合わせ、3つの重み付き表現を合計します：
      静的平衡方程式、公式：Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      注：この操作により、密なソフトMoE融合が実装されます。
    4. 得られた128次元の最終エキスパート表現 efused を、セクション4.8で説明する脳疾患診断分類ヘッドに入力します。
  8. 脳疾患診断分類ヘッド：128次元の最終エキスパート表現を、レイヤー正規化、ドロップアウト（p = 0.3）、および128次元を2つの出力ロジットにマッピングする全結合層からなる分類ヘッドに入力します。ソフトマックスを適用し、HC確率と標的疾患確率を得ます。標的疾患確率が0.5以上の場合、サンプルを疾患クラスに割り当てます。
    ソフトマックス分類方程式、機械学習におけるニューラルネットワーク出力予測の公式。
  9. トレーニング前に実装の一貫性を検証します。m = [1,1]、m = [1,0]、および m = [0,1] の条件下でドライフォワードパスを実行します。EEG、fMRI、状態認識、ルーティング、および融合表現が、明示的にプーリングされない限り68のROI行を維持していること、およびエキスパート重みが「EEGエキスパート、fMRIエキスパート、共有ニューラル状態エキスパート」の順に合計1になることを確認します。

5. 脳疾患診断のための5つのBrainMoEモデルのトレーニング

  1. 疾患別の各バイナリタスクに対して、1つのBrainMoEモデルを学習させます。
    1. すべてのタスクで同一のアーキテクチャおよびデフォルトのハイパーパラメータ（30 epochs、バッチサイズ 16、学習率 0.001、weight decay 0.0001）を使用します。モデルアーキテクチャとハイパーパラメータはテストフォールドの評価前に固定し、すべてのフォールド、反復、および疾患別タスクにおいて変更せずに保持します。
    2. モデル選択またはハイパーパラメータのチューニングに、ホールドアウト・テストフォールドのパフォーマンスを使用しないでください。各ミニバッチについて、共有モデル重みを用いて、full、EEG-only、およびfMRI-onlyのマスクを使用した3回のフォワードパスを実行します。BrainMoEの学習は次のように実行します：python train.py --config configs/brain_moe.json --task --data_dir (Supplementary File 6)。 には depression、anxiety、reading_disorder、autism、または adhd を設定してください。
  2. 平均化された3つの状態の分類損失を最適化します。各状態のクラス重み付きクロスエントロピー損失 Ls を以下のように計算し、
    神経科学における静的平衡式。マルチモーダル脳データ統合手法を示す方程式。
    損失を以下のように平均化します。
    学習損失の方程式 L_train=(L_full+L_EEG-only+L_MRI-only)/3。研究方程式。
  3. 勾配をリセットし、誤差逆伝播を行い、AdamWを用いてすべての学習可能パラメータを更新します。

6. 全モダリティおよびモダリティ欠損時の推論状態の評価

  1. 評価方法：選択した疾患タスクのチェックポイントをロードし、同じチェックポイントから保存されたテストファイルリストを使用する。フルEEG-fMRI推論には m = [1,1] を、EEGのみの推論には m = [1,0] を、fMRIのみの推論には m = [0,1] を使用する。最後に、softmaxを適用して標的疾患の確率を取得し、確率が0.5以上の場合にその疾患クラスを割り当てる。
  2. 評価指標：混同行列から評価指標を算出する。ここで、TPは疾患陽性サンプルが正しく疾患として分類されたもの、TNはHC（健康対照群）が正しく健康として分類されたもの、FPはHCが誤って疾患として分類されたもの、FNは疾患陽性サンプルが誤って健康として分類されたものを表す。
    静的平衡式、正解率の計算、真陽性/偽陽性/陰性の分析式。
    感度計算式、研究における真陽性率分析の式。
    特異度式、\( \text{Specificity} = \frac{TN}{TN + FP} \)、方程式、統計分析。
    F1スコア式：適合率と感度の調和平均、統計分析に使用。
    均衡正解率式；分類モデルの性能を評価するための方程式。
  3. 全体の正解分類率を報告するには正解率（accuracy）を使用する。疾患陽性の検出量を定量化するには感度（sensitivity）を、HCの識別量を定量化するには特異度（specificity）を使用する。
  4. 適合率と感度のバランスを要約するにはF1スコアを使用する。クラス不均衡の影響を軽減するには均衡正解率（balanced accuracy）を使用する。さらに、決定しきい値に依存しない識別能を評価するためにAUCを算出する。
  5. 各繰り返しについて、5つのホールドアウトフォールドにわたって各性能指標を平均化する。最終結果は、10回の繰り返しレベルの平均値の平均と標準偏差として報告する。
  6. BrainMoEをベースライン手法と比較する。すべてのベースラインでは、BrainMoEと同じ被験者レベルの分割とフルEEG-fMRI入力を使用し、設定はホールドアウト評価前に固定した。BrainMoEと各ベースラインの比較には、Holm補正を用いた両側対応t検定を使用した。

7. 5つの脳疾患におけるグループレベルのノード遮蔽アトリビューションを実行する

  1. アトリビューションコホートを定義します。学習済みのBrainMoEチェックポイントとDK領域名ファイルをロードします。m = [1,1] の完全なEEG-fMRI状態で正しく分類された、疾患陽性のテストサンプルを選択します。このコホートをグループレベルのアトリビューション解析に使用し、各サンプルのベースラインにおける標的疾患確率を保存します。
  2. モダリティ固有のノード遮蔽（occlusion）スコアを算出します。EEG由来のアトリビューションについては、選択したEEGノードの特徴ベクトルおよびEEGグラフの対応する行と列をゼロに設定することで、EEGのROIを一度に1つずつ遮蔽し、その際、fMRI入力は変更せずに保持します。fMRI由来のアトリビューションについては、fMRIノード特徴行列およびfMRIグラフに同様の操作を行い、その際、EEG入力は変更せずに保持します。この手順を68個のDK領域すべてに対して繰り返します。提供されたコードを用いて、ノード遮蔽アトリビューション分析を実行してください。 補足ファイル 7.
  3. グループレベルのROI寄与度を算出し、可視化します。各ROIおよび各モダリティについて、選択した全サンプルにおけるオクルージョン後のターゲット疾患確率の平均減少量を寄与度スコアとして算出します。EEG由来のスコアとfMRI由来のスコアを個別に順位付けし、各モダリティの上位10個のROIをエクスポートして、図中で最も順位の高いROIにラベルを付けます。

結果

疾患およびモダリティ状態におけるBrainMoEの性能
本プロトコルにより、5つの疾患特異的な健常対疾患BrainMoE分類器が作成され、完全なEEG-fMRI、EEGのみ、およびfMRIのみの推論状態に対する予測テーブルが生成された。完全なEEG-fMRI状態では、5つのタスクすべてにおいて一貫して高い識別能が示され、AUC値はRIの84.4 ± 3.2%からASDの88.4 ± 3.8%の範囲であった（表1）。5つのタスクにおける完全状態のマクロ平均性能は、AUC 86.9 ± 3.0%、正解率 81.4 ± 3.1%、均衡正解率 81.4 ± 2.5%、およびF1スコア 81.2 ± 3.0%に達した。

模擬的なモダリティ欠損条件下において、BrainMoEは1つの入力モダリティがマスクされた状態でも実用的な性能を維持しました。EEGのみの状態では、モデルのマクロ平均AUCは83.1 ± 3.7%に達し、EEGのみで最も高いAUCを記録したのはADHDの87.9 ± 2.8%でした。fMRIのみの状態では、マクロ平均AUCは80.0 ± 3.9%でした。これらの性能範囲および期待されるフルステートでの性能上の優位性は、実装成功の実際的なベンチマークとなり、訓練済みBrainMoEフレームワークが、モダリティごとに個別のモデルを用意することなく、フル、EEGのみ、およびfMRIのみの推論を実行できることを示しています。

代表的な不十分な結果としては、期待されるフルステートでのパフォーマンス上の優位性が再現されないことが挙げられます。例えば、EEG-fMRIのフルAUCが、EEGのみまたはfMRIのみのAUCよりも低くなる場合などがこれに該当します。対照的に、正常に実施された場合は、フルステートの優位性と表1に記載されたベンチマークのパフォーマンス範囲が再現されるはずです。不十分なパターンが観察された場合は、モデル出力を解釈する前に、H5入力次元、DK領域の順序、モダリティ利用可能マスクの割り当て、および保存されたクロスバリデーションのパーティションを確認してください。

ベンチマーク比較
提案したBrainMoEモデルを、従来の機械学習手法（サポートベクターマシン（SVM）および多層パーセプトロン（MLP））、汎用ディープラーニング手法（Transformer7、3D-CNN22、ResNet6）、高度なディープラーニング手法（BrainNetCNN8、BNT10、BrainGNN9、MultiEpilepsyNet11、SZAtt-Net12）、およびMoEベースのディープラーニング手法（dFCExpert17、EvoMoE18、NeuroMoE++19）と比較した（表2）。比較したすべての手法の中で、BrainMoEが最も高い平均AUCである86.9 ± 3.0%を達成した。

従来の機械学習手法は平均パフォーマンスが低く、SVMの平均AUCは66.7 ± 4.5%、MLPは64.6 ± 6.3%であった。一般的なディープラーニング手法のパフォーマンスは変動し、ResNetの平均AUCは71.0 ± 3.3%、Transformerは63.8 ± 4.7%であった。高度なディープラーニングのベースラインのうち、BNT、BrainGNN、MultiEpilepsyNet、およびSZAtt-Netは、ほとんどの従来手法および一般的なディープラーニング手法を上回ったが、その平均AUCはBrainMoEよりも低かった。

ベンチマーク比較に統計的な裏付けを与えるため、BrainMoEを各性能指標における最強のベースラインと比較した（表3）。BrainMoEは、AUCおよび均衡正確度（BA）においてNeuroMoE++を上回り、F1スコアおよび正確度においてSZAtt-Netを上回った。すべての比較において、ホルムの補正後も有意差が維持された。

性別および収集施設別のサブグループ解析
保持されたマルチモーダルレコード数、疾患群対対照群比、ユニーク参加者数、年齢の要約、性別分布、および収集施設分布を含む、タスク固有のコホート特性をコホート特性表（表 4）にまとめている。疾患群対対照群比はマルチモーダルレコード数から算出しており、一方で人口統計学的特性および収集施設特性はユニーク参加者レベルで要約している。

性別および取得部位による潜在的な影響を評価するため、BrainMoEのパフォーマンスをこれらの要因で層別化した（表5男性サブグループは、女性サブグループよりもAUC、BA、F1スコア、および正解率の平均値が高かったが、対応する未調整のWelchのp値は0.089から0.321の範囲であった。同様に、RUBICサブグループはStaten Islandサブグループよりも平均パフォーマンスが高かったが、p値は0.055から0.309の範囲であった。これらの解析において、統計的に有意なサブグループ間の差は検出されなかった。

BrainMoEコンポーネントのアブレーション解析
モダリティ可用性マスク、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合設計の寄与を評価するために、アブレーション実験を行った（表6）。マスクエンベディングを除去すると平均AUCは79.2 ± 3.1%に低下し、畳み込みルーターをMLPルーターに置き換えると79.3 ± 3.7%に低下した。共有エキスパートを除去すると、fMRIのみのAUCは73.5 ± 3.3%となり、テストしたバリアントの中で最低値を示した。また、すべてのMoEエキスパートを除去すると、全体のバランス精度は74.2 ± 3.0%に低下した。これらのアブレーション結果は、完全なBrainMoE設計が、全モダリティおよびモダリティ欠損の両方の状態で最強の総合性能を達成したこと、また、マスクエンベディング、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合がそれぞれ最終的なモデルの動作に寄与していることを示している。

5つの脳疾患におけるROIレベルの解釈可能性の結果
BrainMoEの予測の根拠となる領域的な寄与を検討するため、フルEEG-fMRI状態で正しく分類された疾患陽性サンプルに対してノード遮蔽アトリビューション（node-occlusion attribution）を実施した。各DKアトラス領域を遮蔽した後の標的疾患の確率の低下を測定することにより、EEG由来およびfMRI由来のROI寄与を個別にランク付けした。この解析により、5つの疾患タスク全体でモダリティ固有の寄与パターンが特定された（図2）。fMRI由来のアトリビューションでは、上位にランクされた領域は、MDDでは左後帯状回、ANXでは右鳥距溝周辺皮質、RIでは左海馬傍回皮質、ASDでは右三角部、ADHDでは左嗅皮質であった。EEG由来のアトリビューションでは、上位にランクされた領域は、MDDでは左上側頭溝堤、ANXでは左中心前回、RIでは左楔状葉、ASDでは左舌状回皮質、ADHDでは右島であった。各疾患におけるEEGおよびfMRI由来の最高ランクROIを、図3の皮質表面上に可視化した。これらの結果は、BrainMoEがROIレベルの解釈可能性を提供しつつ、EEG由来およびfMRI由来の表現に対して個別のアトリビューションプロファイルを保持していることを示した。正しく分類された疾患陽性サンプルについて、50個のホールドアウトフォールドにおけるTop-1 ROIの出現頻度を用いて、クロスフォールド安定性を評価した（表7）。観察された頻度は36%から68%の範囲であり、理論的なランダム選択の参照値である1/68 (1.47%) を上回っていた。このことは、絶対的な寄与の大きさよりも相対的なランキングに基づく解釈が妥当であることを支持している。過去の神経画像研究の結果との比較は事後的に行われ、アトリビューション結果を背景的に理解させるためにのみ使用され、独立した検証として用いたものではない。

EEG/fMRIモダリティ融合図；共有ニューラル状態エキスパート；脳疾患の診断分類。
図 1: コンピュータ支援による脳疾患診断のための、適応的EEG-fMRI融合を備えたBrainMoEフレームワークの概要。ソース整合されたEEGおよびfMRIのROI特徴量は、個別のグラフエンコーダーによって処理される。得られた表現は、EEGエキスパートおよびfMRIエキスパートに送られ、モダリティ利用可能性マスクとともに、共有ソフトルーティングモジュールに送られる。モダリティ表現とルーティング表現は融合され、共有ニューラル状態エキスパートによって処理される。3つのエキスパート出力はその後、融合モジュールで組み合わされ、診断分類ヘッドに送られて、HCおよび標的疾患の確率を算出する。 こちらのリンクをクリックして、この図の拡大版を表示してください。

脳ROI寄与度の棒グラフ；精神疾患（うつ病、不安症、ADHD）に対するfMRI EEO解析。
図 2: ノード遮蔽に基づくROI寄与度解析。 全EEG-fMRI推論状態において、各疾患タスクに対するEEG由来およびfMRI由来のROI寄与度の上位10件を可視化した。パネル(A–E)はそれぞれMDD、ANX、RI、ASD、ADHDに対するfMRI由来の結果を示し、パネル(F–J)はそれに対応するEEG由来の結果を同じ順序で示している。各プロットでは、最も順位の高いROIのみにラベルを付した。ROI寄与度は、対応するDKアトラス領域を遮蔽した後の標的疾患確率の減少として定義した。こちらのリンクをクリックして、この図の拡大版を表示してください。

脳領域の活性化図；精神疾患MDD、ANX、RI、ASD、ADHD；MRI脳解析。
図 3: 5つの脳疾患における皮質ROIレベルの解釈可能性マップ。 パネル (A–E) は、それぞれMDD、ANX、RI、ASD、およびADHDを示す。各パネルでは、DK皮質表面において、EEG由来で最もランクの高いROIを赤色で、fMRI由来で最もランクの高いROIをオレンジ色で表示している。色は寄与度の大きさではなくモダリティを示しているため、定量的なカラースケールは適用されていない。接頭辞のlhおよびrhは、それぞれ左半球と右半球を表す。こちらをクリックして、この図の拡大版を表示してください。

疾患タスク状態AUC正解率BAF1感度特異度
MDDフル88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEGのみ83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRIのみ82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXフル85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEGのみ81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRIのみ74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIフル84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEGのみ80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRIのみ81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDフル88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEGのみ82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRIのみ81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDフル88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEGのみ87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRIのみ80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

表1：疾患タスクおよびモダリティ利用可能状態におけるBrainMoEの分類性能。完全なEEG-fMRI、EEGのみ、およびfMRIのみの推論状態における、5つの健常者対疾患者の分類タスクに対するBrainMoEの性能。指標は平均 ± 標準偏差で報告されており、受信者動作特性曲線下面積（AUC）、正解率、バランス正解率（BA）、F1スコア、感度、特異度を含む。

方法手法グループ平均AUC平均BA平均F1スコア平均正解率
サポートベクターマシン (SVM)古典的機械学習66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
多層パーセプトロン古典的機械学習64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
トランスフォーマー汎用的な深層学習63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN汎用的な深層学習65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNet汎用的な深層学習71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNN高度な深層学習70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNT高度なディープラーニング73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNN高度な深層学習72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNet高度なディープラーニング78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Net高度な深層学習78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoEベースのディープラーニング80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoEベースのディープラーニング79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoEベースのディープラーニング81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE（自社開発）MoEベースの深層学習86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

表2：古典的な機械学習手法、汎用的なディープラーニングモデル、および高度なニューロイメージング用ディープラーニングアーキテクチャと比較したBrainMoEの平均分類性能。結果は評価された疾患分類タスク全体で集計され、AUC、BA、F1スコア、および正解率の平均値 ± 標準偏差として報告されている。

比較平均AUC平均BA平均F1スコア平均正解率
最強のベースラインNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
最強のベースライン性能81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
相違点+5.4+3.5+3.8+3.3
t検定 p値0.00060.00650.01870.0276
ホルム補正済みp*p < 0.01p < 0.05p < 0.05p < 0.05
コーエンのdz1.631.110.910.83

表3：各パフォーマンス指標におけるBrainMoEと最強のベースラインの比較。P値は両側対応t検定を用いて算出され、ホルム法で補正された。Cohen's dzは標準化されたペア差を示す。

コホートマルチモーダル記録 (n)疾患群対対照群比固有参加者数 (n)年齢範囲（歳）性別（雄/雌）取得場所（スタテンアイランド/RUBIC）
HC115--755.02–21.9035/4026/49
大うつ病性障害520.45:1338.36–19.7314/1915/18
不安（ANX）1561.36:1985.53–21.0046/5245/53
放射性同位体1411.23:1855.75–19.6647/3839/46
自閉スペクトラム症820.71:1515.66–19.7945/627/24
注意欠如・多動性障害（ADHD）5554.83:13385.04–21.72241/97136/202

表4：5つの疾患特異的分類タスクで使用された研究コホートの特性。本表は、保持されたマルチモーダルレコード数、疾患群対対照群の比率、ユニーク参加者数、人口統計学的特性、およびデータ取得サイトの分布を示している。

サブグループ番号平均AUC平均BA平均F1スコア平均正解率
性別
オス70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
雌性39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
相違点+1.6+2.2+2.4+2.9
ウェルチのp値--0.3210.1920.1590.089
取得部位
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
スタテンアイランド42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
相違点+2.4+1.6+2.9+3.3
ウェルチのp値--0.1760.3090.0850.055

表5：BrainMoEの性別および収集サイト別の性能。結果は、5-foldクロスバリデーションを10回繰り返した平均値 ± 標準偏差として報告されています。差は第1サブグループから第2サブグループを引いた値であり、P値は両側Welchのt検定を用いて算出しました。

変異体全AUCEEGのみによるAUCfMRIのみのAUC平均AUC平均BA
マスク埋め込みなし83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Convルーターなし84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLPルーター82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
共有エキスパートなし83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoEエキスパートなし81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE（当手法）86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

表6：BrainMoEの主要コンポーネントのアブレーション解析。モダリティ可用性マスク、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合設計の寄与を示すアブレーション結果。各バリアントは、EEG-fMRIフル、EEGのみ、およびfMRIのみの推論条件下で評価され、全体の性能は平均AUCおよび平均BAで要約されている。

疾患EEG：上位ROIEEG：Top-1頻度、n/N (%)fMRI：上位ROIfMRI：Top-1頻度、n/N (%)偶然レベルの参照値 (%)
MDD上側頭溝の左岸22/50 (44%)左後帯状回25/50 (50%)1.47
ANX左中心前皮質18/50 (36%)右鳥距溝周囲皮質21/50 (42%)1.47
RI左楔前葉26/50 (52%)左海馬傍皮質29/50 (58%)1.47
ASD左舌状回皮質27/50 (54%)右三角部28/50 (56%)1.47
ADHD右島31/50 (62%)左嗅領皮質34/50 (68%)1.47

表 7: 上位にランクされたEEGおよびfMRI由来ROIのクロスフォールド安定性。 Top-1頻度は、報告されたROIが1位にランクされた50フォールドレベル解析の回数および割合を示す。理論的なランダム選択の参照値は1/68 (1.47%)であった。

補足ファイル 1：H5入力チェック用スクリプト。BrainMoEのトレーニング前に、必要なH5入力キー、データ型、診断ラベル、およびDK-atlas互換の入力次元を確認するためのPythonスクリプト。こちらのリンクからファイルをダウンロードしてください。

付録ファイル 2：fMRI前処理スクリプトfMRI前処理に使用したC-PACの設定および実行ファイル。これには、初期ボリュームの除去、体動および歪み補正、レジストレーションと正規化、ニュアンス回帰、時間フィルタリング、および空間平滑化が含まれます。こちらのリンクからファイルをダウンロードしてください。

補足ファイル3：FreeSurfer処理スクリプト構造MRIデータの処理、Desikan-Killiany皮質パーセレーションのネイティブfMRI空間への共登録、およびROIレベルのfMRI信号の抽出を行うためのスクリプトです。こちらをクリックしてファイルをダウンロードしてください。

補足ファイル4：EEG前処理スクリプトフィルタリング、アーチファクト成分の同定と除去、および再リファレンスを含む、EEG前処理に使用したMATLAB/EEGLABスクリプト。こちらのリンクからファイルをダウンロードしてください。

補足ファイル5：MNE-Pythonソース局在化および特徴抽出スクリプトEEGソース局在化、DK-atlas ROI抽出、およびBrainMoEの入力として使用されるROIレベルのEEG特徴量の生成を行うためのPythonスクリプトです。こちらをクリックしてファイルをダウンロードしてください。

補完ファイル 6：BrainMoE 実装コード。BrainMoE アーキテクチャ、グラフエンコーダ、モダリティ状態の処理、エキスパートルーティングおよび融合、モデルのトレーニング、評価、およびアブレーションバリアントのための Python コードおよび設定ファイル。こちらをクリックしてファイルをダウンロードしてください。

補足ファイル 7：ノード遮蔽アトリビューションコードモダリティ特異的なノード遮蔽分析、ROI寄与スコアの算出、EEGおよびfMRI由来のROIのランキング、およびアトリビューション出力の生成を行うためのPythonコード。こちらをクリックしてファイルをダウンロードしてください。

ディスカッション

EEGとfMRIは神経活動に関する相補的な情報を提供するため、マルチモーダル脳信号解析はコンピュータ支援による脳疾患診断の重要な方向性となっています。ベンチマーク比較において、SVMやMLPなどの古典的な機械学習手法は基本的な診断性能を示しましたが、階層的、グラフ構造的、およびクロスモーダルな特徴量間の相互作用をモデル化する能力には限界がありました。3D-CNN、ResNet、Transformerを含む汎用的なディープラーニングモデルは、より強力な非線形モデリング能力を提供しましたが、これらのアーキテクチャはEEG-fMRI融合や脳ネットワーク表現のために特別に設計されたものではありませんでした。高度なディープラーニング手法は、ほとんどの古典的および汎用的モデルよりも優れた性能を達成しましたが、その多くは依然として固定的な特徴統合戦略に依存しており、モダリティ固有の情報と共有された神経状態情報を明示的に分離できていませんでした。

本研究では、グラフベースのモダリティエンコーダー、モダリティ特異的なエキスパート、共有ニューラル状態エキスパート、および適応的ルーティングメカニズムを組み合わせることで、この融合問題に対処するBrainMoEを提案しました。この設計により、EEG由来およびfMRI由来の表現を個別にモデル化し、その後エキスパートレベルの融合を通じて統合することが可能になりました。モダリティ状態マスクと欠損モダリティトークンを導入することで、欠損モダリティの条件ごとに個別のモデルを構築することなく、同一の学習済みモデルでEEGのみ、またはfMRIのみによる推論を実行できるようになりました。実験の結果、BrainMoEは5つの二値疾患分類タスク全体において最強の総合性能を達成し、EEGのみおよびfMRIのみの状態においても実用的な性能を維持したことが示されました。アブレーション解析により、マスク埋め込み、畳み込みルーター、共有エキスパート、およびMoEエキスパート融合の寄与がさらに裏付けられました。これらの知見は、性能の向上が一つのコンポーネントによるものではなく、グラフエンコーディング、モダリティ状態モデリング、適応的ルーティング、およびエキスパート融合の協調的な設計によるものであることを示しています。

プロトコルの重要な手順とトラブルシューティング
プロトコルの重要な手順には、EEGおよびfMRIのノードおよびグラフ行列全体で同一の68領域DK順序を維持すること、定義済みの前処理設定を参加者ごとに独立して適用すること、および同一参加者のすべてのレコードが単一のフォールド内に保持されるよう参加者レベルの交差検証を強制することが含まれます。また、Modality Availability Maskは、各推論状態に対して提供される入力と一致している必要があります。

推論に失敗した場合、または期待されるフルステートの性能向上が再現されない場合は、まず、必要なH5キー、EEGおよびfMRI行列の次元、DK領域の順序、Modality Availability Maskの割り当て、および保存された交差検証パーティションを確認してください。キーの欠落、次元の不整合、または領域順序の不一致があるファイルは、トレーニングまたは評価の前に除外する必要があります。両方のモダリティが一貫したROI順序にマッピングされ、対応するモデル入力次元が調整されていれば、本フレームワークは代替の皮質パーセレーションやEEG/fMRI特徴表現に合わせて修正することが可能です。また、疾患特異的な分類ヘッドは、グラフエンコーディングおよびエキスパートフュージョンフレームワークを維持したまま、他の二値分類タスクに適応させることもできます。このような修正を行う場合は、本稿で報告されたモデルをそのまま適用するのではなく、再トレーニングおよび検証を行う必要があります。

ノード遮蔽に基づく解釈性解析
ノード遮蔽（node-occlusion）解析により、BrainMoEの予測に対するROIレベルでの解釈可能性がさらに提供され、疾患に関連する上位のROIが以下に示されています。 図3BrainMoEによって特定されたEEG由来の左後方ROIは、先行するボクセルベースのメタ分析の結果と一致している。23 大うつ病性障害（MDD）において、後部皮質領域の固有の脳活動が変化していることを示すエビデンス。EEG/fMRIから導出された左中心前回および右周視覚皮質の関心領域（ROI）は、不安症における従来の神経画像エビデンス、すなわち皮質厚のメタ解析の結果と一致している。24 不安症患者における左中心前回の皮質厚の増加が報告されており、一方で構造共分散ネットワーク研究では25 社交不安障害では、右周視覚野（pericalcarine cortex）を含む異常なノード中心性が報告されている。読字障害については、EEG由来の左楔前部（cuneus）ROIが、全脳コネクティビティ研究の結果と一致している。26 読み書き障害において左楔前小葉の結合性の変化が報告されている一方で、fMRI由来の左海馬傍回ROIは別の研究の結果と一致している27 特定の読解困難を有する青年における、異常な海馬傍回／海馬結合について報告する。自閉スペクトラム症のタスクにおいて、EEG由来のアトリビューションにより強調された左舌状回ROIは、先行する静止期fMRIのエビデンスと一致している。28 ASDを持つ思春期前の男児における、左舌状回のReHoの低下。fMRIから導出された右三角部のROIも生物学的に妥当である。なぜなら、下前頭回の右三角部におけるALFFの変動が報告されているためである。29 自閉症スペクトラム症の小児において。ADHDについては、EEGから導出された右側島皮質ROIが構造的MRIの根拠と一致している。30 ADHDを持つ若年者において前側頭島体積の減少が示されており、特に右側頭島短回が関与しています。fMRIから導出された左嗅内皮質ROIは、別のPsychological Medicine誌の研究において、よりサブタイプ特異的な所見を反映している可能性があります。31 FDR補正後、ADHD-Cサブグループにおいて左内嗅皮質後方の体積が減少していることが報告された。しかしながら、相関のあるROI信号によって単一ノードの遮断では個々の領域の寄与を完全に分離できず、推定値が保守的になる可能性があるため、これらの知見は領域間の依存性を考慮して解釈されるべきである。

限界と今後の方向性
内部的な性能評価を得るために繰り返し5分割交差検証を用いたが、今後の研究で入れ子状交差検証（nested cross-validation）や独立した外部検証を用いることで、モデル選択の安定性と汎化性能の評価をさらに強化できると考えられる。EEGのみおよびfMRIのみの出力は、完全なマルチモーダル記録において一方のモダリティをマスキングすることで生成されており、外部検証コホートで評価されていないため、今後の研究では汎化性能を評価するために外部のシングルモダリティ検証コホートを含めるべきである。さらなる限界として、健常者対単一疾患の設計では併存疾患の提示を捉えられないことが挙げられ、これが臨床的な汎用性を制限している。そのため、今後の研究においてマルチラベル分類や鑑別診断への取り組みが必要となる。また、今後の研究では、リークを考慮したコネクティビティ推定法を用いて、ソースレベルのEEG関連性の堅牢性を評価することも可能である。共有のDKパーセレーションは、マルチモーダル融合のための解剖学的根拠に基づいたインターフェースを提供するが、これはモデリング上の仮定であり、時間分解能や生理学的起源におけるモダリティ固有の違いを完全に捉えきれていない可能性がある。本研究で評価した5つの疾患以外にも、解剖学的に整合したマルチモーダル脳データを用いる他の神経学的または精神医学的な分類タスクにこのフレームワークを適応させ、マルチラベル分類や鑑別診断アプリケーションへ拡張することが期待される。

結論
要約すると、BrainMoEは、脳疾患のコンピュータ支援診断におけるEEG-fMRI融合のための、実用的かつ解釈可能なフレームワークを提供します。その主な利点は、マルチエキスパートアーキテクチャと、モダリティ固有の情報と共有情報のバランスを動的に調整するソフトルーティングメカニズムによって駆動される、適応的なマルチモーダル特徴統合にあります。さらに、モダリティ状態マスクと欠損モダリティトークンをシームレスに組み込むことで、同一の学習済みモデルが、個別の構成を必要とせずに、不完全なモダリティでの推論時においても堅牢な性能を実現します。極めて重要な点として、この解釈可能なフレームワークは、5つの異なる脳疾患にわたって透明性の高いグループレベルの領域帰属パスを提供し、従来のブラックボックス型アーキテクチャを、生理学的知見に基づいたコンピュータ支援診断ツールへと転換させます。これは、不均一なデータソース、不完全なモダリティの可用性、および説明可能なモデル出力がすべて中心的な検討事項となる、将来の計算神経画像ワークフローにとって重要です。

開示事項

著者らは利益相反がないことを宣言します。また、本原稿の作成、コード、データ解析、またはチャートの作成において、生成AIツールは一切使用されていないことを宣言します。

謝辞

本研究は、中国国家自然科学基金（Grant Nos. 62433002, 62277001, U25A20446）、北京市機関ハイレベル革新チーム建設・支援プロジェクト（Grant No. BPHR20220104）、および北京学者プログラム（Grant No. 099）の助成を受けたものです。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
BashGNU Project5.1.16(1)-releaseソフトウェア
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1ソフトウェア
CUDA ToolkitNVIDIA CorporationVersion 12.4ソフトウェア
CUDA対応GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPU機器
Desikan-Killiany 皮質アトラスFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)アトラス/リソース
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)ソフトウェア
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)ソフトウェア
FSLFMRIB, University of OxfordC-PAC 1.8.7に同梱；正確なバージョンは未指定 (RRID:SCR_002823)ソフトウェア
Healthy Brain Network (HBN) データセットChild Mind InstituteRRID:SCR_016989データセット
MATLABMathWorksR2022a (RRID:SCR_001622)ソフトウェア
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)ソフトウェア/ライブラリ
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)ソフトウェア
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)ライブラリ

参考文献

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

再版と許可

さらに記事を探す

EEG-fMRI融合マルチモーダル脳イメージングコンピュータ支援診断グラフエンコーダROIアトリビューションマップニューラル状態エキスパートモダリティ状態マスクノード遮蔽分析

この記事は公開されました

動画は近日公開

お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。