방법 논문

해석 가능한 컴퓨터 보조 뇌 질환 진단을 위한 전문가 혼합 뇌전도-기능적 자기공명영상 융합 기법

0 조회수

⸱

DOI:

10.3791/73432

⸱

2026년 9월 25일

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

이 논문에서

요약

본 프로토콜에서는 뇌 질환의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 뇌파-기능적 자기공명영상(Electroencephalography-functional magnetic resonance imaging) 융합 프레임워크인 Brain Mixture-of-Experts를 제시합니다. 이 방법은 모달리티 특이적 전문가, 공유 신경 상태 전문가 및 적응형 라우팅을 통해 이질적인 EEG 및 fMRI 표현을 통합하며, 시뮬레이션된 모달리티 누락 조건 하에서도 해석 가능성과 추론 능력을 유지합니다.

초록

뇌전도(EEG)와 기능적 자기공명영상(fMRI)은 뇌 기능에 대한 상호 보완적인 정보를 제공하며, 다양한 뇌 질환의 기능적 이상을 탐지하는 데 상당한 가능성을 보여주었습니다. 하지만 EEG와 fMRI의 뚜렷한 신호 특성과 서로 다른 표현 공간은 효과적인 다중 모달 융합에 심각한 어려움을 초래하며, 이로 인해 기존의 고정된 모델로는 뇌 질환의 정확한 컴퓨터 보조 진단이 제한되었습니다. 본 연구에서는 모달리티별 전문가, 공유 신경 상태 전문가 및 적응형 라우팅 메커니즘을 통해 다중 모달 뇌 특징을 통합하는 뇌 질환 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 EEG-fMRI 융합 프레임워크인 Brain Mixture-of-Experts (BrainMoE)를 제시합니다. BrainMoE는 먼저 EEG와 fMRI 신호를 통합된 Desikan-Killiany (DK) 아틀라스 관심 영역(ROI) 공간으로 투영한 후, 그래프 인코더를 사용하여 모달리티별 뇌 네트워크 표현을 추출합니다. 소프트 라우팅 모듈은 라우팅 표현을 생성하며, 융합 모듈의 전문가 게이트(Expert Gate)는 EEG, fMRI 및 공유 신경 상태 전문가 표현을 결합하기 위한 샘플별 가중치를 생성합니다. 불완전한 데이터 획득 시나리오를 처리하기 위해 모달리티 상태 마스크와 누락 모달리티 토큰이 포함되어, 동일한 훈련 모델로 전체 EEG-fMRI, EEG 전용, fMRI 전용 추론을 수행할 수 있습니다. 마지막으로, 노드 가림 분석(node-occlusion analysis)을 통해 EEG 및 fMRI 유도 예측 모두에 대한 ROI 수준의 기여도 맵을 제공합니다. 이 프레임워크는 Healthy Brain Network (HBN) 데이터셋을 사용하여 주요 우울 장애, 불안 장애, 읽기 장애, 자폐 스펙트럼 장애, 주의력 결핍 과잉 행동 장애를 포함한 5가지 이진 뇌 질환 분류 작업에 대해 평가되었습니다. BrainMoE는 최신 비교 알고리즘보다 우수한 성능을 보이며 평균 AUC 86.9 ± 3.0%를 달성했으며, 절제 실험(ablation experiments)을 통해 라우팅 및 전문가 융합 구성 요소의 기여도를 확인하였습니다. 또한, 해석 가능성 분석을 통해 기존에 보고된 신경 영상 결과와 일치하는 질환 분류에 대한 그룹 수준의 ROI 기여도를 식별하였습니다. 이 방법은 해석 가능성과 모의 누락 모달리티 조건에서의 추론 능력을 유지하면서, 이질적인 EEG-fMRI 신경 표현 통합 문제를 해결함으로써 뇌 질환의 컴퓨터 보조 진단을 지원합니다.

서론

뇌 질환은 단일 영상 기법만으로는 특성화하기 어려운 신경 활동 및 뇌 네트워크 조직의 복잡한 변화를 수반합니다1. 소스 재구성(source reconstruction)2 후의 EEG는 영역 수준의 전기생리학적(EEG) 활동을 제공하는 반면, 기능적 자기공명영상(fMRI)은 영역 수준의 기능적 연결성을 포착하여 뇌 기능에 대한 상호 보완적인 관점을 제공합니다. 이러한 통합을 용이하게 하기 위해, 이전의 다중 모달 연구들은 두 모달리티를 68개 영역의 Desikan-Killiany (DK) 아틀라스3에 매핑하였습니다. 이러한 공간적 대응이 시간 해상도나 생리학적 기원의 동일함을 의미하지는 않지만, 모달리티별 정보를 보존하는 동시에 노드 수준의 그래프 융합, 고정된 그래프 차원 및 일관된 관심 영역(ROI) 수준의 해석을 위한 통합된 해부학적 인덱스를 제공합니다. 이렇게 해부학적으로 정렬되었으면서도 모달리티별 특성을 가진 표현들을 통합하면 질환 관련 뇌 신호 표현을 풍부하게 할 수 있으며, 컴퓨터 보조 뇌 질환 진단을 지원할 수 있습니다3,4.

뇌 질환의 컴퓨터 보조 진단을 위한 EEG-fMRI 융합의 잠재력에도 불구하고, 두 모달리티 간의 이질성은 효과적인 통합을 위한 기술적 과제가 되고 있습니다. SVM 및 MLP와 같은 고전적인 머신러닝 방법은 기본 분류 모델을 제공할 수 있지만, 비선형적인 교차 모달리티 상호작용을 포착하는 능력에는 한계가 있습니다. GNN5, ResNet6, Transformer7 아키텍처를 포함한 일반적인 딥러닝 모델은 더 강력한 표현 학습을 제공하지만, ROI 수준의 뇌 그래프나 모달리티 상태 모델링을 위해 특별히 설계되지는 않았습니다. 최근의 발전된 모델들3,8,9은 뇌 네트워크를 더 잘 모델링하기 위해 비선형 복잡성을 높였습니다. BrainNetCNN8은 합성곱 연산을 뇌 연결 행렬에 적응시키기 위해 도입되었으며, BrainGNN9은 그래프 신경망과 풀링을 사용하여 ROI 수준의 그래프 위상을 추가로 모델링했고, BNT10는 이후 트랜스포머 기반의 다단계 어텐션을 통해 기능적 뇌 네트워크 분석을 강화했습니다. 그러나 이러한 발전은 여전히 주로 단일 모달리티 설정으로 개발되었습니다. 이후 MultiEpilepsyNet11은 연합 하이브리드 프레임워크를 통해 EEG-MRI 발작 검출로 멀티모달 학습을 확장했으며, 해당 모델의 MRI 측 EpiSkullNet++ 모듈은 뇌 분할 및 전처리를 개선했습니다. 이어서 SZAtt-Net12은 CNN, BiGRU 및 MLP 블록을 채널, 셀프, 공간 및 시간 어텐션 메커니즘과 결합하여 멀티모달 조현병 분류 모델을 개발했습니다. 하지만 이러한 방법들은 특정 작업에 국한되어 있었고, 전체 모달리티 및 누락된 모달리티 상태 전반에 걸친 적응형 라우팅을 명시적으로 지원하지 않은 채 상대적으로 고정된 융합 설계에 의존했습니다.

전문가 혼합(Mixture-of-Experts, MoE) 모델13,14은 이질적인 정보원을 전문화된 전문가 모듈에서 처리하고 라우팅 메커니즘을 통해 동적으로 결합할 수 있기 때문에 멀티모달 학습에 점점 더 많이 채택되고 있습니다. Softmax 게이팅은 입력에 따른 정규화된 전문가 가중치를 제공하며, 이는 수렴 속도 관점에서 이론적으로 규명되었습니다15. 관련 멀티 게이트 아키텍처는 대규모 멀티태스크 학습에서 개별 게이트가 공유 전문가의 작업 의존적 조합을 학습할 수 있음을 추가로 입증했습니다16. 신경과학 연구 및 뇌 연구에서 MoE 변형 모델들17,18,19은 이질적인 특징 융합을 촉진하기 위해 점점 더 많이 사용되어 왔습니다. dFCExpert17는 모듈성과 상태 기반 전문가를 사용하여 fMRI의 동적 기능적 연결 패턴을 모델링했습니다. EvoMoE18는 게이팅 네트워크를 사용하여 사용자 독립적인 SSVEP-EEG 분류에 적합한 전문가를 선택하는 방식을 추가로 도입했습니다. NeuroMoE++19는 신경 질환 분류를 위한 환자 적응형 멀티모달 융합을 탐구했습니다. 이러한 성공에도 불구하고, 이 모델들은 일반적으로 교차 모달 신경 상태의 고도로 동기화된 특성을 무시하는 거친 입도의 혼합 및 이산적 라우팅에 의존하며, 이는 뇌 질환 진단에 결정적인 미세하지만 유용한 패턴의 검출을 방해합니다. 또한, 통합된 공유 신경 상태에서 모달리티별 뉘앙스를 분리하는 전용 메커니즘이 없기 때문에, 이러한 모델들은 해석력이 제한적이며 핵심 모달리티(fMRI 또는 EEG)가 누락되었을 때 성능 저하가 발생합니다.

이러한 한계를 해결하기 위해, 본 연구에서는 주요 우울 장애(MDD), 불안 장애(ANX), 읽기 장애를 동반한 특정 학습 장애(RI), 자폐 스펙트럼 장애(ASD), 주의력 결핍 과잉 행동 장애(ADHD)를 포함한 5가지 뇌 질환 범주의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 EEG-fMRI 융합 프레임워크인 Brain Mixture-of-Experts (BrainMoE)를 제시합니다. 이 프로토콜은 먼저 소스 재구성된 EEG 및 fMRI 특징을 DK-atlas20 ROI 공간에 정렬한 다음, 두 모달리티 모두에 대해 그래프 기반 모달리티 표현을 구축합니다. BrainMoE는 EEG 전문가, fMRI 전문가 및 공유 신경 상태 전문가를 사용하며, 이들은 소프트 라우팅 모듈에 의해 통합되어 모달리티 특이적 정보와 공유 정보를 결합합니다. 모달리티 상태 마스크와 누락 모달리티 토큰을 통합하여, 단일 학습 모델 내에서 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론이 가능하도록 하였습니다. 생물학적 해석 가능성을 지원하기 위해, 본 프로토콜은 각 DK-atlas ROI를 선택적으로 마스킹하고 그 결과로 나타나는 질환 예측 확률의 변화를 통해 EEG 및 fMRI 유래 지역별 기여도를 추정하는 노드 폐쇄 분석(node-occlusion analysis)을 추가로 적용합니다. 본 프로토콜은 데이터 정렬, 모델 구축, 학습, 평가 및 노드 폐쇄 기반 ROI 해석을 위한 전체 워크플로를 설명하며, 이질적인 EEG-fMRI 뇌 신호 융합을 통해 뇌 질환의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 전략을 제공합니다. 재현성과 향후 확장을 용이하게 하기 위해, 공개 GitHub 저장소에서 BrainMoE 모델, 학습 및 평가 코드를 제공하며, EEG 및 fMRI 전처리는 공개적으로 사용 가능한 제3자 소프트웨어를 사용하여 수행되었습니다. 해당 저장소는 https://github.com/zhongruizhe123/BrainMoE에서 이용 가능합니다.

프로토콜

본 연구에서는 Healthy Brain Network (HBN) 데이터베이스21의 비식별 데이터를 사용하여, 후속 진단 분류 작업을 위해 다섯 가지의 뚜렷한 임상 장애에 초점을 맞추었습니다. 윤리적 승인 및 서면 동의는 HBN 이니셔티브를 통해 모든 참여 사이트와 피험자로부터 사전에 확보되었습니다. EEG 및 fMRI 기록은 동시에 측정하지 않고 별도의 세션에서 획득하였으며, HBN에서 제공하는 참여자 및 세션 식별자를 사용하여 이를 매칭하였습니다.

1. 계산 환경 및 입력 데이터 준비

  1. 계산 환경 구성
    1. Python 3.12.4 가상 환경을 생성하고 활성화합니다: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. 공개 GitHub 저장소에서 제공된 requirements.txt 파일을 사용하여 필요한 패키지와 지정된 버전을 설치합니다: pip install -r requirements.txt
    3. 학습 전 PyTorch 및 CUDA 설정을 확인합니다: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." 출력 결과가 PyTorch 2.6.0+cu124, CUDA 12.4이며, CUDA availability가 True인지 확인합니다. CUDA 호환 GPU를 사용하여 모델 학습을 수행하십시오.
  2. 모델 학습 전 모든 H5 입력 파일을 검사합니다.
    1. 각 파일에 EEG 노드 특성을 위한 sLORETA_mean_func, EEG 그래프를 위한 sLORETA_mean_CorrMatrix, fMRI 노드 특성을 위한 fMRI-DK68-node-mat, fMRI 그래프를 위한 fMRI-DK68-edge-mat, 그리고 진단을 위한 label이 포함되어 있는지 확인합니다. 키가 누락되었거나, 숫자가 아닌 항목이 포함되었거나, 레이블이 유효하지 않거나, 68개 영역의 Desikan-Killiany 아틀라스와 차원이 일치하지 않는 파일은 제외합니다. 다음과 같이 H5 입력 확인 스크립트를 실행합니다: python checkH5.py (보충 자료 1).

2. EEG 및 fMRI 특징을 공유 해부학적 공간으로 정렬

  1. fMRI 데이터 전처리.
    1. C-PAC (version 1.8.7)를 사용하여 fMRI 데이터를 처리한다. C-PAC 전처리 스크립트를 다음과 같이 실행한다: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Supplementary File 2). 초기 비정상 상태 신호 효과를 줄이기 위해 처음 5개 볼륨을 제거한다.
    2. 슬라이스 타이밍 보정, 움직임 보정, 왜곡 보정, 등록, MNI152 해부학적 공간으로의 정규화 및 공간 평활화를 수행한다. 24개의 움직임 관련 nuisance 파라미터를 회귀 분석한다.
    3. 0.01-0.08 Hz에서 시간적 밴드 패스 필터링을 적용한다.
  2. 아틀라스 정렬 fMRI 특징 생성.
    1. FreeSurfer (version 7.4.1)를 사용하여 해당 구조적 MRI를 처리한다. 스크립트를 다음과 같이 실행한다: bash Step01_mgz_2_nifti.sh. 생성된 Desikan-Killiany 피질 분할을 참가자의 고유 fMRI 공간에 공동 등록한다. 스크립트를 다음과 같이 실행한다: python Step02_CoRegistration.py. 68개 피질 영역 각각 내의 평균 복셀 단위 신호를 계산한다. 스크립트를 다음과 같이 실행한다: python Step03_fMRI_Signal_Extraction.py (Supplementary File 3).
    2. 시간적 패딩 없이 연속적인 370개의 fMRI 시간 지점을 유지하여 68 x 370의 fMRI 노드 특징 행렬을 얻는다. 여기서 68은 DK 피질 영역을 나타내고, 370은 유지된 fMRI 시간 지점을 나타낸다.
  3. fMRI 그래프 구축.
    1. 68개 DK 영역의 370지점 시계열 간의 피어슨 상관계수를 계산한다. 결과로 얻은 68 x 68 기능적 연결성 행렬을 fMRI 엣지 행렬로 저장한다.
  4. EEG 데이터 전처리.
    1. MATLAB (version R2022a)의 EEGLAB 툴박스 (version 2022.1)를 사용하여 129채널 EEG 기록을 처리한다. 두 개의 EEGLAB 전처리 스크립트를 다음과 같이 순차적으로 실행한다: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Supplementary File 4). 500 Hz 샘플링 속도를 유지하고 0.2–40 Hz 밴드 패스 필터를 적용한다. 노이즈 구간과 결함 전극을 식별하고, 인접 전극의 평균 신호를 사용하여 불량 채널을 보간한다.
    2. ICLabel 플러그인이 포함된 독립 성분 분석을 사용하여 독립 성분을 분류한다. 안구 또는 근육 아티팩트 분류 확률이 0.90보다 큰 성분을 제거한다. 평균 재참조(average re-referencing)를 적용한다. 전처리와 아티팩트 제거 후 사용 가능한 데이터가 250 s 미만인 기록은 제외한다.
  5. 아틀라스 정렬 EEG 특징 생성.
    1. 각 참가자의 구조적 MRI로부터 개별화된 3층 경계 요소법 (BEM) 머리 모델을 구축한다. 각 참가자의 개별 피질 표면에 소스 공간을 정의한다. EEG 전극 위치를 BEM 표면에 등록하고 리드 필드 행렬을 계산한다.
    2. 기초 노이즈 공분산 행렬을 사용하여 정규화된 역 연산자를 적용한다. 신호 대 잡음비를 3.0으로 설정하여 λ2 = 1/SNR2 = 1/9 (약 0.1111)를 도출하고, MNE-Python (version 1.9)에 구현된 표준화 저해상도 전자기 토모그래피 (sLORETA)를 사용하여 소스 국소화를 수행한다.
    3. 산술 평균을 통해 각 Desikan-Killiany 구획 내의 정점 단위 소스 추정치를 통합하여 68개의 ROI 레벨 시계열을 얻는다. 처음 연속된 250 s 구간을 유지하고 각 ROI 시계열을 250개의 연속적이고 겹치지 않는 1 s 에포크로 나눈다.
    4. 각 에포크 내에서 8–12 Hz의 알파 밴드 전력을 계산하여 68 x 250의 EEG 노드 특징 행렬을 얻는다. 여기서 68은 DK 피질 영역을 나타내고, 250은 250개의 연속적이고 겹치지 않는 1 s 에포크를 나타낸다.
  6. EEG 그래프 구축 및 교차 모달 정렬 확인.
    1. 68개 DK 영역의 250개 에포크 8–12 Hz 알파 전력 시리즈 간의 피어슨 상관계수를 계산한다. 결과로 얻은 68 x 68 행렬을 EEG 그래프로 저장한다.
    2. EEG 및 fMRI 행렬이 동일한 DK 영역 순서를 사용하는지 확인하고, 모델 입력, 속성 지정 및 시각화를 위해 동일한 DK 영역 인덱스 파일을 사용한다. MNE-Python 소스 국소화 및 특징 추출 스크립트를 다음과 같이 실행한다: python "Extract features - templates.py" (Supplementary File 5).
  7. 각 샘플 내 노드 특징 정규화.
    1. EEG 및 fMRI 노드 특징 행렬에 노드별 z-점수 정규화를 적용한다. 그래프 행렬은 연결성 입력으로 유지하고 BrainMoE 모델 내부에서 그래프 정규화를 적용한다.
    2. 교차 검증 폴드 정보를 전처리 파라미터 결정에 사용하지 않고, 고정된 설정을 사용하여 각 참가자에 대해 EEG 및 fMRI 전처리를 독립적으로 수행한다.

3. 질환 특이적 이진 분류 작업 구축

  1. 5가지 질환별 이진 분류 작업을 정의합니다.
    1. 모든 작업에서 건강한 대조군(HC)을 클래스 0으로 인코딩하고, 각 작업 내에서 선택된 질환군만 클래스 1로 인코딩합니다.
    2. 우울증, 불안 장애, 특정 학습 장애 및 읽기 장애를 동반한 신경발달 장애, 자폐 스펙트럼 장애, 주의력 결핍 과잉 행동 장애에 대해 각각 건강군 대 질환군 작업을 구성합니다.
  2. 연구 코호트를 특성화하고 잠재적인 성별 및 획득 사이트 영향을 조사합니다.
    1. 각 질환별 작업에 대해 완전한 EEG, fMRI 및 구조적 자기공명영상(sMRI) 데이터와 유효한 진단 라벨을 가진 HBN 참여자를 포함합니다. 질환 양성 코호트에서 공존 진단을 받은 참여자는 제외합니다. 전처리 및 아티팩트 제거 후 사용 가능한 데이터가 250 s 미만인 EEG 기록은 제외하며, 섹션 1.2에 기술된 품질 관리 기준을 통과한 입력 파일만 유지합니다.
    2. 공유 HC 코호트와 각 질환 코호트에 대해 유지된 멀티모달 기록 수 및 고유 참여자 수, 질환 대 대조군 비율, 연령 범위, 성별 분포 및 획득 사이트 분포를 표 4에 요약합니다.
      참고: 동일한 HC 코호트가 5가지 모든 작업에서 클래스 0으로 재사용되었으므로, 작업 수준의 성능 추정치는 통계적으로 독립적이지 않습니다. 이러한 의존성은 질환 그룹의 중복이 아니라 공유된 HC 코호트에서 기인합니다.
    3. 성별 및 획득 사이트별로 성능을 층화하고, 반복된 5-겹 교차 검증 실행 전반에 걸쳐 양측 Welch t-검정을 사용하여 결과 값을 비교합니다.
  3. 작업별 H5 파일을 선택하고 교차 검증 분할을 정의합니다.
    1. 각 작업에 대해 HC와 대상 질환군만 유지합니다. 참여자 수준에서 5-겹 교차 검증을 10회 반복 생성합니다. 폴드 간 클래스 분포를 유지하기 위해 고유 참여자를 이진 클래스 라벨(HC 대 대상 질환)에 따라 층화합니다.
    2. 고유 참여자 식별자를 그룹화 변수로 사용하고, 동일한 참여자의 모든 세션과 멀티모달 기록을 동일한 폴드에 할당합니다. 10번의 반복 교차 검증 파티션을 생성하기 위해 각각 1~10의 랜덤 시드를 사용합니다. 모델 초기화 및 학습에는 고정된 랜덤 시드 1을 사용합니다.
    3. 홀드아웃 폴드는 최종 평가 전용으로 예약하고, 각 폴드의 참여자 식별자, 파일 목록 및 파티션 인덱스를 해당 체크포인트와 함께 저장합니다. 각 학습 폴드에 대해 학습 라벨로부터 클래스 가중치를 계산하고, 이를 교차 엔트로피 손실에 적용하여 클래스 불균형으로 인한 편향을 줄입니다.

4. 컴퓨터 보조 뇌 질환 진단을 위한 BrainMoE 아키텍처 구축

참고: BrainMoE 아키텍처는 그래프 인코더, 공유 신경 상태 소프트 라우팅 및 전문가 기반 특징 통합을 결합하여 질환별 이진 진단을 수행하는 컴팩트한 결측 모달리티 EEG-fMRI 융합 프레임워크로 설계되었습니다. 전체 아키텍처는 다음에서 확인할 수 있습니다. 그림 1및 구현 코드는 다음에서 제공됩니다. 보충 파일 6.

  1. BrainMoE 입력 및 모달리티 상태를 정의합니다. 소스 공간 정렬 후의 EEG 모달리티와 fMRI 모달리티를 쌍을 이룬 그래프 입력으로 사용합니다. 여기서 X는 지역 특성 행렬을, A는 모달리티별 뇌 그래프를 나타내며, 각 행은 68개의 Desikan-Killiany 영역 중 하나에 해당합니다.
    figure-protocol-1
    figure-protocol-2
    모달리티 가용성 마스크(Modality Availability Mask)를 m = [mEEG, mfMRI]로 정의합니다. 전체 EEG-fMRI 입력의 경우 m = [1,1], EEG 전용 입력의 경우 m = [1,0], fMRI 전용 입력의 경우 m = [0,1]을 사용합니다.
  2. 그래프 인코더: q가 EEG 또는 fMRI인 각 모달리티 q에 대해, 특성 행렬 Xq와 그래프 Aq를 해당 모달리티 전용 그래프 인코더(Graph Encoder)에 입력합니다. 인코더는 노드 투영, 그래프 메시지 전달, 정규화, 활성화 및 드롭아웃(p=0.3)을 포함하는 학습 가능한 신경 모듈입니다.
    figure-protocol-3
    참고: 이 표기법에서 Zq는 EEG 그래프 인코더 또는 fMRI 그래프 인코더에 의해 생성된 ROI 수준의 잠재 표현입니다. EEG 그래프 인코더는 각 68 x 250 입력 행렬을 68 x 128 잠재 표현으로 매핑하며, fMRI 그래프 인코더는 각 68 x 370 입력 행렬을 68 x 128 잠재 표현으로 매핑합니다. 각 인코더는 입력 투영 후 128개 은닉 차원을 가진 두 개의 잔차 그래프 컨볼루션 층, GELU 활성화, 층 정규화 및 드롭아웃을 사용합니다.
  3. 학습 가능한 누락 모달리티 토큰: Tq를 모달리티 q에 대한 토큰으로, mq를 해당하는 가용성 지표로 정의합니다. 이 단계에서는 전체 및 단일 모달리티 입력 하에서도 동일한 68개 영역 레이아웃을 유지하는 상태 인식 표현을 생성합니다.
    figure-protocol-4
    참고: 각 학습 가능한 누락 모달리티 토큰은 128차원 벡터이며, 해당 모달리티를 사용할 수 없는 경우 68개 ROI 행 전체로 확장됩니다.
  4. 공유 신경 상태 소프트 라우팅 모듈(Shared Neural-State Soft-Routing Module): 먼저, 상태 인식 EEG 표현 ZEEG, 상태 인식 fMRI 표현 ZfMRI 및 임베딩된 모달리티 가용성 마스크를 결합합니다. 모달리티 가용성 마스크는 차원이 2 → 128인 MLP, GELU 활성화 및 층 정규화를 통해 임베딩됩니다. 라우터는 채널 차원이 384 → 128 → 128이고 커널 크기가 3, 패딩이 1인 두 개의 1차원 컨볼루션 층으로 구성됩니다. 각 컨볼루션 후에 GELU 활성화를 적용하며, 첫 번째 컨볼루션 후에는 드롭아웃(p=0.3)을 적용합니다.
    figure-protocol-5
    figure-protocol-6
  5. 공유 신경 상태 전문가(Shared neural-state expert).
    1. 상태 인식 EEG 표현 ZEEG, 상태 인식 fMRI 표현 ZfMRI 및 소프트 라우팅 표현 R을 특성 차원을 따라 연결합니다. 전결합 융합 층(384에서 128로)을 적용한 후, 층 정규화, GELU 활성화 및 드롭아웃(p=0.3)을 적용하고, 결과 표현을 68개 ROI에 대해 평균 풀링하여 128차원 피험자 수준 융합 표현 zfused를 얻습니다:
      figure-protocol-7
    2. zfused를 전결합 층(128에서 128로), 층 정규화, GELU 활성화 및 드롭아웃(p=0.3)으로 구성된 공유 신경 상태 전문가에 통과시킵니다. 결과로 생성된 128차원 공유 전문가 표현을 Eshared로 나타냅니다:
      figure-protocol-8
  6. EEG 및 fMRI 전문가.
    1. 각 모달리티에 대해 상태 인식 표현을 68개 ROI에 대해 평균 풀링하고, 결과로 생성된 128차원 표현을 해당 모달리티 전용 전문가(Expert)에 통과시킵니다:
      figure-protocol-9
    2. 각 모달리티 전용 전문가는 전결합 층(128에서 128로), 층 정규화, GELU 활성화 및 드롭아웃(p=0.3)으로 구성됩니다. 결과로 생성된 128차원 모달리티 전용 전문가 표현을 각각 EEEG 및 EfMRI로 나타냅니다.
  7. 융합 모듈(Fuse module).
    1. 전문가 가중치를 계산하기 위해, 128차원 피험자 수준 융합 표현 zfused와 2차원 모달리티 가용성 마스크 m을 연결하여 130차원 게이트(Gate) 입력을 생성합니다. 융합 모듈에는 전문가 융합에 사용되는 샘플별 가중치를 생성하는 전문가 게이트가 포함되어 있습니다. 전문가 게이트는 전결합 층(130에서 128로), GELU 활성화, 드롭아웃(p = 0.3) 및 출력 전결합 층(128에서 3으로)으로 구성됩니다. 세 개의 출력 로짓(logit)에 소프트맥스를 적용하여 샘플별 전문가 가중치를 얻습니다:figure-protocol-10
    2. 결과 가중치는 비음수이며 각 샘플에 대해 합계가 1이 됩니다:
      figure-protocol-11
    3. 각 128차원 전문가 표현에 해당 게이트 가중치를 곱하고, 가중치가 적용된 세 표현의 합을 구합니다:
      figure-protocol-12
      참고: 이 연산은 조밀한 소프트 MoE 융합(dense soft MoE fusion)을 구현합니다.
    4. 결과로 생성된 128차원 최종 전문가 표현 efused를 섹션 4.8에서 설명한 뇌 질환 진단 분류 헤드에 전달합니다.
  8. 뇌 질환 진단 분류 헤드: 128차원 최종 전문가 표현을 층 정규화, 드롭아웃(p = 0.3) 및 128차원을 2개의 출력 로짓으로 매핑하는 전결합 층으로 구성된 분류 헤드에 통과시킵니다. 소프트맥스를 적용하여 HC 확률과 표적 질환 확률을 얻습니다. 표적 질환 확률이 0.5 이상인 경우 해당 샘플을 질환 클래스로 할당합니다.
    figure-protocol-13
  9. 학습 전 구현 일관성을 검증합니다. m = [1,1], m = [1,0], m = [0,1] 조건에서 드라이 포워드 패스(dry forward pass)를 실행합니다. EEG, fMRI, 상태 인식, 라우팅 및 융합 표현이 명시적으로 풀링되지 않는 한 68개 ROI 행을 유지하는지 확인하고, 전문가 가중치가 EEG 전문가, fMRI 전문가, 공유 신경 상태 전문가 순으로 합계가 1이 되는지 확인합니다.

5. 뇌 질환 진단을 위한 5가지 BrainMoE 모델 학습

  1. 각 질병별 이진 작업에 대해 하나의 BrainMoE 모델을 훈련합니다.
    1. 모든 작업에 대해 동일한 아키텍처와 기본 하이퍼파라미터(30 epoch, 배치 크기 16, 학습률 0.001, 가중치 감쇠 0.0001)를 사용합니다. 테스트 폴드 평가 전에 모델 아키텍처와 하이퍼파라미터를 고정하고, 모든 폴드, 반복 및 질병별 작업에서 이를 변경하지 않고 유지합니다.
    2. 모델 선택이나 하이퍼파라미터 튜닝에 별도로 분리된 테스트 폴드 성능을 사용하지 마십시오. 각 미니 배치에 대해, 공유 모델 가중치를 사용하여 전체, EEG 전용 및 fMRI 전용 마스크를 통해 세 번의 순전파(forward pass)를 수행합니다. BrainMoE 훈련은 다음과 같이 실행합니다: python train.py --config configs/brain_moe.json --task --data_dir (부록 파일 6). 를 depression, anxiety, reading_disorder, autism 또는 adhd로 설정하십시오.
  2. 평균화된 3상 분류 손실을 최적화합니다. 각 상태에 대한 클래스 가중치 교차 엔트로피 손실 Ls를 다음과 같이 계산하고
    figure-protocol-14
    손실을 다음과 같이 평균합니다.
    figure-protocol-15
  3. 그레이디언트를 초기화하고, 역전파를 수행하며, AdamW를 사용하여 모든 훈련 가능한 파라미터를 업데이트합니다.

6. 전체 및 모달리티 누락 추론 상태 평가

  1. 평가 방법: 선택한 질환 작업에 대한 체크포인트를 로드하고 해당 체크포인트에 저장된 테스트 파일 목록을 사용합니다. 전체 EEG-fMRI 추론에는 m = [1,1], EEG 전용 추론에는 m = [1,0], fMRI 전용 추론에는 m = [0,1]을 사용합니다. 마지막으로 softmax를 적용하여 표적 질환 확률을 구하고, 확률이 0.5 이상일 때 해당 질환 클래스로 할당합니다.
  2. 평가 지표: 혼동 행렬(confusion matrix)을 통해 평가 지표를 계산합니다. 여기서 TP는 질환 양성 샘플이 질환으로 정확하게 분류된 경우, TN은 HC가 건강한 상태로 정확하게 분류된 경우, FP는 HC가 질환으로 잘못 분류된 경우, FN은 질환 양성 샘플이 건강한 상태로 잘못 분류된 경우를 나타냅니다.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. 전체 정확한 분류율을 보고하기 위해 accuracy를 사용합니다. 질환 양성 검출 능력을 정량화하기 위해 sensitivity를, HC 식별 능력을 정량화하기 위해 specificity를 사용합니다.
  4. 정밀도(precision)와 sensitivity 사이의 균형을 요약하기 위해 F1 score를 사용합니다. 클래스 불균형의 영향을 줄이기 위해 balanced accuracy를 사용합니다. 또한, 결정 임계값에 관계없는 판별력을 평가하기 위해 AUC를 계산합니다.
  5. 각 반복마다 5개의 hold-out fold에 대해 각 성능 지표의 평균을 구합니다. 최종 결과는 10회 반복 수준 평균값의 평균과 표준편차로 보고합니다.
  6. BrainMoE를 베이스라인 방법들과 비교합니다. 모든 베이스라인은 BrainMoE와 동일한 피험자 수준 파티션 및 전체 EEG-fMRI 입력을 사용했으며, 설정은 hold-out 평가 전에 고정되었습니다. BrainMoE와 각 베이스라인의 비교는 Holm 보정을 적용한 양측 paired t-test를 통해 수행되었습니다.

7. 다섯 가지 뇌 질환에 걸쳐 그룹 수준의 노드 폐쇄 어트리뷰션 수행

  1. 속성 분석 코호트를 정의합니다. 학습된 BrainMoE 체크포인트와 DK 영역 이름 파일을 로드합니다. m = [1,1]인 전체 EEG-fMRI 상태에서 올바르게 분류된 질환 양성 테스트 샘플을 선택합니다. 이 코호트를 그룹 수준의 속성 분석에 사용하고, 각 샘플의 기저 타겟 질환 확률을 저장합니다.
  2. 양식별 노드 폐쇄 점수를 계산합니다. EEG 유래 속성의 경우, fMRI 입력은 그대로 둔 채 선택한 EEG 노드 특징 벡터와 EEG 그래프의 해당 행 및 열을 0으로 설정하여 한 번에 하나의 EEG ROI를 폐쇄합니다. fMRI 유래 속성의 경우, EEG 입력은 그대로 둔 채 fMRI 노드 특징 행렬과 fMRI 그래프에 동일한 작업을 적용합니다. 이 절차를 68개 모든 DK 영역에 대해 반복합니다. 보충 파일 7에 제공된 코드를 사용하여 노드 폐쇄 속성 분석을 수행합니다.
  3. 그룹 수준의 ROI 기여도를 계산하고 시각화합니다. 각 ROI와 각 양식에 대해, 선택된 모든 샘플에서 폐쇄 후 타겟 질환 확률의 평균 감소량을 기여도 점수로 계산합니다. EEG 유래 점수와 fMRI 유래 점수를 각각 별도로 순위를 매기고, 각 양식에 대해 상위 10개 ROI를 추출하여 그림에 가장 높은 순위의 ROI를 표시합니다.

결과

질환 및 모달리티 상태에 따른 BrainMoE 성능
본 프로토콜을 통해 5가지 질환별 건강 대 질환 BrainMoE 분류기를 생성하였으며, 전체 EEG-fMRI, EEG 단독, fMRI 단독 추론 상태에 대한 예측 테이블을 도출하였다. 전체 EEG-fMRI 상태는 5가지 과제 전반에서 일관되게 높은 판별력을 보였으며, AUC 값은 RI의 84.4 ± 3.2%에서 ASD의 88.4 ± 3.8% 범위로 나타났다(표 1). 5가지 과제에 대한 전체 상태의 매크로 평균 성능은 AUC 86.9 ± 3.0%, 정확도 81.4 ± 3.1%, 균형 정확도 81.4 ± 2.5%, F1 스코어 81.2 ± 3.0%에 도달하였다.

모의 결손 모달리티 조건 하에서, BrainMoE는 하나의 입력 모달리티가 마스킹되었을 때도 활용 가능한 성능을 유지했습니다. EEG 전용 상태에서 모델은 83.1 ± 3.7%의 매크로 평균 AUC를 달성했으며, ADHD의 경우 87.9 ± 2.8%로 가장 높은 EEG 전용 AUC가 관찰되었습니다. fMRI 전용 상태에서의 매크로 평균 AUC는 80.0 ± 3.9%였습니다. 이러한 성능 범위와 예상되는 전체 상태 성능의 이점은 성공적인 구현을 위한 실질적인 벤치마크 역할을 하며, 이는 학습된 BrainMoE 프레임워크가 각 모달리티를 위한 별도의 모델 없이도 전체, EEG 전용 및 fMRI 전용 추론을 수행할 수 있음을 나타냅니다.

대표적인 최적화되지 않은 결과는 기대했던 전체 상태(full-state) 성능 우위를 재현하지 못하는 경우로, 예를 들어 전체 EEG-fMRI AUC가 EEG 단독 또는 fMRI 단독 AUC보다 낮게 나타나는 경우가 이에 해당합니다. 반면, 성공적으로 구현된 경우에는 전체 상태의 우위와 표 1에 보고된 벤치마크 성능 범위가 재현되어야 합니다. 최적화되지 않은 패턴이 관찰될 경우, 모델 출력값을 해석하기 전에 H5 입력 차원, DK 영역 순서, 모달리티 가용성 마스크 할당 및 저장된 교차 검증 파티션을 확인하십시오.

벤치마크 비교
제안된 BrainMoE 모델을 고전적 머신러닝 방법(서포트 벡터 머신(SVM) 및 다층 퍼셉트론(MLP)), 일반 딥러닝 방법(Transformer7, 3D-CNN22, ResNet6), 고급 딥러닝 방법(BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), 그리고 MoE 기반 딥러닝 방법(dFCExpert17, EvoMoE18, NeuroMoE++19)과 비교하였습니다(표 2). BrainMoE는 비교된 모든 방법 중 가장 높은 평균 AUC인 86.9 ± 3.0%를 달성하였습니다.

전통적인 머신러닝 방법들은 더 낮은 평균 성능을 보였으며, SVM은 66.7 ± 4.5%의 평균 AUC를, MLP는 64.6 ± 6.3%를 달성했습니다. 일반적인 딥러닝 방법들은 가변적인 성능을 보였는데, ResNet은 71.0 ± 3.3%의 평균 AUC를, Transformer는 63.8 ± 4.7%를 달성했습니다. 고도화된 딥러닝 베이스라인 중에서 BNT, BrainGNN, MultiEpilepsyNet 및 SZAtt-Net은 대부분의 전통적 및 일반적 딥러닝 방법보다 우수한 성능을 보였으나, 이들의 평균 AUC는 여전히 BrainMoE보다 낮았습니다.

벤치마크 비교에 대한 통계적 근거를 제공하기 위해, BrainMoE를 각 성능 지표별로 가장 우수한 베이스라인과 비교하였다(표 3BrainMoE는 AUC와 균형 정확도(BA)에서 NeuroMoE++보다 우수한 성능을 보였으며, F1 스코어와 정확도에서는 SZAtt-Net보다 우수한 성능을 보였다. 모든 비교 결과는 Holm 보정 후에도 유의미하게 유지되었다.

성에 따른 하위 그룹 분석 및 획득 사이트별 분석
유지된 다중 모달 레코드 수, 질환군 대 대조군 비율, 고유 참가자 수, 연령 요약, 성별 분포 및 획득 사이트 분포를 포함한 과제별 코호트 특성이 코호트 특성 표(표 4)에 요약되어 있습니다. 질환군 대 대조군 비율은 다중 모달 레코드 수를 기준으로 계산되었으며, 인구통계학적 특성 및 획득 사이트 특성은 고유 참가자 수준에서 요약되었습니다.

성별 및 획득 사이트의 잠재적 영향을 평가하기 위해, BrainMoE 성능을 이러한 요인별로 층화하여 분석하였다(표 5). 남성 하위 그룹은 여성 하위 그룹보다 평균 AUC, BA, F1 점수 및 정확도가 더 높게 나타났으나, 이에 해당하는 보정되지 않은 Welch p 값은 0.089에서 0.321 사이였다. 마찬가지로, RUBIC 하위 그룹은 Staten Island 하위 그룹보다 더 높은 평균 성능을 보였으며, p 값은 0.055에서 0.309 사이였다. 이러한 분석에서 통계적으로 유의미한 하위 그룹 간 차이는 검출되지 않았다.

BrainMoE 구성 요소의 절제 분석
모달리티 가용성 마스크, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가 융합 설계의 기여도를 평가하기 위해 절제 실험을 수행하였습니다(표 6). 마스크 임베딩을 제거했을 때 평균 AUC는 79.2 ± 3.1%로 감소했으며, 컨볼루션 라우터를 MLP 라우터로 대체했을 때 79.3 ± 3.7%로 감소했습니다. 공유 전문가를 제거한 경우 fMRI 전용 AUC가 73.5 ± 3.3%로 감소하여, 테스트한 변체 중 가장 낮은 수치를 기록했습니다. 모든 MoE 전문가를 제거했을 때 전체 균형 정확도는 74.2 ± 3.0%로 감소했습니다. 이러한 절제 결과는 전체 BrainMoE 설계가 전체 모달리티 및 모달리티 누락 상태 모두에서 가장 강력한 전반적 성능을 달성했음을 보여주며, 마스크 임베딩, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가 융합이 각각 최종 모델 동작에 기여했음을 나타냅니다.

5가지 뇌 질환에 대한 ROI 수준의 해석 가능성 결과
BrainMoE 예측의 근거가 되는 지역적 기여도를 조사하기 위해, 전체 EEG-fMRI 상태에서 정확하게 분류된 질환 양성 샘플을 대상으로 노드 폐쇄 어트리뷰션(node-occlusion attribution)을 수행하였습니다. 각 DK 아틀라스 영역을 폐쇄한 후 표적 질환 확률의 감소량을 측정하여, EEG 유도 및 fMRI 유도 ROI 기여도를 각각 순위 매겼습니다. 분석 결과, 5가지 질환 과제 전반에서 모달리티 특이적인 기여 패턴이 확인되었습니다(그림 2). fMRI 유도 어트리뷰션의 경우, 최상위 순위 영역은 MDD의 좌측 후대상피질, ANX의 우측 주변설상피질, RI의 좌측 해마곁피질, ASD의 우측 삼각부, 그리고 ADHD의 좌측 내후각피질이었습니다. EEG 유도 어트리뷰션의 경우, 최상위 순위 영역은 MDD의 좌측 상측두구 연안, ANX의 좌측 중심전피질, RI의 좌측 쐐기엽, ASD의 좌측 설상피질, 그리고 ADHD의 우측 섬엽이었습니다. 각 질환에 대해 가장 높은 순위를 기록한 EEG 및 fMRI 유도 ROI를 그림 3의 피질 표면에 시각화하였습니다. 이러한 결과는 BrainMoE가 EEG 유도 및 fMRI 유도 표현에 대해 서로 다른 어트리뷰션 프로필을 유지하면서 ROI 수준의 해석 가능성을 제공함을 보여주었습니다. 정확하게 분류된 질환 양성 샘플에 대해, 50개의 홀드아웃 폴드(held-out folds) 전체에서 Top-1 ROI 빈도를 사용하여 교차 폴드 안정성을 평가하였습니다(표 7). 관찰된 빈도는 36%에서 68% 사이였으며, 이는 이론적인 무작위 선택 참조값인 1/68 (1.47%)을 상회하는 것으로, 절대적인 기여도 크기보다는 상대적 순위에 기반한 해석을 뒷받침합니다. 이전의 신경 영상 연구 결과와의 비교는 사후에 수행되었으며, 어트리뷰션 결과를 맥락화하는 용도로만 사용되었을 뿐 독립적인 검증으로 사용되지 않았습니다.

figure-results-1
그림 1: 컴퓨터 보조 뇌질환 진단을 위한 적응형 EEG-fMRI 융합 기반 BrainMoE 프레임워크의 개요.소스 정렬된 EEG 및 fMRI ROI 특징들이 각각의 그래프 인코더(Graph Encoder)에 의해 처리됩니다. 생성된 표현체들은 EEG 및 fMRI 전문가(Expert)에게 전달되며, 모달리티 가용성 마스크(Modality Availability Mask)와 함께 공유 소프트 라우팅 모듈(Soft-Routing Module)로 전달됩니다. 모달리티 표현체와 라우팅 표현체는 융합되어 공유 신경 상태 전문가(Shared neural-state expert)에 의해 처리됩니다. 이후 세 가지 전문가 출력값은 융합 모듈(Fuse Module)에서 결합되어 진단 분류 헤드(Diagnosis Classification Head)로 전달되어 HC 및 표적 질환 확률을 산출합니다. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.

figure-results-2
그림 2: 노드 폐쇄 기반 ROI 기여도 분석. 전체 EEG-fMRI 추론 상태에서 각 질환 과제에 대해 EEG 유래 및 fMRI 유래 ROI 기여도 상위 10개를 시각화하였다. 패널 (A–E)는 각각 MDD, ANX, RI, ASD, ADHD에 대한 fMRI 유래 결과를 나타내며, 패널 (F–J)는 동일한 순서로 이에 대응하는 EEG 유래 결과를 나타낸다. 각 그래프에서는 순위가 가장 높은 ROI만 표시하였다. ROI 기여도는 해당 DK 아틀라스 영역을 폐쇄한 후의 표적 질환 확률 감소분으로 정의되었다. 이 그림의 확대 버전을 보시려면 여기를 클릭하십시오.

figure-results-3
그림 3: 다섯 가지 뇌 질환에 대한 피질 ROI 수준의 해석 가능성 지도. 패널 (A–E>)은 각각 MDD, ANX, RI, ASD, ADHD를 나타냅니다. 각 패널은 DK 피질 표면에서 가장 순위가 높은 EEG 유래 ROI를 빨간색으로, 가장 순위가 높은 fMRI 유래 ROI를 주황색으로 표시합니다. 색상은 기여도 크기가 아닌 모달리티를 나타내며, 따라서 정량적 색상 척도는 적용되지 않았습니다. 접두사 lh와 rh는 각각 좌반구와 우반구를 의미합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

질환 과제상태AUC정확도BAF1민감도특이도
MDD전체88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEG 전용83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRI 전용82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANX전체85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEG 전용81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRI 전용74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RI전체84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEG 전용80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI 전용81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASD전체88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEG 전용82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRI 전용81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHD전체88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEG 전용87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRI 전용80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

표 1: 질환 과제 및 모달리티 가용성 상태에 따른 BrainMoE 분류 성능. 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론 상태에서 다섯 가지 건강 대 질환 분류 과제에 대한 BrainMoE의 성능. 지표는 평균 ± 표준 편차로 표기하며, 수신자 작동 특성 곡선 아래 면적(AUC), 정확도, 균형 정확도(BA), F1 스코어, 민감도 및 특이도를 포함한다.

방법방법 그룹평균 AUC평균 BA평균 F1평균 정확도
SVM고전적 ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLP고전적 ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
Transformer일반 DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN일반 DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNet일반 DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNN고급 DL70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNT고급 DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNN고급 DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNet고급 DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Net고급 DL78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoE 기반 DL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoE 기반 DL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE 기반 DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (본 연구)MoE 기반 DL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

표 2: 고전적인 머신러닝 방법, 일반적인 딥러닝 모델 및 고급 신경영상 딥러닝 아키텍처와 비교한 BrainMoE의 평균 분류 성능. 결과는 평가된 질환 분류 작업 전반에 걸쳐 집계되었으며, AUC, BA, F1 점수 및 정확도에 대해 평균 ± 표준 편차로 보고되었습니다.

비교평균 AUC평균 BA평균 F1 점수평균 정확도
가장 강력한 기준선NeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
최강의 베이스라인 성능81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
차이점+5.4+3.5+3.8+3.3
t-검정 p값0.00060.00650.01870.0276
Holm 보정 p*p < 0.01p < 0.05p < 0.05p < 0.05
코헨의 d (Cohen's d)z1.631.110.910.83

표 3: 각 성능 지표에 대해 BrainMoE와 가장 강력한 베이스라인을 비교한 결과. P 값은 양측 짝지은 t-검정(two-sided paired t-tests)을 사용하여 계산되었으며 Holm 방법을 통해 보정되었습니다. Cohen's dz는 표준화된 짝지은 차이를 나타냅니다.

코호트멀티모달 기록 수 (n)질환군 대비 대조군 비율고유 참여자 수 (n)연령 범위 (세)성별 (남성/여성)데이터 획득 기관 (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

표 4: 5가지 질환별 분류 작업에 사용된 연구 코호트의 특성.이 표는 유지된 멀티모달 레코드 수, 질환 대 대조군 비율, 고유 참가자 수, 인구통계학적 특성 및 획득 사이트 분포를 나타냅니다.

하위 그룹번호평균 AUC평균 BA평균 F1 점수평균 정확도
성별
수컷70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
여성39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
차이점+1.6+2.2+2.4+2.9
Welch p-값--0.3210.1920.1590.089
획득 부위
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
스테이튼 아일랜드42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
차이점+2.4+1.6+2.9+3.3
Welch p값--0.1760.3090.0850.055

표 5: 성별 및 획득 사이트별로 계층화한 BrainMoE의 성능. 결과는 5-겹 교차 검증을 10회 반복한 평균 ± 표준 편차로 보고되었습니다. 차이는 첫 번째 하위 그룹에서 두 번째 하위 그룹을 뺀 값이며, P 값은 양측 웰치 t-검정(Welch t-tests)을 사용하여 산출되었습니다.

변이체전체 AUC (곡선 아래 면적)EEG 단독 AUCfMRI 단독 AUC평균 AUC평균 BA
마스크 임베딩 제외83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Conv Router 제외84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP 라우터82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
공유 전문가 제외83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoE 전문가 제외81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (자사 개발)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

표 6: 주요 BrainMoE 구성 요소의 어블레이션 분석. 모달리티 가용성 마스크, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가-융합 설계의 기여도를 보여주는 어블레이션 결과이다. 각 변형 모델은 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론 조건에서 평가되었으며, 평균 AUC와 평균 BA로 전반적인 성능을 요약하였다.

질환EEG: 최상위 ROIEEG: 최빈도, n/N (%)fMRI: 최상위 ROIfMRI: 최상위-1 빈도, n/N (%)우연 수준 (%)
주요 우울 장애 (Major Depressive Disorder)상측측두구의 좌측 연안22/50 (44%)좌측 후대상피질25/50 (50%)1.47
ANX좌측 전중심피질18/50 (36%)우측 주변석회질 피질21/50 (42%)1.47
방사성 동위원소좌측 쐐기엽26/50 (52%)좌측 해마곁피질29/50 (58%)1.47
자폐 스펙트럼 장애(ASD)좌측 설상피질27/50 (54%)우측 삼각부28/50 (56%)1.47
주의력 결핍 과잉 행동 장애 (ADHD)우측 섬엽31/50 (62%)좌측 내후각 피질34/50 (68%)1.47

표 7: 상위 순위 EEG 및 fMRI 기반 ROI의 교차 검증 안정성. Top-1 빈도는 보고된 ROI가 1위로 기록된 50회 수준 분석의 횟수와 백분율을 나타냅니다. 이론적 무작위 선택 기준은 1/68 (1.47%)이었습니다.

보충 파일 1: H5 입력 확인 스크립트. BrainMoE 훈련 전, 필요한 H5 입력 키, 데이터 유형, 진단 레이블 및 DK-atlas 호환 입력 차원을 검증하기 위한 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 2: fMRI 전처리 스크립트. 초기 볼륨 제거, 움직임 및 왜곡 보정, 등록 및 정규화, 성가신 변수 회귀, 시간적 필터링, 공간적 평활화를 포함하여 fMRI 전처리에 사용된 C-PAC 설정 및 실행 파일입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 3: FreeSurfer 처리 스크립트. 구조적 MRI 데이터를 처리하고, Desikan-Killiany 피질 분할을 기본 fMRI 공간에 공동 등록하며, ROI 수준의 fMRI 신호를 추출하기 위한 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 4: EEG 전처리 스크립트. 필터링, 아티팩트 성분 식별 및 제거, 리레퍼런싱(rereferencing)을 포함하여 EEG 전처리에 사용된 MATLAB/EEGLAB 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 5: MNE-Python 소스 국소화 및 특징 추출 스크립트.EEG 소스 국소화, DK-atlas ROI 추출 및 BrainMoE 입력값으로 사용되는 ROI 레벨 EEG 특징 생성을 위한 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 6: BrainMoE 구현 코드. BrainMoE 아키텍처, 그래프 인코더, 모달리티 상태 처리, 전문가 라우팅 및 융합, 모델 훈련, 평가 및 절제 변형을 위한 Python 코드와 설정 파일입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 7: 노드 차단 기여도 분석 코드. 양식별 노드 차단 분석, ROI 기여도 점수 계산, EEG 및 fMRI 유래 ROI 순위 지정 및 기여도 결과 생성을 위한 Python 코드입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

EEG와 fMRI는 신경 활동에 대한 상보적인 정보를 제공하기 때문에, 다중 모달 뇌 신호 분석은 컴퓨터 보조 뇌 질환 진단의 중요한 방향이 되었습니다. 벤치마크 비교에서 SVM 및 MLP와 같은 고전적 머신러닝 방법은 기본적인 진단 성능을 보여주었으나, 계층적, 그래프 구조 및 교차 모달 특징 상호작용을 모델링하는 능력은 제한적이었습니다. 3D-CNN, ResNet, Transformer를 포함한 일반적인 딥러닝 모델은 더 강력한 비선형 모델링 역량을 제공했지만, 이러한 아키텍처들은 EEG-fMRI 융합이나 뇌 네트워크 표현을 위해 특별히 설계된 것은 아니었습니다. 고급 딥러닝 방법들은 대부분의 고전적 및 일반적 모델보다 더 나은 성능을 달성했으나, 여전히 많은 모델이 고정된 특징 통합 전략에 의존했으며 모달리티 특이적 정보와 공유된 신경 상태 정보를 명시적으로 분리하지 못했습니다.

본 연구에서는 그래프 기반 모달리티 인코더, 모달리티별 전문가, 공유 신경 상태 전문가 및 적응형 라우팅 메커니즘을 결합하여 이러한 퓨전 문제를 해결하기 위한 BrainMoE를 제안하였습니다. 이러한 설계를 통해 EEG 유도 표현과 fMRI 유도 표현을 개별적으로 모델링한 후 전문가 수준의 퓨전을 통해 통합할 수 있었습니다. 모달리티 상태 마스크와 누락 모달리티 토큰을 도입함으로써, 각 누락 모달리티 조건에 대해 별도의 모델을 구축하지 않고도 동일하게 학습된 모델로 EEG 전용 및 fMRI 전용 추론을 수행할 수 있었습니다. 실험 결과, BrainMoE는 5가지 이진 질환 분류 작업 전반에서 가장 강력한 종합 성능을 달성했으며, EEG 전용 및 fMRI 전용 상태 모두에서 사용 가능한 수준의 성능을 유지했습니다. 어블레이션 분석을 통해 마스크 임베딩, 합성곱 라우터, 공유 전문가 및 MoE 전문가 퓨전의 기여도가 추가로 입증되었습니다. 이러한 결과는 성능 향상이 단일 구성 요소 때문이 아니라 그래프 인코딩, 모달리티 상태 모델링, 적응형 라우팅 및 전문가 퓨전의 조화로운 설계 덕분임을 나타냅니다.

핵심 프로토콜 단계 및 문제 해결
핵심 프로토콜 단계에는 EEG 및 fMRI 노드와 그래프 행렬 전체에서 동일한 68개 영역의 DK 순서를 유지하는 것, 각 참가자에게 사전 정의된 전처리 설정을 독립적으로 적용하는 것, 그리고 동일한 참가자의 모든 기록이 단일 폴드에 유지되도록 참가자 수준의 교차 검증을 강제하는 것이 포함됩니다. 또한 모달리티 가용성 마스크(Modality Availability Mask)는 각 추론 상태에 대해 제공된 입력값과 일치해야 합니다.

추론에 실패하거나 기대했던 전체 상태 성능 이점이 재현되지 않는 경우, 먼저 필요한 H5 키, EEG 및 fMRI 행렬 차원, DK 영역 순서, 양상 가용성 마스크(Modality Availability Mask) 할당 및 저장된 교차 검증 파티션을 확인하십시오. 키가 누락되었거나, 차원이 잘못되었거나, 영역 순서가 일치하지 않는 파일은 훈련 또는 평가 전에 제외해야 합니다. 두 양상이 일관된 ROI 순서로 매핑되고 해당 모델 입력 차원이 조정된다면, 본 프레임워크를 다른 피질 분할 방식이나 EEG/fMRI 특징 표현으로 수정하여 사용할 수 있습니다. 질환 특이적 분류 헤드 또한 그래프 인코딩 및 전문가 융합 프레임워크를 유지하면서 다른 이진 분류 작업에 맞게 조정될 수 있습니다. 이러한 수정 사항은 본 논문에 보고된 모델을 직접 적용하는 것이 아니라, 재훈련 및 검증 과정을 거쳐야 합니다.

노드 폐쇄 기반 해석 가능성 분석
노드 폐쇄(node-occlusion) 분석을 통해 BrainMoE 예측의 ROI 수준 해석 가능성을 추가로 제공하였으며, 상위 순위의 질환 관련 ROI는 그림 3에 표시되었다. BrainMoE에 의해 식별된 EEG 유래 좌측 후방 ROI는 MDD의 후방 피질 영역에서 내인성 뇌 활동의 변화를 보고한 이전의 복셀 기반 메타 분석23 증거와 일치한다. EEG/fMRI 유래 좌측 중심전 및 우측 설상구 주변 ROI는 불안 장애의 이전 신경 영상 증거와 일치한다. 구체적으로, 피질 두께 메타 분석24에서는 불안 장애 환자의 좌측 중심전이랑에서 피질 두께 증가를 보고하였으며, 사회 불안 장애에 대한 구조적 공분산 네트워크 연구25에서는 우측 설상구 주변 피질을 포함하는 비정상적인 노드 중심성을 보고하였다. 읽기 장애의 경우, EEG 유래 좌측 쐐기엽 ROI는 난독증에서 좌측 쐐기엽 연결성의 변화를 보고한 전뇌 연결성 연구26와 일치하며, fMRI 유래 좌측 해마곁 ROI는 특정 읽기 이해 결핍이 있는 청소년의 비정상적인 해마곁/해마 결합을 보고한 별도의 연구27와 일치한다. 자폐 스펙트럼 장애 작업에서 EEG 유래 기여도로 강조된 좌측 혀두정 ROI는 ASD가 있는 사춘기 전 소년의 좌측 혀두정이랑에서 ReHo가 감소했다는 이전의 휴지기 fMRI 증거28를 반영한다. fMRI 유래 우측 삼각부 ROI 또한 생물학적으로 타당한데, 자폐 아동의 하전두이랑 우측 삼각부에서 ALFF의 변화가 보고되었기 때문이다29. ADHD의 경우, EEG 유래 우측 섬엽 ROI는 ADHD 청소년, 특히 우측 섬엽 단이랑을 포함하여 전방 섬엽 부피가 감소했음을 보여주는 구조적 MRI 증거30와 부합한다. fMRI 유래 좌측 내후각 ROI는 더 세부 유형별 특이적 결과일 수 있는데, 별도의 Psychological Medicine 연구31에서 FDR 보정 후 ADHD-C 하위 그룹의 좌측 내후각 피질 부피가 더 낮았다고 보고하였다. 그럼에도 불구하고 이러한 결과는 지역 간 의존성을 고려하여 해석해야 한다. 상관관계가 있는 ROI 신호는 단일 노드 폐쇄가 개별 지역의 기여도를 완전히 분리하는 것을 방해하여 보수적인 추정치로 이어질 수 있기 때문이다.

한계점 및 향후 방향
내부 성능 추정치를 얻기 위해 반복 5겹 교차 검증을 사용하였으나, 향후 중첩 교차 검증(nested cross-validation)이나 독립적인 외부 검증을 사용하는 연구를 통해 모델 선택의 안정성과 일반화 가능성에 대한 평가를 더욱 강화할 수 있을 것입니다. EEG 전용 및 fMRI 전용 출력물은 완전한 다중 모달 기록에서 한 가지 모달리티를 마스킹하여 생성되었으며 외부 검증 코호트에서 평가되지 않았으므로, 향후 연구에서는 일반화 가능성을 평가하기 위해 외부 단일 모달리티 검증 코호트를 포함해야 합니다. 또 다른 한계점은 건강 대 단일 질환 설계가 공존 질환의 양상을 포착하지 못한다는 점이며, 이는 임상적 일반화 가능성을 제한하므로 향후 다중 레이블 분류 및 감별 진단 연구의 필요성을 시사합니다. 또한 향후 연구에서는 누설 인식 연결성 추정치(leakage-aware connectivity estimators)를 사용하여 소스 레벨 EEG 연관성의 강건성을 평가할 수 있을 것입니다. 공유 DK 분할(shared DK parcellation)은 다중 모달 융합을 위한 해부학적 근거 기반의 인터페이스를 제공하지만, 이는 시간 해상도 및 생리학적 기원의 모달리티별 차이를 완전히 포착하지 못할 수 있는 모델링 가정입니다. 본 연구에서 평가한 5가지 질환 외에도, 이 프레임워크는 해부학적으로 정렬된 다중 모달 뇌 데이터를 포함하는 다른 신경학적 또는 정신과적 분류 작업에 적용될 수 있으며, 다중 레이블 또는 감별 진단 응용 분야로 확장될 수 있습니다.

결론
요약하자면, BrainMoE는 뇌 질환의 컴퓨터 보조 진단을 위한 EEG-fMRI 융합의 실용적이고 해석 가능한 프레임워크를 제공합니다. 이 모델의 주요 장점은 다중 전문가 아키텍처와 양식별 정보 및 공유 정보의 균형을 동적으로 조절하는 소프트 라우팅 메커니즘을 통해 구현된 적응형 다중 양식 특징 통합에 있습니다. 또한, 양식 상태 마스크와 누락 양식 토큰을 원활하게 통합함으로써, 동일하게 훈련된 모델이 별도의 설정 없이도 불완전한 양식 추론 중에 견고한 성능을 달성합니다. 결정적으로, 이 해석 가능한 프레임워크는 다섯 가지 서로 다른 뇌 질환에 대해 투명한 그룹 수준의 영역별 기여 경로를 제공하여, 기존의 블랙박스 아키텍처를 생리학적 정보에 기반한 컴퓨터 보조 진단 도구로 변화시켰습니다. 이는 이질적인 데이터 소스, 불완전한 양식 가용성 및 설명 가능한 모델 출력이 모두 핵심 고려 사항인 향후 계산 신경 영상 워크플로우에 있어 중요합니다.

공개 사항

저자들은 이해관계의 충돌이 없음을 선언합니다. 저자들은 이 원고의 작성, 코드 작성, 데이터 분석 또는 차트 생성 과정에서 생성형 인공지능 도구를 사용하지 않았음을 선언합니다.

감사의 글

본 연구는 중국 국가자연과학基金(National Natural Science Foundation of China)의 Grant No. 62433002, 62277001 및 U25A20446, 베이징시 기관 고수준 혁신팀 구축 및 지원 프로젝트(Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions)의 Grant No. BPHR20220104, 그리고 베이징 학자 프로그램(Beijing Scholars Program)의 Grant No. 099의 지원을 받아 수행되었습니다.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
BashGNU 프로젝트5.1.16(1)-출시소프트웨어
C-PACFCP-INDI버전 1.8.7; 컨테이너 태그 release-v1.8.7.dev1소프트웨어
CUDA 툴킷NVIDIA Corporation버전 12.4소프트웨어
CUDA 호환 GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPU장비
Desikan-Killiany 피질 지도FreeSurfer, 매사추세츠 종합병원 Athinoula A. Martinos 생의학 영상 센터aparc; 68개 피질 영역 (RRID:SCR_001847)아틀라스/리소스
EEGLAB캘리포니아 대학교 샌디에이고 캠퍼스, Swartz 계산신경과학 센터버전 2022.1 (RRID:SCR_007292)소프트웨어
FreeSurfer매사추세츠 종합병원, Athinoula A. Martinos 생의학 영상 센터버전 7.4.1 (RRID:SCR_001847)소프트웨어
FSL옥스퍼드 대학교 FMRIBC-PAC 1.8.7에 포함됨; 정확한 버전은 명시되지 않음 (RRID:SCR_002823)소프트웨어
Healthy Brain Network (HBN) 데이터셋차일드 마인드 연구소(Child Mind Institute)RRID:SCR_016989데이터 세트
MATLABMathWorksR2022a (RRID:SCR_001622)소프트웨어
MNE-PythonMNE-Python 개발 팀버전 1.9 (RRID:SCR_005972)소프트웨어/라이브러리
파이썬Python Software Foundation버전 3.12.4 (RRID:SCR_008394)소프트웨어
PyTorchPyTorch 재단버전 2.6.0+cu124 (RRID:SCR_018536)라이브러리

참고문헌

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

재인쇄 및 허가

태그

EEG-fMRI 융합다중모드 뇌 영상컴퓨터 보조 진단그래프 인코더ROI 기여도 맵신경 상태 전문가모달리티 상태 마스크노드 폐쇄 분석

이 논문이 게재되었습니다

동영상 곧 제공

문의하기
도서관에 추천하기

개인정보 처리방침

이용 약관

정책

저작권 © 2026 MyJoVE Corporation. 모든 권리 보유.