방법 논문

해석 가능한 컴퓨터 보조 뇌 질환 진단을 위한 전문가 혼합 뇌전도-기능적 자기공명영상 융합 기법

89 조회수

⸱

DOI:

10.3791/73432

⸱

2026년 9월 25일

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

이 논문에서

요약

본 프로토콜에서는 뇌 질환의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 뇌파-기능적 자기공명영상(Electroencephalography-functional magnetic resonance imaging) 융합 프레임워크인 Brain Mixture-of-Experts를 제시합니다. 이 방법은 모달리티 특이적 전문가, 공유 신경 상태 전문가 및 적응형 라우팅을 통해 이질적인 EEG 및 fMRI 표현을 통합하며, 시뮬레이션된 모달리티 누락 조건 하에서도 해석 가능성과 추론 능력을 유지합니다.

초록

뇌전도(EEG)와 기능적 자기공명영상(fMRI)은 뇌 기능에 대한 상호 보완적인 정보를 제공하며, 다양한 뇌 질환의 기능적 이상을 탐지하는 데 상당한 가능성을 보여주었습니다. 하지만 EEG와 fMRI의 뚜렷한 신호 특성과 서로 다른 표현 공간은 효과적인 다중 모달 융합에 심각한 어려움을 초래하며, 이로 인해 기존의 고정된 모델로는 뇌 질환의 정확한 컴퓨터 보조 진단이 제한되었습니다. 본 연구에서는 모달리티별 전문가, 공유 신경 상태 전문가 및 적응형 라우팅 메커니즘을 통해 다중 모달 뇌 특징을 통합하는 뇌 질환 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 EEG-fMRI 융합 프레임워크인 Brain Mixture-of-Experts (BrainMoE)를 제시합니다. BrainMoE는 먼저 EEG와 fMRI 신호를 통합된 Desikan-Killiany (DK) 아틀라스 관심 영역(ROI) 공간으로 투영한 후, 그래프 인코더를 사용하여 모달리티별 뇌 네트워크 표현을 추출합니다. 소프트 라우팅 모듈은 라우팅 표현을 생성하며, 융합 모듈의 전문가 게이트(Expert Gate)는 EEG, fMRI 및 공유 신경 상태 전문가 표현을 결합하기 위한 샘플별 가중치를 생성합니다. 불완전한 데이터 획득 시나리오를 처리하기 위해 모달리티 상태 마스크와 누락 모달리티 토큰이 포함되어, 동일한 훈련 모델로 전체 EEG-fMRI, EEG 전용, fMRI 전용 추론을 수행할 수 있습니다. 마지막으로, 노드 가림 분석(node-occlusion analysis)을 통해 EEG 및 fMRI 유도 예측 모두에 대한 ROI 수준의 기여도 맵을 제공합니다. 이 프레임워크는 Healthy Brain Network (HBN) 데이터셋을 사용하여 주요 우울 장애, 불안 장애, 읽기 장애, 자폐 스펙트럼 장애, 주의력 결핍 과잉 행동 장애를 포함한 5가지 이진 뇌 질환 분류 작업에 대해 평가되었습니다. BrainMoE는 최신 비교 알고리즘보다 우수한 성능을 보이며 평균 AUC 86.9 ± 3.0%를 달성했으며, 절제 실험(ablation experiments)을 통해 라우팅 및 전문가 융합 구성 요소의 기여도를 확인하였습니다. 또한, 해석 가능성 분석을 통해 기존에 보고된 신경 영상 결과와 일치하는 질환 분류에 대한 그룹 수준의 ROI 기여도를 식별하였습니다. 이 방법은 해석 가능성과 모의 누락 모달리티 조건에서의 추론 능력을 유지하면서, 이질적인 EEG-fMRI 신경 표현 통합 문제를 해결함으로써 뇌 질환의 컴퓨터 보조 진단을 지원합니다.

서론

뇌 질환은 단일 영상 기법만으로는 특성화하기 어려운 신경 활동 및 뇌 네트워크 조직의 복잡한 변화를 수반합니다1. 소스 재구성(source reconstruction)2 후의 EEG는 영역 수준의 전기생리학적(EEG) 활동을 제공하는 반면, 기능적 자기공명영상(fMRI)은 영역 수준의 기능적 연결성을 포착하여 뇌 기능에 대한 상호 보완적인 관점을 제공합니다. 이러한 통합을 용이하게 하기 위해, 이전의 다중 모달 연구들은 두 모달리티를 68개 영역의 Desikan-Killiany (DK) 아틀라스3에 매핑하였습니다. 이러한 공간적 대응이 시간 해상도나 생리학적 기원의 동일함을 의미하지는 않지만, 모달리티별 정보를 보존하는 동시에 노드 수준의 그래프 융합, 고정된 그래프 차원 및 일관된 관심 영역(ROI) 수준의 해석을 위한 통합된 해부학적 인덱스를 제공합니다. 이렇게 해부학적으로 정렬되었으면서도 모달리티별 특성을 가진 표현들을 통합하면 질환 관련 뇌 신호 표현을 풍부하게 할 수 있으며, 컴퓨터 보조 뇌 질환 진단을 지원할 수 있습니다3,4.

뇌 질환의 컴퓨터 보조 진단을 위한 EEG-fMRI 융합의 잠재력에도 불구하고, 두 모달리티 간의 이질성은 효과적인 통합을 위한 기술적 과제가 되고 있습니다. SVM 및 MLP와 같은 고전적인 머신러닝 방법은 기본 분류 모델을 제공할 수 있지만, 비선형적인 교차 모달리티 상호작용을 포착하는 능력에는 한계가 있습니다. GNN5, ResNet6, Transformer7 아키텍처를 포함한 일반적인 딥러닝 모델은 더 강력한 표현 학습을 제공하지만, ROI 수준의 뇌 그래프나 모달리티 상태 모델링을 위해 특별히 설계되지는 않았습니다. 최근의 발전된 모델들3,8,9은 뇌 네트워크를 더 잘 모델링하기 위해 비선형 복잡성을 높였습니다. BrainNetCNN8은 합성곱 연산을 뇌 연결 행렬에 적응시키기 위해 도입되었으며, BrainGNN9은 그래프 신경망과 풀링을 사용하여 ROI 수준의 그래프 위상을 추가로 모델링했고, BNT10는 이후 트랜스포머 기반의 다단계 어텐션을 통해 기능적 뇌 네트워크 분석을 강화했습니다. 그러나 이러한 발전은 여전히 주로 단일 모달리티 설정으로 개발되었습니다. 이후 MultiEpilepsyNet11은 연합 하이브리드 프레임워크를 통해 EEG-MRI 발작 검출로 멀티모달 학습을 확장했으며, 해당 모델의 MRI 측 EpiSkullNet++ 모듈은 뇌 분할 및 전처리를 개선했습니다. 이어서 SZAtt-Net12은 CNN, BiGRU 및 MLP 블록을 채널, 셀프, 공간 및 시간 어텐션 메커니즘과 결합하여 멀티모달 조현병 분류 모델을 개발했습니다. 하지만 이러한 방법들은 특정 작업에 국한되어 있었고, 전체 모달리티 및 누락된 모달리티 상태 전반에 걸친 적응형 라우팅을 명시적으로 지원하지 않은 채 상대적으로 고정된 융합 설계에 의존했습니다.

전문가 혼합(Mixture-of-Experts, MoE) 모델13,14은 이질적인 정보원을 전문화된 전문가 모듈에서 처리하고 라우팅 메커니즘을 통해 동적으로 결합할 수 있기 때문에 멀티모달 학습에 점점 더 많이 채택되고 있습니다. Softmax 게이팅은 입력에 따른 정규화된 전문가 가중치를 제공하며, 이는 수렴 속도 관점에서 이론적으로 규명되었습니다15. 관련 멀티 게이트 아키텍처는 대규모 멀티태스크 학습에서 개별 게이트가 공유 전문가의 작업 의존적 조합을 학습할 수 있음을 추가로 입증했습니다16. 신경과학 연구 및 뇌 연구에서 MoE 변형 모델들17,18,19은 이질적인 특징 융합을 촉진하기 위해 점점 더 많이 사용되어 왔습니다. dFCExpert17는 모듈성과 상태 기반 전문가를 사용하여 fMRI의 동적 기능적 연결 패턴을 모델링했습니다. EvoMoE18는 게이팅 네트워크를 사용하여 사용자 독립적인 SSVEP-EEG 분류에 적합한 전문가를 선택하는 방식을 추가로 도입했습니다. NeuroMoE++19는 신경 질환 분류를 위한 환자 적응형 멀티모달 융합을 탐구했습니다. 이러한 성공에도 불구하고, 이 모델들은 일반적으로 교차 모달 신경 상태의 고도로 동기화된 특성을 무시하는 거친 입도의 혼합 및 이산적 라우팅에 의존하며, 이는 뇌 질환 진단에 결정적인 미세하지만 유용한 패턴의 검출을 방해합니다. 또한, 통합된 공유 신경 상태에서 모달리티별 뉘앙스를 분리하는 전용 메커니즘이 없기 때문에, 이러한 모델들은 해석력이 제한적이며 핵심 모달리티(fMRI 또는 EEG)가 누락되었을 때 성능 저하가 발생합니다.

이러한 한계를 해결하기 위해, 본 연구에서는 주요 우울 장애(MDD), 불안 장애(ANX), 읽기 장애를 동반한 특정 학습 장애(RI), 자폐 스펙트럼 장애(ASD), 주의력 결핍 과잉 행동 장애(ADHD)를 포함한 5가지 뇌 질환 범주의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 EEG-fMRI 융합 프레임워크인 Brain Mixture-of-Experts (BrainMoE)를 제시합니다. 이 프로토콜은 먼저 소스 재구성된 EEG 및 fMRI 특징을 DK-atlas20 ROI 공간에 정렬한 다음, 두 모달리티 모두에 대해 그래프 기반 모달리티 표현을 구축합니다. BrainMoE는 EEG 전문가, fMRI 전문가 및 공유 신경 상태 전문가를 사용하며, 이들은 소프트 라우팅 모듈에 의해 통합되어 모달리티 특이적 정보와 공유 정보를 결합합니다. 모달리티 상태 마스크와 누락 모달리티 토큰을 통합하여, 단일 학습 모델 내에서 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론이 가능하도록 하였습니다. 생물학적 해석 가능성을 지원하기 위해, 본 프로토콜은 각 DK-atlas ROI를 선택적으로 마스킹하고 그 결과로 나타나는 질환 예측 확률의 변화를 통해 EEG 및 fMRI 유래 지역별 기여도를 추정하는 노드 폐쇄 분석(node-occlusion analysis)을 추가로 적용합니다. 본 프로토콜은 데이터 정렬, 모델 구축, 학습, 평가 및 노드 폐쇄 기반 ROI 해석을 위한 전체 워크플로를 설명하며, 이질적인 EEG-fMRI 뇌 신호 융합을 통해 뇌 질환의 컴퓨터 보조 진단을 위한 적응형 및 해석 가능한 전략을 제공합니다. 재현성과 향후 확장을 용이하게 하기 위해, 공개 GitHub 저장소에서 BrainMoE 모델, 학습 및 평가 코드를 제공하며, EEG 및 fMRI 전처리는 공개적으로 사용 가능한 제3자 소프트웨어를 사용하여 수행되었습니다. 해당 저장소는 https://github.com/zhongruizhe123/BrainMoE에서 이용 가능합니다.

프로토콜

본 연구에서는 Healthy Brain Network (HBN) 데이터베이스21의 비식별 데이터를 사용하였으며, 후속 진단 분류 작업을 위해 다섯 가지의 서로 다른 임상 질환에 집중하였습니다. 윤리적 승인 및 서면 동의서는 HBN 이니셔티브가 모든 참여 기관 및 피험자로부터 사전에 확보하였습니다. EEG 및 fMRI 기록은 동시에 측정하지 않고 별도의 세션에서 획득하였으며, HBN에서 제공하는 참여자 및 세션 식별자를 사용하여 매칭하였습니다.

1. 계산 환경 및 입력 데이터 준비

  1. 계산 환경 구성
    1. Python 3.12.4 가상 환경을 생성하고 활성화합니다: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. 공개 GitHub 저장소에서 제공된 requirements.txt 파일을 사용하여 필요한 패키지와 해당 고정 버전을 설치합니다: pip install -r requirements.txt
    3. 학습 전 PyTorch 및 CUDA 구성을 확인합니다: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." 출력 결과가 PyTorch 2.6.0+cu124, CUDA 12.4이며 CUDA 사용 가능 여부가 True인지 확인합니다. CUDA 호환 GPU를 사용하여 모델 학습을 수행합니다.
  2. 모델 학습 전 모든 H5 입력 파일을 검사합니다.
    1. 각 파일에 EEG 노드 특성을 위한 sLORETA_mean_func, EEG 그래프를 위한 sLORETA_mean_CorrMatrix, fMRI 노드 특성을 위한 fMRI-DK68-node-mat, fMRI 그래프를 위한 fMRI-DK68-edge-mat, 그리고 진단을 위한 label이 포함되어 있는지 확인합니다. 키가 누락되었거나, 숫자가 아닌 항목이 있거나, 레이블이 유효하지 않거나, 68개 영역의 Desikan-Killiany atlas와 차원이 일치하지 않는 파일은 제외합니다. 다음과 같이 H5 입력 확인 스크립트를 실행합니다: python checkH5.py (부록 파일 1).

2. EEG 및 fMRI 특징을 공유 해부학적 공간으로 정렬하기

  1. fMRI 데이터 전처리.
    1. C-PAC(버전 1.8.7)를 사용하여 fMRI 데이터를 처리한다. 다음과 같이 C-PAC 전처리 스크립트를 실행한다: bash run_cpac_brainmoe.sh (보충 자료 2). 초기 비정상 상태(non-steady-state) 신호 효과를 줄이기 위해 처음 5개 볼륨을 제거한다.
    2. 슬라이스 타이밍 보정(slice-timing correction), 모션 보정(motion correction), 왜곡 보정(distortion correction), 등록(registration), MNI152 해부학적 공간으로의 정규화(normalization) 및 공간적 평활화(spatial smoothing)를 수행한다. 24개의 모션 관련 뉘전스 파라미터(nuisance parameters)를 회귀 분석하여 제거한다.
    3. 0.01-0.08 Hz에서 시간적 밴드패스 필터링(temporal band-pass filtering)을 적용한다.
  2. 아틀라스 정렬 fMRI 특징 생성.
    1. FreeSurfer(버전 7.4.1)를 사용하여 해당 구조적 MRI를 처리한다. 다음과 같이 스크립트를 실행한다: bash Step01_mgz_2_nifti.sh. 결과로 얻은 Desikan-Killiany 피질 분할(cortical parcellation)을 피험자의 고유 fMRI 공간에 공동 등록(coregister)한다. 다음과 같이 스크립트를 실행한다: python Step02_CoRegistration.py. 68개 피질 영역 각각의 평균 복셀 단위 신호를 계산한다. 다음과 같이 스크립트를 실행한다: python Step03_fMRI_Signal_Extraction.py (보충 자료 3).
    2. 시간적 패딩 없이 연속적인 370개의 fMRI 시점(time points)을 유지하여 68 x 370 크기의 fMRI 노드 특징 행렬을 얻는다. 여기서 68은 DK 피질 영역을, 370은 유지된 fMRI 시점을 나타낸다.
  3. fMRI 그래프 구축.
    1. 68개 DK 영역의 370개 지점 시계열 간의 피어슨 상관계수(Pearson correlations)를 계산한다. 결과로 나온 68 x 68 기능적 연결성 행렬을 fMRI 엣지 행렬로 저장한다.
  4. EEG 데이터 전처리.
    1. MATLAB(버전 R2022a)의 EEGLAB 툴박스(버전 2022.1)를 사용하여 129채널 EEG 기록을 처리한다. 다음과 같이 두 개의 EEGLAB 전처리 스크립트를 순차적으로 실행한다: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (보충 자료 4). 500 Hz 샘플링 속도를 유지하고 0.2–40 Hz 밴드패스 필터를 적용한다. 노이즈 세그먼트와 결함 전극을 식별하고, 인접 전극의 평균 신호를 사용하여 불량 채널을 보간(interpolate)한다.
    2. ICLabel 플러그인을 사용한 독립 성분 분석(independent component analysis)으로 독립 성분을 분류한다. 안구 또는 근육 아티팩트 분류 확률이 0.90보다 큰 성분을 제거한다. 평균 재참조(average re-referencing)를 적용한다. 전처리 및 아티팩트 제거 후 사용 가능한 데이터가 250 s 미만인 기록은 제외한다.
  5. 아틀라스 정렬 EEG 특징 생성.
    1. 각 피험자의 구조적 MRI로부터 개별화된 3층 경계 요소법(Boundary Element Method, BEM) 머리 모델을 구축한다. 각 피험자의 개별 피질 표면에 소스 공간(source space)을 정의한다. EEG 전극 위치를 BEM 표면에 등록하고 리드 필드 행렬(lead-field matrix)을 계산한다.
    2. 기준 노이즈 공분산 행렬을 사용하여 정규화된 역 연산자(inverse operator)를 적용한다. 신호 대 잡음비(SNR)를 3.0으로 설정하여 λ2 = 1/SNR2 = 1/9 (약 0.1111)가 되게 하고, MNE-Python(버전 1.9)에 구현된 표준화 저해상도 전자기 토모그래피(sLORETA)를 사용하여 소스 국소화(source localization)를 수행한다.
    3. 산술 평균을 통해 각 Desikan-Killiany 구획 내의 정점 단위(vertex-wise) 소스 추정치를 합산하여 68개의 ROI 수준 시계열을 얻는다. 처음의 연속적인 250 s 세그먼트를 유지하고, 각 ROI 시계열을 250개의 연속적이고 겹치지 않는 1 s 에포크(epoch)로 나눈다.
    4. 각 에포크 내에서 8–12 Hz의 알파 밴드 전력을 계산하여 68 x 250 크기의 EEG 노드 특징 행렬을 얻는다. 여기서 68은 DK 피질 영역을, 250은 250개의 연속적이고 겹치지 않는 1 s 에포크를 나타낸다.
  6. EEG 그래프 구축 및 교차 모달 정렬 검증.
    1. 68개 DK 영역의 250개 에포크 8–12 Hz 알파 전력 시계열 간의 피어슨 상관계수를 계산한다. 결과로 나온 68 x 68 행렬을 EEG 그래프로 저장한다.
    2. EEG와 fMRI 행렬이 동일한 DK 영역 순서를 사용하는지 확인하고, 모델 입력, 속성 부여 및 시각화를 위해 동일한 DK 영역 인덱스 파일을 사용한다. 다음과 같이 MNE-Python 소스 국소화 및 특징 추출 스크립트를 실행한다: python "Extract features - templates.py" (보충 자료 5).
  7. 각 샘플 내 노드 특징 정규화.
    1. EEG 및 fMRI 노드 특징 행렬에 노드별 z-점수 정규화(z-score normalization)를 적용한다. 그래프 행렬은 연결성 입력으로 유지하고, BrainMoE 모델 내부에서 그래프 정규화를 적용한다.
    2. 교차 검증 폴드(cross-validation folds)의 정보를 사용하여 전처리 파라미터를 결정하지 않고, 고정된 설정을 사용하여 각 피험자에 대해 EEG 및 fMRI 전처리를 독립적으로 수행한다.

3. 질환 특이적 이진 분류 작업 구축

  1. 5가지 질환별 이진 분류 태스크를 정의한다.
    1. 모든 태스크에서 건강 대조군(HC)을 클래스 0으로 인코딩하고, 각 태스크 내에서 선택된 질환 그룹만을 클래스 1로 인코딩한다.
    2. 우울증, 불안 장애, 특정 학습 장애 및 읽기 장애를 동반한 신경발달 장애, 자폐 스펙트럼 장애, 주의력 결핍 과잉 행동 장애에 대해 각각 건강 대조군 대 질환군 태스크를 구성한다.
  2. 연구 코호트의 특성을 정의하고 성별 및 데이터 획득 사이트의 잠재적 영향을 조사한다.
    1. 각 질환별 태스크에 대해, 완전한 EEG, fMRI 및 구조적 자기공명영상(sMRI) 데이터와 유효한 진단 라벨을 가진 HBN 참가자를 포함시킨다. 질환 양성 코호트에서 동반 진단이 있는 참가자는 제외한다. 전처리 및 아티팩트 제거 후 가용 데이터가 250 s 미만인 EEG 기록은 제외하고, 섹션 1.2에 기술된 품질 관리 기준을 통과한 입력 파일만 유지한다.
    2. 공통 HC 코호트와 각 질환 코호트에 대해 유지된 멀티모달 기록 수 및 고유 참가자 수, 질환 대 대조군 비율, 연령 범위, 성별 분포 및 획득 사이트 분포를 표 4에 요약한다.
      참고: 동일한 HC 코호트가 5가지 모든 태스크의 클래스 0으로 재사용되었으므로, 태스크 수준의 성능 추정치는 통계적으로 독립적이지 않다. 이러한 의존성은 질환 그룹의 중복이 아니라 공유된 HC 코호트로 인해 발생한다.
    3. 성별 및 획득 사이트별로 성능을 층화하고, 반복된 5-겹 교차 검증 실행 간에 양측 Welch t-검정을 사용하여 결과 값을 비교한다.
  3. 태스크별 H5 파일을 선택하고 교차 검증 분할을 정의한다.
    1. 각 태스크에 대해 HC와 대상 질환 그룹만 유지한다. 참가자 수준에서 5-겹 교차 검증을 10회 반복 생성한다. 폴드 간의 클래스 분포를 유지하기 위해 이진 클래스 라벨(HC 대 대상 질환)에 따라 고유 참가자를 층화한다.
    2. 고유 참가자 식별자를 그룹화 변수로 사용하여 동일한 참가자의 모든 세션과 멀티모달 기록을 동일한 폴드에 할당한다. 10회의 반복 교차 검증 파티션을 생성하기 위해 각각 랜덤 시드 1–10을 사용한다. 모델 초기화 및 학습에는 고정 랜덤 시드 1을 사용한다.
    3. 홀드아웃 폴드는 최종 평가 전용으로 예약하고, 각 폴드의 참가자 식별자, 파일 목록 및 파티션 인덱스를 해당 체크포인트와 함께 저장한다. 각 학습 폴드에 대해 학습 라벨로부터 클래스 가중치를 계산하고, 이를 교차 엔트로피 손실 함수에 적용하여 클래스 불균형으로 인한 편향을 줄인다.

4. 컴퓨터 보조 뇌 질환 진단을 위한 BrainMoE 아키텍처 구축

참고: BrainMoE 아키텍처는 그래프 인코더, 공유 신경 상태 소프트 라우팅, 전문가 기반 특징 통합을 결합하여 질환별 이진 진단을 수행하는 컴팩트한 결측 모달리티 EEG-fMRI 융합 프레임워크로 설계되었습니다. 전체 아키텍처는 다음에서 확인할 수 있습니다. 그림 1, 그리고 구현 코드는 다음에서 제공됩니다. 보충 파일 6.

  1. BrainMoE 입력 및 모달리티 상태를 정의하십시오. 소스 공간 정렬 후의 EEG 모달리티와 fMRI 모달리티를 쌍을 이룬 그래프 입력값으로 사용하십시오. 여기서 X는 지역 특징 행렬을, A는 모달리티 특이적 뇌 그래프를 나타내며, 각 행은 68개 Desikan-Killiany 영역 중 하나에 해당합니다.
    정적 평형, ΣFx=0, 수학적 행렬 표현, 균형 분석 방정식.
    MRI 데이터 방정식, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), 행렬 표현식
    양상 가용성 마스크를 m = [ 로 정의합니다.m뇌파검사, m기능적 자기공명영상]. 전체 EEG-fMRI 입력에는 m = [1,1], EEG 전용 입력에는 m = [1,0], 그리고 fMRI 전용 입력에는 m = [0,1]을 사용하십시오.
  2. 그래프 인코더: EEG 또는 fMRI인 각 모달리티 q에 대해, 특징 행렬을 전달함 Xq 및 그래프 A질문 모달리티 특이적 그래프 인코더로 입력됩니다. 이 인코더는 노드 투영, 그래프 메시지 전달, 정규화, 활성화 및 드롭아웃(p=0.3)을 포함하는 학습 가능한 신경 모듈입니다.
    EEG, fMRI 파라미터와의 신경학적 데이터 통합을 위한 그래프 인코딩 방정식.
    참고: 이 표기법에서, Zq ROI 수준의 잠재 표현은 EEG 그래프 인코더 또는 fMRI 그래프 인코더에 의해 생성됩니다. EEG 그래프 인코더는 각 68 x 250 입력 행렬을 68 x 128 잠재 표현으로 매핑하며, fMRI 그래프 인코더는 각 68 x 370 입력 행렬을 68 x 128 잠재 표현으로 매핑합니다. 각 인코더는 입력 투영 후 128개의 은닉 차원, GELU 활성화 함수, 레이어 정규화 및 드롭아웃이 포함된 두 개의 잔차 그래프 컨볼루션 층을 사용합니다.
  3. 학습 가능한 결측 모달리티 토큰: Let Tq 양식 q와 이에 대한 토큰이 되십시오 mq 해당 가용성 지표가 됩니다. 이 단계에서는 전체 입력 및 단일 모달리티 입력 하에서도 동일한 68개 영역 레이아웃을 유지하는 상태 인식 표현을 생성합니다.
    신경 데이터 융합 도표의 방정식; 가중치 계수를 이용한 EEG, fMRI 분석 통합 공식.
    참고: 학습 가능한 각 결측 모달리티 토큰은 128차원 벡터이며, 해당 모달리티를 사용할 수 없는 경우 68개의 ROI 행에 걸쳐 확장됩니다.
  4. 공유 신경 상태 소프트 라우팅 모듈: 먼저, 상태 인식 EEG 표현을 결합하십시오 Z뇌파검사, 상태 인식 fMRI 표현 Z기능적 자기공명영상, 그리고 내장된 모달리티 가용성 마스크(Modality Availability Mask)입니다. 모달리티 가용성 마스크는 2 → 128 차원의 MLP, GELU 활성화 함수 및 층 정규화(layer normalization)를 통해 내장됩니다. 라우터(Router)는 채널 차원이 384 → 128 → 128이고 커널 크기가 3이며 패딩이 1인 두 개의 1차원 합성곱 층으로 구성됩니다. 각 합성곱 이후에는 GELU 활성화 함수가 적용되며, 첫 번째 합성곱 이후에는 드롭아웃(p=0.3)이 적용됩니다.
    다층 퍼셉트론 분석에서 EEG 및 MRI 데이터를 결합하기 위한 수학 방정식.
    정적 평형 표기법 Π=Router(U); 수학 공식 시각화.
  5. 공유 신경 상태 전문가
    1. 상태 인식 EEG 표현을 연결하십시오. Z뇌파검사, 상태 인식 fMRI 표현 Z기능적 자기공명영상, 그리고 소프트 라우팅 표현 R 특징 차원을 따라 적용합니다. 완전 연결 융합 층(384에서 128로)을 적용한 후, 층 정규화, GELU 활성화 및 드롭아웃(p=0.3)을 수행하고, 결과 표현을 68개 ROI에 대해 평균 풀링하여 128차원의 피험자 수준 융합 표현을 얻습니다. z융합된:
      수식: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); 데이터 통합 방법 다이어그램.
    2. 통과 z융합된 완전 연결 층(128에서 128), 층 정규화, GELU 활성화 및 드롭아웃(p=0.3)으로 구성된 공유 신경 상태 전문가를 통해 전달하며, 그 결과로 생성된 128차원의 공유 전문가 표현을 다음과 같이 나타냅니다. E공유됨:
      공유 전문가 변환 식, E_shared = SharedExpert(z_user).
  6. EEG 및 fMRI 전문가.
    1. 각 모달리티에 대해, 68개 ROI 전반에 걸쳐 상태 인식 표현(state-aware representation)의 평균 풀링(mean-pool)을 수행하고, 결과로 나온 128차원 표현을 해당 모달리티 전용 전문가(Expert) 네트워크에 통과시킵니다.
      EEG, fMRI 데이터 분석; 방정식; Expert_q(MeanPool(Z_q)); 신경과학, 뇌 연구
    2. 각 양식별 전문가(Expert)는 완전 연결 계층(128에서 128), 계층 정규화, GELU 활성화 함수 및 드롭아웃(p=0.3)으로 구성됩니다. 결과로 생성된 128차원의 양식별 전문가 표현을 다음과 같이 표시합니다. E뇌파 검사 그리고 E기능적 자기공명영상각각.
  7. 퓨즈 모듈
    1. 전문가 가중치를 계산하기 위해, 128차원의 피험자 수준 융합 표현을 연결하십시오. z융합된 2차원 양상 가용성 마스크를 사용하여 m, 이를 통해 130차원의 게이트 입력이 생성됩니다. 퓨즈 모듈(Fuse Module)에는 전문가 융합에 사용되는 샘플별 가중치를 생성하는 전문가 게이트(Expert Gate)가 포함되어 있습니다. 전문가 게이트는 완전 연결 층(130에서 128로)과 그 뒤를 잇는 GELU 활성화 함수, 드롭아웃(p = 0.3), 그리고 출력 완전 연결층(128에서 3으로)을 구성한다. 세 개의 출력 로짓에 소프트맥스(softmax)를 적용하여 샘플별 전문가 가중치를 구한다:딥러닝 공식 도식; 소프트맥스 함수; 신경망 방정식; 알고리즘 개념.
    2. 결과로 도출된 가중치는 비음수이며, 각 표본에 대해 합계가 1이 됩니다.
      뇌 영상 분석을 위한 가중치 분포 방정식, W_EEG + W_fMRI + W_shared = 1.
    3. 각 128차원 전문가 표현에 대응하는 게이트 가중치를 곱하고, 가중치가 적용된 세 개의 표현을 합산하십시오.
      정적 평형 방정식, 공식: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      참고: 이 작업은 조밀한 소프트 MoE 융합을 구현합니다.
    4. 결과로 도출된 128차원의 최종 전문가 표현을 전달하십시오. e융합된 섹션 4.8에 기술된 뇌 질환 진단 분류 헤드까지.
  8. 뇌 질환 진단 분류 헤드: 층 정규화와 드롭아웃으로 구성된 분류 헤드에 128차원의 최종 전문가 표현을 통과시킵니다 (p = 0.3) 및 128차원을 2개의 출력 로짓으로 매핑하는 완전 연결 층을 구성한다. 소프트맥스를 적용하여 HC 확률과 표적 질환 확률을 구한다. 표적 질환 확률이 0.5 이상인 경우 해당 샘플을 질환 클래스로 할당한다.
    Softmax 분류 방정식, 머신러닝의 신경망 출력 예측 식.
  9. 훈련 전 구현 일관성을 검증하십시오. m = [1,1], m = [1,0], m = [0,1] 조건에서 드라이 포워드 패스(dry forward pass)를 실행하십시오. 명시적으로 풀링되지 않는 한 EEG, fMRI, 상태 인식(state-aware), 라우팅 및 융합 표현이 68개의 ROI 행을 유지하는지 확인하고, 전문가 가중치의 합이 EEG 전문가, fMRI 전문가, 공유 신경 상태 전문가 순으로 1이 되는지 확인하십시오.

5. 뇌 질환 진단을 위한 5가지 BrainMoE 모델 학습

  1. 각 질환별 이진 분류 작업에 대해 하나의 BrainMoE 모델을 학습시킵니다.
    1. 모든 작업에 동일한 아키텍처와 기본 하이퍼파라미터를 사용합니다: 30 epoch, batch size 16, learning rate 0.001, weight decay 0.0001. 모델 아키텍처와 하이퍼파라미터를 테스트 폴드 평가 전에 고정하고, 모든 폴드, 반복 및 질환별 작업 전반에 걸쳐 변경 없이 유지합니다.
    2. 모델 선택이나 하이퍼파라미터 튜닝에 홀드아웃 테스트 폴드 성능을 사용하지 마십시오. 각 미니 배치에 대해 공유 모델 가중치를 사용하여 전체, EEG 전용 및 fMRI 전용 마스크로 세 번의 순전파를 실행합니다. BrainMoE 학습을 다음과 같이 실행합니다: python train.py --config configs/brain_moe.json --task --data_dir (보조 파일 6). 를 depression, anxiety, reading_disorder, autism 또는 adhd로 설정하십시오.
  2. 평균화된 3개 상태 분류 손실을 최적화합니다. 각 상태에 대한 클래스 가중치 교차 엔트로피 손실 Ls를 다음과 같이 계산합니다.
    신경과학의 정적 평형 공식; 다중 모드 뇌 데이터 통합 방법을 묘사하는 방정식.
    그리고 손실의 평균을 다음과 같이 구합니다.
    훈련 손실 방정식 L_train=(L_full+L_EEG-only+L_MRI-only)/3; 연구 방정식.
  3. 그래디언트를 초기화하고, 역전파를 수행하며, AdamW를 사용하여 모든 학습 가능 파라미터를 업데이트합니다.

6. 전체 및 일부 양상 누락 추론 상태 평가

  1. 평가 방법: 선택한 질환 작업에 대한 체크포인트를 로드하고, 해당 체크포인트에서 저장된 테스트 파일 목록을 사용한다. 전체 EEG-fMRI 추론의 경우 m = [1,1], EEG 전용 추론의 경우 m = [1,0], fMRI 전용 추론의 경우 m = [0,1]을 사용한다. 마지막으로 softmax를 적용하여 대상 질환 확률을 구하고, 확률이 0.5 이상일 때 해당 질환 클래스로 할당한다.
  2. 평가 지표: 혼동 행렬(confusion matrix)을 통해 평가 지표를 계산한다. 여기서 TP는 질환 양성 샘플을 질환으로 정확하게 분류한 경우, TN은 HC(건강한 대조군)를 건강한 상태로 정확하게 분류한 경우, FP는 HC를 질환으로 잘못 분류한 경우, FN은 질환 양성 샘플을 건강한 상태로 잘못 분류한 경우를 나타낸다.
    정적 평형 공식, 정확도 계산, 진양성/위양성/진음성/위음성 분석 식.
    민감도 계산 공식, 연구 내 진양성률 분석 식.
    특이도 공식, \( \text{Specificity} = \frac{TN}{TN + FP} \), 방정식, 통계 분석.
    F1 스코어 공식: 정밀도와 민감도의 조화 평균, 통계 분석에 사용됨.
    균형 정확도 공식; 분류 모델 성능 평가를 위한 방정식.
  3. 전반적인 정답 분류율을 보고하기 위해 정확도(accuracy)를 사용한다. 질환 양성 검출력을 정량화하기 위해 민감도(sensitivity)를, HC 식별력을 정량화하기 위해 특이도(specificity)를 사용한다.
  4. 정밀도와 민감도 사이의 균형을 요약하기 위해 F1 스코어를 사용한다. 클래스 불균형의 영향을 줄이기 위해 균형 정확도(balanced accuracy)를 사용한다. 또한, 결정 임계값에 독립적인 판별력을 평가하기 위해 AUC를 계산한다.
  5. 각 반복마다 5개의 홀드아웃 폴드(held-out folds)에 걸쳐 각 성능 지표의 평균을 구한다. 최종 결과는 10회 반복 수준 평균값들의 평균과 표준편차로 보고한다.
  6. BrainMoE를 베이스라인 방법들과 비교한다. 모든 베이스라인은 BrainMoE와 동일한 피험자 수준 분할 및 전체 EEG-fMRI 입력을 사용하였으며, 설정값은 홀드아웃 평가 전에 고정되었다. BrainMoE와 각 베이스라인의 비교는 Holm 보정이 적용된 양측 paired t-test를 통해 수행되었다.

7. 5가지 뇌 질환에 대해 그룹 수준의 노드 폐쇄 속성 분석 수행

  1. 기여도 분석 코호트를 정의합니다. 학습된 BrainMoE 체크포인트와 DK 영역 이름 파일을 로드합니다. m = [1,1]인 전체 EEG-fMRI 상태에서 정확하게 분류된 질환 양성 테스트 샘플을 선택합니다. 이 코호트를 그룹 수준의 기여도 분석에 사용하고, 각 샘플의 베이스라인 표적 질환 확률을 저장합니다.
  2. 모달리티별 노드 폐쇄 점수를 계산합니다. EEG 유래 기여도의 경우, fMRI 입력은 유지한 채 선택한 EEG 노드 특징 벡터와 EEG 그래프의 해당 행 및 열을 0으로 설정하여 한 번에 하나의 EEG ROI를 폐쇄합니다. fMRI 유래 기여도의 경우, EEG 입력은 유지한 채 fMRI 노드 특징 행렬과 fMRI 그래프에 동일한 작업을 적용합니다. 이 절차를 68개 모든 DK 영역에 대해 반복합니다. Supplementary File 7에 제공된 코드를 사용하여 노드 폐쇄 기여도 분석을 수행합니다.
  3. 그룹 수준의 ROI 기여도를 계산하고 시각화합니다. 각 ROI와 각 모달리티에 대해, 선택된 모든 샘플에서 폐쇄 후 표적 질환 확률의 평균 감소량을 기여도 점수로 계산합니다. EEG 유래 점수와 fMRI 유래 점수를 각각 별도로 순위를 매기고, 각 모달리티에서 상위 10개 ROI를 추출하며, 가장 순위가 높은 ROI를 그림에 표시합니다.

결과

질환 및 모달리티 상태에 따른 BrainMoE 성능
본 프로토콜을 통해 다섯 가지 질환별 건강 대 질환 BrainMoE 분류기를 생성하였으며, 전체 EEG-fMRI, EEG 단독 및 fMRI 단독 추론 상태에 대한 예측 표를 도출하였다. 전체 EEG-fMRI 상태는 다섯 가지 작업 전반에서 일관되게 높은 판별력을 보였으며, AUC 값은 RI의 84.4 ± 3.2%에서 ASD의 88.4 ± 3.8% 범위였다(표 1). 다섯 가지 작업에 대한 전체 상태의 매크로 평균 성능은 AUC 86.9 ± 3.0%, 정확도 81.4 ± 3.1%, 균형 정확도 81.4 ± 2.5%, 그리고 F1 스코어 81.2 ± 3.0%에 도달하였다.

모의 결측 모달리티 조건 하에서, BrainMoE는 하나의 입력 모달리티가 마스킹되었을 때도 활용 가능한 성능을 유지했습니다. EEG 단독 상태에서 모델은 83.1 ± 3.7%의 매크로 평균 AUC를 달성했으며, ADHD에서 87.9 ± 2.8%로 가장 높은 EEG 단독 AUC가 관찰되었습니다. fMRI 단독 상태에서 매크로 평균 AUC는 80.0 ± 3.9%였습니다. 이러한 성능 범위와 기대되는 전체 상태 성능의 이점은 성공적인 구현을 위한 실질적인 벤치마크 역할을 하며, 이는 학습된 BrainMoE 프레임워크가 각 모달리티를 위한 별도의 모델 없이도 전체, EEG 단독 및 fMRI 단독 추론을 수행할 수 있음을 나타냅니다.

대표적인 최적화되지 않은 결과는 예상되는 전체 상태(full-state) 성능 우위를 재현하지 못하는 경우로, 예를 들어 전체 EEG-fMRI AUC가 EEG 단독 또는 fMRI 단독 AUC보다 낮게 나타나는 경우가 이에 해당합니다. 반면, 성공적으로 구현된 경우에는 전체 상태의 우위와 표 1에 보고된 벤치마크 성능 범위가 재현되어야 합니다. 최적화되지 않은 패턴이 관찰되면, 모델 출력을 해석하기 전에 H5 입력 차원, DK 영역 순서, 모달리티 가용성 마스크 할당 및 저장된 교차 검증 파티션을 확인하십시오.

벤치마크 비교
제안된 BrainMoE 모델을 고전적 머신러닝 방법(support vector machine (SVM) 및 multilayer perceptron (MLP)), 일반 딥러닝 방법(Transformer7, 3D-CNN22, ResNet6), 고급 딥러닝 방법(BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), 그리고 MoE 기반 딥러닝 방법(dFCExpert17, EvoMoE18, NeuroMoE++19)과 비교하였다(표 2). BrainMoE는 비교된 모든 방법 중 가장 높은 평균 AUC인 86.9 ± 3.0%를 달성하였다.

전통적인 머신러닝 방법들은 더 낮은 평균 성능을 보였으며, SVM은 66.7 ± 4.5%의 평균 AUC를, MLP는 64.6 ± 6.3%를 달성했습니다. 일반적인 딥러닝 방법들의 성능은 다양하게 나타났으며, ResNet은 71.0 ± 3.3%의 평균 AUC를, Transformer는 63.8 ± 4.7%를 달성했습니다. 고도화된 딥러닝 베이스라인 중 BNT, BrainGNN, MultiEpilepsyNet 및 SZAtt-Net은 대부분의 전통적 및 일반적 딥러닝 방법보다 우수한 성능을 보였으나, 이들의 평균 AUC는 BrainMoE보다 낮았습니다.

벤치마크 비교에 대한 통계적 근거를 제공하기 위해, BrainMoE를 각 성능 지표별 가장 강력한 베이스라인과 비교하였습니다(표 3). BrainMoE는 AUC와 균형 정확도(BA)에서 NeuroMoE++보다 우수한 성능을 보였으며, F1 점수와 정확도에서는 SZAtt-Net보다 우수한 성능을 나타냈습니다. 모든 비교 결과는 Holm 보정 후에도 유의미하게 유지되었습니다.

성별 및 획득 사이트별 하위 그룹 분석
보존된 다중 모달 기록 수, 질환군 대 대조군 비율, 고유 참여자 수, 연령 요약, 성별 분포 및 획득 사이트 분포를 포함한 작업별 코호트 특성은 코호트 특성 표(표 4)에 요약되어 있습니다. 질환군 대 대조군 비율은 다중 모달 기록 수를 기준으로 계산되었으며, 인구통계학적 특성 및 획득 사이트 특성은 고유 참여자 수준에서 요약되었습니다.

성별 및 획득 부위의 잠재적 영향을 평가하기 위해, BrainMoE 성능을 이러한 요인별로 층화 분석하였습니다(표 5). 남성 하위 그룹은 여성 하위 그룹보다 평균 AUC, BA, F1 점수 및 정확도가 더 높게 나타났으나, 이에 대응하는 보정되지 않은 Welch p 값은 0.089에서 0.321 사이였습니다. 마찬가지로, RUBIC 하위 그룹은 Staten Island 하위 그룹보다 평균 성능이 더 높았으며, p 값은 0.055에서 0.309 사이였습니다. 이러한 분석에서 통계적으로 유의미한 하위 그룹 간 차이는 검출되지 않았습니다.

BrainMoE 구성 요소의 절제 분석
모달리티 가용성 마스크, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가 융합 설계의 기여도를 평가하기 위해 절제 실험을 수행하였습니다(표 6). 마스크 임베딩을 제거했을 때 평균 AUC는 79.2 ± 3.1%로 감소했으며, 컨볼루션 라우터를 MLP 라우터로 교체했을 때는 79.3 ± 3.7%로 감소했습니다. 공유 전문가를 제거했을 때 fMRI 전용 AUC는 73.5 ± 3.3%로 감소하여 테스트한 변형 중 가장 낮은 수치를 기록했습니다. 모든 MoE 전문가를 제거했을 때도 전체 균형 정확도는 74.2 ± 3.0%로 감소했습니다. 이러한 절제 결과는 전체 BrainMoE 설계가 완전한 모달리티 상태와 누락된 모달리티 상태 모두에서 가장 강력한 전반적 성능을 달성했음을 보여주며, 마스크 임베딩, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가 융합이 각각 최종 모델 동작에 기여했음을 나타냅니다.

다섯 가지 뇌 질환에 대한 ROI 수준의 해석 가능성 결과
BrainMoE 예측의 근거가 되는 지역적 기여도를 조사하기 위해, 전체 EEG-fMRI 상태에서 정확하게 분류된 질환 양성 샘플을 대상으로 노드 차단 속성(node-occlusion attribution) 분석을 수행하였다. 각 DK 아틀라스 영역을 차단한 후 표적 질환 확률의 감소량을 측정하여 EEG 유래 및 fMRI 유래 ROI 기여도를 각각 순위 매겼다. 분석 결과, 다섯 가지 질환 과제 전반에서 모달리티 특이적인 기여 패턴이 확인되었다(그림 2). fMRI 유래 속성 분석에서 상위 순위 영역은 MDD의 경우 좌측 후대상회, ANX의 경우 우측 가시 주변 피질, RI의 경우 좌측 해마방형 피질, ASD의 경우 우측 삼각분절, ADHD의 경우 좌측 내후각 피질이었다. EEG 유래 속성 분석에서 상위 순위 영역은 MDD의 경우 좌측 상측두구 제방, ANX의 경우 좌측 중심전피질, RI의 경우 좌측 쐐기엽, ASD의 경우 좌측 설상피질, ADHD의 경우 우측 섬엽이었다. 각 질환에 대해 가장 높은 순위의 EEG 및 fMRI 유래 ROI는 그림 3의 피질 표면에서 시각화되었다. 이러한 결과는 BrainMoE가 EEG 유래 표현과 fMRI 유래 표현에 대해 서로 다른 속성 프로필을 유지하면서 ROI 수준의 해석 가능성을 제공함을 보여주었다. 정확하게 분류된 질환 양성 샘플에 대해 50개의 홀드아웃 폴드(held-out folds) 전체에서의 Top-1 ROI 빈도를 사용하여 교차 폴드 안정성을 평가하였다(표 7). 관찰된 빈도는 36%에서 68% 사이였으며, 이는 이론적 무작위 선택 기준인 1/68(1.47%)을 상회하는 수치로, 절대적인 기여도 크기보다는 상대적 순위에 기반한 해석을 뒷받침한다. 이전의 신경 영상 연구 결과와의 비교는 사후 분석으로 수행되었으며, 이는 속성 분석 결과를 맥락화하기 위해서만 사용되었을 뿐 독립적인 검증으로 사용되지 않았다.

EEG/fMRI 모달리티 융합 다이어그램; 공유 신경 상태 전문가; 뇌 질환 진단 분류.
그림 1: 컴퓨터 보조 뇌 질환 진단을 위한 적응형 EEG-fMRI 융합 기반 BrainMoE 프레임워크 개요. 소스 정렬된 EEG 및 fMRI ROI 특징은 각각 별도의 그래프 인코더(Graph Encoder)에 의해 처리됩니다. 생성된 표현체는 EEG 및 fMRI 전문가(Expert)로 전달되며, 모달리티 가용성 마스크(Modality Availability Mask)와 함께 공유 소프트 라우팅 모듈(Soft-Routing Module)로 전달됩니다. 모달리티 표현체와 라우팅 표현체는 융합되어 공유 신경 상태 전문가(Shared neural-state expert)에 의해 처리됩니다. 이후 세 가지 전문가 출력값은 융합 모듈(Fuse Module)에서 결합되어 진단 분류 헤드(Diagnosis Classification Head)로 전달되며, 여기서 HC 및 표적 질환 확률이 산출됩니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

뇌 ROI 기여도 막대 그래프; 질환별 fMRI EEO 분석: 우울증, 불안장애, ADHD.
그림 2: 노드 폐쇄 기반 ROI 기여도 분석. 전체 EEG-fMRI 추론 상태에서 각 질환 과제에 대해 EEG 유래 및 fMRI 유래 상위 10개 ROI 기여도를 시각화하였다. 패널 (A–E)는 각각 MDD, ANX, RI, ASD 및 ADHD에 대한 fMRI 유래 결과를 나타내며, 패널 (F–J)는 동일한 순서로 해당하는 EEG 유래 결과를 나타낸다. 각 그래프에서는 가장 순위가 높은 ROI만 표시하였다. ROI 기여도는 해당 DK atlas 영역을 폐쇄했을 때 표적 질환 확률의 감소량으로 정의되었다. 이 그림의 확대 버전을 보시려면 여기를 클릭하십시오.

뇌 영역 활성화 도식; 정신 질환 MDD, ANX, RI, ASD, ADHD; MRI 뇌 분석.
그림 35가지 뇌 질환에 걸친 피질 ROI 수준의 해석 가능성 맵. 패널 (A–E)는 각각 MDD, ANX, RI, ASD 및 ADHD를 나타낸다. 각 패널은 DK 피질 표면에서 EEG 유래 ROI 중 가장 순위가 높은 영역을 빨간색으로, fMRI 유래 ROI 중 가장 순위가 높은 영역을 주황색으로 표시한다. 색상은 기여도의 크기가 아닌 모달리티를 나타내며, 따라서 정량적인 색상 척도는 적용되지 않았다. 접두사 lh와 rh는 각각 좌반구와 우반구를 의미한다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

질환 과제상태AUC정확도BAF1민감도특이도
MDD전체88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEG 전용83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRI 전용82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANX전체85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEG 전용81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRI 전용74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RI전체84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEG 전용80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI 전용81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASD전체88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEG 전용82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRI 전용81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHD전체88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEG 전용87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRI 전용80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

표 1: 질환 과제 및 모달리티 가용 상태에 따른 BrainMoE 분류 성능. 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론 상태에서 5가지 건강 대 질환 분류 과제에 대한 BrainMoE의 성능. 지표는 평균 ± 표준 편차로 보고되며, 수신자 조작 특성 곡선 아래 면적(AUC), 정확도, 균형 정확도(BA), F1 점수, 민감도 및 특이도가 포함됩니다.

방법방법 그룹평균 AUC평균 BA평균 F1평균 정확도
SVM전통적 ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLP전통적 ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
Transformer일반적 DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN일반적 DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNet일반적 DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNN고급 DL70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNT고급 DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNN고급 DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNet고급 DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Net고급 DL78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoE 기반 DL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoE 기반 DL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE 기반 DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (자체 개발)MoE 기반 DL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

표 2: 고전적 머신러닝 방법, 일반 딥러닝 모델 및 고급 신경영상 딥러닝 아키텍처와 비교한 BrainMoE의 평균 분류 성능. 결과는 평가된 질병 분류 작업 전체에 걸쳐 집계되었으며, AUC, BA, F1 score 및 정확도에 대해 평균 ± 표준편차로 보고되었다.

비교평균 AUC평균 BA평균 F1 스코어평균 정확도
가장 강력한 베이스라인NeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
가장 강력한 베이스라인 성능81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
차이점+5.4+3.5+3.8+3.3
t-검정 p-값0.00060.00650.01870.0276
Holm 보정 p*p < 0.01p < 0.05p < 0.05p < 0.05
코헨의 d (Cohen's d)z1.631.110.910.83

표 3: 각 성능 지표에 따른 BrainMoE와 가장 강력한 베이스라인의 비교. P 값은 양측 paired t-test를 사용하여 계산되었으며 Holm 방법을 통해 보정되었습니다. Cohen's dz는 표준화된 쌍체 차이를 나타냅니다.

코호트다양식 기록 (n)질환군 대 대조군 비율고유 참여자 수 (n)연령 범위 (세)성별 (남성/여성)획득 장소 (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
주요 우울 장애520.45:1338.36–19.7314/1915/18
불안(ANX)1561.36:1985.53–21.0046/5245/53
방사성 동위원소1411.23:1855.75–19.6647/3839/46
자폐 스펙트럼 장애(ASD)820.71:1515.66–19.7945/627/24
주의력 결핍 과잉 행동 장애 (ADHD)5554.83:13385.04–21.72241/97136/202

표 4: 5가지 질병 특이적 분류 작업에 사용된 연구 코호트의 특성.이 표는 유지된 멀티모달 레코드 수, 질병 대 대조군 비율, 고유 참여자 수, 인구통계학적 특성 및 데이터 수집 사이트 분포를 나타냅니다.

하위 그룹수평균 AUC평균 BA평균 F1평균 정확도
성별
남성70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
여성39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
차이+1.6+2.2+2.4+2.9
Welch p-값--0.3210.1920.1590.089
수집 장소
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
차이+2.4+1.6+2.9+3.3
Welch p-값--0.1760.3090.0850.055

표 5: 성별 및 획득 사이트별로 층화된 BrainMoE의 성능. 결과는 5-겹 교차 검증을 10회 반복하여 얻은 평균 ± 표준 편차로 보고되었습니다. 차이는 첫 번째 하위 그룹에서 두 번째 하위 그룹을 뺀 값을 나타내며, P 값은 양측 Welch t-검정을 사용하여 산출되었습니다.

변형 모델전체 AUCEEG 전용 AUCfMRI 전용 AUC평균 AUC평균 BA
마스크 임베딩 제외83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Conv Router 제외84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
공유 전문가 제외83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoE 전문가 제외81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (제시 모델)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

표 6: 주요 BrainMoE 구성 요소의 제거 분석(Ablation analysis). 모달리티 가용성 마스크, 컨볼루션 라우터, 공유 전문가 및 MoE 전문가-융합 설계의 기여도를 보여주는 제거 분석 결과입니다. 각 변체는 전체 EEG-fMRI, EEG 전용 및 fMRI 전용 추론 조건에서 평가되었으며, 평균 AUC와 평균 BA를 통해 전반적인 성능을 요약하였습니다.

질병EEG: 최상위 ROIEEG: 최빈도, n/N (%)fMRI: 최상위 ROIfMRI: 최상위 1개 빈도, n/N (%)우연 수준 (%)
주요 우울 장애상측두구의 좌측 제방22/50 (44%)좌측 후대상피질25/50 (50%)1.47
ANX좌측 전중심회18/50 (36%)우측 주해마 피질21/50 (42%)1.47
방사성 동위원소(RI)좌측 쐐기엽26/50 (52%)좌측 해마방회피질29/50 (58%)1.47
자폐 스펙트럼 장애좌측 설상피질27/50 (54%)우측 삼각부28/50 (56%)1.47
주의력 결핍 과잉 행동 장애 (ADHD)우측 섬엽31/50 (62%)좌측 내후각 피질34/50 (68%)1.47

표 7: 최상위 순위 EEG 및 fMRI 유래 ROI의 교차 폴드 안정성. Top-1 빈도는 보고된 ROI가 1위로 기록된 50-폴드 수준 분석의 횟수와 백분율을 나타냅니다. 이론적인 무작위 선택 기준은 1/68 (1.47%)였습니다.

보충 파일 1: H5 입력 확인 스크립트. BrainMoE 학습 전, 필수 H5 입력 키, 데이터 유형, 진단 레이블 및 DK-atlas 호환 입력 차원을 검증하기 위한 Python 스크립트입니다. 여기에서 파일을 다운로드하십시오.

보충 파일 2: fMRI 전처리 스크립트. 초기 볼륨 제거, 움직임 및 왜곡 보정, 등록 및 정규화, 누수 회귀, 시간적 필터링 및 공간적 평활화를 포함하여 fMRI 전처리에 사용된 C-PAC 구성 및 실행 파일입니다. 이 파일을 다운로드하시려면 여기를 클릭하십시오.

보충 파일 3: FreeSurfer 처리 스크립트. 구조적 MRI 데이터 처리, Desikan-Killiany 피질 분할을 고유 fMRI 공간에 공등록(coregistering) 및 ROI 수준의 fMRI 신호 추출을 위한 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 4: EEG 전처리 스크립트. 필터링, 아티팩트 성분 식별 및 제거, 재참조를 포함하여 EEG 전처리에 사용된 MATLAB/EEGLAB 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 5: MNE-Python 소스 국소화 및 특징 추출 스크립트. EEG 소스 국소화, DK-atlas ROI 추출, 그리고 BrainMoE 입력값으로 사용되는 ROI 수준의 EEG 특징 생성을 위한 Python 스크립트입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 6: BrainMoE 구현 코드. BrainMoE 아키텍처, 그래프 인코더, 모달리티-상태 처리, 전문가 라우팅 및 퓨전, 모델 학습, 평가 및 어블레이션 변형을 위한 Python 코드와 설정 파일입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 7: 노드-폐쇄(Node-occlusion) 기여도 분석 코드. 모달리티별 노드-폐쇄 분석, ROI 기여도 점수 계산, EEG 및 fMRI 기반 ROI 순위 지정, 그리고 기여도 결과 생성을 위한 Python 코드입니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

EEG와 fMRI는 신경 활동에 대한 상보적인 정보를 제공하기 때문에, 다중 모달 뇌 신호 분석은 컴퓨터 보조 뇌 질환 진단의 중요한 방향이 되었습니다. 벤치마크 비교에서 SVM 및 MLP와 같은 고전적 머신러닝 방법은 기본적인 진단 성능을 보여주었으나, 계층적, 그래프 구조 및 교차 모달 특징 상호작용을 모델링하는 능력은 제한적이었습니다. 3D-CNN, ResNet, Transformer를 포함한 일반적인 딥러닝 모델은 더 강력한 비선형 모델링 역량을 제공했지만, 이러한 아키텍처들은 EEG-fMRI 융합이나 뇌 네트워크 표현을 위해 특별히 설계된 것은 아니었습니다. 고급 딥러닝 방법들은 대부분의 고전적 및 일반적 모델보다 더 나은 성능을 달성했으나, 여전히 많은 모델이 고정된 특징 통합 전략에 의존했으며 모달리티 특이적 정보와 공유된 신경 상태 정보를 명시적으로 분리하지 못했습니다.

본 연구에서는 그래프 기반 모달리티 인코더, 모달리티별 전문가, 공유 신경 상태 전문가 및 적응형 라우팅 메커니즘을 결합하여 이러한 퓨전 문제를 해결하기 위한 BrainMoE를 제안하였습니다. 이러한 설계를 통해 EEG 유도 표현과 fMRI 유도 표현을 개별적으로 모델링한 후 전문가 수준의 퓨전을 통해 통합할 수 있었습니다. 모달리티 상태 마스크와 누락 모달리티 토큰을 도입함으로써, 각 누락 모달리티 조건에 대해 별도의 모델을 구축하지 않고도 동일하게 학습된 모델로 EEG 전용 및 fMRI 전용 추론을 수행할 수 있었습니다. 실험 결과, BrainMoE는 5가지 이진 질환 분류 작업 전반에서 가장 강력한 종합 성능을 달성했으며, EEG 전용 및 fMRI 전용 상태 모두에서 사용 가능한 수준의 성능을 유지했습니다. 어블레이션 분석을 통해 마스크 임베딩, 합성곱 라우터, 공유 전문가 및 MoE 전문가 퓨전의 기여도가 추가로 입증되었습니다. 이러한 결과는 성능 향상이 단일 구성 요소 때문이 아니라 그래프 인코딩, 모달리티 상태 모델링, 적응형 라우팅 및 전문가 퓨전의 조화로운 설계 덕분임을 나타냅니다.

핵심 프로토콜 단계 및 문제 해결
핵심 프로토콜 단계에는 EEG 및 fMRI 노드와 그래프 행렬 전체에서 동일한 68개 영역의 DK 순서를 유지하는 것, 각 참가자에게 사전 정의된 전처리 설정을 독립적으로 적용하는 것, 그리고 동일한 참가자의 모든 기록이 단일 폴드에 유지되도록 참가자 수준의 교차 검증을 강제하는 것이 포함됩니다. 또한 모달리티 가용성 마스크(Modality Availability Mask)는 각 추론 상태에 대해 제공된 입력값과 일치해야 합니다.

추론에 실패하거나 기대했던 전체 상태 성능 이점이 재현되지 않는 경우, 먼저 필요한 H5 키, EEG 및 fMRI 행렬 차원, DK 영역 순서, 양상 가용성 마스크(Modality Availability Mask) 할당 및 저장된 교차 검증 파티션을 확인하십시오. 키가 누락되었거나, 차원이 잘못되었거나, 영역 순서가 일치하지 않는 파일은 훈련 또는 평가 전에 제외해야 합니다. 두 양상이 일관된 ROI 순서로 매핑되고 해당 모델 입력 차원이 조정된다면, 본 프레임워크를 다른 피질 분할 방식이나 EEG/fMRI 특징 표현으로 수정하여 사용할 수 있습니다. 질환 특이적 분류 헤드 또한 그래프 인코딩 및 전문가 융합 프레임워크를 유지하면서 다른 이진 분류 작업에 맞게 조정될 수 있습니다. 이러한 수정 사항은 본 논문에 보고된 모델을 직접 적용하는 것이 아니라, 재훈련 및 검증 과정을 거쳐야 합니다.

노드 폐쇄 기반 해석 가능성 분석
노드 폐쇄(node-occlusion) 분석을 통해 BrainMoE 예측의 ROI 수준 해석 가능성을 추가로 제공하였으며, 상위 순위의 질환 관련 ROI는 그림 3에 표시되었다. BrainMoE에 의해 식별된 EEG 유래 좌측 후방 ROI는 MDD의 후방 피질 영역에서 내인성 뇌 활동의 변화를 보고한 이전의 복셀 기반 메타 분석23 증거와 일치한다. EEG/fMRI 유래 좌측 중심전 및 우측 설상구 주변 ROI는 불안 장애의 이전 신경 영상 증거와 일치한다. 구체적으로, 피질 두께 메타 분석24에서는 불안 장애 환자의 좌측 중심전이랑에서 피질 두께 증가를 보고하였으며, 사회 불안 장애에 대한 구조적 공분산 네트워크 연구25에서는 우측 설상구 주변 피질을 포함하는 비정상적인 노드 중심성을 보고하였다. 읽기 장애의 경우, EEG 유래 좌측 쐐기엽 ROI는 난독증에서 좌측 쐐기엽 연결성의 변화를 보고한 전뇌 연결성 연구26와 일치하며, fMRI 유래 좌측 해마곁 ROI는 특정 읽기 이해 결핍이 있는 청소년의 비정상적인 해마곁/해마 결합을 보고한 별도의 연구27와 일치한다. 자폐 스펙트럼 장애 작업에서 EEG 유래 기여도로 강조된 좌측 혀두정 ROI는 ASD가 있는 사춘기 전 소년의 좌측 혀두정이랑에서 ReHo가 감소했다는 이전의 휴지기 fMRI 증거28를 반영한다. fMRI 유래 우측 삼각부 ROI 또한 생물학적으로 타당한데, 자폐 아동의 하전두이랑 우측 삼각부에서 ALFF의 변화가 보고되었기 때문이다29. ADHD의 경우, EEG 유래 우측 섬엽 ROI는 ADHD 청소년, 특히 우측 섬엽 단이랑을 포함하여 전방 섬엽 부피가 감소했음을 보여주는 구조적 MRI 증거30와 부합한다. fMRI 유래 좌측 내후각 ROI는 더 세부 유형별 특이적 결과일 수 있는데, 별도의 Psychological Medicine 연구31에서 FDR 보정 후 ADHD-C 하위 그룹의 좌측 내후각 피질 부피가 더 낮았다고 보고하였다. 그럼에도 불구하고 이러한 결과는 지역 간 의존성을 고려하여 해석해야 한다. 상관관계가 있는 ROI 신호는 단일 노드 폐쇄가 개별 지역의 기여도를 완전히 분리하는 것을 방해하여 보수적인 추정치로 이어질 수 있기 때문이다.

한계점 및 향후 방향
내부 성능 추정치를 얻기 위해 반복 5겹 교차 검증을 사용하였으나, 향후 중첩 교차 검증(nested cross-validation)이나 독립적인 외부 검증을 사용하는 연구를 통해 모델 선택의 안정성과 일반화 가능성에 대한 평가를 더욱 강화할 수 있을 것입니다. EEG 전용 및 fMRI 전용 출력물은 완전한 다중 모달 기록에서 한 가지 모달리티를 마스킹하여 생성되었으며 외부 검증 코호트에서 평가되지 않았으므로, 향후 연구에서는 일반화 가능성을 평가하기 위해 외부 단일 모달리티 검증 코호트를 포함해야 합니다. 또 다른 한계점은 건강 대 단일 질환 설계가 공존 질환의 양상을 포착하지 못한다는 점이며, 이는 임상적 일반화 가능성을 제한하므로 향후 다중 레이블 분류 및 감별 진단 연구의 필요성을 시사합니다. 또한 향후 연구에서는 누설 인식 연결성 추정치(leakage-aware connectivity estimators)를 사용하여 소스 레벨 EEG 연관성의 강건성을 평가할 수 있을 것입니다. 공유 DK 분할(shared DK parcellation)은 다중 모달 융합을 위한 해부학적 근거 기반의 인터페이스를 제공하지만, 이는 시간 해상도 및 생리학적 기원의 모달리티별 차이를 완전히 포착하지 못할 수 있는 모델링 가정입니다. 본 연구에서 평가한 5가지 질환 외에도, 이 프레임워크는 해부학적으로 정렬된 다중 모달 뇌 데이터를 포함하는 다른 신경학적 또는 정신과적 분류 작업에 적용될 수 있으며, 다중 레이블 또는 감별 진단 응용 분야로 확장될 수 있습니다.

결론
요약하자면, BrainMoE는 뇌 질환의 컴퓨터 보조 진단을 위한 EEG-fMRI 융합의 실용적이고 해석 가능한 프레임워크를 제공합니다. 이 모델의 주요 장점은 다중 전문가 아키텍처와 양식별 정보 및 공유 정보의 균형을 동적으로 조절하는 소프트 라우팅 메커니즘을 통해 구현된 적응형 다중 양식 특징 통합에 있습니다. 또한, 양식 상태 마스크와 누락 양식 토큰을 원활하게 통합함으로써, 동일하게 훈련된 모델이 별도의 설정 없이도 불완전한 양식 추론 중에 견고한 성능을 달성합니다. 결정적으로, 이 해석 가능한 프레임워크는 다섯 가지 서로 다른 뇌 질환에 대해 투명한 그룹 수준의 영역별 기여 경로를 제공하여, 기존의 블랙박스 아키텍처를 생리학적 정보에 기반한 컴퓨터 보조 진단 도구로 변화시켰습니다. 이는 이질적인 데이터 소스, 불완전한 양식 가용성 및 설명 가능한 모델 출력이 모두 핵심 고려 사항인 향후 계산 신경 영상 워크플로우에 있어 중요합니다.

공개 사항

저자들은 이해관계의 충돌이 없음을 선언합니다. 저자들은 이 원고의 작성, 코드 작성, 데이터 분석 또는 차트 생성 과정에서 생성형 인공지능 도구를 사용하지 않았음을 선언합니다.

감사의 글

본 연구는 중국 국가자연과학基金(National Natural Science Foundation of China)의 Grant No. 62433002, 62277001 및 U25A20446, 베이징시 기관 고수준 혁신팀 구축 및 지원 프로젝트(Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions)의 Grant No. BPHR20220104, 그리고 베이징 학자 프로그램(Beijing Scholars Program)의 Grant No. 099의 지원을 받아 수행되었습니다.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
BashGNU 프로젝트5.1.16(1)-출시소프트웨어
C-PACFCP-INDI버전 1.8.7; 컨테이너 태그 release-v1.8.7.dev1소프트웨어
CUDA 툴킷NVIDIA Corporation버전 12.4소프트웨어
CUDA 호환 GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPU장비
Desikan-Killiany 피질 지도FreeSurfer, 매사추세츠 종합병원 Athinoula A. Martinos 생의학 영상 센터aparc; 68개 피질 영역 (RRID:SCR_001847)아틀라스/리소스
EEGLAB캘리포니아 대학교 샌디에이고 캠퍼스, Swartz 계산신경과학 센터버전 2022.1 (RRID:SCR_007292)소프트웨어
FreeSurfer매사추세츠 종합병원, Athinoula A. Martinos 생의학 영상 센터버전 7.4.1 (RRID:SCR_001847)소프트웨어
FSL옥스퍼드 대학교 FMRIBC-PAC 1.8.7에 포함됨; 정확한 버전은 명시되지 않음 (RRID:SCR_002823)소프트웨어
Healthy Brain Network (HBN) 데이터셋차일드 마인드 연구소(Child Mind Institute)RRID:SCR_016989데이터 세트
MATLABMathWorksR2022a (RRID:SCR_001622)소프트웨어
MNE-PythonMNE-Python 개발 팀버전 1.9 (RRID:SCR_005972)소프트웨어/라이브러리
파이썬Python Software Foundation버전 3.12.4 (RRID:SCR_008394)소프트웨어
PyTorchPyTorch 재단버전 2.6.0+cu124 (RRID:SCR_018536)라이브러리

참고문헌

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

재인쇄 및 허가

더 많은 논문 탐색

EEG-fMRI 융합다중모드 뇌 영상컴퓨터 보조 진단그래프 인코더ROI 기여도 맵신경 상태 전문가모달리티 상태 마스크노드 폐쇄 분석

이 논문이 게재되었습니다

동영상 곧 제공

문의하기
도서관에 추천하기

개인정보 처리방침

이용 약관

정책

저작권 © 2026 MyJoVE Corporation. 모든 권리 보유.