Yöntem makalesi

Yorumlanabilir Bilgisayar Destekli Beyin Hastalıkları Tanısı için Uzmanların Karışımı Elektroensefalografi-Fonksiyonel Manyetik Rezonans Görüntüleme Füzyonu

89 görüntülenme

⸱

DOI:

10.3791/73432

⸱

25 Eylül 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

Bu makalede

Özet

Bu protokol, beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir Elektroensefalografi-fonksiyonel manyetik rezonans görüntüleme füzyon çerçevesi olan Brain Mixture-of-Experts'i sunmaktadır. Bu yöntem; modality-spesifik uzmanlar, paylaşılan bir nöral durum uzmanı ve adaptif yönlendirme aracılığıyla heterojen EEG ve fMRI temsillerini entegre ederken, simüle edilmiş eksik modalite koşulları altında yorumlanabilirliği ve çıkarımı korumaktadır.

Özet

Elektroensefalografi (EEG) ve fonksiyonel manyetik rezonans görüntüleme (fMRI), beyin fonksiyonu hakkında birbirini tamamlayıcı bilgiler sağlar ve çeşitli beyin bozukluklarındaki fonksiyonel anomalilerin tespitinde önemli bir potansiyel göstermiştir. Ancak, EEG ve fMRI'ın farklı sinyal karakteristikleri ve ayrık temsil alanları, etkili multimodal füzyon için ciddi zorluklar teşkil etmekte ve böylece geleneksel sabit modellerle beyin bozukluklarının bilgisayar destekli doğru teşhisini engellemektedir. Bu çalışma, multimodal beyin özelliklerini modaliteye özgü uzmanlar, ortak bir nöral durum uzmanı ve adaptif bir yönlendirme mekanizması aracılığıyla entegre eden, beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir EEG-fMRI füzyon çerçevesi olan Brain Mixture-of-Experts (BrainMoE) sistemini sunmaktadır. BrainMoE, önce EEG ve fMRI sinyallerini birleştirilmiş bir Desikan-Killiany (DK) atlas ilgi alanı (ROI) alanına projekte eder, ardından modaliteye özgü beyin ağı temsilleri çıkarmak için graf kodlayıcılar kullanır. Yumuşak yönlendirme modülü bir yönlendirme temsili üretir ve Füzyon Modülündeki Uzman Kapısı, EEG, fMRI ve ortak nöral durum uzmanı temsillerini birleştirmek için örneğe özgü ağırlıklar oluşturur. Eksik veri toplama senaryolarını yönetmek için, modalite durumu maskeleri ve eksik modalite belirteçleri eklenerek aynı eğitilmiş modelin tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarımı yapabilmesi sağlanmıştır. Son olarak, düğüm gizleme analizi, hem EEG hem de fMRI kaynaklı tahminler için ROI düzeyinde atıf haritaları sağlar. Çerçeve; majör depresif bozukluk, anksiyete bozukluğu, okuma bozukluğu, otizm spektrum bozukluğu ve dikkat eksikliği/hiperaktivite bozukluğu dahil olmak üzere beş ikili beyin bozukluğu sınıflandırma görevi üzerinden Sağlıklı Beyin Ağı (HBN) veri setinde değerlendirilmiştir. BrainMoE, %86,9 ± 3,0'lik bir ortalama AUC değerine ulaşarak mevcut en gelişmiş karşılaştırma algoritmalarından daha iyi performans göstermiş ve ablasyon deneyleri yönlendirme ile uzman füzyon bileşenlerinin katkısını desteklemiştir. Ayrıca, yorumlanabilirlik analizi, hastalık sınıflandırmasına yönelik grup düzeyindeki ROI katkılarının daha önce rapor edilen nörogörüntüleme bulgularıyla tutarlı olduğunu belirlemiştir. Bu yöntem, yorumlanabilirliği ve simüle edilmiş eksik modalite koşulları altında çıkarımı korurken, heterojen EEG-fMRI nöral temsillerini entegre etme zorluğunu çözerek beyin bozukluklarının bilgisayar destekli teşhisini desteklemektedir.

Giriş

Beyin bozuklukları, tek bir görüntüleme modalitesiyle karakterize edilmesi zor olan nöral aktivite ve beyin ağı organizasyonundaki karmaşık değişiklikleri içerir1. Kaynak yeniden yapılandırmasından2 sonra EEG, bölge düzeyinde elektrofizyolojik (EEG) aktivite sağlarken, fonksiyonel manyetik rezonans görüntüleme (fMRI) bölge düzeyinde fonksiyonel bağlantısallığı yakalayarak beyin fonksiyonuna ilişkin tamamlayıcı görünümler sunar. Entegrasyonlarını kolaylaştırmak için, önceki multimodal çalışmalar her iki modaliteyi de 68 bölgeli Desikan-Killiany (DK) atlasına3 eşlemiştir. Bu mekansal uygunluk, zamansal çözünürlük veya fizyolojik köken bakımından eşdeğerlik anlamına gelmese de, modaliteye özgü bilgileri korurken düğüm düzeyinde grafik füzyonu, sabit grafik boyutları ve tutarlı ilgi alanı (ROI) düzeyinde yorumlama için birleşik bir anatomik indeks sağlar. Anatomik olarak hizalanmış ancak modaliteye özgü olan bu temsillerin entegre edilmesi, hastalıkla ilgili beyin sinyali temsillerini zenginleştirebilir ve bilgisayar destekli beyin bozukluğu tanısını destekleyebilir3,4.

EEG-fMRI füzyonunun beyin bozukluklarının bilgisayar destekli teşhisindeki potansiyeline rağmen, iki modalite arasındaki heterojenlik, etkili entegrasyonları önünde teknik bir zorluk teşkil etmektedir. SVM ve MLP gibi klasik makine öğrenimi yöntemleri temel sınıflandırma modelleri sağlayabilse de, doğrusal olmayan çapraz modalite etkileşimlerini yakalama kapasiteleri sınırlıdır. GNN5, ResNet6 ve Transformer7 mimarileri dahil olmak üzere genel derin öğrenme modelleri daha güçlü temsil öğrenimi sunar, ancak ROI düzeyindeki beyin grafları veya modalite-durum modellemesi için özel olarak tasarlanmamışlardır. Son dönemdeki gelişmiş modeller3,8,9, beyin ağlarını daha iyi modellemek için doğrusal olmayan karmaşıklığı artırmıştır. BrainNetCNN8, konvolüsyonel işlemleri beyin bağlantı matrislerine uyarlamak için tanıtılmıştır; BrainGNN9, graf sinir ağları ve havuzlama kullanarak ROI düzeyindeki graf topolojisini daha ileri düzeyde modellemiş; BNT10 ise daha sonra transformer tabanlı çok seviyeli dikkat mekanizması ile fonksiyonel beyin ağı analizini güçlendirmiştir. Ancak, bu ilerlemeler hala temel olarak tek modaliteli ortamlar için geliştirilmiştir. Daha sonra MultiEpilepsyNet11, federe hibrit bir çerçeve aracılığıyla multimodal öğrenimi EEG-MRI nöbet tespitine genişletmiş ve MRI tarafındaki EpiSkullNet++ modülü beyin segmentasyonunu ve ön işlemeyi iyileştirmiştir. SZAtt-Net12 ise CNN, BiGRU ve MLP bloklarını kanal, öz, uzamsal ve zamansal dikkat mekanizmalarıyla birleştirerek multimodal bir şizofreni sınıflandırma modeli geliştirmiştir. Bununla birlikte, bu yöntemler göreve özgü kalmış ve tam veya eksik modalite durumları arasında adaptif yönlendirmeyi açıkça desteklemeden, nispeten sabit füzyon tasarımlarına dayanmıştır.

Uzmanların Karışımı (Mixture-of-Experts - MoE) modelleri13,14, heterojen bilgi kaynaklarının uzmanlaşmış uzman modülleri tarafından işlenmesine ve yönlendirme mekanizmaları aracılığıyla dinamik olarak birleştirilmesine olanak tanıdıkları için multimodal öğrenmede giderek daha fazla benimsenmektedir. Softmax kapılaması, girdiye bağlı normalize edilmiş uzman ağırlıkları sağlar ve yakınsama hızları açısından teorik olarak karakterize edilmiştir15. İlgili çok kapılı mimariler, büyük ölçekli çok görevli öğrenmede ayrı kapıların, paylaşılan uzmanların göreve bağlı kombinasyonlarını öğrenebileceğini daha da kanıtlamıştır16. Nörobilimsel araştırmalarda ve beyin çalışmalarında, heterojen özellik füzyonunu kolaylaştırmak için MoE varyantları17,18,19 giderek daha fazla kullanılmaktadır. dFCExpert17, fMRI'dan gelen dinamik fonksiyonel bağlantısallık kalıplarını modellemek için modülerlik ve durum tabanlı uzmanlar kullanmıştır. EvoMoE18, kullanıcıdan bağımsız SSVEP-EEG sınıflandırması için uygun uzmanları seçmek amacıyla bir kapılama ağı kullanmıştır. NeuroMoE++19, nörolojik bozuklukların sınıflandırılması için hasta-adaptif multimodal füzyonu araştırmıştır. Başarılarına rağmen, bu modeller genellikle çapraz modal nöral durumların yüksek derecede senkronize doğasını göz ardı eden kaba taneli karıştırma ve ayrık yönlendirmelere dayanmakta; bu da beyin bozukluğu teşhisi için kritik olan ancak belirgin olmayan bilgilendirici kalıpların tespitini engellemektedir. Dahası, modaliteye özgü nüansları birleşik ve paylaşılan bir nöral durumdan ayırmak için özel bir mekanizma olmadığından, bu modeller sınırlı yorumlanabilirlik sunmakta ve kritik bir modalite (fMRI veya EEG) eksik olduğunda performans kaybı yaşamaktadır.

Bu sınırlamaları gidermek amacıyla bu çalışma; majör depresif bozukluk (MDD), anksiyete bozukluğu (ANX), okuma bozukluğu ile seyreden spesifik öğrenme bozukluğu (RI), otizm spektrum bozukluğu (ASD) ve dikkat eksikliği/hiperaktivite bozukluğu (ADHD) dahil olmak üzere beş beyin bozukluğu kategorisinin bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir EEG-fMRI füzyon çerçevesi olan Brain Mixture-of-Experts (BrainMoE) sistemini sunmaktadır. Protokol, önce kaynak-rekonstrüksiyonlu EEG ve fMRI özelliklerini DK-atlas20 ROI alanıyla hizalamakta ve ardından her iki modalite için graf tabanlı modalite temsilleri oluşturmaktadır. BrainMoE, modaliteye özgü ve ortak bilgileri birleştirmek için yumuşak yönlendirme modülü tarafından entegre edilen bir EEG uzmanı, bir fMRI uzmanı ve paylaşılan bir nöral durum uzmanı kullanır. Tek bir eğitilmiş model içinde tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarımlarını mümkün kılmak için modalite-durum maskeleri ve eksik modalite token'ları dahil edilmiştir. Biyolojik yorumlanabilirliği desteklemek için protokol ayrıca, her bir DK-atlas ROI'sinin seçici olarak maskelendiği ve hastalık tahmin olasılığındaki sonucunda meydana gelen değişikliğin EEG ve fMRI kaynaklı bölgesel katkıları tahmin etmek için kullanıldığı düğüm-oklüzyon analizini uygular. Bu protokol; veri hizalama, model oluşturma, eğitim, değerlendirme ve düğüm-oklüzyon tabanlı ROI yorumlama için eksiksiz iş akışını açıklayarak, heterojen EEG-fMRI beyin sinyali füzyonu aracılığıyla beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir strateji sunmaktadır. Tekrar üretilebilirliği ve gelecekteki geliştirmeleri kolaylaştırmak adına, halka açık GitHub deposu BrainMoE modelini, eğitim ve değerlendirme kodlarını sağlamakta; EEG ve fMRI ön işlemleri ise halka açık üçüncü taraf yazılımlar kullanılarak gerçekleştirilmiştir. Depoya https://github.com/zhongruizhe123/BrainMoE adresinden erişilebilir.

Protokol

Bu çalışmada, sonraki tanısal sınıflandırma görevleri için beş farklı klinik bozukluğa odaklanılarak Healthy Brain Network (HBN) veritabanından21 kimliği kaldırılmış veriler kullanılmıştır. Etik onay ve yazılı bilgilendirilmiş onam, HBN girişimi tarafından daha önce tüm katılımcı merkezlerden ve deneklerden alınmıştır. EEG ve fMRI kayıtları eş zamanlı olarak değil, ayrı oturumlarda gerçekleştirilmiş ve HBN'de mevcut olan katılımcı ve oturum tanımlayıcıları kullanılarak eşleştirilmiştir.

1. Hesaplama ortamını ve giriş verilerini hazırlayın

  1. Hesaplama ortamını yapılandırın
    1. Bir Python 3.12.4 sanal ortamı oluşturun ve etkinleştirin: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Herkese açık GitHub deposunda sağlanan requirements.txt dosyasını kullanarak gerekli paketleri ve bunların sabit sürümlerini yükleyin: pip install -r requirements.txt
    3. Eğitimden önce PyTorch ve CUDA yapılandırmasını doğrulayın: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Çıktının PyTorch 2.6.0+cu124, CUDA 12.4 rapor ettiğini ve CUDA kullanılabilirliğinin True olduğunu onaylayın. Model eğitimini CUDA uyumlu bir GPU kullanarak gerçekleştirin.
  2. Model eğitiminden önce tüm H5 giriş dosyalarını inceleyin.
    1. Her dosyanın EEG düğüm özellikleri için sLORETA_mean_func, EEG grafiği için sLORETA_mean_CorrMatrix, fMRI düğüm özellikleri için fMRI-DK68-node-mat, fMRI grafiği için fMRI-DK68-edge-mat ve tanı için bir etiket içerdiğini onaylayın. Eksik anahtarları, sayısal olmayan girişleri, geçersiz etiketleri veya 68 bölgeli Desikan-Killiany atlası ile tutarsız boyutları olan dosyaları hariç tutun. H5 giriş kontrol betiğini şu şekilde çalıştırın: python checkH5.py (Ek Dosya 1).

2. EEG ve fMRI özelliklerini ortak bir anatomik uzayda hizalayın

  1. fMRI verilerini ön işlemeden geçirin.
    1. fMRI verilerini C-PAC (versiyon 1.8.7) kullanarak işleyin. C-PAC ön işleme betiğini şu şekilde çalıştırın: bash run_cpac_brainmoe.sh (Ek Dosya 2). Başlangıçtaki kararlı olmayan sinyal etkilerini azaltmak için ilk beş hacmi atın.
    2. Kesit zamanlaması düzeltmesi (slice-timing correction), hareket düzeltmesi, distorsiyon düzeltmesi, kayıt (registration), MNI152 anatomik uzayına normalizasyon ve uzamsal düzleştirme işlemlerini gerçekleştirin. Hareketle ilişkili 24 gürültü parametresini regress edin.
    3. 0,01-0,08 Hz değerinde zamansal bant geçiren filtreleme uygulayın.
  2. Atlasla uyumlu fMRI öznitelikleri oluşturun.
    1. Karşılık gelen yapısal MRI'ı FreeSurfer (versiyon 7.4.1) kullanarak işleyin. Betikleri şu şekilde çalıştırın: bash Step01_mgz_2_nifti.sh. Elde edilen Desikan-Killiany kortikal parsellasyonu katılımcının yerel fMRI uzayına coregister edin. Betikleri şu şekilde çalıştırın: python Step02_CoRegistration.py. 68 kortikal bölgenin her birindeki ortalama voksel tabanlı sinyali hesaplayın. Betikleri şu şekilde çalıştırın: python Step03_fMRI_Signal_Extraction.py (Ek Dosya 3).
    2. 68 x 370 boyutunda bir fMRI düğüm-öznitelik matrisi elde etmek için zamansal dolgu yapmadan ardışık 370 fMRI zaman noktasını saklayın; burada 68 DK kortikal bölgelerini, 370 ise saklanan fMRI zaman noktalarını ifade eder.
  3. fMRI grafiğini oluşturun.
    1. 68 DK bölgesinin 370 noktalı zaman serileri arasındaki Pearson korelasyonlarını hesaplayın. Elde edilen 68 x 68 fonksiyonel bağlantı matrisini fMRI kenar matrisi olarak kaydedin.
  4. EEG verilerini ön işlemeden geçirin.
    1. 129 kanallı EEG kayıtlarını MATLAB (versiyon R2022a) içindeki EEGLAB araç takımı (versiyon 2022.1) ile işleyin. İki EEGLAB ön işleme betiğini sırasıyla şu şekilde çalıştırın: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Ek Dosya 4). 500 Hz örnekleme hızını koruyun ve 0,2–40 Hz bant geçiren filtre uygulayın. Gürültülü segmentleri ve hatalı elektrotları belirleyin ve kötü kanalları komşu elektrotların ortalama sinyalini kullanarak interpole edin.
    2. Bağımsız bileşenleri sınıflandırmak için ICLabel eklentisi ile bağımsız bileşen analizi kullanın. Göz veya kas artefaktı sınıflandırma olasılığı 0,90'dan büyük olan bileşenleri kaldırın. Ortalama yeniden referanslama (average re-referencing) uygulayın. Ön işleme ve artefakt reddinden sonra 250 s'den az kullanılabilir veri içeren kayıtları hariç tutun.
  5. Atlasla uyumlu EEG öznitelikleri oluşturun.
    1. Her katılımcının yapısal MRI'ından kişiselleştirilmiş üç katmanlı Sınır Element Yöntemi (Boundary Element Method - BEM) kafa modeli oluşturun. Kaynak uzayını her katılımcının bireysel kortikal yüzeyi üzerinde tanımlayın. EEG elektrot konumlarını BEM yüzeyine kaydedin ve lead-field matrisini hesaplayın.
    2. Temel gürültü kovaryans matrisi kullanılarak regüle edilmiş bir ters operatör uygulayın. Sinyal-gürültü oranını (SNR) 3,0 olarak ayarlayarak λ2 = 1/SNR2 = 1/9 (yaklaşık 0,1111) değerini elde edin ve MNE-Python (versiyon 1.9) ile uygulanan standartlaştırılmış düşük çözünürlüklü elektromanyetik tomografi (sLORETA) kullanarak kaynak lokalizasyonu gerçekleştirin.
    3. 68 ROI düzeyinde zaman serisi elde etmek için her bir Desikan-Killiany parselindeki vertex tabanlı kaynak tahminlerini aritmetik ortalama ile toplayın. İlk sürekli 250 s'lik segmenti saklayın ve her bir ROI zaman serisini ardışık, örtüşmeyen 250 adet 1 s'lik epoch'a bölün.
    4. 68 x 250 boyutunda bir EEG düğüm-öznitelik matrisi elde etmek için her epoch içindeki 8–12 Hz alfa bandı gücünü hesaplayın; burada 68 DK kortikal bölgelerini, 250 ise ardışık, örtüşmeyen 250 adet 1 s'lik epoch'ları ifade eder.
  6. EEG grafiğini oluşturun ve modlar arası uyumu doğrulayın.
    1. 68 DK bölgesinin 250 epoch'luk 8–12 Hz alfa-güç serileri arasındaki Pearson korelasyonlarını hesaplayın. Elde edilen 68 x 68 matrisi EEG grafiği olarak kaydedin.
    2. EEG ve fMRI matrislerinin aynı DK bölge sırasını kullandığını onaylayın ve model girişi, atıf ve görselleştirme için aynı DK bölge indeks dosyasını kullanın. MNE-Python kaynak lokalizasyon ve öznitelik çıkarma betiğini şu şekilde çalıştırın: python "Extract features - templates.py" (Ek Dosya 5).
  7. Her örnekteki düğüm özniteliklerini normalize edin.
    1. EEG ve fMRI düğüm öznitelik matrislerine düğüm tabanlı z-skoru normalizasyonu uygulayın. Graf matrislerini bağlantı girişleri olarak tutun ve graf normalizasyonunu BrainMoE modeli içerisinde uygulayın.
    2. EEG ve fMRI ön işlemlerini, ön işleme parametrelerini belirlemek için çapraz doğrulama katmanlarından gelen bilgileri kullanmadan, sabit ayarlar kullanarak her katılımcı için bağımsız olarak gerçekleştirin.

3. Hastalığa özgü ikili sınıflandırma görevleri oluşturun

  1. Beş adet hastalığa özgü ikili sınıflandırma görevi tanımlayın.
    1. Tüm görevlerde sağlıklı kontrolleri (HC) sınıf 0 olarak kodlayın ve yalnızca seçilen hastalık grubunu kendi görevi içinde sınıf 1 olarak kodlayın.
    2. Depresyon, anksiyete bozukluğu, spesifik öğrenme bozukluğu ve okuma bozukluğu ile seyreden nörogelişimsel bozukluk, otizm spektrum bozukluğu ve dikkat eksikliği/hiperaktivite bozukluğu için ayrı sağlıklı-hastalık karşılaştırma görevleri oluşturun.
  2. Çalışma kohortlarını karakterize edin ve potansiyel cinsiyet ve veri toplama merkezi etkilerini inceleyin.
    1. Her hastalığa özgü görev için, eksiksiz EEG, fMRI ve yapısal manyetik rezonans görüntüleme (sMRI) verilerine ve geçerli bir tanı etiketine sahip HBN katılımcılarını dahil edin. Komorbid tanıları olan katılımcıları hastalık pozitif kohortlardan hariç tutun. Ön işleme ve artefakt giderme sonrası 250 s'den daha az kullanılabilir veri içeren EEG kayıtlarını hariç tutun ve yalnızca bölüm 1.2'de açıklanan kalite kontrol kriterlerini geçen giriş dosyalarını saklayın.
    2. Ortak HC kohortu ve her bir hastalık kohortu için saklanan multimodal kayıt sayılarını ve benzersiz katılımcı sayılarını, hastalık-kontrol oranlarını, yaş aralıklarını, cinsiyet dağılımlarını ve veri toplama merkezi dağılımlarını Tablo 4'te özetleyin.
      NOT: Aynı HC kohortu beş görevin tamamında sınıf 0 olarak yeniden kullanıldığından, görev düzeyindeki performans tahminleri istatistiksel olarak bağımsız değildir. Bu bağımlılık, hastalık grubu örtüşmesinden ziyade ortak HC kohortundan kaynaklanmaktadır.
    3. Performansı cinsiyete ve veri toplama merkezine göre katmanlandırın ve ortaya çıkan değerleri, tekrarlanan 5 katlı çapraz doğrulama çalışmaları boyunca iki yönlü Welch t-testleri kullanarak karşılaştırın.
  3. Göreve özgü H5 dosyalarını seçin ve çapraz doğrulama ayrımlarını tanımlayın.
    1. Her görev için yalnızca HC ve hedef hastalık grubunu saklayın. Katılımcı düzeyinde 5 katlı çapraz doğrulamanın 10 tekrarını oluşturun. Katlar arasındaki sınıf dağılımını korumak için benzersiz katılımcıları ikili sınıf etiketine (HC'ye karşı hedef hastalık) göre katmanlandırın.
    2. Gruplandırma değişkeni olarak benzersiz katılımcı kimliğini kullanın ve aynı katılımcının tüm oturumlarını ve multimodal kayıtlarını aynı kata atayın. 10 tekrarlı çapraz doğrulama bölümlerini oluşturmak için sırasıyla 1-10 arası rastgele tohumlar (random seeds) kullanın. Model başlatma ve eğitimi için 1 değerinde sabit bir rastgele tohum kullanın.
    3. Ayrılan katı (held-out fold) yalnızca final değerlendirmesi için ayırın; her kat için katılımcı kimliklerini, dosya listelerini ve bölüm indekslerini ilgili kontrol noktasıyla (checkpoint) birlikte kaydedin. Her eğitim katı için, eğitim etiketlerinden sınıf ağırlıklarını hesaplayın ve sınıf dengesizliğinin neden olduğu yanlılığı azaltmak için bunları çapraz entropi kaybında (cross-entropy loss) kullanın.

4. Bilgisayar destekli beyin bozukluğu teşhisi için BrainMoE mimarisini oluşturun

NOT: BrainMoE mimarisi; graf kodlayıcı, paylaşılan sinirsel durum yumuşak yönlendirme ve hastalığa özgü ikili teşhis için uzman tabanlı özellik entegrasyonunu birleştiren kompakt bir eksik modaliteli EEG-fMRI füzyon çerçevesi olarak tasarlanmıştır. Genel mimari Şekil 1'de gösterilmekte olup uygulama kodu Ek Dosya 6'da sunulmuştur.

  1. BrainMoE girişlerini ve modalite durumlarını tanımlayın. Kaynak-uzay hizalamasından sonra EEG Modalitesi ve fMRI Modalitesini eşleştirilmiş graf girişleri olarak kullanın. Burada, X bölgesel bir özellik matrisini, A modaliteye özgü bir beyin grafını temsil eder ve her satır 68 Desikan-Killiany bölgesinden birine karşılık gelir.
    Statik denge, ΣFx=0, matematiksel matris gösterimi, denge analizi denklemleri.
    MRI veri denklemleri, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), matris gösterimi formülü.
    Modalite Kullanılabilirlik Maskesini m = [mEEG, mfMRI] olarak tanımlayın. Tam EEG-fMRI girişi için m = [1,1], yalnızca EEG girişi için m = [1,0] ve yalnızca fMRI girişi için m = [0,1] kullanın.
  2. Graf kodlayıcı: q'nun EEG veya fMRI olduğu her modalite q için, özellik matrisi Xq ve graf Aq değerlerini modaliteye özgü Graf Kodlayıcısına aktarın. Kodlayıcı; düğüm projeksiyonu, graf mesaj iletimi, normalizasyon, aktivasyon ve dropout (p=0.3) içeren eğitilebilir bir nöral modüldür.
    EEG, fMRI parametreleri ile nörolojik veri entegrasyonu için graf kodlama denklemi.
    NOT: Bu notasyonda Zq, EEG Graf Kodlayıcısı veya fMRI Graf Kodlayıcısı tarafından üretilen ROI düzeyindeki gizil temsildir. EEG Graf Kodlayıcısı her 68 x 250 Giriş matrisini 68 x 128 boyutunda bir gizil temsile eşlerken, fMRI Graf Kodlayıcısı her 68 x 370 Giriş matrisini 68 x 128 boyutunda bir gizil temsile eşler. Her kodlayıcı, bir giriş projeksiyonunun ardından 128 gizli boyuta sahip iki rezidüel graf-konvolüsyon katmanı, GELU aktivasyonu, katman normalizasyonu ve dropout kullanır.
  3. Eğitilebilir eksik modalite tokenları: Modality q için token Tq ve karşılık gelen kullanılabilirlik göstergesi mq olsun. Bu adım, tam ve tek modaliteli girişler altında aynı 68 bölgeli düzeni koruyan durum-bilinçli bir temsil üretir.
    Nöral veri füzyon diyagramındaki denklem; ağırlıklandırma faktörü ile EEG, fMRI analiz entegrasyon formülü.
    NOT: Her eğitilebilir eksik modalite tokenı 128 boyutlu bir vektördür ve ilgili modalite mevcut olmadığında 68 ROI satırı boyunca genişletilir.
  4. Paylaşılan Nöral-Durum Yumuşak Yönlendirme Modülü: İlk olarak, durum-bilinçli EEG temsili ZEEG, durum-bilinçli fMRI temsili ZfMRI ve gömülü Modalite Kullanılabilirlik Maskesini birleştirin. Modalite Kullanılabilirlik Maskesi, 2 → 128 boyutlu bir MLP, GELU aktivasyonu ve katman normalizasyonu ile gömülür. Yönlendirici (Router), kanal boyutları 384 → 128 → 128, çekirdek boyutu 3 ve dolgu (padding) 1 olan iki tek boyutlu konvolüsyonel katmandan oluşur. Her konvolüsyondan sonra GELU aktivasyonu uygulanır ve ilk konvolüsyondan sonra dropout (p=0.3) eklenir.
    Çok katmanlı perseptron analizinde EEG, MRI verilerinin birleştirilmesine yönelik matematiksel denklem.
    Statik denge notasyonu Π=Router(U); matematiksel formül görselleştirmesi.
  5. Paylaşılan nöral-durum uzmanı.
    1. Durum-bilinçli EEG temsili ZEEG, durum-bilinçli fMRI temsili ZfMRI ve yumuşak yönlendirme temsili R değerlerini özellik boyutu boyunca birleştirin. Tam bağlantılı bir füzyon katmanı (384'ten 128'e) uygulayın, ardından katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) ekleyin ve 128 boyutlu denek düzeyindeki füzyon temsili zfused değerini elde etmek için sonuç temsili 68 ROI boyunca ortalama havuzlayın (mean-pool):
      Denklem: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); veri entegrasyon yöntemi diyagramı.
    2. zfused değerini; tam bağlantılı bir katman (128'den 128'e), katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) içeren Paylaşılan nöral-durum uzmanından geçirin. Ortaya çıkan 128 boyutlu paylaşılan uzman temsilini Eshared ile belirtin:
      Paylaşılan uzman dönüşümü için denklem, E_shared = SharedExpert(z_user).
  6. EEG ve fMRI uzmanları.
    1. Her modalite için, durum-bilinçli temsili 68 ROI boyunca ortalama havuzlayın ve sonuçta oluşan 128 boyutlu temsili karşılık gelen modaliteye özgü Uzmandan geçirin:
      EEG, fMRI veri analizi; denklem; Expert_q(MeanPool(Z_q)); nörobilim, beyin araştırmaları
    2. Her modaliteye özgü Uzman; tam bağlantılı bir katman (128'den 128'e), katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) içerir. Ortaya çıkan 128 boyutlu modaliteye özgü uzman temsillerini sırasıyla EEEG ve EfMRI ile belirtin.
  7. Füzyon modülü.
    1. Uzman ağırlıklarını hesaplamak için, 128 boyutlu denek düzeyindeki füzyon temsili zfused değerini 2 boyutlu Modalite Kullanılabilirlik Maskesi m ile birleştirerek 130 boyutlu bir Kapı (Gate) girişi elde edin. Füzyon Modülü, uzman füzyonu için kullanılan örneğe özgü ağırlıkları üreten bir Uzman Kapısı içerir. Uzman Kapısı, tam bağlantılı bir katman (130'dan 128'e), ardından GELU aktivasyonu, dropout (p = 0.3) ve bir çıkış tam bağlantılı katmanından (128'den 3'e) oluşur. Örneğe özgü uzman ağırlıklarını elde etmek için üç çıkış logitine softmax uygulayın:Derin öğrenme formül diyagramı; Softmax fonksiyonu; sinir ağı denklemi; algoritma kavramı.
    2. Sonuç ağırlıkları negatif değildir ve her örnek için toplamı 1'dir:
      Beyin görüntüleme analizi için ağırlıklı dağılım denklemi, W_EEG + W_fMRI + W_shared = 1.
    3. Her 128 boyutlu uzman temsilini karşılık gelen Kapı ağırlığı ile çarpın ve üç ağırlıklı temsili toplayın:
      Statik denge denklemi, formül: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      NOT: Bu işlem, yoğun yumuşak MoE füzyonunu uygular.
    4. Ortaya çıkan 128 boyutlu nihai uzman temsili efused değerini, bölüm 4.8'de açıklanan beyin bozukluğu teşhisi sınıflandırma kafasına aktarın.
  8. Beyin bozukluğu teşhisi sınıflandırma kafası: 128 boyutlu nihai uzman temsilini; katman normalizasyonu, dropout (p = 0.3) ve 128 boyutu 2 çıkış logitine eşleyen tam bağlantılı bir katmandan oluşan bir sınıflandırma kafasından geçirin. HC olasılığını ve hedef hastalık olasılığını elde etmek için softmax uygulayın. Hedef hastalık olasılığı en az 0.5 olduğunda örneği hastalık sınıfına atayın.
    Softmax sınıflandırma denklemi, makine öğreniminde sinir ağı çıktı tahmini için formül.
  9. Eğitimden önce uygulama tutarlılığını doğrulayın. m = [1,1], m = [1,0] ve m = [0,1] durumlarında bir deneme ileri besleme (forward pass) çalıştırın. EEG, fMRI, durum-bilinçli, yönlendirme ve füzyon temsillerinin, açıkça havuzlanmadıkça 68 ROI satırını koruduğunu ve uzman ağırlıklarının EEG Uzmanı, fMRI Uzmanı ve Paylaşılan nöral-durum uzmanı sırasıyla toplamının 1 olduğunu doğrulayın.

5. Beyin bozuklukları teşhisi için beş BrainMoE modelini eğitin

  1. Her bir hastalığa özgü ikili görev için bir BrainMoE modeli eğitin.
    1. Tüm görevler için aynı mimariyi ve varsayılan hiperparametreleri kullanın: 30 epoch, 16 grup boyutu (batch size), 0.001 öğrenme oranı, 0.0001 ağırlık azalımı (weight decay). Model mimarisini ve hiperparametreleri test katlaması (test-fold) değerlendirmesinden önce sabitleyin ve tüm katlamalar, tekrarlar ve hastalığa özgü görevler boyunca bunları değiştirilmeden tutun.
    2. Model seçimi veya hiperparametre ayarı için ayrılmış test katlaması performansını kullanmayın. Her mini-grup için, paylaşılan model ağırlıklarıyla tam, yalnızca EEG ve yalnızca fMRI maskelerini kullanarak üç ileri besleme (forward pass) gerçekleştirin. BrainMoE eğitimini şu şekilde çalıştırın: python train.py --config configs/brain_moe.json --task --data_dir (Ek Dosya 6). kısmını depression, anxiety, reading_disorder, autism veya adhd olarak ayarlayın.
  2. Ortalama üç durumlu sınıflandırma kaybını optimize edin. Her durum için sınıf ağırlıklı çapraz entropi kaybı Ls değerini şu şekilde hesaplayın:
    Nörobilimde statik denge formülü; çok modlu beyin verisi entegrasyon yöntemini betimleyen denklem.
    ve kayıpların ortalamasını şu şekilde alın:
    Eğitim kaybı denklemi L_train=(L_full+L_EEG-only+L_MRI-only)/3; denklem çalışması.
  3. Gradyanları sıfırlayın, geri yayılım (backpropagate) yapın ve tüm eğitilebilir parametreleri AdamW ile güncelleyin.

6. Tam ve eksik modlu çıkarım durumlarını değerlendirin

  1. Değerlendirme yöntemi: Seçilen hastalık görevi için kontrol noktasını (checkpoint) yükleyin ve aynı kontrol noktasından kaydedilen test dosyası listesini kullanın. Tam EEG-fMRI çıkarımı için m = [1,1], yalnızca EEG çıkarımı için m = [1,0] ve yalnızca fMRI çıkarımı için m = [0,1] değerlerini kullanın. Son olarak, hedef hastalık olasılığını elde etmek için softmax uygulayın ve olasılık en az 0.5 olduğunda hastalık sınıfını atayın.
  2. Değerlendirme metrikleri: TP'nin doğru şekilde hastalık olarak sınıflandırılan hastalık pozitif örnekleri, TN'nin doğru şekilde sağlıklı olarak sınıflandırılan HC'leri, FP'nin yanlışlıkla hastalık olarak sınıflandırılan HC'leri ve FN'nin yanlışlıkla sağlıklı olarak sınıflandırılan hastalık pozitif örnekleri belirttiği konfüzyon matrisinden değerlendirme metriklerini hesaplayın.
    Statik denge formülü, Doğruluk hesaplaması, gerçek/yanlış pozitif/negatif analizi için denklem.
    Duyarlılık hesaplama formülü, araştırmada gerçek pozitif oran analizi için denklem.
    Özgüllük formülü, \( \text{Specificity} = \frac{TN}{TN + FP} \), denklem, istatistiksel analiz.
    F1 skoru formülü: kesinlik ve duyarlılığın harmonik ortalaması, istatistiksel analizde kullanılır.
    Dengeli doğruluk formülü; sınıflandırma modeli performansını değerlendirmek için denklem.
  3. Genel doğru sınıflandırma oranını raporlamak için doğruluğu (accuracy) kullanın. Hastalık pozitif tespitini nicelleştirmek için duyarlılığı (sensitivity) ve HC tanımlamasını nicelleştirmek için özgüllüğü (specificity) kullanın.
  4. Kesinlik (precision) ve duyarlılık arasındaki dengeyi özetlemek için F1 skorunu kullanın. Sınıf dengesizliğinin etkisini azaltmak için dengeli doğruluğu (balanced accuracy) kullanın. Ayrıca, karar eşikleri genelinde eşikten bağımsız ayrımı değerlendirmek için AUC değerini hesaplayın.
  5. Her tekrar için, her bir performans metriğinin beş ayrılmış katlamadaki (fold) ortalamasını alın. Nihai sonuçları, 10 tekrar düzeyindeki ortalamaların ortalaması ve standart sapması olarak raporlayın.
  6. BrainMoE'yi temel yöntemlerle (baseline) karşılaştırın. Tüm temel yöntemler, BrainMoE ile aynı katılımcı düzeyindeki bölümleri ve tam EEG-fMRI girişlerini kullanmış olup konfigürasyonlar ayrılmış değerlendirme öncesinde sabitlenmiştir. BrainMoE, Holm düzeltmeli iki yönlü eşleştirilmiş t-testleri kullanılarak her bir temel yöntemle karşılaştırılmıştır.

7. Beş beyin bozukluğu genelinde grup düzeyinde düğüm oklüzyon atıflarını gerçekleştirin

  1. Atıf kohortunu tanımlayın. Eğitilmiş BrainMoE kontrol noktasını ve DK bölge isim dosyasını yükleyin. m = [1,1] olan tam EEG-fMRI durumu altında doğru sınıflandırılan hastalık pozitif test örneklerini seçin. Bu kohortu grup düzeyindeki atıf analizi için kullanın ve her örneğin baz hattı hedef hastalık olasılığını kaydedin.
  2. Modaliteye özgü düğüm oklüzyon skorlarını hesaplayın. EEG kaynaklı atıf için, fMRI girdisini sabit tutarken, seçilen EEG düğüm özellik vektörünü ve EEG grafiğinin ilgili satır ve sütununu sıfıra ayarlayarak her seferinde bir EEG ROI'sini oklüze edin. fMRI kaynaklı atıf için, EEG girdisini sabit tutarken aynı işlemi fMRI düğüm özellik matrisine ve fMRI grafiğine uygulayın. Bu prosedürü tüm 68 DK bölgesi boyunca tekrarlayın. Ek Dosya 7'de sağlanan kodu kullanarak düğüm oklüzyon atıf analizini çalıştırın.
  3. Grup düzeyindeki ROI katkılarını hesaplayın ve görselleştirin. Her bir ROI ve her bir modalite için, katkı skorunu, seçilen tüm örneklerde oklüzyon sonrası hedef hastalık olasılığındaki ortalama azalma olarak hesaplayın. EEG kaynaklı ve fMRI kaynaklı skorları ayrı ayrı sıralayın, her modalite için en yüksek ilk 10 ROI'yi dışa aktarın ve şekilde en yüksek sıralamaya sahip ROI'yi etiketleyin.

Sonuçlar

Bozukluklar ve modalite durumları genelinde BrainMoE performansı
Protokol, hastalığa özgü beş sağlıklı-hastalık karşılaştırmalı BrainMoE sınıflandırıcısı oluşturmuş ve tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım durumları için tahmin tabloları üretmiştir. Tam EEG-fMRI durumu, RI için %84,4 ± 3,2'den ASD için %88,4 ± 3,8'e kadar değişen AUC değerleri ile beş görev genelinde tutarlı bir şekilde yüksek ayrıştırma performansı göstermiştir (Tablo 1). Beş görev genelindeki makro-ortalamalı tam durum performansı; %86,9 ± 3,0 AUC, %81,4 ± 3,1 doğruluk, %81,4 ± 2,5 dengeli doğruluk ve %81,2 ± 3,0 F1 skoruna ulaşmıştır.

Simüle edilmiş eksik modalite koşulları altında, BrainMoE bir giriş modalitesi maskelendiğinde kullanılabilir performansı korumuştur. Yalnızca EEG durumunda, model 83,1 ± 3,7% oranında makro-ortalamalı bir AUC elde etmiş olup, en güçlü yalnızca EEG AUC değeri ADHD için 87,9 ± 2,8% olarak gözlemlenmiştir. Yalnızca fMRI durumunda makro-ortalamalı AUC 80,0 ± 3,9% olmuştur. Bu performans aralıkları ve beklenen tam durum performans avantajı, başarılı uygulama için pratik referans noktaları oluşturmakta ve eğitilmiş BrainMoE çerçevesinin her modalite için ayrı modellere ihtiyaç duymadan tam, yalnızca EEG ve yalnızca fMRI çıkarımı yapabildiğini göstermektedir.

Temsili bir optimal olmayan sonuç, örneğin tam EEG-fMRI AUC değeri, yalnızca EEG veya yalnızca fMRI AUC değerinden daha düşük olduğunda, beklenen tam durum performans avantajının yeniden üretilememesidir. Buna karşılık, başarılı bir uygulama, tam durum avantajını ve Tablo 1'de rapor edilen karşılaştırma performans aralıklarını yeniden üretmelidir. Optimal olmayan bir patern gözlemlendiğinde, model çıktısını yorumlamadan önce H5 giriş boyutlarını, DK bölge sırasını, modalite-kullanılabilirlik maske atamasını ve kaydedilen çapraz doğrulama bölümlerini doğrulayın.

Kıyaslama karşılaştırması
Önerilen BrainMoE modeli; klasik makine öğrenimi yöntemleri (destek vektör makinesi (SVM) ve çok katmanlı perceptron (MLP)), genel derin öğrenme yöntemleri (Transformer7, 3D-CNN22 ve ResNet6), gelişmiş derin öğrenme yöntemleri (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) ve MoE tabanlı derin öğrenme yöntemleri (dFCExpert17, EvoMoE18 ve NeuroMoE++19) ile karşılaştırılmıştır (Tablo 2). BrainMoE, karşılaştırılan tüm yöntemler arasında %86,9 ± 3,0 ile en yüksek ortalama AUC değerine ulaşmıştır.

Klasik makine öğrenimi yöntemleri daha düşük ortalama performans göstermiş olup, SVM %66,7 ± 4,5 ortalama AUC ve MLP %64,6 ± 6,3 AUC elde etmiştir. Genel derin öğrenme yöntemleri değişken performans sergilemiş; ResNet %71,0 ± 3,3 ve Transformer %63,8 ± 4,7 ortalama AUC değerlerine ulaşmıştır. Gelişmiş derin öğrenme temel modelleri arasında BNT, BrainGNN, MultiEpilepsyNet ve SZAtt-Net, çoğu klasik ve genel derin öğrenme yönteminden daha iyi performans göstermiş olsa da, ortalama AUC değerleri BrainMoE'den daha düşük kalmıştır.

Kıyaslama karşılaştırmasına istatistiksel destek sağlamak için BrainMoE, her performans metriği için en güçlü temel modelle karşılaştırılmıştır (Tablo 3). BrainMoE, AUC ve dengeli doğruluk (BA) değerlerinde NeuroMoE++'den; F1 skorunda ve doğrulukta ise SZAtt-Net'ten daha iyi performans göstermiştir. Tüm karşılaştırmalar Holm düzeltmesinden sonra da anlamlı kalmaya devam etmiştir.

Cinsiyete ve veri toplama merkezine göre alt grup analizi
Saklanan multimodal kayıt sayıları, hastalık-kontrol oranları, benzersiz katılımcı sayıları, yaş özetleri, cinsiyet dağılımları ve veri toplama merkezi dağılımları dahil olmak üzere göreve özgü kohort özellikleri, kohort özellikleri tablosunda (Tablo 4) özetlenmiştir. Hastalık-kontrol oranları multimodal kayıt sayıları üzerinden hesaplanırken, demografik özellikler ve veri toplama merkezi özellikleri benzersiz katılımcı düzeyinde özetlenmiştir.

Cinsiyetin ve edinme sahasının potansiyel etkilerini değerlendirmek için BrainMoE performansı bu faktörlere göre katmanlandırılmıştır (Tablo 5). Erkek alt grubu; kadın alt grubuna kıyasla daha yüksek ortalama AUC, BA, F1 skoru ve doğruluk göstermiş, buna karşılık düzeltilmemiş Welch p değerleri 0,089 ile 0,321 arasında değişmiştir. Benzer şekilde, RUBIC alt grubu, p değerleri 0,055 ile 0,309 arasında değişmekle birlikte, Staten Island alt grubundan daha yüksek ortalama performans göstermiştir. Bu analizlerde istatistiksel olarak anlamlı bir alt grup farkı saptanmamıştır.

BrainMoE bileşenlerinin ablasyon analizi
Modalite kullanılabilirlik maskesinin, konvolüsyonel yönlendiricinin, paylaşılan uzmanın ve MoE uzman füzyon tasarımının katkısını değerlendirmek için ablasyon deneyleri gerçekleştirilmiştir (Tablo 6). Maske gömmesinin çıkarılması ortalama AUC değerini %79,2 ± 3,1'e düşürmüş ve konvolüsyonel yönlendiricinin bir MLP yönlendirici ile değiştirilmesi bu değeri %79,3 ± 3,7'ye düşürmüştür. Paylaşılan uzmanın çıkarılması, test edilen varyantlar arasındaki en düşük değer olan fMRI-yalnız AUC'yi %73,5 ± 3,3'e düşürmüştür. Tüm MoE uzmanlarının çıkarılması da genel dengeli doğruluğu %74,2 ± 3,0'e düşürmüştür. Bu ablasyon sonuçları, tam BrainMoE tasarımının hem tam hem de eksik modalite durumlarında genel olarak en güçlü performansı sergilediğini; maske gömme, konvolüsyonel yönlendirici, paylaşılan uzman ve MoE uzman füzyonunun her birinin nihai model davranışına katkıda bulunduğunu göstermiştir.

Beş beyin bozukluğu için ROI düzeyinde yorumlanabilirlik sonuçları
BrainMoE tahminlerinin temelini oluşturan bölgesel katkıları incelemek amacıyla, tam EEG-fMRI durumundaki doğru sınıflandırılmış hastalık-pozitif örnekler üzerinde düğüm-oklüzyon atıf analizi gerçekleştirilmiştir. Her bir DK atlas bölgesini oklüde ettikten sonraki hedef hastalık olasılığındaki azalma ölçülerek, EEG kaynaklı ve fMRI kaynaklı ROI katkıları ayrı ayrı sıralanmıştır. Analiz, beş hastalık görevi genelinde modaliteye özgü katkı paternlerini belirlemiştir (Şekil 2). fMRI kaynaklı atıflar için en üst sıradaki bölgeler; MDD'de sol posterior singulat, ANX'te sağ perikalkarin korteks, RI'de sol parahippokampal korteks, ASD'de sağ pars triangularis ve ADHD'de sol entorinal kortekstir. EEG kaynaklı atıflar için en üst sıradaki bölgeler; MDD'de sol superior temporal sulkus kenarları, ANX'te sol precentral korteks, RI'de sol kuneus, ASD'de sol lingual korteks ve ADHD'de sağ insuladır. Her bozukluk için en yüksek sıralamaya sahip EEG ve fMRI kaynaklı ROI'ler Şekil 3'teki kortikal yüzeylerde görselleştirilmiştir. Bu sonuçlar, BrainMoE'nin EEG kaynaklı ve fMRI kaynaklı temsiller için ayrı atıf profillerini korurken ROI düzeyinde yorumlanabilirlik sağladığını göstermiştir. Doğru sınıflandırılan hastalık-pozitif örnekler için çapraz katlamalı stabilite, 50 ayrılmış katlama genelindeki Top-1 ROI frekansı kullanılarak değerlendirilmiştir (Tablo 7). Gözlemlenen frekanslar %36 ile %68 arasında değişmiş olup, 1/68 (%1,47) olan teorik rastgele seçim referansını aşmış ve mutlak katkı büyüklüklerinden ziyade göreceli sıralamalara dayalı yorumlamayı desteklemiştir. Önceki nörogörüntüleme bulguları ile karşılaştırmalar post hoc olarak yapılmış ve bağımsız bir doğrulama olarak değil, yalnızca atıf sonuçlarını bağlamlandırmak için kullanılmıştır.

EEG/fMRI modalite füzyon diyagramı; ortak sinirsel durum uzmanı; beyin bozuklukları için tanı sınıflandırması.
Şekil 1: Bilgisayar destekli beyin bozukluğu tanısı için adaptif EEG-fMRI füzyonuna sahip BrainMoE çerçevesinin genel görünümü. Kaynağa hizalanmış EEG ve fMRI ROI özellikleri ayrı Graf Kodlayıcılar tarafından işlenir. Elde edilen temsiller EEG ve fMRI Uzmanlarına ve Modalite Kullanılabilirlik Maskesi ile birlikte ortak Yumuşak Yönlendirme Modülüne aktarılır. Modalite temsilleri ve yönlendirme temsili birleştirilir ve Ortak sinirsel durum uzmanı tarafından işlenir. Üç uzman çıktısı daha sonra Füzyon Modülünde birleştirilir ve HC ve hedef hastalık olasılıklarını üretmek için Tanı Sınıflandırma Başlığına aktarılır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Beyin ROI katkı çubuk grafikleri; bozukluklar için fMRI EEO analizi: depresyon, anksiyete, DEHB.
Şekil 2: Düğüm oklüzyonuna dayalı ROI katkı analizi. Tam EEG-fMRI çıkarım durumu altında, her bir hastalık görevi için EEG kaynaklı ve fMRI kaynaklı ilk 10 ROI katkısı görselleştirilmiştir. Paneller (A–E) sırasıyla MDD, ANX, RI, ASD ve ADHD için fMRI kaynaklı sonuçları, paneller (F–J) ise aynı sırayla karşılık gelen EEG kaynaklı sonuçları göstermektedir. Her grafikte yalnızca en yüksek sıralamadaki ROI etiketlenmiştir. ROI katkısı, ilgili DK atlas bölgesinin oklüzyonundan sonra hedef hastalık olasılığındaki azalma olarak tanımlanmıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Beyin bölgesi aktivasyon diyagramları; ruhsal bozukluklar MDD, ANX, RI, ASD, ADHD; MRI beyin analizi.
Şekil 3: Beş beyin bozukluğu genelinde kortikal ROI düzeyindeki yorumlanabilirlik haritaları. Paneller (A–E) sırasıyla MDD, ANX, RI, ASD ve ADHD'yi göstermektedir. Her panel, DK kortikal yüzeyi üzerinde en yüksek sıralamaya sahip EEG kaynaklı ROI'yi kırmızıda ve en yüksek sıralamaya sahip fMRI kaynaklı ROI'yi turuncuda görüntüler. Renkler katkı büyüklüğünden ziyade modaliteyi belirtir; bu nedenle herhangi bir nicel renk ölçeği uygulanmamıştır. lh ve rh ön ekleri sırasıyla sol ve sağ hemisferleri ifade eder. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Hastalık göreviDurumAUCDoğrulukBAF1SensitiviteSpesifite
MDDTam88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDSadece EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDSadece fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXTam85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXSadece EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXSadece fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RITam84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RISadece EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RISadece fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDTam88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDSadece EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDSadece fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDTam88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDSadece EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDSadece fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tablo 1: Hastalık görevleri ve modalite-kullanılabilirlik durumları genelinde BrainMoE sınıflandırma performansı. Tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım durumları altında beş sağlıklı-hastalık sınıflandırma görevi için BrainMoE performansı. Metrikler ortalama ± standart sapma olarak raporlanmıştır ve alıcı işletim karakteristik eğrisi altındaki alanı (AUC), doğruluğu, dengeli doğruluğu (BA), F1 skorunu, duyarlılığı ve özgüllüğü içerir.

YöntemYöntem grubuOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
Destek Vektör Makineleri (SVM)Klasik Makine Öğrenimi66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
Çok Katmanlı PerseptronKlasik ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformatörGenel DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3B-CNNGenel DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetGenel DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNİleri Derin Öğrenme70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTİleri Düzey Derin Öğrenme73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNGelişmiş Derin Öğrenme72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetİleri Düzey Derin Öğrenme78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Netİleri Düzey Derin Öğrenme78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoE tabanlı DL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoE tabanlı derin öğrenme79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE tabanlı DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (bizim çalışmamız)MoE tabanlı derin öğrenme86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tablo 2: BrainMoE'nin klasik makine öğrenimi yöntemleri, genel derin öğrenme modelleri ve gelişmiş nörogörüntüleme derin öğrenme mimarileri ile karşılaştırıldığında ortalama sınıflandırma performansı.Sonuçlar, değerlendirilen hastalık sınıflandırma görevleri genelinde birleştirilmiş olup AUC, BA, F1 skoru ve doğruluk için ortalama ± standart sapma olarak raporlanmıştır.

KarşılaştırmaOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
En güçlü temel modelNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
En güçlü temel model performansı81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Fark+5.4+3.5+3.8+3.3
t-testi p0.00060.00650.01870.0276
Holm-düzeltmeli p*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

Tablo 3: Her bir performans metriği için BrainMoE'nin en güçlü temel modelle karşılaştırması. P değerleri, iki yönlü eşleştirilmiş t-testleri kullanılarak hesaplanmış ve Holm prosedürü ile ayarlanmıştır. Cohen'in dz değeri, standartlaştırılmış eşleştirilmiş farkı ifade eder.

KohortMultimodal kayıtlar (n)Hastalık-kontrol oranıBenzersiz katılımcılar (n)Yaş aralığı (yıl)Cinsiyet (Erkek/Kadın)Edinim sitesi (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Tablo 4: Beş hastalığa özgü sınıflandırma görevinde kullanılan çalışma kohortlarının özellikleri.Tablo, elde tutulan multimodal kayıt sayısını, hastalık-kontrol oranlarını, benzersiz katılımcı sayılarını, demografik özellikleri ve veri toplama merkezi dağılımlarını rapor etmektedir.

Alt grupSayıOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
Cinsiyet
Erkek70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Dişi39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Fark+1.6+2.2+2.4+2.9
Welch p-değeri--0.3210.1920.1590.089
Edinim alanı
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Fark+2.4+1.6+2.9+3.3
Welch p-değeri--0.1760.3090.0850.055

Tablo 5: BrainMoE'nin cinsiyete ve örneklem alma yerine göre katmanlandırılmış performansı.Sonuçlar, 5 katlı çapraz doğrulamanın 10 tekrarı boyunca ortalama ± standart sapma olarak bildirilmiştir. Fark, birinci alt grup ile ikinci alt grup arasındaki farkı temsil etmektedir ve P değerleri iki yönlü Welch t-testleri kullanılarak elde edilmiştir.

VaryantTam AUCYalnızca EEG AUCYalnızca fMRI AUCOrtalama AUCOrtalama BA
maske gömme olmadan83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Conv Router olmadan84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
Paylaşımlı Uzman olmadan83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoE Uzmanları olmadan81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (bizimki)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tablo 6: Temel BrainMoE bileşenlerinin ablasyon analizi. Modalite uygunluk maskesinin, konvolüsyonel yönlendiricinin, paylaşılan uzmanın ve MoE uzman-füzyon tasarımının katkısını gösteren ablasyon sonuçları. Her varyant; tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım koşulları altında değerlendirilmiş olup, genel performansı özetleyen ortalama AUC ve ortalama BA değerleri sunulmuştur.

HastalıkEEG: en yüksek sıralamalı ROIEEG: En İyi-1 sıklığı, n/N (%)fMRI: en yüksek sıralamalı ROIfMRI: En İyi-1 sıklığı, n/N (%)Şans referansı (%)
MDDsuperior temporal sulkusun sol kenarları22/50 (44%)sol posterior singulat25/50 (50%)1.47
ANXsol precentral korteks18/50 (36%)sağ pericalcarine korteks21/50 (42%)1.47
RIsol cuneus26/50 (52%)sol parahippocampal korteks29/50 (58%)1.47
ASDsol lingual korteks27/50 (54%)sağ pars triangularis28/50 (56%)1.47
ADHDsağ insula31/50 (62%)sol entorhinal korteks34/50 (68%)1.47

Tablo 7: En üst sırada yer alan EEG ve fMRI kaynaklı ROI'lerin çapraz katlama stabilitesi. Top-1 frekansı, rapor edilen ROI'nin birinci sırada yer aldığı 50 katman düzeyindeki analizlerin sayısını ve yüzdesini belirtir. Teorik rastgele seçim referansı 1/68 (%1,47) idi.

Ek Dosya 1: H5 girdi kontrol betiği. BrainMoE eğitimi öncesinde gerekli H5 girdi anahtarlarını, veri türlerini, tanı etiketlerini ve DK-atlas uyumlu girdi boyutlarını doğrulamak için kullanılan Python betiği. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 2: fMRI ön işleme betiği. İlk hacimlerin çıkarılması, hareket ve distorsiyon düzeltme, kayıt ve normalizasyon, gürültü regresyonu, zamansal filtreleme ve uzamsal düzeltme dahil olmak üzere fMRI ön işleme için kullanılan C-PAC konfigürasyon ve yürütme dosyaları. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 3: FreeSurfer işlem betikleri. Yapısal MRI verilerinin işlenmesi, Desikan-Killiany kortikal parsellasyonunun doğal fMRI uzayına korejister edilmesi ve ROI düzeyindeki fMRI sinyallerinin çıkarılması için kullanılan betikler. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 4: EEG ön işleme betikleri. Filtreleme, artefakt bileşen tanımlama ve temizleme ile yeniden referanslandırmayı içeren, EEG ön işlemeleri için kullanılan MATLAB/EEGLAB betikleri. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 5: MNE-Python kaynak lokalizasyonu ve özellik çıkarma betiği. EEG kaynak lokalizasyonu, DK-atlas ROI çıkarımı ve BrainMoE girdileri olarak kullanılan ROI düzeyindeki EEG özelliklerinin oluşturulması için kullanılan Python betiği. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 6: BrainMoE uygulama kodu. Python kodu ve BrainMoE mimarisi, grafik kodlayıcılar, modalite-durum yönetimi, uzman yönlendirme ve füzyonu, model eğitimi, değerlendirme ve ablasyon varyantları için yapılandırma dosyaları. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 7: Düğüm-maskeleme atıf kodu. Modaliteye özgü düğüm-maskeleme analizi, ROI katkı skorlarının hesaplanması, EEG ve fMRI kaynaklı ROI'lerin sıralanması ve atıf çıktılarının oluşturulması için Python kodu. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

EEG ve fMRI'ın nöral aktivite hakkında tamamlayıcı bilgiler sağlaması nedeniyle, multimodal beyin sinyali analizi bilgisayar destekli beyin bozukluğu teşhisi için önemli bir yön haline gelmiştir. Karşılaştırmalı analizde, SVM ve MLP gibi klasik makine öğrenmesi yöntemleri temel teşhis performansı göstermiş ancak hiyerarşik, graf tabanlı ve modallar arası özellik etkileşimlerini modelleme kapasiteleri sınırlı kalmıştır. 3D-CNN, ResNet ve Transformer dahil olmak üzere genel derin öğrenme modelleri daha güçlü doğrusal olmayan modelleme kapasitesi sunmuş, ancak bu mimariler özellikle EEG-fMRI füzyonu veya beyin ağı temsilleri için tasarlanmamıştır. Gelişmiş derin öğrenme yöntemleri, çoğu klasik ve genel modelden daha iyi performans sergilemiş olsa da, birçoğu hala sabit özellik entegrasyon stratejilerine dayanmış ve modaliteye özgü bilgileri paylaşılan nöral durum bilgilerinden açıkça ayırmamıştır.

Bu çalışma, graf tabanlı modalite kodlayıcılarını, modaliteye özgü uzmanları, paylaşılan bir nöral durum uzmanını ve adaptif bir yönlendirme mekanizmasını birleştirerek bu füzyon problemini çözmek için BrainMoE'yi önermiştir. Bu tasarım, EEG kaynaklı ve fMRI kaynaklı temsillerin ayrı ayrı modellenmesine ve ardından uzman düzeyinde füzyon yoluyla entegre edilmesine olanak sağlamıştır. Modalite durum maskeleri ve eksik modalite belirteçlerinin tanıtılması sayesinde, eğitilmiş aynı model, her bir eksik modalite durumu için ayrı modeller oluşturmaya gerek kalmadan sadece EEG ve sadece fMRI çıkarımları da gerçekleştirebilmiştir. Deneysel sonuçlar, BrainMoE'nin beş ikili hastalık sınıflandırma görevi genelinde en güçlü toplam performansı sergilediğini ve hem sadece EEG hem de sadece fMRI durumlarında kabul edilebilir performansı koruduğunu göstermiştir. Ablasyon analizi; maske gömme işleminin, konvolüsyonel yönlendiricinin, paylaşılan uzmanın ve MoE uzman füzyonunun katkısını daha da desteklemiştir. Bu bulgular, performanstaki artışın tek bir bileşenden değil; graf kodlama, modalite durum modelleme, adaptif yönlendirme ve uzman füzyonunun koordineli tasarımından kaynaklandığını göstermektedir.

Kritik protokol adımları ve sorun giderme
Kritik protokol adımları arasında; EEG ve fMRI düğüm ve graf matrisleri genelinde aynı 68 bölgeli DK düzeninin korunması, önceden tanımlanmış ön işleme ayarlarının her katılımcı için bağımsız olarak uygulanması ve aynı katılımcıdan gelen tüm kayıtların tek bir katlamada (fold) kalmasını sağlamak için katılımcı düzeyinde çapraz doğrulamanın uygulanması yer almaktadır. Modalite Kullanılabilirlik Maskesi de her çıkarım durumu için sağlanan girdilerle uyumlu olmalıdır.

Çıkarım başarısız olursa veya beklenen tam durum performans avantajı yeniden üretilemezse, öncelikle gerekli H5 anahtarlarını, EEG ve fMRI matris boyutlarını, DK bölge sırasını, Modalite Kullanılabilirlik Maskesi atamasını ve kaydedilen çapraz doğrulama bölümlerini doğrulayın. Eksik anahtarlara, geçersiz boyutlara veya tutarsız bölge sıralamasına sahip dosyalar, eğitim veya değerlendirme öncesinde hariç tutulmalıdır. Her iki modalitenin tutarlı bir ROI sıralamasına eşlendiği ve ilgili model giriş boyutlarının ayarlandığı sürece, çerçeve alternatif kortikal parsellasyonlar veya EEG/fMRI özellik temsilleri için modifiye edilebilir. Hastalığa özgü sınıflandırma başlığı, grafik kodlama ve uzman füzyon çerçevesi korunarak diğer ikili sınıflandırma görevlerine de uyarlanabilir. Bu tür modifikasyonlar, burada rapor edilen modellerin doğrudan uygulanması yerine yeniden eğitim ve doğrulama gerektirir.

Düğüm oklüzyonu tabanlı yorumlanabilirlik analizi
Düğüm oklüzyon analizi, BrainMoE öngörülerinin ROI düzeyinde yorumlanabilirliğini daha da sağlamıştır ve en üst sırada yer alan hastalıkla ilişkili ROI'ler Şekil 3'te gösterilmiştir. BrainMoE tarafından tanımlanan EEG kaynaklı sol posterior ROI, MDD'de posterior kortikal bölgelerde değişmiş intrinsik beyin aktivitesini bildiren önceki voksel tabanlı meta-analitik23 kanıtlarla tutarlıdır. EEG/fMRI kaynaklı sol precentral ve sağ pericalcarine ROI'ler, anksiyete bozukluklarındaki önceki nörogörüntüleme kanıtlarıyla tutarlıdır: bir kortikal kalınlık meta-analizi24, anksiyete bozukluğu olan hastalarda sol precentral gyrus'ta artmış kortikal kalınlık bildirmiş, sosyal anksiyete bozukluğundaki bir yapısal kovaryans ağı çalışması25 ise sağ pericalcarine korteksi içeren anormal düğüm merkeziliği bildirmiştir. Okuma bozukluğu için, EEG kaynaklı sol cuneus ROI'si, dislekside değişmiş sol cuneus bağlantısallığını bildiren bir tüm beyin bağlantısallığı çalışmasıyla26 tutarlıdır; buna karşılık fMRI kaynaklı sol parahippocampal ROI, spesifik okuma anlama defisitleri olan ergenlerde anormal parahippocampal/hippocampal eşleşmeyi bildiren ayrı bir çalışma27 ile tutarlıdır. Otizm spektrum bozukluğu görevinde, EEG kaynaklı atıfla vurgulanan sol lingual ROI, ASD'li puberte öncesi erkek çocuklarda sol lingual gyrus'ta azalmış ReHo'ya dair önceki dinlenme durumu fMRI kanıtlarını28 yansıtmaktadır. fMRI kaynaklı sağ pars triangularis ROI'si de biyolojik olarak makuldür, çünkü otistik çocuklarda inferior frontal gyrus'un sağ pars triangularis bölgesinde değişmiş ALFF bildirilmiştir29. DEHB için, EEG kaynaklı sağ insula ROI'si, DEHB'li gençlerde, özellikle sağ insular short gyrus'u içeren azalmış anterior insular hacmini gösteren yapısal MRI kanıtlarıyla30 uyumludur. fMRI kaynaklı sol entorhinal ROI, daha alt tip spesifik bir bulguyu yansıtıyor olabilir, zira ayrı bir Psychological Medicine çalışması31, FDR düzeltmesi sonrası bir DEHB-C alt grubunda daha düşük sol entorhinal korteks hacmi bildirmiştir. Yine de bu bulgular, bölgeler arası bağımlılık dikkate alınarak yorumlanmalıdır; çünkü korele ROI sinyalleri, tek düğüm oklüzyonunun tek bir bölgenin katkısını tamamen izole etmesini engelleyebilir ve muhafazakar tahminlere yol açabilir.

Kısıtlamalar ve gelecek yönelimler
Dahili performans tahminlerini elde etmek için tekrarlanan 5 katlı çapraz doğrulama kullanılmış olsa da, iç içe geçmiş çapraz doğrulama veya bağımsız harici doğrulama kullanan gelecekteki çalışmalar, model seçimi stabilitesinin ve genellenebilirliğinin değerlendirilmesini daha da güçlendirecektir. EEG-yalnızca ve fMRI-yalnızca çıktılar, tam multimodal kayıtlarda bir modalitenin maskelenmesiyle oluşturulduğu ve harici bir doğrulama kohortu üzerinde değerlendirilmediği için, gelecekteki çalışmalar genellenebilirliği değerlendirmek adına harici tek modaliteli doğrulama kohortlarını içermelidir. Bir diğer kısıtlama ise sağlıklı-tek hastalık tasarımının, klinik genellenebilirliği sınırlayan ve çok etiketli sınıflandırma ile ayırıcı tanıya yönelik gelecek çalışmaları teşvik eden komorbid sunumları kapsamamasıdır. Gelecekteki çalışmalar, sızıntı duyarlı bağlantı tahminleyicilerini kullanarak kaynak düzeyindeki EEG ilişkilendirmelerinin sağlamlığını da değerlendirebilir. Ortak DK parsellasyonu multimodal füzyon için anatomik temelli bir arayüz sağlasa da, bu durum, zamansal çözünürlük ve fizyolojik köken açısından modaliteye özgü farklılıkları tam olarak yakalayamayabilecek bir modelleme varsayımıdır. Burada değerlendirilen beş bozukluğun ötesinde, bu çerçeve, anatomik olarak hizalanmış multimodal beyin verilerini içeren diğer nörolojik veya psikiyatrik sınıflandırma görevlerine uyarlanabilir ve çok etiketli veya ayırıcı tanı uygulamalarına genişletilebilir.

Sonuç
Özetle BrainMoE, beyin bozukluklarının bilgisayar destekli tanısında EEG-fMRI füzyonu için pratik ve yorumlanabilir bir çerçeve sunmaktadır. Temel avantajı, moditeye özgü ve ortak bilgileri dinamik olarak dengeleyen bir çoklu uzman mimarisi ve yumuşak yönlendirme mekanizması tarafından yönlendirilen adaptif multimodal özellik entegrasyonunda yatmaktadır. Ayrıca, modite-durum maskelerini ve eksik modite belirteçlerini sorunsuz bir şekilde bünyesine katarak, aynı eğitilmiş model, ayrı konfigürasyonlara ihtiyaç duymadan eksik modite çıkarımları sırasında sağlam bir performans sergilemektedir. En önemlisi, yorumlanabilir çerçeve, beş farklı beyin bozukluğu genelinde şeffaf, grup düzeyinde bölgesel atama yolları sağlayarak geleneksel kara kutu mimarisini bilgisayar destekli tanı için fizyolojik olarak bilgilendirilmiş bir araca dönüştürmektedir. Bu durum; heterojen veri kaynaklarının, eksik modite mevcudiyetinin ve açıklanabilir model çıktılarının merkezi hususlar olduğu gelecekteki hesaplamalı nörogörüntüleme iş akışları için önem taşımaktadır.

Açıklamalar

Yazarlar herhangi bir çıkar çatışması olmadığını beyan ederler. Yazarlar, bu taslağın, kodunun, veri analizinin veya grafiklerinin hazırlanmasında herhangi bir üretken yapay zeka aracı kullanılmadığını beyan ederler.

Teşekkürler

Bu araştırma; Çin Ulusal Doğal Bilimler Vakfı'nın 62433002, 62277001 ve U25A20446 numaralı hibeleri, Pekin Belediye Kurumları Üst Düzey Yenilikçi Ekiplerin Kurulumu ve Destek Projesi'nin BPHR20220104 numaralı hibesi ve Pekin Bilim İnsanları Programı'nın 099 numaralı hibesi tarafından desteklenmiştir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
BashGNU Project5.1.16(1)-releaseYazılım
C-PACFCP-INDISürüm 1.8.7; konteyner etiketi release-v1.8.7.dev1Yazılım
CUDA ToolkitNVIDIA CorporationSürüm 12.4Yazılım
CUDA uyumlu GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUEkipman
Desikan-Killiany kortikal atlasıFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 kortikal bölge (RRID:SCR_001847)Atlas/kaynak
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoSürüm 2022.1 (RRID:SCR_007292)Yazılım
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalSürüm 7.4.1 (RRID:SCR_001847)Yazılım
FSLFMRIB, University of OxfordC-PAC 1.8.7 ile birlikte gelir; kesin sürüm belirtilmemiştir (RRID:SCR_002823)Yazılım
Healthy Brain Network (HBN) veri setiChild Mind InstituteRRID:SCR_016989Veri seti
MATLABMathWorksR2022a (RRID:SCR_001622)Yazılım
MNE-PythonMNE-Python Development TeamSürüm 1.9 (RRID:SCR_005972)Yazılım/kütüphane
PythonPython Software FoundationSürüm 3.12.4 (RRID:SCR_008394)Yazılım
PyTorchPyTorch FoundationSürüm 2.6.0+cu124 (RRID:SCR_018536)Kütüphane

Kaynaklar

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Yeniden basım ve izinler

Daha fazla makale keşfet

EEG fMRI FüzyonuMultimodal Beyin GörüntülemeBilgisayar Destekli TanıGraf KodlayıcılarROI Atıf HaritalarıNöral Durum UzmanıModalite Durum MaskeleriDüğüm Oklüzyon Analizi

Bu makale yayımlandı

Video yakında

Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.