Yöntem makalesi

Yorumlanabilir Bilgisayar Destekli Beyin Hastalıkları Tanısı için Uzmanların Karışımı Elektroensefalografi-Fonksiyonel Manyetik Rezonans Görüntüleme Füzyonu

0 görüntülenme

⸱

DOI:

10.3791/73432

⸱

25 Eylül 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

Bu makalede

Özet

Bu protokol, beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir Elektroensefalografi-fonksiyonel manyetik rezonans görüntüleme füzyon çerçevesi olan Brain Mixture-of-Experts'i sunmaktadır. Bu yöntem; modality-spesifik uzmanlar, paylaşılan bir nöral durum uzmanı ve adaptif yönlendirme aracılığıyla heterojen EEG ve fMRI temsillerini entegre ederken, simüle edilmiş eksik modalite koşulları altında yorumlanabilirliği ve çıkarımı korumaktadır.

Özet

Elektroensefalografi (EEG) ve fonksiyonel manyetik rezonans görüntüleme (fMRI), beyin fonksiyonu hakkında birbirini tamamlayıcı bilgiler sağlar ve çeşitli beyin bozukluklarındaki fonksiyonel anomalilerin tespitinde önemli bir potansiyel göstermiştir. Ancak, EEG ve fMRI'ın farklı sinyal karakteristikleri ve ayrık temsil alanları, etkili multimodal füzyon için ciddi zorluklar teşkil etmekte ve böylece geleneksel sabit modellerle beyin bozukluklarının bilgisayar destekli doğru teşhisini engellemektedir. Bu çalışma, multimodal beyin özelliklerini modaliteye özgü uzmanlar, ortak bir nöral durum uzmanı ve adaptif bir yönlendirme mekanizması aracılığıyla entegre eden, beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir EEG-fMRI füzyon çerçevesi olan Brain Mixture-of-Experts (BrainMoE) sistemini sunmaktadır. BrainMoE, önce EEG ve fMRI sinyallerini birleştirilmiş bir Desikan-Killiany (DK) atlas ilgi alanı (ROI) alanına projekte eder, ardından modaliteye özgü beyin ağı temsilleri çıkarmak için graf kodlayıcılar kullanır. Yumuşak yönlendirme modülü bir yönlendirme temsili üretir ve Füzyon Modülündeki Uzman Kapısı, EEG, fMRI ve ortak nöral durum uzmanı temsillerini birleştirmek için örneğe özgü ağırlıklar oluşturur. Eksik veri toplama senaryolarını yönetmek için, modalite durumu maskeleri ve eksik modalite belirteçleri eklenerek aynı eğitilmiş modelin tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarımı yapabilmesi sağlanmıştır. Son olarak, düğüm gizleme analizi, hem EEG hem de fMRI kaynaklı tahminler için ROI düzeyinde atıf haritaları sağlar. Çerçeve; majör depresif bozukluk, anksiyete bozukluğu, okuma bozukluğu, otizm spektrum bozukluğu ve dikkat eksikliği/hiperaktivite bozukluğu dahil olmak üzere beş ikili beyin bozukluğu sınıflandırma görevi üzerinden Sağlıklı Beyin Ağı (HBN) veri setinde değerlendirilmiştir. BrainMoE, %86,9 ± 3,0'lik bir ortalama AUC değerine ulaşarak mevcut en gelişmiş karşılaştırma algoritmalarından daha iyi performans göstermiş ve ablasyon deneyleri yönlendirme ile uzman füzyon bileşenlerinin katkısını desteklemiştir. Ayrıca, yorumlanabilirlik analizi, hastalık sınıflandırmasına yönelik grup düzeyindeki ROI katkılarının daha önce rapor edilen nörogörüntüleme bulgularıyla tutarlı olduğunu belirlemiştir. Bu yöntem, yorumlanabilirliği ve simüle edilmiş eksik modalite koşulları altında çıkarımı korurken, heterojen EEG-fMRI nöral temsillerini entegre etme zorluğunu çözerek beyin bozukluklarının bilgisayar destekli teşhisini desteklemektedir.

Giriş

Beyin bozuklukları, tek bir görüntüleme modalitesiyle karakterize edilmesi zor olan nöral aktivite ve beyin ağı organizasyonundaki karmaşık değişiklikleri içerir1. Kaynak yeniden yapılandırmasından2 sonra EEG, bölge düzeyinde elektrofizyolojik (EEG) aktivite sağlarken, fonksiyonel manyetik rezonans görüntüleme (fMRI) bölge düzeyinde fonksiyonel bağlantısallığı yakalayarak beyin fonksiyonuna ilişkin tamamlayıcı görünümler sunar. Entegrasyonlarını kolaylaştırmak için, önceki multimodal çalışmalar her iki modaliteyi de 68 bölgeli Desikan-Killiany (DK) atlasına3 eşlemiştir. Bu mekansal uygunluk, zamansal çözünürlük veya fizyolojik köken bakımından eşdeğerlik anlamına gelmese de, modaliteye özgü bilgileri korurken düğüm düzeyinde grafik füzyonu, sabit grafik boyutları ve tutarlı ilgi alanı (ROI) düzeyinde yorumlama için birleşik bir anatomik indeks sağlar. Anatomik olarak hizalanmış ancak modaliteye özgü olan bu temsillerin entegre edilmesi, hastalıkla ilgili beyin sinyali temsillerini zenginleştirebilir ve bilgisayar destekli beyin bozukluğu tanısını destekleyebilir3,4.

EEG-fMRI füzyonunun beyin bozukluklarının bilgisayar destekli teşhisindeki potansiyeline rağmen, iki modalite arasındaki heterojenlik, etkili entegrasyonları önünde teknik bir zorluk teşkil etmektedir. SVM ve MLP gibi klasik makine öğrenimi yöntemleri temel sınıflandırma modelleri sağlayabilse de, doğrusal olmayan çapraz modalite etkileşimlerini yakalama kapasiteleri sınırlıdır. GNN5, ResNet6 ve Transformer7 mimarileri dahil olmak üzere genel derin öğrenme modelleri daha güçlü temsil öğrenimi sunar, ancak ROI düzeyindeki beyin grafları veya modalite-durum modellemesi için özel olarak tasarlanmamışlardır. Son dönemdeki gelişmiş modeller3,8,9, beyin ağlarını daha iyi modellemek için doğrusal olmayan karmaşıklığı artırmıştır. BrainNetCNN8, konvolüsyonel işlemleri beyin bağlantı matrislerine uyarlamak için tanıtılmıştır; BrainGNN9, graf sinir ağları ve havuzlama kullanarak ROI düzeyindeki graf topolojisini daha ileri düzeyde modellemiş; BNT10 ise daha sonra transformer tabanlı çok seviyeli dikkat mekanizması ile fonksiyonel beyin ağı analizini güçlendirmiştir. Ancak, bu ilerlemeler hala temel olarak tek modaliteli ortamlar için geliştirilmiştir. Daha sonra MultiEpilepsyNet11, federe hibrit bir çerçeve aracılığıyla multimodal öğrenimi EEG-MRI nöbet tespitine genişletmiş ve MRI tarafındaki EpiSkullNet++ modülü beyin segmentasyonunu ve ön işlemeyi iyileştirmiştir. SZAtt-Net12 ise CNN, BiGRU ve MLP bloklarını kanal, öz, uzamsal ve zamansal dikkat mekanizmalarıyla birleştirerek multimodal bir şizofreni sınıflandırma modeli geliştirmiştir. Bununla birlikte, bu yöntemler göreve özgü kalmış ve tam veya eksik modalite durumları arasında adaptif yönlendirmeyi açıkça desteklemeden, nispeten sabit füzyon tasarımlarına dayanmıştır.

Uzmanların Karışımı (Mixture-of-Experts - MoE) modelleri13,14, heterojen bilgi kaynaklarının uzmanlaşmış uzman modülleri tarafından işlenmesine ve yönlendirme mekanizmaları aracılığıyla dinamik olarak birleştirilmesine olanak tanıdıkları için multimodal öğrenmede giderek daha fazla benimsenmektedir. Softmax kapılaması, girdiye bağlı normalize edilmiş uzman ağırlıkları sağlar ve yakınsama hızları açısından teorik olarak karakterize edilmiştir15. İlgili çok kapılı mimariler, büyük ölçekli çok görevli öğrenmede ayrı kapıların, paylaşılan uzmanların göreve bağlı kombinasyonlarını öğrenebileceğini daha da kanıtlamıştır16. Nörobilimsel araştırmalarda ve beyin çalışmalarında, heterojen özellik füzyonunu kolaylaştırmak için MoE varyantları17,18,19 giderek daha fazla kullanılmaktadır. dFCExpert17, fMRI'dan gelen dinamik fonksiyonel bağlantısallık kalıplarını modellemek için modülerlik ve durum tabanlı uzmanlar kullanmıştır. EvoMoE18, kullanıcıdan bağımsız SSVEP-EEG sınıflandırması için uygun uzmanları seçmek amacıyla bir kapılama ağı kullanmıştır. NeuroMoE++19, nörolojik bozuklukların sınıflandırılması için hasta-adaptif multimodal füzyonu araştırmıştır. Başarılarına rağmen, bu modeller genellikle çapraz modal nöral durumların yüksek derecede senkronize doğasını göz ardı eden kaba taneli karıştırma ve ayrık yönlendirmelere dayanmakta; bu da beyin bozukluğu teşhisi için kritik olan ancak belirgin olmayan bilgilendirici kalıpların tespitini engellemektedir. Dahası, modaliteye özgü nüansları birleşik ve paylaşılan bir nöral durumdan ayırmak için özel bir mekanizma olmadığından, bu modeller sınırlı yorumlanabilirlik sunmakta ve kritik bir modalite (fMRI veya EEG) eksik olduğunda performans kaybı yaşamaktadır.

Bu sınırlamaları gidermek amacıyla bu çalışma; majör depresif bozukluk (MDD), anksiyete bozukluğu (ANX), okuma bozukluğu ile seyreden spesifik öğrenme bozukluğu (RI), otizm spektrum bozukluğu (ASD) ve dikkat eksikliği/hiperaktivite bozukluğu (ADHD) dahil olmak üzere beş beyin bozukluğu kategorisinin bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir EEG-fMRI füzyon çerçevesi olan Brain Mixture-of-Experts (BrainMoE) sistemini sunmaktadır. Protokol, önce kaynak-rekonstrüksiyonlu EEG ve fMRI özelliklerini DK-atlas20 ROI alanıyla hizalamakta ve ardından her iki modalite için graf tabanlı modalite temsilleri oluşturmaktadır. BrainMoE, modaliteye özgü ve ortak bilgileri birleştirmek için yumuşak yönlendirme modülü tarafından entegre edilen bir EEG uzmanı, bir fMRI uzmanı ve paylaşılan bir nöral durum uzmanı kullanır. Tek bir eğitilmiş model içinde tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarımlarını mümkün kılmak için modalite-durum maskeleri ve eksik modalite token'ları dahil edilmiştir. Biyolojik yorumlanabilirliği desteklemek için protokol ayrıca, her bir DK-atlas ROI'sinin seçici olarak maskelendiği ve hastalık tahmin olasılığındaki sonucunda meydana gelen değişikliğin EEG ve fMRI kaynaklı bölgesel katkıları tahmin etmek için kullanıldığı düğüm-oklüzyon analizini uygular. Bu protokol; veri hizalama, model oluşturma, eğitim, değerlendirme ve düğüm-oklüzyon tabanlı ROI yorumlama için eksiksiz iş akışını açıklayarak, heterojen EEG-fMRI beyin sinyali füzyonu aracılığıyla beyin bozukluklarının bilgisayar destekli teşhisi için adaptif ve yorumlanabilir bir strateji sunmaktadır. Tekrar üretilebilirliği ve gelecekteki geliştirmeleri kolaylaştırmak adına, halka açık GitHub deposu BrainMoE modelini, eğitim ve değerlendirme kodlarını sağlamakta; EEG ve fMRI ön işlemleri ise halka açık üçüncü taraf yazılımlar kullanılarak gerçekleştirilmiştir. Depoya https://github.com/zhongruizhe123/BrainMoE adresinden erişilebilir.

Protokol

Bu çalışmada, sonraki tanısal sınıflandırma görevleri için beş farklı klinik bozukluğa odaklanılarak Healthy Brain Network (HBN) veri tabanından21 kimliği gizlenmiş veriler kullanılmıştır. Etik onay ve yazılı bilgilendirilmiş onam, HBN girişimi tarafından daha önce tüm katılımcı merkezlerden ve deneklerden alınmıştır. EEG ve fMRI kayıtları eş zamanlı olarak değil, ayrı oturumlarda alınmış ve HBN'de mevcut olan katılımcı ve oturum kimlikleri kullanılarak eşleştirilmiştir.

1. Hesaplama ortamını ve girdi verilerini hazırlayın

  1. Hesaplama ortamını yapılandırın
    1. Bir Python 3.12.4 sanal ortamı oluşturun ve etkinleştirin: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Herkese açık GitHub deposunda sağlanan requirements.txt dosyasını kullanarak gerekli paketleri ve bunların sabit sürümlerini yükleyin: pip install -r requirements.txt
    3. Eğitimden önce PyTorch ve CUDA yapılandırmasını doğrulayın: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Çıktının PyTorch 2.6.0+cu124, CUDA 12.4 raporladığını ve CUDA kullanılabilirliğinin True olduğunu onaylayın. Model eğitimini CUDA uyumlu bir GPU kullanarak gerçekleştirin.
  2. Model eğitiminden önce tüm H5 girdi dosyalarını inceleyin.
    1. Her dosyanın EEG düğüm özellikleri için sLORETA_mean_func, EEG grafiği için sLORETA_mean_CorrMatrix, fMRI düğüm özellikleri için fMRI-DK68-node-mat, fMRI grafiği için fMRI-DK68-edge-mat ve tanı için bir etiket içerdiğini onaylayın. Eksik anahtarları, sayısal olmayan girişleri, geçersiz etiketleri veya 68 bölgeli Desikan-Killiany atlası ile tutarsız boyutları olan dosyaları hariç tutun. H5 girdi kontrol betiğini şu şekilde çalıştırın: python checkH5.py (Ek Dosya 1).

2. EEG ve fMRI özelliklerini ortak bir anatomik alana hizalayın

  1. fMRI verilerini ön işlemeden geçirin.
    1. fMRI verilerini C-PAC (versiyon 1.8.7) kullanarak işleyin. C-PAC ön işleme betiğini şu şekilde çalıştırın: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Ek Dosya 2). Başlangıçtaki kararlı olmayan durum sinyal etkilerini azaltmak için ilk beş hacmi dışlayın.
    2. Kesit zamanlama düzeltmesi, hareket düzeltmesi, distorsiyon düzeltmesi, kayıtlandırma, MNI152 anatomik uzayına normalizasyon ve uzaysal düzleştirme işlemlerini gerçekleştirin. Hareketle ilişkili 24 gürültü parametresini regrese edin.
    3. 0.01-0.08 Hz değerinde zamansal bant geçiren filtreleme uygulayın.
  2. Atlasla hizalanmış fMRI öznitelikleri oluşturun.
    1. Karşılık gelen yapısal MRI'ı FreeSurfer (versiyon 7.4.1) kullanarak işleyin. Betikleri şu şekilde çalıştırın: bash Step01_mgz_2_nifti.sh. Elde edilen Desikan-Killiany kortikal parselasyonunu katılımcının yerel fMRI uzayına beraber kayıtlayın. Betikleri şu şekilde çalıştırın: python Step02_CoRegistration.py. 68 kortikal bölgenin her birinde ortalama voksel bazlı sinyali hesaplayın. Betikleri şu şekilde çalıştırın: python Step03_fMRI_Signal_Extraction.py (Ek Dosya 3).
    2. 68 x 370 boyutunda bir fMRI düğüm-öznitelik matrisi elde etmek için, zamansal dolgu yapmadan ardışık 370 fMRI zaman noktasını tutun; burada 68 DK kortikal bölgelerini, 370 ise tutulan fMRI zaman noktalarını belirtir.
  3. fMRI grafiğini oluşturun.
    1. 68 DK bölgesinin 370 noktalı zaman serileri arasındaki Pearson korelasyonlarını hesaplayın. Elde edilen 68 x 68 fonksiyonel bağlantı matrisini fMRI kenar matrisi olarak kaydedin.
  4. EEG verilerini ön işlemeden geçirin.
    1. 129 kanallı EEG kayıtlarını MATLAB (versiyon R2022a) içindeki EEGLAB araç kutusunu (versiyon 2022.1) kullanarak işleyin. İki EEGLAB ön işleme betiğini sırasıyla şu şekilde çalıştırın: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Ek Dosya 4). 500 Hz örnekleme hızını koruyun ve 0.2–40 Hz bant geçiren filtre uygulayın. Gürültülü bölümleri ve hatalı elektrotları belirleyin ve kötü kanalları komşu elektrotların ortalama sinyalini kullanarak interpole edin.
    2. Bağımsız bileşenleri sınıflandırmak için ICLabel eklentisiyle bağımsız bileşen analizi kullanın. Göz veya kas artefaktı sınıflandırma olasılığı 0.90'tan büyük olan bileşenleri kaldırın. Ortalama yeniden referanslama uygulayın. Ön işleme ve artefakt reddi sonrası 250 s'den az kullanılabilir veri içeren kayıtları hariç tutun.
  5. Atlasla hizalanmış EEG öznitelikleri oluşturun.
    1. Her katılımcının yapısal MRI'ından bireyselleştirilmiş üç katmanlı Sınır Elemanlar Yöntemi (BEM) kafa modeli oluşturun. Kaynak uzayını her katılımcının bireysel kortikal yüzeyi üzerinde tanımlayın. EEG elektrot konumlarını BEM yüzeyine kayıtlandırın ve lead-field matrisini hesaplayın.
    2. Bazal gürültü kovaryans matrisi kullanılarak regüle edilmiş bir ters operatör uygulayın. Sinyal-gürültü oranını 3.0 olarak ayarlayın, bu durumda λ2 = 1/SNR2 = 1/9 (yaklaşık 0.1111) elde edilir ve MNE-Python (versiyon 1.9) içinde uygulanan standardize düşük çözünürlüklü elektromanyetik tomografi (sLORETA) kullanarak kaynak lokalizasyonu gerçekleştirin.
    3. 68 ROI düzeyinde zaman serisi elde etmek için, vertex bazlı kaynak tahminlerini her bir Desikan-Killiany parseli içinde aritmetik ortalama ile birleştirin. İlk sürekli 250 s'lik segmenti tutun ve her ROI zaman serisini ardışık, örtüşmeyen 250 adet 1 s'lik epoka bölün.
    4. 68 x 250 boyutunda bir EEG düğüm-öznitelik matrisi elde etmek için her epok içinde 8–12 Hz'de alfa bandı gücünü hesaplayın; burada 68 DK kortikal bölgelerini, 250 ise ardışık, örtüşmeyen 250 adet 1 s'lik epokları belirtir.
  6. EEG grafiğini oluşturun ve çapraz modal hizalamayı doğrulayın.
    1. 68 DK bölgesinin 250 epokluk 8–12 Hz alfa güç serileri arasındaki Pearson korelasyonlarını hesaplayın. Elde edilen 68 x 68 matrisi EEG grafiği olarak kaydedin.
    2. EEG ve fMRI matrislerinin aynı DK bölge sırasını kullandığını doğrulayın ve model girdisi, atama ve görselleştirme için aynı DK bölge indeks dosyasını kullanın. MNE-Python kaynak lokalizasyonu ve öznitelik çıkarma betiğini şu şekilde çalıştırın: python "Extract features - templates.py" (Ek Dosya 5).
  7. Her örnekteki düğüm özniteliklerini normalize edin.
    1. EEG ve fMRI düğüm öznitelik matrislerine düğüm bazlı z-skoru normalizasyonu uygulayın. Graf matrislerini bağlantı girdileri olarak tutun ve graf normalizasyonunu BrainMoE modeli içinde uygulayın.
    2. EEG ve fMRI ön işlemesini, ön işleme parametrelerini belirlemek için çapraz doğrulama katlamalarından gelen bilgileri kullanmadan, sabit ayarlar kullanarak her katılımcı için bağımsız olarak gerçekleştirin.

3. Hastalığa özgü ikili sınıflandırma görevleri oluşturun

  1. Hastalığa özgü beş adet ikili sınıflandırma görevi tanımlayın.
    1. Tüm görevlerde sağlıklı kontrolleri (HC) sınıf 0 olarak kodlayın ve yalnızca seçilen hastalık grubunu kendi görevi içinde sınıf 1 olarak kodlayın.
    2. Depresyon, anksiyete bozukluğu, spesifik öğrenme bozukluğu ve okuma bozukluğu ile seyreden nörogelişimsel bozukluk, otizm spektrum bozukluğu ve dikkat eksikliği/hiperaktivite bozukluğu için ayrı sağlıklı-hastalık karşılaştırma görevleri oluşturun.
  2. Çalışma kohortlarını karakterize edin ve potansiyel cinsiyet ve veri toplama merkezi etkilerini inceleyin.
    1. Hastalığa özgü her görev için, eksiksiz EEG, fMRI ve yapısal manyetik rezonans görüntüleme (sMRI) verilerine ve geçerli bir tanı etiketine sahip HBN katılımcılarını dahil edin. Komorbid tanıları olan katılımcıları hastalık-pozitif kohortlardan çıkarın. Ön işleme ve artefakt giderme sonrası 250 s'den daha az kullanılabilir veri içeren EEG kayıtlarını hariç tutun ve yalnızca bölüm 1.2'de açıklanan kalite kontrol kriterlerini geçen giriş dosyalarını saklayın.
    2. Ortak HC kohortu ve her bir hastalık kohortu için saklanan multimodal kayıt sayılarını, benzersiz katılımcı sayılarını, hastalık-kontrol oranlarını, yaş aralıklarını, cinsiyet dağılımlarını ve veri toplama merkezi dağılımlarını Tablo 4'te özetleyin.
      NOT: Aynı HC kohortu beş görevin tamamında sınıf 0 olarak yeniden kullanılmıştır, bu nedenle görev düzeyindeki performans tahminleri istatistiksel olarak bağımsız değildir. Bu bağımlılık, hastalık grubu örtüşmesinden ziyade paylaşılan HC kohortundan kaynaklanmaktadır.
    3. Performansı cinsiyete ve veri toplama merkezine göre katmanlandırın ve ortaya çıkan değerleri, tekrarlanan 5 katlı çapraz doğrulama çalışmaları boyunca iki yönlü Welch t-testleri kullanarak karşılaştırın.
  3. Göreve özgü H5 dosyalarını seçin ve çapraz doğrulama ayrımlarını tanımlayın.
    1. Her görev için yalnızca HC ve hedef hastalık grubunu saklayın. Katılımcı düzeyinde 5 katlı çapraz doğrulamanın 10 tekrarını oluşturun. Katlar arasındaki sınıf dağılımını korumak için benzersiz katılımcıları ikili sınıf etiketine (HC'ye karşı hedef hastalık) göre katmanlandırın.
    2. Gruplandırma değişkeni olarak benzersiz katılımcı tanımlayıcısını kullanın ve aynı katılımcıya ait tüm oturumları ve multimodal kayıtları aynı kata atayın. 10 tekrarlı çapraz doğrulama bölümlerini oluşturmak için sırasıyla 1–10 arası rastgele tohumlar kullanın. Model başlatma ve eğitimi için 1 şeklinde sabit bir rastgele tohum kullanın.
    3. Ayrılan katı yalnızca final değerlendirmesi için rezerve edin ve her kat için katılımcı tanımlayıcılarını, dosya listelerini ve bölüm indekslerini karşılık gelen kontrol noktasıyla birlikte kaydedin. Her eğitim katı için, eğitim etiketlerinden sınıf ağırlıklarını hesaplayın ve sınıf dengesizliğinin neden olduğu yanlılığı azaltmak için bunları çapraz entropi kaybında kullanın.

4. Bilgisayar destekli beyin bozuklukları teşhisi için BrainMoE mimarisini oluşturun

NOT: BrainMoE mimarisi; graf kodlayıcıyı, paylaşılan nöral-durum yumuşak yönlendirmeyi ve hastalığa özgü ikili tanı için uzman tabanlı özellik entegrasyonunu birleştiren, kompakt bir eksik-modalite EEG-fMRI füzyon çerçevesi olarak tasarlanmıştır. Genel mimari Şekil 1'de gösterilmiş olup, uygulama kodu Ek Dosya 6'da sunulmuştur.

  1. BrainMoE girişlerini ve modalite durumlarını tanımlayın. Kaynak uzay hizalamasından sonra EEG Modalitesi ve fMRI Modalitesini eşleştirilmiş graf girişleri olarak kullanın. Burada X bölgesel bir özellik matrisini, A modaliteye özgü bir beyin grafını temsil eder ve her satır 68 Desikan-Killiany bölgesinden birine karşılık gelir.
    figure-protocol-1
    figure-protocol-2
    Modalite Kullanılabilirlik Maskesini m = [mEEG, mfMRI] olarak tanımlayın. Tam EEG-fMRI girişi için m = [1,1], yalnızca EEG girişi için m = [1,0] ve yalnızca fMRI girişi için m = [0,1] kullanın.
  2. Graf kodlayıcı: q'nun EEG veya fMRI olduğu her modalite q için, özellik matrisi Xq ve graf Aq verilerini modaliteye özgü Graf Kodlayıcısına aktarın. Kodlayıcı; düğüm projeksiyonu, graf mesaj iletimi, normalizasyon, aktivasyon ve dropout (p=0.3) içeren eğitilebilir bir nöral modüldür.
    figure-protocol-3
    NOT: Bu notasyonda Zq, EEG Graf Kodlayıcısı veya fMRI Graf Kodlayıcısı tarafından üretilen ROI düzeyindeki latent temsildir. EEG Graf Kodlayıcısı her 68 x 250 Giriş matrisini 68 x 128 latent temsile eşlerken, fMRI Graf Kodlayıcısı her 68 x 370 Giriş matrisini 68 x 128 latent temsile eşler. Her kodlayıcı, bir giriş projeksiyonunun ardından 128 gizli boyuta sahip iki rezidüel graf-konvolüsyon katmanı, GELU aktivasyonu, katman normalizasyonu ve dropout kullanır.
  3. Eğitilebilir eksik-modalite token'ları: Tq modalite q için token olsun ve mq karşılık gelen kullanılabilirlik göstergesi olsun. Bu adım, tam ve tek modaliteli girişler altında aynı 68 bölgeli yerleşimi koruyan durum-duyarlı bir temsil üretir.
    figure-protocol-4
    NOT: Her eğitilebilir eksik-modalite token'ı 128 boyutlu bir vektördür ve karşılık gelen modalite mevcut olmadığında 68 ROI satırı boyunca genişletilir.
  4. Paylaşımlı Nöral-Durum Yumuşak-Yönlendirme Modülü: İlk olarak, durum-duyarlı EEG temsili ZEEG, durum-duyarlı fMRI temsili ZfMRI ve gömülmüş Modalite Kullanılabilirlik Maskesini birleştirin. Modalite Kullanılabilirlik Maskesi; 2 → 128 boyutlarında bir MLP, GELU aktivasyonu ve katman normalizasyonu ile gömülür. Yönlendirici (Router); kanal boyutları 384 → 128 → 128, çekirdek boyutu 3 ve dolgu (padding) 1 olan iki tek boyutlu konvolüsyon katmanından oluşur. Her konvolüsyondan sonra GELU aktivasyonu uygulanır ve ilk konvolüsyondan sonra dropout (p=0.3) uygulanır.
    figure-protocol-5
    figure-protocol-6
  5. Paylaşımlı nöral-durum uzmanı.
    1. Durum-duyarlı EEG temsili ZEEG, durum-duyarlı fMRI temsili ZfMRI ve yumuşak-yönlendirme temsili R'yi özellik boyutu boyunca birleştirin. (384'ten 128'e) tam bağlantılı bir füzyon katmanı uygulayın, ardından katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) uygulayın ve 128 boyutlu denek düzeyindeki birleştirilmiş temsil zfused'ı elde etmek için sonuç temsili 68 ROI boyunca ortalama havuzlayın (mean-pool):
      figure-protocol-7
    2. zfused verisini; tam bağlantılı bir katman (128'den 128'e), katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) içeren Paylaşımlı nöral-durum uzmanından geçirin. Ortaya çıkan 128 boyutlu paylaşımlı-uzman temsilini Eshared ile belirtin:
      figure-protocol-8
  6. EEG ve fMRI uzmanları.
    1. Her modalite için, durum-duyarlı temsili 68 ROI boyunca ortalama havuzlayın ve sonuçtaki 128 boyutlu temsili karşılık gelen modaliteye özgü Uzman'dan geçirin:
      figure-protocol-9
    2. Her modaliteye özgü Uzman; tam bağlantılı bir katman (128'den 128'e), katman normalizasyonu, GELU aktivasyonu ve dropout (p=0.3) içerir. Ortaya çıkan 128 boyutlu modaliteye özgü uzman temsillerini sırasıyla EEEG ve EfMRI olarak belirtin.
  7. Füzyon modülü.
    1. Uzman ağırlıklarını hesaplamak için, 128 boyutlu denek düzeyindeki birleştirilmiş temsil zfused'ı 2 boyutlu Modalite Kullanılabilirlik Maskesi m ile birleştirerek 130 boyutlu bir Kapı (Gate) girişi elde edin. Füzyon Modülü, uzman füzyonu için kullanılan örneğe özgü ağırlıkları üreten bir Uzman Kapısı içerir. Uzman Kapısı; tam bağlantılı bir katman (130'dan 128'e), ardından GELU aktivasyonu, dropout (p = 0.3) ve bir çıkış tam bağlantılı katmanından (128'den 3'e) oluşur. Örneğe özgü uzman ağırlıklarını elde etmek için üç çıkış logitine softmax uygulayın:figure-protocol-10
    2. Sonuç ağırlıkları negatif değildir ve her örnek için toplamı 1'dir:
      figure-protocol-11
    3. Her 128 boyutlu uzman temsilini karşılık gelen Kapı ağırlığı ile çarpın ve üç ağırlıklı temsili toplayın:
      figure-protocol-12
      NOT: Bu işlem yoğun yumuşak MoE füzyonunu uygular.
    4. Sonuçtaki 128 boyutlu nihai uzman temsili efused'ı, bölüm 4.8'de açıklanan beyin bozukluğu teşhisi sınıflandırma başlığına aktarın.
  8. Beyin bozukluğu teşhisi sınıflandırma başlığı: 128 boyutlu nihai uzman temsilini; katman normalizasyonu, dropout (p = 0.3) ve 128 boyutu 2 çıkış logitine eşleyen tam bağlantılı bir katmandan oluşan bir sınıflandırma başlığından geçirin. HC olasılığını ve hedef hastalık olasılığını elde etmek için softmax uygulayın. Hedef hastalık olasılığı en az 0.5 olduğunda örneği hastalık sınıfına atayın.
    figure-protocol-13
  9. Eğitimden önce uygulama tutarlılığını doğrulayın. m = [1,1], m = [1,0] ve m = [0,1] koşulları altında deneme amaçlı bir ileri geçiş (forward pass) çalıştırın. EEG, fMRI, durum-duyarlı, yönlendirme ve birleştirilmiş temsillerin, açıkça havuzlanmadığı sürece 68 ROI satırını koruduğunu doğrulayın ve uzman ağırlıklarının EEG Uzmanı, fMRI Uzmanı ve Paylaşımlı nöral-durum uzmanı sırasıyla toplamının 1 olduğunu onaylayın.

5. Beyin bozukluğu teşhisi için beş BrainMoE modelini eğitin

  1. Her bir hastalığa özgü ikili görev için bir BrainMoE modeli eğitin.
    1. Tüm görevler için aynı mimariyi ve varsayılan hiperparametreleri kullanın: 30 epoch, 16 batch boyutu, 0.001 öğrenme oranı, 0.0001 ağırlık azalımı. Model mimarisini ve hiperparametreleri test katlaması değerlendirmesinden önce sabitleyin ve tüm katlamalar, tekrarlar ve hastalığa özgü görevler boyunca bunları değiştirilmeden tutun.
    2. Model seçimi veya hiperparametre ayarı için ayrılmış test katlaması performansını kullanmayın. Her bir mini-batch için, paylaşılan model ağırlıklarıyla tam, yalnızca EEG ve yalnızca fMRI maskelerini kullanarak üç ileri geçiş gerçekleştirin. BrainMoE eğitimini şu şekilde çalıştırın: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (Ek Dosya 6). <TASK> kısmını depression, anxiety, reading_disorder, autism veya adhd olarak ayarlayın.
  2. Ortalama üç durumlu sınıflandırma kaybını optimize edin. Her bir durum için sınıf ağırlıklı çapraz entropi kaybı Ls değerini şu şekilde hesaplayın:
    figure-protocol-14
    ve kayıpların ortalamasını şu şekilde alın:
    figure-protocol-15
  3. Gradyanları sıfırlayın, geri yayılımı gerçekleştirin ve tüm eğitilebilir parametreleri AdamW ile güncelleyin.

6. Tam ve eksik modaliteli çıkarım durumlarını değerlendirin

  1. Değerlendirme yöntemi: Seçilen hastalık görevi için kontrol noktasını (checkpoint) yükleyin ve aynı kontrol noktasındaki kayıtlı test dosyası listesini kullanın. Tam EEG-fMRI çıkarımı için m = [1,1], yalnızca EEG çıkarımı için m = [1,0] ve yalnızca fMRI çıkarımı için m = [0,1] değerlerini kullanın. Son olarak, hedef hastalık olasılığını elde etmek için softmax uygulayın ve olasılık en az 0.5 olduğunda hastalık sınıfını atayın.
  2. Değerlendirme metrikleri: Değerlendirme metriklerini, TP'nin hastalık pozitif örneklerin doğru şekilde hastalık olarak sınıflandırılmasını, TN'nin HC'nin (sağlıklı kontrol) doğru şekilde sağlıklı olarak sınıflandırılmasını, FP'nin HC'nin yanlışlıkla hastalık olarak sınıflandırılmasını ve FN'nin hastalık pozitif örneklerin yanlışlıkla sağlıklı olarak sınıflandırılmasını temsil ettiği konfüzyon matrisinden hesaplayın.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. Genel doğru sınıflandırma oranını raporlamak için doğruluk (accuracy) değerini kullanın. Hastalık pozitif tespitini nicelleştirmek için duyarlılığı (sensitivity) ve HC tanımlamasını nicelleştirmek için özgüllüğü (specificity) kullanın.
  4. Hassasiyet (precision) ve duyarlılık arasındaki dengeyi özetlemek için F1 skorunu kullanın. Sınıf dengesizliğinin etkisini azaltmak için dengelenmiş doğruluk (balanced accuracy) değerini kullanın. Ayrıca, karar eşikleri genelinde eşikten bağımsız ayrımı değerlendirmek için AUC değerini hesaplayın.
  5. Her tekrar için, her bir performans metriğinin beş ayrılmış katlamadaki (fold) ortalamasını alın. Nihai sonuçları, 10 tekrar düzeyindeki ortalamaların ortalaması ve standart sapması olarak raporlayın.
  6. BrainMoE'yi temel (baseline) yöntemlerle karşılaştırın. Tüm temel yöntemler, BrainMoE ile aynı katılımcı düzeyindeki bölümleri ve tam EEG-fMRI girişlerini kullanmış olup konfigürasyonları ayrılmış değerlendirme öncesinde sabitlenmiştir. BrainMoE, her bir temel yöntemle Holm düzeltmeli iki yönlü eşleştirilmiş t-testleri kullanılarak karşılaştırılmıştır.

7. Beş beyin bozukluğu genelinde grup düzeyinde düğüm oklüzyon atıfı gerçekleştirin

  1. Atıf kohortunu tanımlayın. Eğitilmiş BrainMoE kontrol noktasını ve DK bölge isim dosyasını yükleyin. m = [1,1] olan tam EEG-fMRI durumu altında doğru şekilde sınıflandırılmış hastalık-pozitif test örneklerini seçin. Grup düzeyinde atıf analizi için bu kohortu kullanın ve her örneğin temel hedef-hastalık olasılığını kaydedin.
  2. Modaliteye özgü düğüm oklüzyon skorlarını hesaplayın. EEG kaynaklı atıf için, fMRI girdisini değiştirmezken, seçilen EEG düğüm özellik vektörünü ve EEG grafiğinin karşılık gelen satır ve sütununu sıfıra ayarlayarak her seferinde bir EEG ROI'sini oklüde edin. fMRI kaynaklı atıf için, EEG girdisini değiştirmezken aynı işlemi fMRI düğüm özellik matrisine ve fMRI grafiğine uygulayın. Bu prosedürü 68 DK bölgesinin tamamında tekrarlayın. Düğüm oklüzyon atıf analizini Ek Dosya 7'de sağlanan kodu kullanarak çalıştırın.
  3. Grup düzeyindeki ROI katkılarını hesaplayın ve görselleştirin. Her bir ROI ve her bir modalite için katkı skorunu, seçilen tüm örneklerde oklüzyon sonrası hedef-hastalık olasılığındaki ortalama azalma olarak hesaplayın. EEG kaynaklı ve fMRI kaynaklı skorları ayrı ayrı sıralayın, her modalite için ilk 10 ROI'yi dışa aktarın ve şekilde en yüksek sıralamaya sahip ROI'yi etiketleyin.

Sonuçlar

Bozukluklar ve modalite durumları genelinde BrainMoE performansı
Protokol, hastalığa özgü beş adet sağlıklı-hastalık karşılaştırmalı BrainMoE sınıflandırıcısı oluşturmuş ve tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım durumları için tahmin tabloları üretmiştir. Tam EEG-fMRI durumu, beş görev genelinde tutarlı şekilde yüksek ayırt edicilik sağlamış; AUC değerleri RI için %84,4 ± 3,2 ile ASD için %88,4 ± 3,8 arasında değişmiştir (Tablo 1). Beş görev genelindeki makro-ortalamalı tam durum performansı; %86,9 ± 3,0 AUC, %81,4 ± 3,1 doğruluk, %81,4 ± 2,5 dengeli doğruluk ve %81,2 ± 3,0 F1 skoruna ulaşmıştır.

Simüle edilmiş eksik modalite koşulları altında BrainMoE, bir giriş modalitesi maskelendiğinde kullanılabilir performansı korumuştur. Yalnızca EEG durumunda model, 83.1 ± 3.7% makro-ortalamalı AUC değerine ulaşmış olup, en yüksek EEG-yalnızca AUC değeri ADHD için 87.9 ± 2.8% olarak gözlemlenmiştir. Yalnızca fMRI durumunda ise makro-ortalamalı AUC 80.0 ± 3.9% olmuştur. Bu performans aralıkları ve beklenen tam durum performans avantajı, başarılı uygulama için pratik referans noktaları sağlayarak, eğitilmiş BrainMoE çerçevesinin her modalite için ayrı modellere ihtiyaç duymadan tam, yalnızca EEG ve yalnızca fMRI çıkarımları gerçekleştirebileceğini göstermektedir.

Temsili bir suboptimal sonuç, örneğin tam EEG-fMRI AUC değerinin yalnızca EEG veya yalnızca fMRI AUC değerinden daha düşük olması durumunda olduğu gibi, beklenen tam durum performans avantajının yeniden üretilememesidir. Buna karşılık, başarılı bir uygulama, tam durum avantajını ve Tablo 1'de bildirilen referans performans aralıklarını yeniden üretmelidir. Suboptimal bir örüntü gözlemlendiğinde, model çıktısını yorumlamadan önce H5 giriş boyutlarını, DK bölge sıralamasını, modalite uygunluk maskesi atamasını ve kaydedilen çapraz doğrulama bölümlerini doğrulayın.

Kıyaslama karşılaştırması
Önerilen BrainMoE modeli; klasik makine öğrenimi yöntemleri (destek vektör makinesi (SVM) ve çok katmanlı perseptron (MLP)), genel derin öğrenme yöntemleri (Transformer7, 3D-CNN22 ve ResNet6), gelişmiş derin öğrenme yöntemleri (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) ve MoE tabanlı derin öğrenme yöntemleri (dFCExpert17, EvoMoE18 ve NeuroMoE++19) ile karşılaştırılmıştır (Tablo 2). BrainMoE, karşılaştırılan tüm yöntemler arasında %86.9 ± 3.0 ile en yüksek ortalama AUC değerine ulaşmıştır.

Klasik makine öğrenimi yöntemleri daha düşük ortalama performans göstermiş olup, SVM %66,7 ± 4,5 ortalama AUC ve MLP %64,6 ± 6,3 AUC değerine ulaşmıştır. Genel derin öğrenme yöntemleri değişken performans sergilemiş; ResNet %71,0 ± 3,3 ortalama AUC'ye, Transformer ise %63,8 ± 4,7 ortalama AUC'ye ulaşmıştır. Gelişmiş derin öğrenme temel modelleri arasında BNT, BrainGNN, MultiEpilepsyNet ve SZAtt-Net, çoğu klasik ve genel derin öğrenme yönteminden daha iyi performans göstermiş olsa da, ortalama AUC değerleri BrainMoE'ninkinden düşük kalmıştır.

Kıyaslama karşılaştırmasına istatistiksel destek sağlamak amacıyla BrainMoE, her bir performans metriği için en güçlü temel modelle karşılaştırılmıştır (Tablo 3). BrainMoE, AUC ve dengeli doğruluk (BA) açısından NeuroMoE++'dan, F1 skoru ve doğruluk açısından ise SZAtt-Net'ten daha yüksek performans göstermiştir. Tüm karşılaştırmalar Holm düzeltmesi sonrası anlamlı kalmaya devam etmiştir.

Cinsiyete ve veri toplama merkezine göre alt grup analizi
Sakatlanan multimodal kayıt sayıları, hastalık-kontrol oranları, benzersiz katılımcı sayıları, yaş özetleri, cinsiyet dağılımları ve veri toplama merkezi dağılımları dahil olmak üzere göreve özgü kohort özellikleri, kohort özellikleri tablosunda (Tablo 4) özetlenmiştir. Hastalık-kontrol oranları multimodal kayıt sayıları üzerinden hesaplanırken, demografik ve veri toplama merkezi özellikleri benzersiz katılımcı düzeyinde özetlenmiştir.

Cinsiyetin ve örnekleme merkezinin potansiyel etkilerini değerlendirmek için BrainMoE performansı bu faktörlere göre tabakalara ayrılmıştır (Tablo 5). Erkek alt grubu; kadın alt grubuna göre daha yüksek ortalama AUC, BA, F1 skoru ve doğruluk oranı göstermiş, buna karşılık düzeltilmemiş Welch p değerleri 0,089 ile 0,321 arasında değişmiştir. Benzer şekilde, RUBIC alt grubu, p değerleri 0,055 ile 0,309 arasında değişmekle birlikte, Staten Island alt grubundan daha yüksek ortalama performans göstermiştir. Bu analizlerde istatistiksel olarak anlamlı bir alt grup farkı tespit edilmemiştir.

BrainMoE bileşenlerinin ablasyon analizi
Modalite uygunluk maskesinin, konvolüsyonel yönlendiricinin, paylaşılan uzmanın ve MoE uzman füzyon tasarımının katkısını değerlendirmek için ablasyon deneyleri gerçekleştirilmiştir (Tablo 6). Maske gömme işleminin kaldırılması ortalama AUC değerini %79,2 ± 3,1'e düşürmüş ve konvolüsyonel yönlendiricinin bir MLP yönlendirici ile değiştirilmesi bu değeri %79,3 ± 3,7'ye düşürmüştür. Paylaşılan uzmanın kaldırılması, test edilen varyantlar arasındaki en düşük değer olan fMRI-yalnız AUC değerini %73,5 ± 3,3'e indirmiştir. Tüm MoE uzmanlarının kaldırılması da genel dengeli doğruluğu %74,2 ± 3,0'ye düşürmüştür. Bu ablasyon sonuçları, maske gömme, konvolüsyonel yönlendirici, paylaşılan uzman ve MoE uzman füzyonunun her birinin nihai model davranışına katkıda bulunduğunu ve tam BrainMoE tasarımının hem tam hem de eksik modalite durumlarında genel olarak en güçlü performansı sergilediğini göstermiştir.

Beş beyin bozukluğu için ROI düzeyinde yorumlanabilirlik sonuçları
BrainMoE tahminlerinin temelini oluşturan bölgesel katkıları incelemek için, tam EEG-fMRI durumundaki doğru sınıflandırılmış hastalık pozitif örnekler üzerinde düğüm-oklüzyon (node-occlusion) atribüsyonu gerçekleştirilmiştir. Her bir DK atlas bölgesini okleyerek hedef hastalık olasılığındaki azalma ölçülmüş ve EEG kaynaklı ile fMRI kaynaklı ROI katkıları ayrı ayrı sıralanmıştır. Analiz, beş hastalık görevi genelinde modaliteye özgü katkı paternlerini belirlemiştir (Şekil 2). fMRI kaynaklı atribüsyonda, en üst sırada yer alan bölgeler; MDD için sol posterior singulat, ANX için sağ perikalkarin korteks, RI için sol parahippokampal korteks, ASD için sağ pars triangularis ve ADHD için sol entorinal kortekstir. EEG kaynaklı atribüsyonda ise en üst sırada yer alan bölgeler; MDD için sol superior temporal sulkus kenarları, ANX için sol precentral korteks, RI için sol kuneus, ASD için sol lingual korteks ve ADHD için sağ insuladır. Her bozukluk için en yüksek sıralamaya sahip EEG ve fMRI kaynaklı ROI'ler Şekil 3'te kortikal yüzeyler üzerinde görselleştirilmiştir. Bu sonuçlar, BrainMoE'nin EEG kaynaklı ve fMRI kaynaklı temsiller için ayrı atribüsyon profillerini korurken ROI düzeyinde yorumlanabilirlik sağladığını göstermiştir. Doğru sınıflandırılmış hastalık pozitif örnekler için, 50 ayrılmış katman (fold) genelindeki Top-1 ROI frekansı kullanılarak katmanlar arası stabilite değerlendirilmiştir (Tablo 7). Gözlemlenen frekanslar %36 ile %68 arasında değişmiş olup, 1/68 (%1,47) olan teorik rastgele seçim referansını aşarak, mutlak katkı büyüklüklerinden ziyade göreceli sıralamalara dayalı yorumlamayı desteklemiştir. Önceki nörogörüntüleme bulgularıyla karşılaştırmalar post hoc olarak yapılmış ve bağımsız bir doğrulama olarak değil, yalnızca atribüsyon sonuçlarını bağlamsallaştırmak için kullanılmıştır.

figure-results-1
Şekil 1: Bilgisayar destekli beyin bozukluğu teşhisi için adaptif EEG-fMRI füzyonuna sahip BrainMoE çerçevesinin genel görünümü. Kaynakla hizalanmış EEG ve fMRI ROI özellikleri, ayrı Graf Kodlayıcıları tarafından işlenir. Elde edilen temsiller, EEG ve fMRI Uzmanlarına ve Modalite Kullanılabilirlik Maskesi ile birlikte ortak Yumuşak Yönlendirme Modülüne aktarılır. Modalite temsilleri ve yönlendirme temsili birleştirilerek Ortak nöral durum uzmanı tarafından işlenir. Üç uzman çıktısı daha sonra Füzyon Modülünde birleştirilir ve HC ve hedef hastalık olasılıklarını üretmek için Teşhis Sınıflandırma Başlığına aktarılır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-2
Şekil 2: Düğüm oklüzyonu tabanlı ROI katkı analizi. Tam EEG-fMRI çıkarım durumu altında, her bir hastalık görevi için EEG kaynaklı ve fMRI kaynaklı ilk 10 ROI katkısı görselleştirilmiştir. Paneller (A–E) sırasıyla MDD, ANX, RI, ASD ve ADHD için fMRI kaynaklı sonuçları; paneller (F–J) ise aynı sırayla bunlara karşılık gelen EEG kaynaklı sonuçları göstermektedir. Her grafikte yalnızca en yüksek sıralamalı ROI etiketlenmiştir. ROI katkısı, ilgili DK atlas bölgesinin oklüzyonundan sonra hedef hastalık olasılığındaki azalma olarak tanımlanmıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

figure-results-3
Şekil 3: Beş beyin bozukluğu genelinde kortikal ROI düzeyindeki yorumlanabilirlik haritaları. Paneller (A–E) sırasıyla MDD, ANX, RI, ASD ve ADHD'yi göstermektedir. Her panel, DK kortikal yüzeyi üzerinde EEG kaynaklı en yüksek sıralamaya sahip ROI'yi kırmızıyla ve fMRI kaynaklı en yüksek sıralamaya sahip ROI'yi turuncuyla görüntülemektedir. Renkler katkı büyüklüğünden ziyade modaliteyi belirtmektedir; bu nedenle herhangi bir kantitatif renk ölçeği uygulanmamıştır. lh ve rh ön ekleri sırasıyla sol ve sağ hemisferleri ifade eder. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Hastalık göreviDurumAUC (Eğri Altındaki Alan)DoğrulukBAF1DuyarlılıkÖzgüllük
Majör Depresif BozuklukTam88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
Major Depresif BozuklukSadece EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
Majör Depresif Bozuklukyalnızca fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXTam85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXSadece EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXyalnızca fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RITam84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIyalnızca EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIyalnızca fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDTam88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDSadece EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
Otizm Spektrum Bozukluğusadece fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
DEHBTam88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
DEHByalnızca EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
DEHBYalnızca fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tablo 1: Hastalık görevleri ve modalite mevcudiyet durumlarına göre BrainMoE sınıflandırma performansı. Tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım durumları altında beş sağlıklı-hastalık karşılaştırmalı sınıflandırma görevi için BrainMoE performansı. Metrikler ortalama ± standart sapma olarak bildirilmiş olup alıcı işletim karakteristik eğrisi altında kalan alan (AUC), doğruluk, dengeli doğruluk (BA), F1 skoru, duyarlılık ve özgüllüğü içermektedir.

YöntemYöntem grubuOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
Destek Vektör MakineleriKlasik ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
Çok Katmanlı Algılayıcı (MLP)Klasik Makine Öğrenimi64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerGenel DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3B-CNNGenel DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetGenel DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNİleri Seviye Derin Öğrenme70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTİleri düzey DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNİleri Düzey Derin Öğrenme72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetİleri düzey derin öğrenme78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Netİleri Düzey Derin Öğrenme78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertMoE tabanlı DL80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEMoE tabanlı DL79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++MoE tabanlı DL81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (bizimkisi)MoE tabanlı DL86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tablo 2: BrainMoE'nin klasik makine öğrenimi yöntemleri, genel derin öğrenme modelleri ve gelişmiş nörogörüntüleme derin öğrenme mimarileri ile karşılaştırıldığında ortalama sınıflandırma performansı.Sonuçlar, değerlendirilen hastalık sınıflandırma görevleri genelinde toplanmış olup AUC, BA, F1 skoru ve doğruluk için ortalama ± standart sapma olarak raporlanmıştır.

KarşılaştırmaOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
En güçlü temel modelNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
En güçlü temel model performansı81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Fark+5.4+3.5+3.8+3.3
t-testi p0.00060.00650.01870.0276
Holm-düzeltmeli p*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

Tablo 3: Her bir performans metriği için BrainMoE'nin en güçlü baz hattı ile karşılaştırması. P değerleri, iki yönlü eşleştirilmiş t-testleri kullanılarak hesaplanmış ve Holm prosedürü ile düzeltilmiştir. Cohen's dz, standartlaştırılmış eşleştirilmiş farkı belirtir.

KohortMultimodal kayıtlar (n)Hastalık-kontrol oranıBenzersiz katılımcı sayısı (n)Yaş aralığı (yıl)Cinsiyet (Erkek/Dişi)Edinim sitesi (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
Majör Depresif Bozukluk520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
Kırılma İndisi1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
DEHB5554.83:13385.04–21.72241/97136/202

Tablo 4: Beş hastalığa özgü sınıflandırma görevinde kullanılan çalışma kohortlarının özellikleri.Tablo; elde tutulan multimodal kayıt sayısını, hastalık-kontrol oranlarını, benzersiz katılımcı sayılarını, demografik özellikleri ve veri toplama merkezi dağılımlarını rapor etmektedir.

Alt GrupSayıOrtalama AUCOrtalama BAOrtalama F1Ortalama doğruluk
Cinsiyet
Erkek70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Kadın39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Fark+1.6+2.2+2.4+2.9
Welch p--0.3210.1920.1590.089
Veri toplama merkezi
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Fark+2.4+1.6+2.9+3.3
Welch p--0.1760.3090.0850.055

Tablo 5: BrainMoE'nin cinsiyet ve edinim yeri bazında katmanlandırılmış performansı. Sonuçlar, 5 katlı çapraz doğrulamanın 10 tekrarı üzerinden ortalama ± standart sapma olarak bildirilmiştir. Fark, birinci alt grubun ikinciden çıkarılmasını temsil eder ve P değerleri iki yönlü Welch t-testleri kullanılarak elde edilmiştir.

VaryantTam AUCYalnızca EEG'ye dayalı AUCSadece fMRI-bazlı AUCOrtalama AUCOrtalama BA
mask gömme işlemi olmadan83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
Konvolsiyonel Yönlendirici olmadan84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Yönlendiricisi82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
Paylaşılan Uzman Olmaksızın83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
MoE Uzmanları olmadan81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (bizimkisi)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tablo 6: Temel BrainMoE bileşenlerinin ablasyon analizi. Modalite kullanılabilirlik maskesinin, konvolüsyonel yönlendiricinin, ortak uzmanın ve MoE uzman-füzyon tasarımının katkısını gösteren ablasyon sonuçları. Her varyant; tam EEG-fMRI, yalnızca EEG ve yalnızca fMRI çıkarım koşulları altında değerlendirilmiş olup, genel performansı özetlemek için ortalama AUC ve ortalama BA kullanılmıştır.

HastalıkEEG: en yüksek sıralamalı ROIEEG: En yüksek frekans, n/N (%)fMRI: en yüksek sıralamaya sahip ROIfMRI: En yüksek frekans, n/N (%)Şans referansı (%)
Majör Depresif Bozukluküst temporal sulkusun sol kıyıları22/50 (44%)sol posterior singulat25/50 (50%)1.47
ANXsol prekentral korteks18/50 (36%)sağ perikalkarin korteks21/50 (42%)1.47
RIsol cuneus26/50 (52%)sol parahippokampal korteks29/50 (58%)1.47
ASDsol lingual korteks27/50 (54%)sağ pars triangularis28/50 (56%)1.47
DEHBsağ insula31/50 (62%)sol entorhinal korteks34/50 (68%)1.47

Tablo 7: En üst sırada yer alan EEG ve fMRI kaynaklı ROI'lerin çapraz katlamalı stabilitesi. Top-1 frekansı, rapor edilen ROI'nin birinci sırada yer aldığı 50 katmanlı analizlerin sayısını ve yüzdesini belirtir. Teorik rastgele seçim referansı 1/68 (%1,47) idi.

Ek Dosya 1: H5 giriş kontrol betiği. BrainMoE eğitiminden önce gerekli H5 giriş anahtarlarını, veri türlerini, tanı etiketlerini ve DK-atlas ile uyumlu giriş boyutlarını doğrulamak için kullanılan Python betiği. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 2: fMRI ön işleme betiği. Başlangıç hacmi kaldırma, hareket ve distorsiyon düzeltme, kayıt ve normalizasyon, gürültü regresyonu, zamansal filtreleme ve uzamsal yumuşatma dahil olmak üzere fMRI ön işlemesi için kullanılan C-PAC konfigürasyon ve yürütme dosyaları. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 3: FreeSurfer işleme betikleri. Yapısal MRI verilerinin işlenmesi, Desikan-Killiany kortikal parsellasyonunun doğal fMRI uzayına eş kaydı ve ROI düzeyindeki fMRI sinyallerinin çıkarılması için kullanılan betikler. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 4: EEG ön işleme betikleri. Filtreleme, artefakt-bileşen tanımlama ve kaldırma ile yeniden referanslama dahil olmak üzere EEG ön işleme için kullanılan MATLAB/EEGLAB betikleri. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 5: MNE-Python kaynak yerelleştirme ve özellik çıkarma betiği. EEG kaynak yerelleştirmesi, DK-atlas ROI çıkarımı ve BrainMoE girdileri olarak kullanılan ROI düzeyinde EEG özelliklerinin oluşturulması için kullanılan Python betiği. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 6: BrainMoE uygulama kodu. PBrainMoE mimarisi, graf kodlayıcılar, modalite-durum yönetimi, uzman yönlendirme ve füzyonu, model eğitimi, değerlendirme ve ablasyon varyantları için Python kodu ve konfigürasyon dosyaları. Lütfen bu dosyayı indirmek için buraya tıklayın.

Ek Dosya 7: Düğüm-maskeleme atama kodu. Modaliteye özgü düğüm-maskeleme analizi, ROI katkı skorlarının hesaplanması, EEG ve fMRI kaynaklı ROI'lerin sıralanması ve atama çıktılarının oluşturulması için kullanılan Python kodu. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

EEG ve fMRI'ın nöral aktivite hakkında tamamlayıcı bilgiler sağlaması nedeniyle, multimodal beyin sinyali analizi bilgisayar destekli beyin bozukluğu teşhisi için önemli bir yön haline gelmiştir. Karşılaştırmalı analizde, SVM ve MLP gibi klasik makine öğrenmesi yöntemleri temel teşhis performansı göstermiş ancak hiyerarşik, graf tabanlı ve modallar arası özellik etkileşimlerini modelleme kapasiteleri sınırlı kalmıştır. 3D-CNN, ResNet ve Transformer dahil olmak üzere genel derin öğrenme modelleri daha güçlü doğrusal olmayan modelleme kapasitesi sunmuş, ancak bu mimariler özellikle EEG-fMRI füzyonu veya beyin ağı temsilleri için tasarlanmamıştır. Gelişmiş derin öğrenme yöntemleri, çoğu klasik ve genel modelden daha iyi performans sergilemiş olsa da, birçoğu hala sabit özellik entegrasyon stratejilerine dayanmış ve modaliteye özgü bilgileri paylaşılan nöral durum bilgilerinden açıkça ayırmamıştır.

Bu çalışma, graf tabanlı modalite kodlayıcılarını, modaliteye özgü uzmanları, paylaşılan bir nöral durum uzmanını ve adaptif bir yönlendirme mekanizmasını birleştirerek bu füzyon problemini çözmek için BrainMoE'yi önermiştir. Bu tasarım, EEG kaynaklı ve fMRI kaynaklı temsillerin ayrı ayrı modellenmesine ve ardından uzman düzeyinde füzyon yoluyla entegre edilmesine olanak sağlamıştır. Modalite durum maskeleri ve eksik modalite belirteçlerinin tanıtılması sayesinde, eğitilmiş aynı model, her bir eksik modalite durumu için ayrı modeller oluşturmaya gerek kalmadan sadece EEG ve sadece fMRI çıkarımları da gerçekleştirebilmiştir. Deneysel sonuçlar, BrainMoE'nin beş ikili hastalık sınıflandırma görevi genelinde en güçlü toplam performansı sergilediğini ve hem sadece EEG hem de sadece fMRI durumlarında kabul edilebilir performansı koruduğunu göstermiştir. Ablasyon analizi; maske gömme işleminin, konvolüsyonel yönlendiricinin, paylaşılan uzmanın ve MoE uzman füzyonunun katkısını daha da desteklemiştir. Bu bulgular, performanstaki artışın tek bir bileşenden değil; graf kodlama, modalite durum modelleme, adaptif yönlendirme ve uzman füzyonunun koordineli tasarımından kaynaklandığını göstermektedir.

Kritik protokol adımları ve sorun giderme
Kritik protokol adımları arasında; EEG ve fMRI düğüm ve graf matrisleri genelinde aynı 68 bölgeli DK düzeninin korunması, önceden tanımlanmış ön işleme ayarlarının her katılımcı için bağımsız olarak uygulanması ve aynı katılımcıdan gelen tüm kayıtların tek bir katlamada (fold) kalmasını sağlamak için katılımcı düzeyinde çapraz doğrulamanın uygulanması yer almaktadır. Modalite Kullanılabilirlik Maskesi de her çıkarım durumu için sağlanan girdilerle uyumlu olmalıdır.

Çıkarım başarısız olursa veya beklenen tam durum performans avantajı yeniden üretilemezse, öncelikle gerekli H5 anahtarlarını, EEG ve fMRI matris boyutlarını, DK bölge sırasını, Modalite Kullanılabilirlik Maskesi atamasını ve kaydedilen çapraz doğrulama bölümlerini doğrulayın. Eksik anahtarlara, geçersiz boyutlara veya tutarsız bölge sıralamasına sahip dosyalar, eğitim veya değerlendirme öncesinde hariç tutulmalıdır. Her iki modalitenin tutarlı bir ROI sıralamasına eşlendiği ve ilgili model giriş boyutlarının ayarlandığı sürece, çerçeve alternatif kortikal parsellasyonlar veya EEG/fMRI özellik temsilleri için modifiye edilebilir. Hastalığa özgü sınıflandırma başlığı, grafik kodlama ve uzman füzyon çerçevesi korunarak diğer ikili sınıflandırma görevlerine de uyarlanabilir. Bu tür modifikasyonlar, burada rapor edilen modellerin doğrudan uygulanması yerine yeniden eğitim ve doğrulama gerektirir.

Düğüm oklüzyonu tabanlı yorumlanabilirlik analizi
Düğüm oklüzyon analizi, BrainMoE öngörülerinin ROI düzeyinde yorumlanabilirliğini daha da sağlamıştır ve en üst sırada yer alan hastalıkla ilişkili ROI'ler Şekil 3'te gösterilmiştir. BrainMoE tarafından tanımlanan EEG kaynaklı sol posterior ROI, MDD'de posterior kortikal bölgelerde değişmiş intrinsik beyin aktivitesini bildiren önceki voksel tabanlı meta-analitik23 kanıtlarla tutarlıdır. EEG/fMRI kaynaklı sol precentral ve sağ pericalcarine ROI'ler, anksiyete bozukluklarındaki önceki nörogörüntüleme kanıtlarıyla tutarlıdır: bir kortikal kalınlık meta-analizi24, anksiyete bozukluğu olan hastalarda sol precentral gyrus'ta artmış kortikal kalınlık bildirmiş, sosyal anksiyete bozukluğundaki bir yapısal kovaryans ağı çalışması25 ise sağ pericalcarine korteksi içeren anormal düğüm merkeziliği bildirmiştir. Okuma bozukluğu için, EEG kaynaklı sol cuneus ROI'si, dislekside değişmiş sol cuneus bağlantısallığını bildiren bir tüm beyin bağlantısallığı çalışmasıyla26 tutarlıdır; buna karşılık fMRI kaynaklı sol parahippocampal ROI, spesifik okuma anlama defisitleri olan ergenlerde anormal parahippocampal/hippocampal eşleşmeyi bildiren ayrı bir çalışma27 ile tutarlıdır. Otizm spektrum bozukluğu görevinde, EEG kaynaklı atıfla vurgulanan sol lingual ROI, ASD'li puberte öncesi erkek çocuklarda sol lingual gyrus'ta azalmış ReHo'ya dair önceki dinlenme durumu fMRI kanıtlarını28 yansıtmaktadır. fMRI kaynaklı sağ pars triangularis ROI'si de biyolojik olarak makuldür, çünkü otistik çocuklarda inferior frontal gyrus'un sağ pars triangularis bölgesinde değişmiş ALFF bildirilmiştir29. DEHB için, EEG kaynaklı sağ insula ROI'si, DEHB'li gençlerde, özellikle sağ insular short gyrus'u içeren azalmış anterior insular hacmini gösteren yapısal MRI kanıtlarıyla30 uyumludur. fMRI kaynaklı sol entorhinal ROI, daha alt tip spesifik bir bulguyu yansıtıyor olabilir, zira ayrı bir Psychological Medicine çalışması31, FDR düzeltmesi sonrası bir DEHB-C alt grubunda daha düşük sol entorhinal korteks hacmi bildirmiştir. Yine de bu bulgular, bölgeler arası bağımlılık dikkate alınarak yorumlanmalıdır; çünkü korele ROI sinyalleri, tek düğüm oklüzyonunun tek bir bölgenin katkısını tamamen izole etmesini engelleyebilir ve muhafazakar tahminlere yol açabilir.

Kısıtlamalar ve gelecek yönelimler
Dahili performans tahminlerini elde etmek için tekrarlanan 5 katlı çapraz doğrulama kullanılmış olsa da, iç içe geçmiş çapraz doğrulama veya bağımsız harici doğrulama kullanan gelecekteki çalışmalar, model seçimi stabilitesinin ve genellenebilirliğinin değerlendirilmesini daha da güçlendirecektir. EEG-yalnızca ve fMRI-yalnızca çıktılar, tam multimodal kayıtlarda bir modalitenin maskelenmesiyle oluşturulduğu ve harici bir doğrulama kohortu üzerinde değerlendirilmediği için, gelecekteki çalışmalar genellenebilirliği değerlendirmek adına harici tek modaliteli doğrulama kohortlarını içermelidir. Bir diğer kısıtlama ise sağlıklı-tek hastalık tasarımının, klinik genellenebilirliği sınırlayan ve çok etiketli sınıflandırma ile ayırıcı tanıya yönelik gelecek çalışmaları teşvik eden komorbid sunumları kapsamamasıdır. Gelecekteki çalışmalar, sızıntı duyarlı bağlantı tahminleyicilerini kullanarak kaynak düzeyindeki EEG ilişkilendirmelerinin sağlamlığını da değerlendirebilir. Ortak DK parsellasyonu multimodal füzyon için anatomik temelli bir arayüz sağlasa da, bu durum, zamansal çözünürlük ve fizyolojik köken açısından modaliteye özgü farklılıkları tam olarak yakalayamayabilecek bir modelleme varsayımıdır. Burada değerlendirilen beş bozukluğun ötesinde, bu çerçeve, anatomik olarak hizalanmış multimodal beyin verilerini içeren diğer nörolojik veya psikiyatrik sınıflandırma görevlerine uyarlanabilir ve çok etiketli veya ayırıcı tanı uygulamalarına genişletilebilir.

Sonuç
Özetle BrainMoE, beyin bozukluklarının bilgisayar destekli tanısında EEG-fMRI füzyonu için pratik ve yorumlanabilir bir çerçeve sunmaktadır. Temel avantajı, moditeye özgü ve ortak bilgileri dinamik olarak dengeleyen bir çoklu uzman mimarisi ve yumuşak yönlendirme mekanizması tarafından yönlendirilen adaptif multimodal özellik entegrasyonunda yatmaktadır. Ayrıca, modite-durum maskelerini ve eksik modite belirteçlerini sorunsuz bir şekilde bünyesine katarak, aynı eğitilmiş model, ayrı konfigürasyonlara ihtiyaç duymadan eksik modite çıkarımları sırasında sağlam bir performans sergilemektedir. En önemlisi, yorumlanabilir çerçeve, beş farklı beyin bozukluğu genelinde şeffaf, grup düzeyinde bölgesel atama yolları sağlayarak geleneksel kara kutu mimarisini bilgisayar destekli tanı için fizyolojik olarak bilgilendirilmiş bir araca dönüştürmektedir. Bu durum; heterojen veri kaynaklarının, eksik modite mevcudiyetinin ve açıklanabilir model çıktılarının merkezi hususlar olduğu gelecekteki hesaplamalı nörogörüntüleme iş akışları için önem taşımaktadır.

Açıklamalar

Yazarlar herhangi bir çıkar çatışması olmadığını beyan ederler. Yazarlar, bu taslağın, kodunun, veri analizinin veya grafiklerinin hazırlanmasında herhangi bir üretken yapay zeka aracı kullanılmadığını beyan ederler.

Teşekkürler

Bu araştırma; Çin Ulusal Doğal Bilimler Vakfı'nın 62433002, 62277001 ve U25A20446 numaralı hibeleri, Pekin Belediye Kurumları Üst Düzey Yenilikçi Ekiplerin Kurulumu ve Destek Projesi'nin BPHR20220104 numaralı hibesi ve Pekin Bilim İnsanları Programı'nın 099 numaralı hibesi tarafından desteklenmiştir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
BashGNU Project5.1.16(1)-releaseYazılım
C-PACFCP-INDISürüm 1.8.7; konteyner etiketi release-v1.8.7.dev1Yazılım
CUDA ToolkitNVIDIA CorporationSürüm 12.4Yazılım
CUDA uyumlu GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUEkipman
Desikan-Killiany kortikal atlasıFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 kortikal bölge (RRID:SCR_001847)Atlas/kaynak
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoSürüm 2022.1 (RRID:SCR_007292)Yazılım
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalSürüm 7.4.1 (RRID:SCR_001847)Yazılım
FSLFMRIB, University of OxfordC-PAC 1.8.7 ile birlikte gelir; kesin sürüm belirtilmemiştir (RRID:SCR_002823)Yazılım
Healthy Brain Network (HBN) veri setiChild Mind InstituteRRID:SCR_016989Veri seti
MATLABMathWorksR2022a (RRID:SCR_001622)Yazılım
MNE-PythonMNE-Python Development TeamSürüm 1.9 (RRID:SCR_005972)Yazılım/kütüphane
PythonPython Software FoundationSürüm 3.12.4 (RRID:SCR_008394)Yazılım
PyTorchPyTorch FoundationSürüm 2.6.0+cu124 (RRID:SCR_018536)Kütüphane

Kaynaklar

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Yeniden basım ve izinler

Etiketler

EEG fMRI FüzyonuMultimodal Beyin GörüntülemeBilgisayar Destekli TanıGraf KodlayıcılarROI Atıf HaritalarıNöral Durum UzmanıModalite Durum MaskeleriDüğüm Oklüzyon Analizi

Bu makale yayımlandı

Video yakında

Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.