Artykuł metodologiczny

Fuzja elektroencefalografii i funkcjonalnego rezonansu magnetycznego oparta na mieszaninie ekspertów w celu interpretowalnej komputerowej diagnostyki zaburzeń mózgu

89 wyświetleń

⸱

DOI:

10.3791/73432

⸱

25 września 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

W tym artykule

Podsumowanie

Niniejszy protokół przedstawia Brain Mixture-of-Experts – adaptacyjną i interpretowalną ramę fuzji elektroencefalografii i funkcjonalnego obrazowania rezonansem magnetycznym (EEG-fMRI) przeznaczoną do wspomaganego komputerowo diagnozowania zaburzeń mózgu. Metoda ta integruje heterogeniczne reprezentacje EEG i fMRI za pomocą ekspertów specyficznych dla danej modalności, wspólnego eksperta stanu neuronalnego oraz adaptacyjnego routingu, zachowując przy tym interpretowalność i możliwość wnioskowania w symulowanych warunkach braku jednej z modalności.

Streszczenie

Elektroencefalografia (EEG) oraz funkcjonalny rezonans magnetyczny (fMRI) dostarczają komplementarnych informacji o funkcjonowaniu mózgu i wykazują znaczny potencjał w wykrywaniu nieprawidłowości funkcjonalnych w różnych zaburzeniach mózgu. Jednak odmienna charakterystyka sygnałów i rozbieżne przestrzenie reprezentacyjne EEG i fMRI stanowią poważne wyzwanie dla efektywnej fuzji multimodalnej, co utrudnia dokładną komputerową diagnostykę zaburzeń mózgu przy użyciu konwencjonalnych modeli stałych. Niniejsze badanie przedstawia Brain Mixture-of-Experts (BrainMoE), adaptacyjny i interpretowalny framework fuzji EEG-fMRI do komputerowo wspomaganej diagnostyki zaburzeń mózgu, który integruje multimodalne cechy mózgu poprzez ekspertów specyficznych dla danej modalności, wspólnego eksperta stanu neuronowego oraz adaptacyjny mechanizm routingu. BrainMoE najpierw rzutuje sygnały EEG i fMRI na ujednoliconą przestrzeń obszarów zainteresowania (ROI) atlasu Desikana-Killiany’ego (DK), a następnie wykorzystuje koderów grafowych do ekstrakcji reprezentacji sieci mózgowych specyficznych dla każdej modalności. Moduł soft-routingu generuje reprezentację routingu, a bramka ekspertów (Expert Gate) w module fuzji tworzy wagi specyficzne dla próbki, aby połączyć reprezentacje EEG, fMRI oraz wspólnego eksperta stanu neuronowego. Aby obsłużyć scenariusze niepełnej akwizycji danych, zaimplementowano maski stanu modalności oraz tokeny brakującej modalności, co pozwala temu samemu wytrenowanemu modelowi na przeprowadzanie wnioskowania w pełnym trybie EEG-fMRI, a także w trybach wyłącznie EEG lub wyłącznie fMRI. Ostatecznie analiza okluzji węzłów dostarcza map atrybucji na poziomie ROI dla predykcji pochodzących zarówno z EEG, jak i fMRI. Framework został oceniony na zbiorze danych Healthy Brain Network (HBN) w pięciu binarnych zadaniach klasyfikacji zaburzeń mózgu, obejmujących zespół depresyjny, zaburzenia lękowe, zaburzenia czytania, zaburzenia spektrum autyzmu oraz zespół nadpobudliwości z deficytem uwagi (ADHD). BrainMoE przewyższył najnowocześniejsze algorytmy porównawcze, osiągając średnie AUC na poziomie 86,9 ± 3,0%, a eksperymenty ablacyjne potwierdziły wkład komponentów routingu i fuzji ekspertów. Co więcej, analiza interpretowalności identyfikuje wkład ROI na poziomie grupowym w klasyfikację chorób, który jest zgodny z wcześniej raportowanymi wynikami neuroobrazowania. Metoda ta wspiera komputerowo wspomaganą diagnostykę zaburzeń mózgu, rozwiązując problem integracji heterogenicznych reprezentacji neuronowych EEG-fMRI przy jednoczesnym zachowaniu interpretowalności i możliwości wnioskowania w symulowanych warunkach braku jednej z modalności.

Wprowadzenie

Zaburzenia mózgu wiążą się ze złożonymi zmianami w aktywności neuronalnej i organizacji sieci mózgowych, które są trudne do scharakteryzowania za pomocą jednej modalności obrazowania1. Po rekonstrukcji źródeł2, EEG dostarcza informacji o aktywności elektrofizjologicznej (EEG) na poziomie regionów, podczas gdy funkcjonalny rezonans magnetyczny (fMRI) rejestruje funkcjonalną łączność na poziomie regionów, oferując komplementarny wgląd w funkcjonowanie mózgu. Aby ułatwić ich integrację, w poprzednich pracach multimodalnych obie modalności mapowano na atlas Desikana-Killiany’ego (DK) obejmujący 68 regionów3. Choć ta odpowiedniość przestrzenna nie oznacza równoważności w rozdzielczości czasowej ani pochodzenia fizjologicznego, zapewnia ona ujednolicony indeks anatomiczny dla fuzji grafów na poziomie węzłów, stałe wymiary grafów oraz spójną interpretację na poziomie obszarów zainteresowania (ROI), przy jednoczesnym zachowaniu informacji specyficznych dla danej modalności. Integracja tych anatomicznie dopasowanych, a jednocześnie specyficznych dla modalności reprezentacji może wzbogacić reprezentacje sygnałów mózgowych związanych z chorobą i wspomóc komputerową diagnostykę zaburzeń mózgu3,4.

Pomimo potencjału fuzji EEG-fMRI w komputerowo wspomaganej diagnostyce zaburzeń mózgu, heterogeniczność obu modalności stanowi wyzwanie techniczne dla ich efektywnej integracji. Klasyczne metody uczenia maszynowego, takie jak SVM i MLP, mogą zapewniać bazowe modele klasyfikacji, lecz mają ograniczoną zdolność do wychwytywania nieliniowych interakcji między-modalnych. Ogólne modele głębokiego uczenia, w tym architektury GNN5, ResNet6 i Transformer7, oferują silniejszą naukę reprezentacji, ale nie są zaprojektowane specjalnie dla grafów mózgu na poziomie ROI lub modelowania stanów modalności. Niedawne zaawansowane modele3,8,9 zwiększyły złożoność nieliniową, aby lepiej modelować sieci mózgowe. Wprowadzono BrainNetCNN8 w celu dostosowania operacji splotowych do macierzy łączności mózgu; BrainGNN9 dalej modelował topologię grafu na poziomie ROI przy użyciu grafowych sieci neuronowych i poolingu; a BNT10 wzmocnił później analizę funkcjonalnych sieci mózgowych za pomocą wielopoziomowej uwagi opartej na transformerach. Jednakże postępy te były rozwijane głównie dla ustawień jednomodalnych. MultiEpilepsyNet11 rozszerzył następnie uczenie multimodalne na detekcję napadów EEG-MRI poprzez federacyjny framework hybrydowy, a jego moduł EpiSkullNet++ po stronie MRI poprawił segmentację i przetwarzanie wstępne mózgu. SZAtt-Net12 opracował następnie multimodalny model klasyfikacji schizofrenii, łącząc bloki CNN, BiGRU i MLP z mechanizmami uwagi kanałowej, własnej, przestrzennej i czasowej. Metody te pozostały jednak specyficzne dla konkretnych zadań i opierały się na stosunkowo sztywnych projektach fuzji, bez jawnego wspierania adaptacyjnego routingu pomiędzy stanami pełnej i brakującej modalności.

Modele Mixture-of-Experts (MoE)13,14 są coraz częściej stosowane w uczeniu multimodalnym, ponieważ umożliwiają przetwarzanie heterogenicznych źródeł informacji przez wyspecjalizowane moduły eksperckie i ich dynamiczne łączenie za pomocą mechanizmów routingu. Bramkowanie Softmax zapewnia znormalizowane wagi ekspertów zależne od wejścia i zostało teoretycznie scharakteryzowane pod kątem szybkości zbieżności15. Powiązane architektury wielobramkowe wykazały ponadto, że oddzielne bramki mogą uczyć się kombinacji współdzielonych ekspertów zależnych od zadania w wielkoskalowym uczeniu wielozadaniowym16. W badaniach neuronaukowych i studiach nad mózgiem warianty MoE17,18,19 są coraz częściej wykorzystywane w celu ułatwienia fuzji heterogenicznych cech. dFCExpert17 wykorzystał modularność i ekspertów opartych na stanach do modelowania wzorców dynamicznej łączności funkcjonalnej z fMRI. EvoMoE18 wykorzystał dodatkowo sieć bramkującą do wyboru odpowiednich ekspertów dla niezależnej od użytkownika klasyfikacji SSVEP-EEG. NeuroMoE++19 zbadał adaptacyjną dla pacjenta fuzję multimodalną w klasyfikacji zaburzeń neurologicznych. Pomimo ich sukcesu, modele te opierają się zazwyczaj na gruboziarnistym mieszaniu i dyskretnym routingu, które pomijają wysoce zsynchronizowany charakter między-modalnych stanów neuronalnych, co utrudnia wykrywanie subtelnych, lecz informatywnych wzorców krytycznych dla diagnozy zaburzeń mózgu. Co więcej, bez dedykowanego mechanizmu rozplatania niuansów specyficznych dla danej modalności z ujednoliconym, wspólnym stanem neuronalnym, modele te oferują ograniczoną interpretowalność i cierpią na spadek wydajności w przypadku braku kluczowej modalności (fMRI lub EEG).

Aby rozwiązać te ograniczenia, niniejsze badanie przedstawia Brain Mixture-of-Experts (BrainMoE) – adaptacyjny i interpretowalny model fuzji EEG-fMRI do wspomaganego komputerowo diagnozowania pięciu kategorii zaburzeń mózgu, w tym depresji (MDD), zaburzeń lękowych (ANX), specyficznych zaburzeń uczenia się z upośledzeniem czytania (RI), zaburzeń spektrum autyzmu (ASD) oraz zespołu nadpobudliwości z deficytem uwagi (ADHD). Protokół w pierwszej kolejności dopasowuje cechy EEG zrekonstruowane ze źródła oraz cechy fMRI do przestrzeni ROI atlasu DK20, a następnie tworzy grafowe reprezentacje modalności dla obu metod. BrainMoE wykorzystuje eksperta EEG, eksperta fMRI oraz wspólnego eksperta stanu neuronowego, którzy są integrowani przez moduł miękkiego routingu (soft routing) w celu połączenia informacji specyficznych dla danej modalności oraz informacji wspólnych. Maski stanu modalności oraz tokeny brakującej modalności zostały wprowadzone, aby umożliwić wnioskowanie w trybach pełnym EEG-fMRI, tylko EEG oraz tylko fMRI w ramach jednego wytrenowanego modelu. W celu zapewnienia interpretowalności biologicznej, protokół stosuje dodatkowo analizę okluzji węzłów, w której każdy ROI atlasu DK jest selektywnie maskowany, a wynikowa zmiana prawdopodobieństwa predykcji choroby służy do oszacowania regionalnych wkładów pochodzących z EEG i fMRI. Niniejszy protokół opisuje kompletny przepływ pracy obejmujący dopasowanie danych, konstrukcję modelu, trenowanie, ewaluację oraz interpretację ROI opartą na okluzji węzłów, zapewniając adaptacyjną i interpretowalną strategię wspomaganej komputerowo diagnozy zaburzeń mózgu poprzez fuzję heterogenicznych sygnałów mózgowych EEG-fMRI. Aby ułatwić reprodukowalność i przyszłe rozszerzenia, publiczne repozytorium GitHub udostępnia kod modelu BrainMoE, kod trenujący oraz ewaluacyjny, podczas gdy wstępne przetwarzanie EEG i fMRI zostało wykonane przy użyciu publicznie dostępnego oprogramowania zewnętrznego. Repozytorium jest dostępne pod adresem https://github.com/zhongruizhe123/BrainMoE.

Protokół

W niniejszym badaniu wykorzystano zanonimizowane dane z bazy Healthy Brain Network (HBN)21, koncentrując się na pięciu różnych zaburzeniach klinicznych w celu przeprowadzenia późniejszych zadań klasyfikacji diagnostycznej. Zgoda komisji etycznej oraz pisemna świadoma zgoda zostały wcześniej uzyskane przez inicjatywę HBN od wszystkich biorących udział w badaniu ośrodków i osób. Rejestracje EEG i fMRI były pozyskiwane w osobnych sesjach, a nie symultanicznie, i zostały sparowane przy użyciu identyfikatorów uczestników oraz sesji dostępnych w HBN.

1. Przygotowanie środowiska obliczeniowego i danych wejściowych

  1. Konfiguracja środowiska obliczeniowego
    1. Utwórz i aktywuj wirtualne środowisko Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Zainstaluj wymagane pakiety i ich określone wersje, korzystając z pliku requirements.txt udostępnionego w publicznym repozytorium GitHub: pip install -r requirements.txt
    3. Przed rozpoczęciem trenowania zweryfikuj konfigurację PyTorch i CUDA: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Potwierdź, że wynik wskazuje PyTorch 2.6.0+cu124, CUDA 12.4 oraz że dostępność CUDA (CUDA availability) to True. Trenowanie modelu przeprowadź przy użyciu procesora GPU kompatybilnego z CUDA.
  2. Przejrzyj wszystkie pliki wejściowe H5 przed trenowaniem modelu.
    1. Potwierdź, że każdy plik zawiera sLORETA_mean_func dla cech węzłów EEG, sLORETA_mean_CorrMatrix dla grafu EEG, fMRI-DK68-node-mat dla cech węzłów fMRI, fMRI-DK68-edge-mat dla grafu fMRI oraz etykietę (label) dla diagnozy. Wyklucz pliki z brakującymi kluczami, wpisami nienumerycznymi, nieprawidłowymi etykietami lub wymiarami niezgodnymi z atlasem Desikan-Killiany obejmującym 68 regionów. Uruchom skrypt sprawdzający wejścia H5 w następujący sposób: python checkH5.py (Plik uzupełniający 1).

2. Dopasowanie cech EEG i fMRI do wspólnej przestrzeni anatomicznej

  1. Wstępne przetwarzanie danych fMRI.
    1. Przetwarzanie danych fMRI z wykorzystaniem programu C-PAC (wersja 1.8.7). Uruchomienie skryptu wstępnego przetwarzania C-PAC w następujący sposób: bash run_cpac_brainmoe.sh (Plik uzupełniający 2). Odrzucenie pierwszych pięciu wolumenów w celu zredukowania efektów początkowego sygnału stanu nieustalonego.
    2. Wykonanie korekcji czasu plastrów (slice-timing correction), korekcji ruchu, korekcji zniekształceń, rejestracji, normalizacji do przestrzeni anatomicznej MNI152 oraz wygładzania przestrzennego. Regresja 24 parametrów zakłócających związanych z ruchem.
    3. Zastosowanie czasowej filtracji pasmowo-przepustowej w zakresie 0.01-0.08 Hz.
  2. Generowanie cech fMRI dopasowanych do atlasu.
    1. Przetwarzanie odpowiadającego obrazowania strukturalnego MRI za pomocą programu FreeSurfer (wersja 7.4.1). Uruchomienie skryptów w następujący sposób: bash Step01_mgz_2_nifti.sh. Korejestracja wynikowej parcelacji korowej Desikan-Killiany do natywnej przestrzeni fMRI uczestnika. Uruchomienie skryptów w następujący sposób: python Step02_CoRegistration.py. Obliczenie średniego sygnału w voxelach w obrębie każdego z 68 regionów korowych. Uruchomienie skryptów w następujący sposób: python Step03_fMRI_Signal_Extraction.py (Plik uzupełniający 3).
    2. Zachowanie 370 kolejnych punktów czasowych fMRI bez dopełnienia czasowego w celu uzyskania macierzy cech węzłów fMRI o wymiarach 68 x 370, gdzie 68 oznacza regiony korowe DK, a 370 oznacza zachowane punkty czasowe fMRI.
  3. Konstrukcja grafu fMRI.
    1. Obliczenie korelacji Pearsona pomiędzy 370-punktowymi szeregami czasowymi dla 68 regionów DK. Przechowywanie wynikowej macierzy łączności funkcjonalnej 68 x 68 jako macierzy krawędzi fMRI.
  4. Wstępne przetwarzanie danych EEG.
    1. Przetwarzanie zapisów EEG z 129 kanałów przy użyciu narzędzi EEGLAB (wersja 2022.1) w środowisku MATLAB (wersja R2022a). Sekwencyjne uruchomienie dwóch skryptów wstępnego przetwarzania EEGLAB w następujący sposób: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Plik uzupełniający 4). Zachowanie częstotliwości próbkowania 500 Hz i zastosowanie filtra pasmowo-przepustowego 0.2–40 Hz. Identyfikacja zakłóconych segmentów oraz uszkodzonych elektrod i interpolacja błędnych kanałów przy użyciu średniego sygnału z elektrod sąsiednich.
    2. Wykorzystanie analizy składowych niezależnych (ICA) z wtyczką ICLabel do klasyfikacji składowych niezależnych. Usunięcie składowych z prawdopodobieństwem klasyfikacji jako artefakty oczne lub mięśniowe większym niż 0.90. Zastosowanie średniego odniesienia (average re-referencing). Wykluczenie zapisów zawierających mniej niż 250 s użytecznych danych po wstępnym przetwarzaniu i odrzuceniu artefaktów.
  5. Generowanie cech EEG dopasowanych do atlasu.
    1. Konstrukcja zindywidualizowanego trójwarstwowego modelu głowy opartego na metodzie elementów brzegowych (BEM) z obrazowania strukturalnego MRI każdego uczestnika. Zdefiniowanie przestrzeni źródeł na indywidualnej powierzchni korowej każdego uczestnika. Rejestracja pozycji elektrod EEG do powierzchni BEM i obliczenie macierzy lead-field.
    2. Zastosowanie operatora odwrotnego z regularyzacją za pomocą macierzy kowariancji szumu bazowego. Ustawienie stosunku sygnału do szumu na 3.0, co daje λ2 = 1/SNR2 = 1/9 (około 0.1111), oraz przeprowadzenie lokalizacji źródeł przy użyciu zestandaryzowanej niskorozdzielczej tomografii elektromagnetycznej (sLORETA) zaimplementowanej w MNE-Python (wersja 1.9).
    3. Agregacja szacunków źródeł dla poszczególnych wierzchołków w obrębie każdej parceli Desikan-Killiany poprzez uśrednianie arytmetyczne w celu uzyskania 68 szeregów czasowych na poziomie ROI. Zachowanie pierwszego ciągłego segmentu trwającego 250 s i podział każdego szeregu czasowego ROI na 250 kolejnych, niezachodzących na siebie epok o długości 1 s.
    4. Obliczenie mocy pasma alfa w zakresie 8–12 Hz w każdej epoce w celu uzyskania macierzy cech węzłów EEG o wymiarach 68 x 250, gdzie 68 oznacza regiony korowe DK, a 250 oznacza 250 kolejnych, niezachodzących na siebie epok o długości 1 s.
  6. Konstrukcja grafu EEG i weryfikacja dopasowania między-modalnego.
    1. Obliczenie korelacji Pearsona pomiędzy 250-epokowymi szeregami mocy alfa 8–12 Hz dla 68 regionów DK. Przechowywanie wynikowej macierzy 68 x 68 jako grafu EEG.
    2. Potwierdzenie, że macierze EEG i fMRI wykorzystują tę samą kolejność regionów DK oraz że ten sam plik indeksu regionów DK jest używany dla wejścia modelu, atrybucji i wizualizacji. Uruchomienie skryptu MNE-Python do lokalizacji źródeł i ekstrakcji cech w następujący sposób: python "Extract features - templates.py" (Plik uzupełniający 5).
  7. Normalizacja cech węzłów w obrębie każdej próbki.
    1. Zastosowanie normalizacji z-score dla każdego węzła w macierzach cech węzłów EEG i fMRI. Zachowanie macierzy grafów jako wejść łączności i zastosowanie normalizacji grafu wewnątrz modelu BrainMoE.
    2. Przeprowadzenie wstępnego przetwarzania EEG i fMRI niezależnie dla każdego uczestnika przy użyciu stałych ustawień, bez wykorzystywania informacji z fałd walidacji krzyżowej do określania parametrów wstępnego przetwarzania.

3. Konstrukcja zadań binarnej klasyfikacji specyficznej dla choroby

  1. Zdefiniuj pięć zadań binarnej klasyfikacji specyficznych dla danej choroby.
    1. Zakoduj zdrowe kontrole (HC) jako klasę 0 we wszystkich zadaniach, a jedynie wybraną grupę z daną chorobą jako klasę 1 w ramach przypisanego jej zadania.
    2. Stwórz oddzielne zadania typu „zdrowi kontra chorzy” dla depresji, zaburzeń lękowych, zaburzeń neurorozwojowych z zaburzeniami specyficznymi uczenia się i upośledzeniem czytania, zaburzeń spektrum autyzmu oraz zespołu nadpobudliwości z deficytem uwagi (ADHD).
  2. Opisz kohorty badawcze i zbadaj potencjalny wpływ płci oraz ośrodka akwizycji danych.
    1. Do każdego zadania specyficznego dla danej choroby włącz uczestników HBN z pełnymi danymi EEG, fMRI i strukturalnego obrazowania rezonansem magnetycznym (sMRI) oraz poprawną etykietą diagnostyczną. Wyklucz uczestników z diagnozami współistniejącymi z kohort dodatnich pod kątem danej choroby. Wyklucz zapisy EEG zawierające mniej niż 250 s użytecznych danych po wstępnym przetwarzaniu i odrzuceniu artefaktów; zachowaj jedynie pliki wejściowe, które spełniły kryteria kontroli jakości opisane w sekcji 1.2.
    2. Podsumuj liczbę zachowanych rekordów multimodalnych i unikalnych uczestników, stosunki liczby chorych do grupy kontrolnej, zakresy wieku, rozkłady płci oraz rozkłady ośrodków akwizycji dla wspólnej kohorty HC i każdej kohorty chorobowej w Tabeli 4.
      UWAGA: Ta sama kohorta HC była ponownie wykorzystywana jako klasa 0 we wszystkich pięciu zadaniach, zatem szacunki wydajności na poziomie zadań nie są statystycznie niezależne. Ta zależność wynika ze wspólnej kohorty HC, a nie z nakładania się grup chorobowych.
    3. Przeprowadź stratyfikację wydajności według płci i ośrodka akwizycji, a następnie porównaj uzyskane wartości za pomocą dwustronnych testów t Welcha w ramach powtórzonych 5-krotnych walidacji krzyżowych.
  3. Wybierz specyficzne dla zadań pliki H5 i zdefiniuj podziały do walidacji krzyżowej.
    1. Dla każdego zadania zachowaj jedynie grupę HC oraz docelową grupę chorobową. Wygeneruj 10 powtórzeń 5-krotnej walidacji krzyżowej na poziomie uczestnika. Przeprowadź stratyfikację unikalnych uczestników według binarnej etykiety klasy (HC kontra docelowa choroba), aby zachować rozkład klas w poszczególnych folderach (folds).
    2. Użyj unikalnego identyfikatora uczestnika jako zmiennej grupującej i przypisz wszystkie sesje oraz rekordy multimodalne tego samego uczestnika do tego samego folderu. Użyj kolejno ziarn (seeds) losowych od 1 do 10, aby wygenerować 10 powtórzonych partycji walidacji krzyżowej. Do inicjalizacji i trenowania modelu użyj stałego ziarna losowego 1.
    3. Zarezerwuj wydzielony folder wyłącznie do końcowej ewaluacji i zapisz identyfikatory uczestników, listy plików oraz indeksy partycji dla każdego folderu wraz z odpowiadającym im punktem kontrolnym (checkpoint). Dla każdego folderu treningowego oblicz wagi klas na podstawie etykiet treningowych i wykorzystaj je w funkcji straty entropii krzyżowej, aby zredukować błąd systematyczny wynikający z niezrównoważenia klas.

4. Budowa architektury BrainMoE dla wspomaganej komputerowo diagnostyki zaburzeń mózgu

UWAGA: Architektura BrainMoE została zaprojektowana jako kompaktowe środowisko fuzji EEG-fMRI z brakującymi modalnościami, które łączy koder grafowy, współdzielone miękkie rutowanie stanów neuronalnych oraz integrację cech opartą na ekspertach w celu binarnej diagnostyki specyficznej dla danej choroby. Całościowa architektura przedstawiona jest na Rysunku 1, a kod implementacyjny znajduje się w Pliku uzupełniającym 6.

  1. Zdefiniuj wejścia BrainMoE i stany modalności. Jako sparowane wejścia grafowe wykorzystaj modalność EEG oraz modalność fMRI po wyrównaniu w przestrzeni źródłowej. Tutaj X oznacza regionalną macierz cech, A oznacza graf mózgu specyficzny dla danej modalności, a każdy wiersz odpowiada jednemu z 68 regionów Desikana-Killiany.
    Równowaga statyczna, ΣFx=0, matematyczna reprezentacja macierzowa, równania analizy równowagi.
    Równania danych MRI, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), formuła reprezentacji macierzowej.
    Zdefiniuj maskę dostępności modalności jako m = [mEEG, mfMRI]. Użyj m = [1,1] dla pełnego wejścia EEG-fMRI, m = [1,0] dla wejścia tylko EEG oraz m = [0,1] dla wejścia tylko fMRI.
  2. Koder grafu: Dla każdej modalności q (gdzie q to EEG lub fMRI) wprowadź macierz cech Xq i graf Aq do specyficznego dla danej modalności kodera grafu. Koder jest trenowalnym modułem neuronowym obejmującym projekcję węzłów, przekazywanie wiadomości w grafie, normalizację, aktywację i dropout (p=0,3).
    Równanie kodowania grafu dla integracji danych neurologicznych z parametrami EEG i fMRI.
    UWAGA: W tej notacji Zq to latentna reprezentacja na poziomie ROI generowana przez koder grafu EEG lub koder grafu fMRI. Koder grafu EEG mapuje każdą macierz wejściową 68 x 250 na latentną reprezentację 68 x 128, natomiast koder grafu fMRI mapuje każdą macierz wejściową 68 x 370 na latentną reprezentację 68 x 128. Każdy koder wykorzystuje projekcję wejściową, po której następują dwie rezdualne warstwy splotu grafowego o 128 wymiarach ukrytych, aktywacja GELU, normalizacja warstwowa i dropout.
  3. Trenowalne tokeny brakującej modalności: Niech Tq będzie tokenem dla modalności q, a mq odpowiadającym wskaźnikiem dostępności. Ten krok generuje reprezentację świadomą stanu, która zachowuje ten sam układ 68 regionów przy wejściach pełnych i jednomodalnych.
    Równanie w schemacie fuzji danych neuronowych; formuła integracji analizy EEG i fMRI z czynnikiem wagowym.
    UWAGA: Każdy trenowalny token brakującej modalności jest wektorem 128-wymiarowym i zostaje rozszerzony na 68 wierszy ROI, gdy odpowiadająca mu modalność jest niedostępna.
  4. Wspólny moduł miękkiego routingu stanu neuronowego: Najpierw połącz reprezentację EEG świadomą stanu ZEEG, reprezentację fMRI świadomą stanu ZfMRI oraz osadzoną maskę dostępności modalności. Maska dostępności modalności jest osadzana przez MLP o wymiarach 2 → 128, z aktywacją GELU i normalizacją warstwową. Router składa się z dwóch jednowymiarowych warstw splotowych o wymiarach kanałów 384 → 128 → 128, rozmiarze jądra 3 i paddingu 1. Aktywacja GELU jest stosowana po każdym splotcie, z dropoutem (p=0,3) po pierwszym splotcie.
    Równanie matematyczne dla konkatenacji danych EEG i MRI w analizie wielowarstwowego perceptronu.
    Notacja równowagi statycznej Π=Router(U); wizualizacja formuły matematycznej.
  5. Wspólny ekspert stanu neuronowego.
    1. Skonkatenuj reprezentację EEG świadomą stanu ZEEG, reprezentację fMRI świadomą stanu ZfMRI oraz reprezentację miękkiego routingu R wzdłuż wymiaru cech. Zastosuj w pełni połączoną warstwę fuzji (z 384 do 128), a następnie normalizację warstwową, aktywację GELU i dropout (p=0,3), a następnie wykonaj średnie poolowanie (mean-pooling) wynikowej reprezentacji w obrębie 68 ROI, aby uzyskać 128-wymiarową zfuzjonowaną reprezentację na poziomie badanego zfused:
      Równanie: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); schemat metody integracji danych.
    2. Przekaż zfused przez wspólnego eksperta stanu neuronowego, który składa się z w pełni połączonej warstwy (z 128 do 128), normalizacji warstwowej, aktywacji GELU i dropoutu (p=0,3). Oznacz wynikową 128-wymiarową reprezentację wspólnego eksperta jako Eshared:
      Równanie dla transformacji wspólnego eksperta, E_shared = SharedExpert(z_user).
  6. Eksperci EEG i fMRI.
    1. Dla każdej modalności wykonaj średnie poolowanie reprezentacji świadomej stanu w obrębie 68 ROI i przekaż wynikową 128-wymiarową reprezentację przez odpowiadającego eksperta specyficznego dla danej modalności:
      Analiza danych EEG i fMRI; równanie; Expert_q(MeanPool(Z_q)); neuronauka, badania mózgu
    2. Każdy ekspert specyficzny dla modalności składa się z w pełni połączonej warstwy (z 128 do 128), normalizacji warstwowej, aktywacji GELU i dropoutu (p=0,3). Oznacz wynikowe 128-wymiarowe reprezentacje ekspertów specyficznych dla modalności odpowiednio jako EEEG i EfMRI.
  7. Moduł fuzji.
    1. Aby obliczyć wagi ekspertów, skonkatenuj 128-wymiarową zfuzjonowaną reprezentację na poziomie badanego zfused z 2-wymiarową maską dostępności modalności m, co daje 130-wymiarowe wejście bramki (Gate). Moduł fuzji zawiera bramkę ekspertów, która generuje specyficzne dla próbki wagi używane do fuzji ekspertów. Bramka ekspertów składa się z w pełni połączonej warstwy (z 130 do 128), po której następują aktywacja GELU, dropout (p = 0,3) oraz wyjściowa w pełni połączona warstwa (z 128 do 3). Zastosuj funkcję softmax do trzech wyjściowych logitów, aby uzyskać specyficzne dla próbki wagi ekspertów:Schemat formuły głębokiego uczenia; funkcja Softmax; równanie sieci neuronowej; koncepcja algorytmu.
    2. Wynikowe wagi są nieujemne i dla każdej próbki sumują się do 1:
      Równanie rozkładu wag, W_EEG + W_fMRI + W_shared = 1, dla analizy obrazowania mózgu.
    3. Pomnóż każdą 128-wymiarową reprezentację eksperta przez odpowiadającą jej wagę bramki i zsumuj trzy reprezentacje zważone:
      Równanie równowagi statycznej, formuła: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      UWAGA: Operacja ta implementuje gęstą fuzję miękkiego MoE.
    4. Przekaż wynikową 128-wymiarową końcową reprezentację eksperta efused do głowicy klasyfikacji diagnozy zaburzeń mózgu opisanej w sekcji 4.8.
  8. Głowica klasyfikacji diagnozy zaburzeń mózgu: Przekaż 128-wymiarową końcową reprezentację eksperta przez głowicę klasyfikacyjną składającą się z normalizacji warstwowej, dropoutu (p = 0,3) i w pełni połączonej warstwy mapującej 128 wymiarów na 2 wyjściowe logity. Zastosuj funkcję softmax, aby uzyskać prawdopodobieństwo HC oraz prawdopodobieństwo choroby docelowej. Przypisz próbkę do klasy choroby, gdy prawdopodobieństwo choroby docelowej wynosi co najmniej 0,5.
    Równanie klasyfikacji Softmax, formuła przewidywania wyjścia sieci neuronowej w uczeniu maszynowym.
  9. Zweryfikuj spójność implementacji przed treningiem. Wykonaj testowe przejście w przód (forward pass) dla m = [1,1], m = [1,0] i m = [0,1]. Potwierdź, że reprezentacje EEG, fMRI, świadome stanu, routingu i zfuzjonowane zachowują 68 wierszy ROI, chyba że zostały jawnie poddane poolowaniu, oraz potwierdź, że wagi ekspertów sumują się do 1 w kolejności: Ekspert EEG, Ekspert fMRI i wspólny ekspert stanu neuronowego.

5. Trenowanie pięciu modeli BrainMoE do diagnostyki schorzeń mózgu

  1. Wytrenuj jeden model BrainMoE dla każdego binarnego zadania specyficznego dla danej choroby.
    1. Użyj tej samej architektury i domyślnych hiperparametrów dla wszystkich zadań: 30 epok, rozmiar partii (batch size) 16, szybkość uczenia 0,001, weight decay 0,0001. Ustal architekturę modelu i hiperparametry przed ewaluacją na zbiorze testowym i pozostaw je niezmienne we wszystkich fałdach, powtórzeniach i zadaniach specyficznych dla danej choroby.
    2. Nie wykorzystuj wyników z wydzielonego zbioru testowego do selekcji modelu ani dostrajania hiperparametrów. Dla każdej mini-partii wykonaj trzy przejścia w przód (forward passes), używając masek pełnej, wyłącznie EEG oraz wyłącznie fMRI przy wspólnych wagach modelu. Uruchom trenowanie BrainMoE w następujący sposób: python train.py --config configs/brain_moe.json --task --data_dir (Plik uzupełniający 6). Ustaw na depression, anxiety, reading_disorder, autism lub adhd.
  2. Zoptymalizuj uśrednioną stratę klasyfikacji trzech stanów. Oblicz ważoną klasami stratę entropii krzyżowej Ls dla każdego stanu jako
    Wzór równowagi statycznej w neuronauce; równanie przedstawiające metodę integracji multimodalnych danych mózgowych.
    i uśrednij straty zgodnie z wzorem
    Równanie straty treningowej L_train=(L_full+L_EEG-only+L_MRI-only)/3; równanie badania.
  3. Zresetuj gradienty, wykonaj wsteczną propagację i zaktualizuj wszystkie trenowalne parametry za pomocą optymalizatora AdamW.

6. Ocena stanów wnioskowania dla pełnego zestawu oraz brakujących modalności

  1. Metoda oceny: Wczytaj punkt kontrolny (checkpoint) dla wybranego zadania chorobowego i użyj zapisanej listy plików testowych z tego samego punktu kontrolnego. Użyj m = [1,1] dla pełnej inferencji EEG-fMRI, m = [1,0] dla inferencji tylko z EEG oraz m = [0,1] dla inferencji tylko z fMRI. Na koniec zastosuj funkcję softmax, aby uzyskać prawdopodobieństwo wystąpienia docelowej choroby i przypisz klasę choroby, gdy prawdopodobieństwo wynosi co najmniej 0,5.
  2. Metryki oceny: Oblicz metryki oceny na podstawie macierzy pomyłek, gdzie TP oznacza próbki dodatnie pod kątem choroby prawidłowo sklasyfikowane jako choroba, TN oznacza zdrową grupę kontrolną (HC) prawidłowo sklasyfikowaną jako zdrowa, FP oznacza HC błędnie sklasyfikowaną jako choroba, a FN oznacza próbki dodatnie pod kątem choroby błędnie sklasyfikowane jako zdrowe.
    Wzór równowagi statycznej, obliczanie dokładności (Accuracy), równanie analizy wyników prawdziwie/fałszywie dodatnich i ujemnych.
    Wzór obliczania czułości, równanie analizy odsetka prawdziwie dodatnich w badaniach.
    Wzór swoistości, \( \text{Specificity} = \frac{TN}{TN + FP} \), równanie, analiza statystyczna.
    Wzór na wynik F1: średnia harmoniczna precyzji i czułości, stosowana w analizie statystycznej.
    Wzór na zrównoważoną dokładność (balanced accuracy); równanie służące do oceny wydajności modelu klasyfikacji.
  3. Użyj dokładności (accuracy), aby zgłosić całkowity odsetek prawidłowych klasyfikacji. Użyj czułości (sensitivity) do określenia wykrywalności próbek dodatnich pod kątem choroby oraz swoistości (specificity) do określenia identyfikacji HC.
  4. Użyj wyniku F1, aby podsumować równowagę między precyzją a czułością. Użyj zrównoważonej dokładności (balanced accuracy), aby zmniejszyć wpływ niezrównoważenia klas. Dodatkowo oblicz AUC, aby ocenić niezależną od progu dyskryminację w różnych progach decyzyjnych.
  5. Dla każdego powtórzenia oblicz średnią z każdej metryki wydajności dla pięciu wydzielonych foldów. Przedstaw końcowe wyniki jako średnią i odchylenie standardowe z 10 średnich na poziomie powtórzeń.
  6. Porównaj BrainMoE z metodami bazowymi. Wszystkie metody bazowe wykorzystywały te same podziały na poziomie uczestników i pełne dane wejściowe EEG-fMRI co BrainMoE, z konfiguracjami ustalonymi przed oceną z wydzielonymi danymi. BrainMoE porównano z każdą metodą bazową za pomocą dwustronnych sparowanych testów t z poprawką Holma.

7. Przeprowadzenie atrybucji okluzji węzłów na poziomie grupy dla pięciu zaburzeń mózgu

  1. Zdefiniuj kohortę do atrybucji. Wczytaj wytrenowany punkt kontrolny (checkpoint) modelu BrainMoE oraz plik z nazwami regionów DK. Wybierz próbki testowe dodatnie pod kątem choroby, które zostały poprawnie sklasyfikowane przy pełnym stanie EEG-fMRI z m = [1,1]. Wykorzystaj tę kohortę do analizy atrybucji na poziomie grupy i zapisz bazową prawdopodobieństwo wystąpienia choroby dla każdej próbki.
  2. Oblicz wyniki okluzji węzłów specyficzne dla każdej modalności. W przypadku atrybucji pochodzącej z EEG, dokonaj okluzji jednego ROI EEG na raz, ustawiając wektor cech wybranego węzła EEG oraz odpowiadający mu wiersz i kolumnę grafu EEG na zero, podczas gdy wejście fMRI pozostanie niezmienione. W przypadku atrybucji pochodzącej z fMRI, zastosuj tę samą operację do macierzy cech węzłów fMRI oraz grafu fMRI, pozostawiając wejście EEG niezmienione. Powtórz tę procedurę dla wszystkich 68 regionów DK. Przeprowadź analizę atrybucji metodą okluzji węzłów, korzystając z kodu dostarczonego w Pliku uzupełniającym 7.
  3. Oblicz i zwizualizuj wkłady ROI na poziomie grupy. Dla każdego ROI i każdej modalności oblicz wynik wkładu jako średni spadek prawdopodobieństwa wystąpienia choroby po okluzji we wszystkich wybranych próbkach. Uszereguj oddzielnie wyniki pochodzące z EEG i fMRI, wyeksportuj 10 najwyżej ocenianych ROI dla każdej modalności i oznacz najwyżej sklasyfikowane ROI na rycinie.

Wyniki

Wydajność BrainMoE w różnych zaburzeniach i stanach modalności
Protokół wygenerował pięć specyficznych dla danej choroby klasyfikatorów BrainMoE (zdrowy versus chory) oraz utworzył tabele z predykcjami dla stanów wnioskowania: pełnego EEG-fMRI, samego EEG oraz samego fMRI. Stan pełnego EEG-fMRI wykazał konsekwentnie wysoką dyskryminację w pięciu zadaniach, z wartościami AUC w zakresie od 84,4 ± 3,2% dla RI do 88,4 ± 3,8% dla ASD (Tabela 1). Średnia makro wydajność stanu pełnego w pięciu zadaniach osiągnęła 86,9 ± 3,0% AUC, 81,4 ± 3,1% dokładności, 81,4 ± 2,5% zrównoważonej dokładności oraz 81,2 ± 3,0% wyniku F1.

W symulowanych warunkach braku jednej z modalności, BrainMoE zachował użyteczną wydajność, gdy jedna modalność wejściowa została zamaskowana. W stanie wykorzystującym wyłącznie EEG, model osiągnął średnią makro AUC na poziomie 83,1 ± 3,7%, przy czym najwyższe AUC dla samego EEG zaobserwowano w przypadku ADHD, wynoszącą 87,9 ± 2,8%. W stanie wykorzystującym wyłącznie fMRI, średnia makro AUC wyniosła 80,0 ± 3,9%. Te zakresy wydajności oraz oczekiwana przewaga wydajności w stanie pełnym służą jako praktyczne punkty odniesienia dla skutecznej implementacji, wskazując, że wytrenowany framework BrainMoE może przeprowadzać wnioskowanie pełne, wyłącznie na podstawie EEG oraz wyłącznie na podstawie fMRI bez konieczności stosowania oddzielnych modeli dla każdej modalności.

Reprezentatywnym nieoptymalnym wynikiem jest brak odtworzenia oczekiwanej przewagi wydajności stanu pełnego, na przykład w sytuacji, gdy AUC dla pełnego zestawu EEG-fMRI jest niższe niż AUC dla samego EEG lub samego fMRI. W przeciwieństwie do tego, poprawna implementacja powinna odtworzyć przewagę stanu pełnego oraz zakresy wydajności wzorcowej podane w Tabeli 1. W przypadku zaobserwowania nieoptymalnego wzorca, przed interpretacją wyników modelu należy zweryfikować wymiary wejściowe H5, kolejność regionów DK, przypisanie maski dostępności modalności oraz zapisane partycje walidacji krzyżowej.

Porównanie punktów odniesienia
Zaproponowany model BrainMoE porównano z klasycznymi metodami uczenia maszynowego (maszyną wektorów nośnych (SVM) i wielowarstwowym perceptronem (MLP)), ogólnymi metodami głębokiego uczenia (Transformer7, 3D-CNN22 i ResNet6), zaawansowanymi metodami głębokiego uczenia (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) oraz metodami głębokiego uczenia opartymi na MoE (dFCExpert17, EvoMoE18 i NeuroMoE++19) (Tabela 2). BrainMoE osiągnął najwyższą średnią wartość AUC spośród wszystkich porównanych metod, wynoszącą 86,9 ± 3,0%.

Klasyczne metody uczenia maszynowego wykazały niższą średnią wydajność, przy czym SVM osiągnął średnią wartość AUC na poziomie 66,7 ± 4,5%, a MLP 64,6 ± 6,3%. Ogólne metody głębokiego uczenia wykazały zmienną wydajność, gdzie ResNet osiągnął średnią wartość AUC 71,0 ± 3,3%, a Transformer 63,8 ± 4,7%. Wśród zaawansowanych modeli bazowych głębokiego uczenia, BNT, BrainGNN, MultiEpilepsyNet i SZAtt-Net przewyższyły większość klasycznych i ogólnych metod głębokiego uczenia, jednak ich średnie wartości AUC pozostały niższe niż w przypadku BrainMoE.

Aby zapewnić wsparcie statystyczne dla porównania referencyjnego, model BrainMoE został porównany z najsilniejszą linią bazową dla każdej metryki wydajności (Tabela 3). BrainMoE uzyskał lepsze wyniki niż NeuroMoE++ w zakresie AUC i zrównoważonej dokładności (BA) oraz lepsze wyniki niż SZAtt-Net w zakresie miary F1 i dokładności. Wszystkie porównania pozostały istotne po zastosowaniu poprawki Holma.

Analiza podgrup według płci i miejsca pozyskania danych
Charakterystyka kohort specyficzna dla danego zadania, obejmująca liczbę zachowanych rekordów multimodalnych, stosunki liczby osób chorych do grupy kontrolnej, liczbę unikalnych uczestników, podsumowania wieku, rozkład płci oraz rozkład miejsc pozyskania danych, została przedstawiona w tabeli charakterystyki kohort (Tabela 4). Stosunki liczby osób chorych do grupy kontrolnej obliczono na podstawie liczby rekordów multimodalnych, natomiast charakterystyka demograficzna i miejsca pozyskania danych została podsumowana na poziomie unikalnych uczestników.

Aby ocenić potencjalny wpływ płci oraz miejsca pozyskania próbek, wyniki BrainMoE zostały rozwarstwione według tych czynników (Tabela 5). Podgrupa mężczyzn wykazała wyższą średnią wartość AUC, BA, wskaźnika F1 oraz dokładność niż podgrupa kobiet, podczas gdy odpowiadające im niepoprawione wartości p testu Welcha mieściły się w zakresie od 0,089 do 0,321. Podobnie, podgrupa RUBIC wykazała wyższą średnią wydajność niż podgrupa ze Staten Island, przy wartościach p w zakresie od 0,055 do 0,309. W analizach tych nie stwierdzono statystycznie istotnych różnic między podgrupami.

Analiza ablacyjna komponentów BrainMoE
Przeprowadzono eksperymenty ablacyjne w celu oceny wpływu maski dostępności modalności, routera splotowego, wspólnego eksperta oraz projektu fuzji ekspertów MoE (Tabela 6). Usunięcie embeddingu maski obniżyło średnią wartość AUC do 79,2 ± 3,1%, a zastąpienie routera splotowego routerem MLP obniżyło ją do 79,3 ± 3,7%. Usunięcie wspólnego eksperta zredukowało AUC dla samej fMRI do 73,5 ± 3,3%, co było najniższym wynikiem wśród testowanych wariantów. Usunięcie wszystkich ekspertów MoE obniżyło również ogólną zrównoważoną dokładność do 74,2 ± 3,0%. Wyniki ablacyjne wykazały, że pełny projekt BrainMoE osiągnął najwyższą ogólną wydajność zarówno w stanach pełnych, jak i brakujących modalności, podczas gdy embedding maski, router splotowy, wspólny ekspert oraz fuzja ekspertów MoE przyczyniły się odpowiednio do końcowego zachowania modelu.

Wyniki interpretowalności na poziomie ROI dla pięciu zaburzeń mózgu
Aby zbadać regionalne wkłady leżące u podstaw predykcji BrainMoE, przeprowadzono atrybucję poprzez okluzję węzłów w prawidłowo sklasyfikowanych próbkach dodatnich pod kątem choroby w pełnym stanie EEG-fMRI. Wkłady ROI pochodzące z EEG i fMRI uszeregowano oddzielnie, mierząc spadek prawdopodobieństwa wystąpienia danej choroby po zablokowaniu każdego regionu atlasu DK. Analiza zidentyfikowała specyficzne dla danej modalności wzorce wkładu w pięciu zadaniach chorobowych (Rysunek 2). W przypadku atrybucji pochodzącej z fMRI, najwyżej sklasyfikowanymi regionami były: lewy zakręt obręczy tylnej w MDD, prawa kora okołokalcarina w ANX, lewa kora parahippocampalna w RI, prawa część trójkątna w ASD oraz lewa kora entorynalna w ADHD. W przypadku atrybucji pochodzącej z EEG, najwyżej sklasyfikowanymi regionami były: lewe brzegi górnej bruzdy skroniowej w MDD, lewa kora przedcentralna w ANX, lewy klin w RI, lewa kora językowa w ASD oraz prawa wyspa w ADHD. Najwyżej sklasyfikowane ROI pochodzące z EEG i fMRI dla każdego zaburzenia przedstawiono na powierzchniach kory na Rysunku 3. Wyniki te wykazały, że BrainMoE zapewnił interpretowalność na poziomie ROI, zachowując jednocześnie oddzielne profile atrybucji dla reprezentacji pochodzących z EEG i fMRI. Dla prawidłowo sklasyfikowanych próbek dodatnich pod kątem choroby oceniono stabilność międzyfałdową za pomocą częstotliwości Top-1 ROI w 50 wydzielonych fałdach (Tabela 7). Zaobserwowane częstotliwości mieściły się w zakresie od 36% do 68%, co przekracza teoretyczną wartość odniesienia dla wyboru losowego wynoszącą 1/68 (1,47%) i wspiera interpretację opartą na rankingach względnych, a nie na bezwzględnych wielkościach wkładu. Porównania z wcześniejszymi znaleziskami z zakresu neuroobrazowania przeprowadzono post hoc i wykorzystano wyłącznie do kontekstualizacji wyników atrybucji, a nie jako niezależną walidację.

Schemat fuzji modalności EEG/fMRI; wspólny ekspert stanów neuronalnych; klasyfikacja diagnostyczna zaburzeń mózgu.
Rycina 1: Przegląd frameworku BrainMoE z adaptacyjną fuzją EEG-fMRI do komputerowo wspomaganej diagnostyki zaburzeń mózgu. Cechy ROI EEG i fMRI, wyrównane do źródła, są przetwarzane przez oddzielne koderzy grafowe (Graph Encoders). Powstałe reprezentacje są przekazywane do ekspertów EEG i fMRI, a wraz z maską dostępności modalności (Modality Availability Mask) – do wspólnego modułu miękkiego routingu (Soft-Routing Module). Reprezentacje modalności oraz reprezentacja routingu są łączone i przetwarzane przez wspólnego eksperta stanów neuronalnych (Shared neural-state expert). Wyjścia z trzech ekspertów są następnie łączone w module fuzji (Fuse Module) i przekazywane do głowicy klasyfikacji diagnostycznej (Diagnosis Classification Head) w celu wygenerowania prawdopodobieństwa dla grupy kontrolnej (HC) oraz badanej choroby. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykresy słupkowe wkładu ROI mózgu; analiza EEO fMRI dla zaburzeń: depresji, lęku, ADHD.
Rysunek 2: Analiza wkładu ROI oparta na okluzji węzłów. Zwizualizowano 10 największych wkładów ROI pochodzących z EEG i fMRI dla każdego zadania chorobowego w pełnym stanie wnioskowania EEG-fMRI. Panele (A–E) przedstawiają wyniki pochodzące z fMRI odpowiednio dla MDD, ANX, RI, ASD i ADHD, a panele (F–J) przedstawiają odpowiadające im wyniki pochodzące z EEG w tej samej kolejności. Na każdym wykresie oznaczono tylko najwyżej sklasyfikowane ROI. Wkład ROI zdefiniowano jako spadek prawdopodobieństwa wystąpienia docelowej choroby po okluzji odpowiadającego regionu atlasu DK. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Diagramy aktywacji obszarów mózgu; zaburzenia psychiczne MDD, ANX, RI, ASD, ADHD; analiza obrazowania MRI mózgu.
Rysunek 3: Mapy interpretowalności na poziomie ROI kory dla pięciu zaburzeń mózgu. Panele (A–E) przedstawiają odpowiednio MDD, ANX, RI, ASD i ADHD. Każdy panel wyświetla najwyżej sklasyfikowany ROI pochodzący z EEG na czerwono oraz najwyżej sklasyfikowany ROI pochodzący z fMRI na pomarańczowo na powierzchni kory DK. Kolory wskazują modalność, a nie wielkość wkładu; w związku z tym nie zastosowano ilościowej skali kolorów. Przedrostki lh i rh oznaczają odpowiednio półkulę lewą i prawą. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Zadanie dotyczące chorobyStanAUC (pole pod krzywą)DokładnośćBAF1CzułośćSpecyficzność
MDD (zaburzenia depresyjne nawracające)Pełny88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDD (zespół depresji dużej)wyłącznie EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDD (Epizod wielkiej depresji)wyłącznie fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXPełna wersja85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXwyłącznie EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXwyłącznie fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIPełna wersja84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIwyłącznie EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIwyłącznie fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASD (spektrum autyzmu)Pełny88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASD (spektrum autyzmu)wyłącznie EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASD (spektrum autyzmu)wyłącznie fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHD (zespół nadpobudliwości psychoruchowej z deficytem uwagi)Pełna wersja88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHD (zespół nadpobudliwości psychoruchowej z deficytem uwagi)wyłącznie EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHD (zespół nadpobudliwości z deficytem uwagi)wyłącznie fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tabela 1: Wydajność klasyfikacji BrainMoE w zadaniach związanych z chorobami i stanach dostępności modalności. Wydajność modelu BrainMoE dla pięciu zadań klasyfikacji osób zdrowych względem chorych w stanach wnioskowania z pełnym EEG-fMRI, samym EEG oraz samym fMRI. Metryki przedstawiono jako średnią ± odchylenie standardowe i obejmują one pole pod krzywą charakterystyki operacyjnej odbiornika (AUC), dokładność (accuracy), zbalansowaną dokładność (BA), wynik F1 (F1 score), czułość oraz swoistość.

MetodaGrupa metodŚrednie AUCŚredni BAŚrednie F1Średnia dokładność
SVMKlasyczne ML66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPKlasyczne ML64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerOgólne DL63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNOgólne DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetOgólne DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNZaawansowane DL70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTZaawansowane DL73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNZaawansowane DL72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetZaawansowane DL78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetZaawansowane DL78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL oparte na MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEDL oparte na MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++DL oparte na MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (nasza)DL oparte na MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tabela 2: Średnia wydajność klasyfikacji BrainMoE w porównaniu z klasycznymi metodami uczenia maszynowego, ogólnymi modelami głębokiego uczenia oraz zaawansowanymi architekturami głębokiego uczenia w neuroobrazowaniu. Wyniki zostały zagregowane dla wszystkich ewaluowanych zadań klasyfikacji chorób i przedstawiono jako średnia ± odchylenie standardowe dla AUC, BA, wyniku F1 oraz dokładności.

PorównanieŚrednia AUCŚrednie BAŚrednia wartość F1Średnia dokładność
Najsilniejsza linia bazowaNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Najwyższa wydajność bazowa81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Różnica+5.4+3.5+3.8+3.3
p testu t0.00060.00650.01870.0276
p* skorygowane metodą Holmap < 0.01p < 0.05p < 0.05p < 0.05
d Cohenaz1.631.110.910.83

Tabela 3: Porównanie BrainMoE z najsilniejszą linią bazową dla każdej metryki wydajności. Wartości p obliczono przy użyciu dwustronnych sparowanych testów t i skorygowano za pomocą procedury Holma. dz Cohena oznacza standaryzowaną różnicę sparowaną.

KohortaZapisy multimodalne (n)Stosunek liczby chorych do liczby osób w grupie kontrolnejLiczba unikalnych uczestników (n)Przedział wiekowy (lata)Płeć (mężczyzna/kobieta)Miejsce pozyskania (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD (zaburzenia depresyjne nawracające)520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD (zaburzenia spektrum autyzmu)820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Tabela 4: Charakterystyka kohort badawczych wykorzystanych w pięciu zadaniach klasyfikacji specyficznych dla danej choroby.Tabela przedstawia liczbę zachowanych rekordów multimodalnych, stosunki liczebności grup chorych do kontrolnych, liczbę unikalnych uczestników, charakterystykę demograficzną oraz rozkład miejsc pozyskania danych.

PodgrupaLiczbaŚrednie AUCŚrednia BAŚrednia wartość F1Średnia dokładność
Płeć
Mężczyzna70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Kobieta39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Różnica+1.6+2.2+2.4+2.9
wartość p testu Welcha--0.3210.1920.1590.089
Miejsce akwizycji
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Różnica+2.4+1.6+2.9+3.3
wartość p testu Welcha--0.1760.3090.0850.055

Tabela 5: Wyniki BrainMoE w rozwarstwieniu według płci i miejsca pozyskania. Wyniki przedstawiono jako średnia ± odchylenie standardowe z 10 powtórzeń 5-krotnej walidacji krzyżowej. Różnica stanowi wynik pierwszej podgrupy pomniejszony o wynik drugiej, a wartości P uzyskano za pomocą dwustronnych testów t Welch’a.

WariantPełne AUCAUC tylko EEGAUC tylko fMRIŚrednie AUCŚrednie BA
bez osadzenia maski83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
bez Conv Router84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
bez wspólnego eksperta83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
bez ekspertów MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (nasz)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tabela 6: Analiza ablacyjna kluczowych komponentów BrainMoE. Wyniki ablacji wykazujące wkład maski dostępności modalności, routera splotowego, wspólnego eksperta oraz projektu fuzji ekspertów MoE. Każdy wariant został oceniony w warunkach wnioskowania z pełnym EEG-fMRI, samym EEG oraz samym fMRI, przy czym średnia AUC i średnia BA podsumowują ogólną wydajność.

ChorobaEEG: najwyżej oceniany ROIEEG: Częstość Top-1, n/N (%)fMRI: najwyżej oceniany ROIfMRI: Częstość Top-1, n/N (%)Referencja losowa (%)
MDDlewe brzegi bruzdy skroniowej górnej22/50 (44%)lewa kora obręczy tylnej25/50 (50%)1.47
ANXlewa kora przedcentralna18/50 (36%)prawa kora okołokalcowa21/50 (42%)1.47
RIlewy klin26/50 (52%)lewa kora parahipokampalna29/50 (58%)1.47
ASDlewa kora językowa27/50 (54%)prawa część trójkątna zakrętu czołowego dolnego28/50 (56%)1.47
ADHDprawa wyspa31/50 (62%)lewa kora entorynalna34/50 (68%)1.47

Tabela 7: Stabilność walidacji krzyżowej najwyżej ocenianych ROI pochodzących z EEG i fMRI. Częstotliwość Top-1 oznacza liczbę i procent analiz na poziomie 50-krotnym, w których raportowane ROI zajęło pierwsze miejsce. Teoretyczny punkt odniesienia dla losowego wyboru wynosił 1/68 (1,47%).

Plik uzupełniający 1: Skrypt sprawdzający pliki wejściowe H5. Skrypt w języku Python służący do weryfikacji wymaganych kluczy wejściowych H5, typów danych, etykiet diagnostycznych oraz wymiarów danych wejściowych zgodnych z atlasem DK przed treningiem modelu BrainMoE. Prosimy kliknąć tutaj, aby pobrać ten plik.

Plik uzupełniający 2: Skrypt preprocessingu fMRI.Pliki konfiguracyjne i wykonawcze C-PAC użyte do preprocessingu fMRI, obejmujące usuwanie początkowych wolumenów, korekcję ruchu i dystorsji, rejestrację i normalizację, regresję czynników zakłócających, filtrowanie czasowe oraz wygładzanie przestrzenne. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 3: Skrypty przetwarzania FreeSurfer.Skrypty do przetwarzania danych strukturalnego MRI, korejestracji parcellacji kory Desikan-Killiany do natywnej przestrzeni fMRI oraz wyodrębniania sygnałów fMRI na poziomie ROI. Proszę kliknąć tutaj, aby pobrać ten plik.

Plik uzupełniający 4: Skrypty do preprocessingu EEG. Skrypty MATLAB/EEGLAB wykorzystane do wstępnego przetwarzania danych EEG, obejmujące filtrowanie, identyfikację i usuwanie komponentów artefaktów oraz ponowne referencjonowanie. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 5: Skrypt MNE-Python do lokalizacji źródeł i ekstrakcji cech. Skrypt Python do lokalizacji źródeł EEG, ekstrakcji obszarów zainteresowania (ROI) z atlasu DK oraz generowania cech EEG na poziomie ROI wykorzystywanych jako dane wejściowe dla BrainMoE. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 6: Kod implementacyjny BrainMoE. Pkod w języku Python oraz pliki konfiguracyjne dla architektury BrainMoE, koderów grafów, obsługi stanów modalności, rutowania i fuzji ekspertów, trenowania modelu, ewaluacji oraz wariantów ablacyjnych. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 7: Kod atrybucji dla okluzji węzłów.Kod w języku Python do analizy okluzji węzłów specyficznej dla danej modalności, obliczania wyników wkładu ROI, rankingowania ROI pochodzących z EEG i fMRI oraz generowania wyników atrybucji. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Multimodalna analiza sygnałów mózgowych stała się istotnym kierunkiem w komputerowo wspomaganej diagnostyce zaburzeń mózgu, ponieważ EEG i fMRI dostarczają komplementarnych informacji o aktywności neuronalnej. W porównaniu referencyjnym klasyczne metody uczenia maszynowego, takie jak SVM i MLP, zapewniły podstawową wydajność diagnostyczną, lecz wykazały ograniczoną zdolność do modelowania hierarchicznych, grafowych i między-modalnych interakcji cech. Ogólne modele głębokiego uczenia, w tym 3D-CNN, ResNet i Transformer, oferowały silniejszą zdolność modelowania nieliniowego, jednak architektury te nie zostały zaprojektowane specjalnie do fuzji danych EEG-fMRI ani do reprezentacji sieci mózgowych. Zaawansowane metody głębokiego uczenia osiągnęły lepsze wyniki niż większość modeli klasycznych i ogólnych, lecz wiele z nich nadal opierało się na stałych strategiach integracji cech i nie oddzielało w sposób jawny informacji specyficznych dla danej modalności od wspólnych informacji o stanie neuronalnym.

W niniejszym badaniu zaproponowano BrainMoE w celu rozwiązania problemu fuzji danych poprzez połączenie grafowych koderów modalności, ekspertów specyficznych dla danej modalności, wspólnego eksperta stanów neuronowych oraz adaptacyjnego mechanizmu routingu. Taka konstrukcja umożliwiła oddzielne modelowanie reprezentacji pochodzących z EEG i fMRI, a następnie ich integrację poprzez fuzję na poziomie ekspertów. Dzięki wprowadzeniu masek stanu modalności i tokenów brakującej modalności, ten sam wytrenowany model mógł przeprowadzać wnioskowanie wyłącznie na podstawie EEG lub wyłącznie na podstawie fMRI, bez konieczności budowania osobnych modeli dla każdego przypadku braku danej modalności. Wyniki eksperymentalne wykazały, że BrainMoE osiągnął najwyższą ogólną skuteczność w pięciu zadaniach binarnej klasyfikacji chorób oraz utrzymał użyteczną wydajność zarówno w stanie EEG-only, jak i fMRI-only. Analiza ablacyjna dodatkowo potwierdziła wkład embeddingu maski, konwolucyjnego routera, wspólnego eksperta oraz fuzji ekspertów MoE. Wyniki te wskazują, że poprawa wydajności nie była wynikiem działania pojedynczego komponentu, lecz skoordynowanego projektu kodowania grafowego, modelowania stanu modalności, adaptacyjnego routingu i fuzji ekspertów.

Krytyczne kroki protokołu i rozwiązywanie problemów
Krytyczne kroki protokołu obejmują utrzymanie tej samej kolejności 68 regionów DK w macierzach węzłów i grafów EEG oraz fMRI, stosowanie zdefiniowanych wcześniej ustawień preprocessingu niezależnie dla każdego uczestnika oraz wymuszenie walidacji krzyżowej na poziomie uczestnika, aby wszystkie rekordy pochodzące od tego samego uczestnika pozostały w jednym foldzie. Maska Dostępności Modalności musi być również zgodna z dostarczonymi danymi wejściowymi dla każdego stanu wnioskowania.

Jeśli wnioskowanie zawiedzie lub nie uda się odtworzyć oczekiwanej przewagi wydajności stanu pełnego, należy w pierwszej kolejności zweryfikować wymagane klucze H5, wymiary macierzy EEG i fMRI, kolejność regionów DK, przypisanie maski dostępności modalności (Modality Availability Mask) oraz zapisane partycje walidacji krzyżowej. Pliki z brakującymi kluczami, nieprawidłowymi wymiarami lub niespójną kolejnością regionów powinny zostać wykluczone przed treningiem lub ewaluacją. Strukturę można zmodyfikować pod kątem alternatywnych parcelacji kory lub reprezentacji cech EEG/fMRI, pod warunkiem, że obie modalności zostaną zmapowane na spójną kolejność ROI, a odpowiadające im wymiary wejścia modelu zostaną odpowiednio dostosowane. Głowicę klasyfikacji specyficzną dla danej choroby można również zaadaptować do innych zadań klasyfikacji binarnej, zachowując strukturę kodowania grafowego i fuzji eksperckiej. Takie modyfikacje wymagają ponownego treningu i walidacji, a nie bezpośredniego zastosowania modeli opisanych w niniejszej pracy.

Analiza interpretowalności oparta na okluzji węzłów
Analiza okluzji węzłów zapewniła ponadto interpretowalność predykcji modelu BrainMoE na poziomie ROI, a najwyżej sklasyfikowane ROI powiązane z chorobą przedstawiono w Rycina 3Wyznaczony przez BrainMoE obszar zainteresowania (ROI) w lewej tylnej części mózgu, oparty na danych EEG, jest zgodny z wcześniejszymi metaanalizami opartymi na wokselach23 dowody wskazujące na zmienioną wewnętrzną aktywność mózgu w tylnych obszarach kory w depresji jednobiegunowej (MDD). Wyznaczone na podstawie EEG/fMRI obszary zainteresowania (ROI) w lewym zakręcie przedcentralnym i prawym obszarze okołokalcarniowym są zgodne z wcześniejszymi dowodami z neuroobrazowania w zaburzeniach lękowych: metaanaliza grubości kory24 wykazano zwiększoną grubość kory w zakręcie przedcentralnym lewej półkuli u pacjentów z zaburzeniami lękowymi, podczas gdy badanie sieci współzmienności strukturalnej25 w zaburzeniach lęku społecznego zgłoszono nieprawidłową centralność węzłową obejmującą prawą korę okołokalcarową. W przypadku zaburzeń czytania obszar zainteresowania (ROI) w lewym klinie, wyznaczony na podstawie EEG, jest zgodny z badaniem konektywności całego mózgu26 wykazując zmienioną łączność w obrębie lewego klinu w dysleksji, podczas gdy ROI lewego zakrętu przyhipokampalnego wyznaczonego na podstawie fMRI jest zgodny z oddzielną analizą27 zgłaszanie nieprawidłowego sprzężenia parahipokampalno-hipokampalnego u młodzieży ze specyficznymi deficytami rozumienia tekstu. W zadaniu dotyczącym zaburzeń spektrum autyzmu obszar zainteresowania (ROI) w obrębie lewej zakrętu językowego, wskazany przez atrybucję pochodzącą z EEG, potwierdza wcześniejsze dowody z fMRI w stanie spoczynku28 obniżonego ReHo w lewej zakręcie językowej u chłopców w okresie przedpokwitaniowym z ASD. Wyznaczony na podstawie fMRI obszar ROI prawej części trójkątnej jest również biologicznie uzasadniony, ponieważ zgłaszano zmiany ALFF w prawej części trójkątnej zakrętu czołowego dolnego29 u dzieci z autyzmem. W przypadku ADHD obszar zainteresowania (ROI) prawej wyspy wyznaczony na podstawie EEG jest zgodny z dowodami z obrazowania strukturalnego MRI30 wykazujące zmniejszoną objętość przedniej części wyspy u młodzieży z ADHD, w szczególności w obrębie krótkiej zakrętu wyspy prawej. Wyznaczony za pomocą fMRI obszar zainteresowania (ROI) lewej kory entorynalnej może odzwierciedlać znalezisko bardziej specyficzne dla danego podtypu, co potwierdza oddzielna publikacja w czasopiśmie Psychological Medicine31 wykazano mniejszą objętość lewej przedniej części kory entorynalnej w podgrupie ADHD-C po korekcie FDR. Wyniki te należy jednak interpretować z uwzględnieniem zależności międzyregionalnych, ponieważ skorelowane sygnały z ROI mogą uniemożliwić pełną izolację wkładu pojedynczego regionu poprzez wykluczenie pojedynczego węzła i mogą prowadzić do konserwatywnych szacunków.

Ograniczenia i przyszłe kierunki badań
Mimo że do uzyskania wewnętrznych szacunków wydajności zastosowano wielokrotną 5-krotną walidację krzyżową, przyszłe badania z wykorzystaniem zagnieżdżonej walidacji krzyżowej lub niezależnej walidacji zewnętrznej mogłyby dodatkowo wzmocnić ocenę stabilności wyboru modelu oraz jego zdolności do generalizacji. Ponieważ wyniki dla samych danych EEG oraz samych danych fMRI zostały wygenerowane poprzez maskowanie jednej modalności w pełnych zapisach multimodalnych i nie zostały ocenione na zewnętrznej kohorcie walidacyjnej, przyszłe badania powinny objąć zewnętrzne kohorty walidacyjne dla pojedynczych modalności w celu oceny generalizacji. Dalszym ograniczeniem jest to, że schemat badania osób zdrowych w porównaniu z osobami z jedną chorobą nie obejmuje przypadków współistnienia wielu schorzeń, co ogranicza generalizowalność kliniczną i stanowi motywację do przyszłych badań nad klasyfikacją wieloetykietową oraz diagnostyką różnicową. Przyszłe prace mogłyby również ocenić odporność powiązań EEG na poziomie źródłowym przy użyciu estymatorów łączności odpornych na wycieki (leakage-aware connectivity estimators). Chociaż wspólna parcellacja DK zapewnia anatomicznie ugruntowany interfejs dla fuzji multimodalnej, jest ona założeniem modelowania, które może nie w pełni oddawać specyficzne dla danej modalności różnice w rozdzielczości czasowej i pochodzeniu fizjologicznym. Poza pięcioma ocenionymi tutaj zaburzeniami, opracowany schemat mógłby zostać zaadaptowany do innych zadań klasyfikacji neurologicznej lub psychiatrycznej obejmujących anatomicznie dopasowane multimodalne dane mózgowe oraz rozszerzony o zastosowania wieloetykietowe lub diagnostykę różnicową.

Podsumowanie
Podsumowując, BrainMoE zapewnia praktyczne i interpretowalne ramy dla fuzji EEG-fMRI w komputerowo wspomaganej diagnostyce zaburzeń mózgu. Jego główną zaletą jest adaptacyjna integracja cech multimodalnych, napędzana architekturą wieloekspercką oraz mechanizmem soft-routingu, który dynamicznie równoważy informacje specyficzne dla danej modalności i informacje współdzielone. Ponadto, dzięki płynnemu włączeniu masek stanu modalności oraz tokenów brakującej modalności, ten sam wytrenowany model osiąga stabilną wydajność podczas wnioskowania przy niepełnych modalnościach, bez konieczności stosowania oddzielnych konfiguracji. Co kluczowe, interpretowalna struktura zapewnia przejrzyste ścieżki atrybucji regionalnej na poziomie grupowym w pięciu różnych zaburzeniach mózgu, przekształcając konwencjonalną architekturę „czarnej skrzynki” w narzędzie do diagnostyki komputerowo wspomaganej, oparte na wiedzy fizjologicznej. Jest to istotne dla przyszłych przepływów pracy w obliczeniowym obrazowaniu neurologicznym, w których heterogeniczne źródła danych, niepełna dostępność modalności oraz wyjaśnialne wyniki modelu są kluczowymi kwestiami.

Oświadczenia

Autorzy declare, że nie stwierdzono żadnych konfliktów interesów. Autorzy oświadczają, że podczas przygotowywania niniejszego manuskryptu, kodu, analizy danych lub tworzenia wykresów nie korzystano z narzędzi generatywnej sztucznej inteligencji.

Podziękowania

Badania te zostały sfinansowane przez National Natural Science Foundation of China w ramach grantów nr 62433002, 62277001 i U25A20446, Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions w ramach grantu nr BPHR20220104 oraz Beijing Scholars Program w ramach grantu nr 099.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
BashGNU Project5.1.16(1)-releaseOprogramowanie
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1Oprogramowanie
CUDA ToolkitNVIDIA CorporationVersion 12.4Oprogramowanie
GPU kompatybilne z CUDANVIDIA CorporationGeForce RTX 4060 Laptop GPUSprzęt
Atlas korowy Desikan-KillianyFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)Atlas/zasób
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)Oprogramowanie
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)Oprogramowanie
FSLFMRIB, University of OxfordDołączony do C-PAC 1.8.7; dokładna wersja nieokreślona (RRID:SCR_002823)Oprogramowanie
Zbiór danych Healthy Brain Network (HBN)Child Mind InstituteRRID:SCR_016989Zbiór danych
MATLABMathWorksR2022a (RRID:SCR_001622)Oprogramowanie
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)Oprogramowanie/biblioteka
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)Oprogramowanie
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)Biblioteka

Bibliografia

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Przedruki i uprawnienia

Przeglądaj więcej artykułów

fuzja EEG-fMRImultimodalne obrazowanie mózguwspomagana komputerowo diagnostykakoder grafowymapy atrybucji ROIekspert stanu neuronowegomaski stanu modalnościanaliza okluzji węzłów

Ten artykuł został opublikowany

Film wkrótce dostępny

Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.