Artykuł metodologiczny

Fuzja elektroencefalografii i funkcjonalnego rezonansu magnetycznego oparta na mieszaninie ekspertów w celu interpretowalnej komputerowej diagnostyki zaburzeń mózgu

0 wyświetleń

⸱

DOI:

10.3791/73432

⸱

25 września 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

W tym artykule

Podsumowanie

Niniejszy protokół przedstawia Brain Mixture-of-Experts – adaptacyjną i interpretowalną ramę fuzji elektroencefalografii i funkcjonalnego obrazowania rezonansem magnetycznym (EEG-fMRI) przeznaczoną do wspomaganego komputerowo diagnozowania zaburzeń mózgu. Metoda ta integruje heterogeniczne reprezentacje EEG i fMRI za pomocą ekspertów specyficznych dla danej modalności, wspólnego eksperta stanu neuronalnego oraz adaptacyjnego routingu, zachowując przy tym interpretowalność i możliwość wnioskowania w symulowanych warunkach braku jednej z modalności.

Streszczenie

Elektroencefalografia (EEG) oraz funkcjonalny rezonans magnetyczny (fMRI) dostarczają komplementarnych informacji o funkcjonowaniu mózgu i wykazują znaczny potencjał w wykrywaniu nieprawidłowości funkcjonalnych w różnych zaburzeniach mózgu. Jednak odmienna charakterystyka sygnałów i rozbieżne przestrzenie reprezentacyjne EEG i fMRI stanowią poważne wyzwanie dla efektywnej fuzji multimodalnej, co utrudnia dokładną komputerową diagnostykę zaburzeń mózgu przy użyciu konwencjonalnych modeli stałych. Niniejsze badanie przedstawia Brain Mixture-of-Experts (BrainMoE), adaptacyjny i interpretowalny framework fuzji EEG-fMRI do komputerowo wspomaganej diagnostyki zaburzeń mózgu, który integruje multimodalne cechy mózgu poprzez ekspertów specyficznych dla danej modalności, wspólnego eksperta stanu neuronowego oraz adaptacyjny mechanizm routingu. BrainMoE najpierw rzutuje sygnały EEG i fMRI na ujednoliconą przestrzeń obszarów zainteresowania (ROI) atlasu Desikana-Killiany’ego (DK), a następnie wykorzystuje koderów grafowych do ekstrakcji reprezentacji sieci mózgowych specyficznych dla każdej modalności. Moduł soft-routingu generuje reprezentację routingu, a bramka ekspertów (Expert Gate) w module fuzji tworzy wagi specyficzne dla próbki, aby połączyć reprezentacje EEG, fMRI oraz wspólnego eksperta stanu neuronowego. Aby obsłużyć scenariusze niepełnej akwizycji danych, zaimplementowano maski stanu modalności oraz tokeny brakującej modalności, co pozwala temu samemu wytrenowanemu modelowi na przeprowadzanie wnioskowania w pełnym trybie EEG-fMRI, a także w trybach wyłącznie EEG lub wyłącznie fMRI. Ostatecznie analiza okluzji węzłów dostarcza map atrybucji na poziomie ROI dla predykcji pochodzących zarówno z EEG, jak i fMRI. Framework został oceniony na zbiorze danych Healthy Brain Network (HBN) w pięciu binarnych zadaniach klasyfikacji zaburzeń mózgu, obejmujących zespół depresyjny, zaburzenia lękowe, zaburzenia czytania, zaburzenia spektrum autyzmu oraz zespół nadpobudliwości z deficytem uwagi (ADHD). BrainMoE przewyższył najnowocześniejsze algorytmy porównawcze, osiągając średnie AUC na poziomie 86,9 ± 3,0%, a eksperymenty ablacyjne potwierdziły wkład komponentów routingu i fuzji ekspertów. Co więcej, analiza interpretowalności identyfikuje wkład ROI na poziomie grupowym w klasyfikację chorób, który jest zgodny z wcześniej raportowanymi wynikami neuroobrazowania. Metoda ta wspiera komputerowo wspomaganą diagnostykę zaburzeń mózgu, rozwiązując problem integracji heterogenicznych reprezentacji neuronowych EEG-fMRI przy jednoczesnym zachowaniu interpretowalności i możliwości wnioskowania w symulowanych warunkach braku jednej z modalności.

Wprowadzenie

Zaburzenia mózgu wiążą się ze złożonymi zmianami w aktywności neuronalnej i organizacji sieci mózgowych, które są trudne do scharakteryzowania za pomocą jednej modalności obrazowania1. Po rekonstrukcji źródeł2, EEG dostarcza informacji o aktywności elektrofizjologicznej (EEG) na poziomie regionów, podczas gdy funkcjonalny rezonans magnetyczny (fMRI) rejestruje funkcjonalną łączność na poziomie regionów, oferując komplementarny wgląd w funkcjonowanie mózgu. Aby ułatwić ich integrację, w poprzednich pracach multimodalnych obie modalności mapowano na atlas Desikana-Killiany’ego (DK) obejmujący 68 regionów3. Choć ta odpowiedniość przestrzenna nie oznacza równoważności w rozdzielczości czasowej ani pochodzenia fizjologicznego, zapewnia ona ujednolicony indeks anatomiczny dla fuzji grafów na poziomie węzłów, stałe wymiary grafów oraz spójną interpretację na poziomie obszarów zainteresowania (ROI), przy jednoczesnym zachowaniu informacji specyficznych dla danej modalności. Integracja tych anatomicznie dopasowanych, a jednocześnie specyficznych dla modalności reprezentacji może wzbogacić reprezentacje sygnałów mózgowych związanych z chorobą i wspomóc komputerową diagnostykę zaburzeń mózgu3,4.

Pomimo potencjału fuzji EEG-fMRI w komputerowo wspomaganej diagnostyce zaburzeń mózgu, heterogeniczność obu modalności stanowi wyzwanie techniczne dla ich efektywnej integracji. Klasyczne metody uczenia maszynowego, takie jak SVM i MLP, mogą zapewniać bazowe modele klasyfikacji, lecz mają ograniczoną zdolność do wychwytywania nieliniowych interakcji między-modalnych. Ogólne modele głębokiego uczenia, w tym architektury GNN5, ResNet6 i Transformer7, oferują silniejszą naukę reprezentacji, ale nie są zaprojektowane specjalnie dla grafów mózgu na poziomie ROI lub modelowania stanów modalności. Niedawne zaawansowane modele3,8,9 zwiększyły złożoność nieliniową, aby lepiej modelować sieci mózgowe. Wprowadzono BrainNetCNN8 w celu dostosowania operacji splotowych do macierzy łączności mózgu; BrainGNN9 dalej modelował topologię grafu na poziomie ROI przy użyciu grafowych sieci neuronowych i poolingu; a BNT10 wzmocnił później analizę funkcjonalnych sieci mózgowych za pomocą wielopoziomowej uwagi opartej na transformerach. Jednakże postępy te były rozwijane głównie dla ustawień jednomodalnych. MultiEpilepsyNet11 rozszerzył następnie uczenie multimodalne na detekcję napadów EEG-MRI poprzez federacyjny framework hybrydowy, a jego moduł EpiSkullNet++ po stronie MRI poprawił segmentację i przetwarzanie wstępne mózgu. SZAtt-Net12 opracował następnie multimodalny model klasyfikacji schizofrenii, łącząc bloki CNN, BiGRU i MLP z mechanizmami uwagi kanałowej, własnej, przestrzennej i czasowej. Metody te pozostały jednak specyficzne dla konkretnych zadań i opierały się na stosunkowo sztywnych projektach fuzji, bez jawnego wspierania adaptacyjnego routingu pomiędzy stanami pełnej i brakującej modalności.

Modele Mixture-of-Experts (MoE)13,14 są coraz częściej stosowane w uczeniu multimodalnym, ponieważ umożliwiają przetwarzanie heterogenicznych źródeł informacji przez wyspecjalizowane moduły eksperckie i ich dynamiczne łączenie za pomocą mechanizmów routingu. Bramkowanie Softmax zapewnia znormalizowane wagi ekspertów zależne od wejścia i zostało teoretycznie scharakteryzowane pod kątem szybkości zbieżności15. Powiązane architektury wielobramkowe wykazały ponadto, że oddzielne bramki mogą uczyć się kombinacji współdzielonych ekspertów zależnych od zadania w wielkoskalowym uczeniu wielozadaniowym16. W badaniach neuronaukowych i studiach nad mózgiem warianty MoE17,18,19 są coraz częściej wykorzystywane w celu ułatwienia fuzji heterogenicznych cech. dFCExpert17 wykorzystał modularność i ekspertów opartych na stanach do modelowania wzorców dynamicznej łączności funkcjonalnej z fMRI. EvoMoE18 wykorzystał dodatkowo sieć bramkującą do wyboru odpowiednich ekspertów dla niezależnej od użytkownika klasyfikacji SSVEP-EEG. NeuroMoE++19 zbadał adaptacyjną dla pacjenta fuzję multimodalną w klasyfikacji zaburzeń neurologicznych. Pomimo ich sukcesu, modele te opierają się zazwyczaj na gruboziarnistym mieszaniu i dyskretnym routingu, które pomijają wysoce zsynchronizowany charakter między-modalnych stanów neuronalnych, co utrudnia wykrywanie subtelnych, lecz informatywnych wzorców krytycznych dla diagnozy zaburzeń mózgu. Co więcej, bez dedykowanego mechanizmu rozplatania niuansów specyficznych dla danej modalności z ujednoliconym, wspólnym stanem neuronalnym, modele te oferują ograniczoną interpretowalność i cierpią na spadek wydajności w przypadku braku kluczowej modalności (fMRI lub EEG).

Aby rozwiązać te ograniczenia, niniejsze badanie przedstawia Brain Mixture-of-Experts (BrainMoE) – adaptacyjny i interpretowalny model fuzji EEG-fMRI do wspomaganego komputerowo diagnozowania pięciu kategorii zaburzeń mózgu, w tym depresji (MDD), zaburzeń lękowych (ANX), specyficznych zaburzeń uczenia się z upośledzeniem czytania (RI), zaburzeń spektrum autyzmu (ASD) oraz zespołu nadpobudliwości z deficytem uwagi (ADHD). Protokół w pierwszej kolejności dopasowuje cechy EEG zrekonstruowane ze źródła oraz cechy fMRI do przestrzeni ROI atlasu DK20, a następnie tworzy grafowe reprezentacje modalności dla obu metod. BrainMoE wykorzystuje eksperta EEG, eksperta fMRI oraz wspólnego eksperta stanu neuronowego, którzy są integrowani przez moduł miękkiego routingu (soft routing) w celu połączenia informacji specyficznych dla danej modalności oraz informacji wspólnych. Maski stanu modalności oraz tokeny brakującej modalności zostały wprowadzone, aby umożliwić wnioskowanie w trybach pełnym EEG-fMRI, tylko EEG oraz tylko fMRI w ramach jednego wytrenowanego modelu. W celu zapewnienia interpretowalności biologicznej, protokół stosuje dodatkowo analizę okluzji węzłów, w której każdy ROI atlasu DK jest selektywnie maskowany, a wynikowa zmiana prawdopodobieństwa predykcji choroby służy do oszacowania regionalnych wkładów pochodzących z EEG i fMRI. Niniejszy protokół opisuje kompletny przepływ pracy obejmujący dopasowanie danych, konstrukcję modelu, trenowanie, ewaluację oraz interpretację ROI opartą na okluzji węzłów, zapewniając adaptacyjną i interpretowalną strategię wspomaganej komputerowo diagnozy zaburzeń mózgu poprzez fuzję heterogenicznych sygnałów mózgowych EEG-fMRI. Aby ułatwić reprodukowalność i przyszłe rozszerzenia, publiczne repozytorium GitHub udostępnia kod modelu BrainMoE, kod trenujący oraz ewaluacyjny, podczas gdy wstępne przetwarzanie EEG i fMRI zostało wykonane przy użyciu publicznie dostępnego oprogramowania zewnętrznego. Repozytorium jest dostępne pod adresem https://github.com/zhongruizhe123/BrainMoE.

Protokół

W badaniu tym wykorzystano zanonimizowane dane z bazy Healthy Brain Network (HBN)21, koncentrując się na pięciu różnych zaburzeniach klinicznych w celu przeprowadzenia późniejszych zadań klasyfikacji diagnostycznej. Zgoda komisji etycznej oraz pisemna świadoma zgoda zostały wcześniej uzyskane przez inicjatywę HBN od wszystkich uczestniczących ośrodków i podmiotów. Rejestracje EEG i fMRI pozyskano w osobnych sesjach, a nie symultanicznie, i sparowano za pomocą identyfikatorów uczestników oraz sesji dostępnych w HBN.

1. Przygotowanie środowiska obliczeniowego i danych wejściowych

  1. Konfiguracja środowiska obliczeniowego
    1. Utworzenie i aktywacja wirtualnego środowiska Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Instalacja wymaganych pakietów w określonych wersjach przy użyciu pliku requirements.txt udostępnionego w publicznym repozytorium GitHub: pip install -r requirements.txt
    3. Weryfikacja konfiguracji PyTorch i CUDA przed rozpoczęciem trenowania: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Należy potwierdzić, że wynik wskazuje wersję PyTorch 2.6.0+cu124, CUDA 12.4 oraz że wartość CUDA availability to True. Trenowanie modelu należy przeprowadzić przy użyciu procesora GPU kompatybilnego z CUDA.
  2. Inspekcja wszystkich wejściowych plików H5 przed trenowaniem modelu.
    1. Potwierdzenie, że każdy plik zawiera sLORETA_mean_func dla cech węzłów EEG, sLORETA_mean_CorrMatrix dla grafu EEG, fMRI-DK68-node-mat dla cech węzłów fMRI, fMRI-DK68-edge-mat dla grafu fMRI oraz etykietę diagnozy. Należy wykluczyć pliki z brakującymi kluczami, wpisami nienumerycznymi, nieprawidłowymi etykietami lub wymiarami niezgodnymi z atlasem Desikan-Killiany obejmującym 68 regionów. Skrypt do sprawdzania plików wejściowych H5 należy uruchomić w następujący sposób: python checkH5.py (Plik uzupełniający 1).

2. Dopasowanie cech EEG i fMRI do wspólnej przestrzeni anatomicznej

  1. Wstępne przetwarzanie danych fMRI.
    1. Przetworzyć dane fMRI przy użyciu oprogramowania C-PAC (wersja 1.8.7). Uruchomić skrypt wstępnego przetwarzania C-PAC w następujący sposób: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Plik uzupełniający 2). Odrzucić pierwsze pięć wolumenów, aby zredukować efekty sygnału stanu nieustalonego na początku pomiaru.
    2. Przeprowadzić korekcję czasu plastrów (slice-timing correction), korekcję ruchu, korekcję zniekształceń, rejestrację, normalizację do przestrzeni anatomicznej MNI152 oraz wygładzanie przestrzenne. Wykonać regresję 24 parametrów zakłócających związanych z ruchem.
    3. Zastosować filtr pasmowy w zakresie czasowym 0,01-0,08 Hz.
  2. Generowanie cech fMRI dopasowanych do atlasu.
    1. Przetworzyć odpowiadający im obraz MRI strukturalny za pomocą FreeSurfer (wersja 7.4.1). Uruchomić skrypty w następujący sposób: bash Step01_mgz_2_nifti.sh. Wykonać korejestrację wynikowej parcelacji kory Desikana-Killiany do natywnej przestrzeni fMRI uczestnika. Uruchomić skrypty w następujący sposób: python Step02_CoRegistration.py. Obliczyć średni sygnał w każdym wokselu w obrębie każdego z 68 obszarów kory. Uruchomić skrypty w następujący sposób: python Step03_fMRI_Signal_Extraction.py (Plik uzupełniający 3).
    2. Zachować 370 następujących po sobie punktów czasowych fMRI bez dopełnienia czasowego, aby uzyskać macierz cech węzłów fMRI o rozmiarze 68 x 370, gdzie 68 oznacza obszary kory DK, a 370 oznacza zachowane punkty czasowe fMRI.
  3. Konstrukcja grafu fMRI.
    1. Obliczyć korelacje Pearsona pomiędzy 370-punktowymi szeregami czasowymi 68 obszarów DK. Zapisać wynikową macierz łączności funkcjonalnej 68 x 68 jako macierz krawędzi fMRI.
  4. Wstępne przetwarzanie danych EEG.
    1. Przetworzyć zapisy EEG z 129 kanałów za pomocą narzędzi EEGLAB (wersja 2022.1) w środowisku MATLAB (wersja R2022a). Uruchomić sekwencyjnie dwa skrypty wstępnego przetwarzania EEGLAB w następujący sposób: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Plik uzupełniający 4). Zachować częstotliwość próbkowania 500 Hz i zastosować filtr pasmowy 0,2–40 Hz. Zidentyfikować segmenty zaszumione oraz wadliwe elektrody i przeprowadzić interpolację uszkodzonych kanałów, wykorzystując średni sygnał z elektrod sąsiednich.
    2. Użyć analizy składowych niezależnych (ICA) z wtyczką ICLabel w celu klasyfikacji składowych niezależnych. Usunąć składowe, dla których prawdopodobieństwo klasyfikacji jako artefakt oczny lub mięśniowy jest większe niż 0,90. Zastosować ponowne odniesienie do średniej (average re-referencing). Wykluczyć zapisy zawierające mniej niż 250 s użytecznych danych po wstępnym przetwarzaniu i odrzuceniu artefaktów.
  5. Generowanie cech EEG dopasowanych do atlasu.
    1. Skonstruować zindywidualizowany trójwarstwowy model głowy oparty na metodzie elementów brzegowych (BEM) z obrazu MRI strukturalnego każdego uczestnika. Zdefiniować przestrzeń źródeł na indywidualnej powierzchni kory każdego uczestnika. Zarejestrować pozycje elektrod EEG na powierzchni BEM i obliczyć macierz pola prowadzącego (lead-field matrix).
    2. Zastosować operator odwrotny zregularyzowany za pomocą macierzy kowariancji szumu bazowego. Ustawić stosunek sygnału do szumu na 3,0, co daje λ2 = 1/SNR2 = 1/9 (około 0,1111), i przeprowadzić lokalizację źródeł za pomocą ustandaryzowanej niskorozdzielczej tomografii elektromagnetycznej (sLORETA) zaimplementowanej w MNE-Python (wersja 1.9).
    3. Zagregować szacunki źródeł dla każdego wierzchołka w obrębie każdej parceli Desikana-Killiany poprzez uśrednianie arytmetyczne, aby uzyskać 68 szeregów czasowych na poziomie ROI. Zachować pierwszy ciągły segment trwający 250 s i podzielić każdy szereg czasowy ROI na 250 następujących po sobie, niezakładających się epok o długości 1 s.
    4. Obliczyć moc w paśmie alfa 8–12 Hz w każdej epoce, aby uzyskać macierz cech węzłów EEG o rozmiarze 68 x 250, gdzie 68 oznacza obszary kory DK, a 250 oznacza 250 następujących po sobie, niezakładających się epok o długości 1 s.
  6. Konstrukcja grafu EEG i weryfikacja dopasowania międzymodalnego.
    1. Obliczyć korelacje Pearsona pomiędzy szeregami mocy alfa 8–12 Hz dla 250 epok w 68 obszarach DK. Zapisać wynikową macierz 68 x 68 jako graf EEG.
    2. Potwierdzić, że macierze EEG i fMRI wykorzystują tę samą kolejność obszarów DK i użyć tego samego pliku indeksu obszarów DK do wprowadzania danych do modelu, atrybucji i wizualizacji. Uruchomić skrypt lokalizacji źródeł i ekstrakcji cech MNE-Python w następujący sposób: python "Extract features - templates.py" (Plik uzupełniający 5).
  7. Normalizacja cech węzłów w każdej próbce.
    1. Zastosować normalizację z-score dla każdego węzła w macierzach cech węzłów EEG i fMRI. Pozostawić macierze grafów jako dane wejściowe łączności i zastosować normalizację grafu wewnątrz modelu BrainMoE.
    2. Przeprowadzić wstępne przetwarzanie EEG i fMRI niezależnie dla każdego uczestnika przy użyciu stałych ustawień, bez wykorzystywania informacji z foldów walidacji krzyżowej do określania parametrów wstępnego przetwarzania.

3. Konstruowanie zadań binarnej klasyfikacji specyficznej dla choroby

  1. Zdefiniuj pięć zadań binarnej klasyfikacji specyficznych dla danej choroby.
    1. Zakoduj zdrowe grupy kontrolne (HC) jako klasę 0 we wszystkich zadaniach, a tylko wybraną grupę chorobową jako klasę 1 w ramach jej własnego zadania.
    2. Stwórz oddzielne zadania zdrowy-kontra-chory dla depresji, zaburzeń lękowych, zaburzeń neurorozwojowych ze specyficznymi zaburzeniami uczenia się i upośledzeniem czytania, zaburzeń widma autyzmu oraz zespołu nadpobudliwości z deficytem uwagi/hiperaktywności.
  2. Opisz kohorty badawcze i zbadaj potencjalny wpływ płci oraz miejsca akwizycji danych.
    1. Dla każdego zadania specyficznego dla danej choroby uwzględnij uczestników HBN z kompletnymi danymi EEG, fMRI i strukturalnego obrazowania rezonansem magnetycznym (sMRI) oraz prawidłową etykietą diagnostyczną. Wyklucz z kohort z dodatnim wynikiem choroby uczestników z diagnozami współistniejącymi. Wyklucz zapisy EEG zawierające mniej niż 250 s użytecznych danych po preprocessingu i odrzuceniu artefaktów oraz zachowaj tylko pliki wejściowe, które spełniły kryteria kontroli jakości opisane w sekcji 1.2.
    2. Podsumuj liczbę zachowanych rekordów multimodalnych i unikalnych uczestników, stosunki liczby chorych do kontrolnych, zakresy wieku, rozkłady płci oraz rozkłady miejsc akwizycji dla wspólnej kohorty HC i każdej kohorty chorobowej w Tabeli 4.
      UWAGA: Ta sama kohorta HC była ponownie wykorzystywana jako klasa 0 we wszystkich pięciu zadaniach, zatem szacunki wydajności na poziomie zadań nie są statystycznie niezależne. Zależność ta wynika ze wspólnej kohorty HC, a nie z nakładania się grup chorobowych.
    3. Zróżnicuj wydajność według płci i miejsca akwizycji, a następnie porównaj wynikowe wartości za pomocą dwustronnych testów t Welcha w powtórzonych uruchomieniach 5-krotnej walidacji krzyżowej.
  3. Wybierz pliki H5 specyficzne dla zadań i zdefiniuj podziały walidacji krzyżowej.
    1. Dla każdego zadania zachowaj tylko grupę HC i docelową grupę chorobową. Wygeneruj 10 powtórzeń 5-krotnej walidacji krzyżowej na poziomie uczestnika. Zróżnicuj unikalnych uczestników według binarnej etykiety klasy, HC kontra docelowa choroba, aby zachować rozkład klas w poszczególnych podziałach.
    2. Użyj unikalnego identyfikatora uczestnika jako zmiennej grupującej i przypisz wszystkie sesje oraz rekordy multimodalne tego samego uczestnika do tego samego podziału. Użyj kolejno ziarn randomizacji od 1 do 10, aby wygenerować 10 powtórzonych partycji walidacji krzyżowej. Użyj stałego ziarna randomizacji 1 do inicjalizacji i trenowania modelu.
    3. Zarezerwuj wydzielony podział wyłącznie do końcowej ewaluacji i zapisz identyfikatory uczestników, listy plików oraz indeksy partycji dla każdego podziału wraz z odpowiadającym im punktem kontrolnym. Dla każdego podziału treningowego oblicz wagi klas na podstawie etykiet treningowych i wykorzystaj je w funkcji straty entropii krzyżowej, aby zmniejszyć obciążenie spowodowane niezbalansowaniem klas.

4. Budowa architektury BrainMoE do wspomaganej komputerowo diagnostyki zaburzeń mózgu

UWAGA: Architektura BrainMoE została zaprojektowana jako kompaktowa struktura fuzji EEG-fMRI z brakującą modalnością, która łączy koder grafowy, współdzielone miękkie rutowanie stanów neuronowych oraz integrację cech opartą na ekspertach w celu binarnej diagnozy specyficznej dla danej choroby. Całkowita architektura przedstawiona jest na Rysunku 1, a kod implementacyjny znajduje się w Pliku uzupełniającym 6.

  1. Zdefiniuj wejścia BrainMoE oraz stany modalności. Wykorzystaj modalność EEG oraz modalność fMRI po dopasowaniu w przestrzeni źródeł jako sparowane wejścia grafowe. Tutaj X oznacza regionalną macierz cech, A oznacza graf mózgu specyficzny dla danej modalności, a każdy wiersz odpowiada jednemu z 68 regionów Desikan-Killiany.
    figure-protocol-1
    figure-protocol-2
    Zdefiniuj maskę dostępności modalności jako m = [mEEG, mfMRI]. Użyj m = [1,1] dla pełnego wejścia EEG-fMRI, m = [1,0] dla wejścia tylko EEG oraz m = [0,1] dla wejścia tylko fMRI.
  2. Koder grafowy: Dla każdej modalności q, gdzie q to EEG lub fMRI, wprowadź macierz cech Xq i graf Aq do odpowiedniego kodera grafowego specyficznego dla danej modalności. Koder jest trenowalnym modułem neuronowym, który obejmuje projekcję węzłów, przekazywanie wiadomości w grafie, normalizację, aktywację oraz dropout (p=0.3).
    figure-protocol-3
    UWAGA: W tym zapisie Zq jest reprezentacją latentną na poziomie ROI generowaną przez koder grafowy EEG lub koder grafowy fMRI. Koder grafowy EEG mapuje każdą macierz wejściową 68 x 250 na reprezentację latentną 68 x 128, natomiast koder grafowy fMRI mapuje każdą macierz wejściową 68 x 370 na reprezentację latentną 68 x 128. Każdy koder wykorzystuje projekcję wejściową, po której następują dwie residualne warstwy splotu grafowego z 128 wymiarami ukrytymi, aktywacją GELU, normalizacją warstwową i dropoutem.
  3. Trenowalne tokeny brakującej modalności: Niech Tq będzie tokenem dla modalności q, a mq odpowiadającym wskaźnikiem dostępności. Ten krok tworzy reprezentację świadomą stanu, która zachowuje ten sam układ 68 regionów zarówno przy pełnych, jak i pojedynczych wejściach modalności.
    figure-protocol-4
    UWAGA: Każdy trenowalny token brakującej modalności jest wektorem 128-wymiarowym i jest rozszerzany na 68 wierszy ROI, gdy odpowiadająca mu modalność jest niedostępna.
  4. Współdzielony moduł miękkiego routingu stanu neuronowego: Najpierw połącz reprezentację EEG świadomą stanu ZEEG, reprezentację fMRI świadomą stanu ZfMRI oraz osadzoną maskę dostępności modalności. Maska dostępności modalności jest osadzana przez MLP o wymiarach 2 → 128, aktywacją GELU i normalizacją warstwową. Router składa się z dwóch jednowymiarowych warstw splotowych o wymiarach kanałów 384 → 128 → 128, wielkości jądra 3 i dopełnieniu (padding) 1. Aktywacja GELU jest stosowana po każdym splotcie, z dropoutem (p=0.3) po pierwszym splotcie.
    figure-protocol-5
    figure-protocol-6
  5. Współdzielony ekspert stanu neuronowego.
    1. Zconcatenate reprezentację EEG świadomą stanu ZEEG, reprezentację fMRI świadomą stanu ZfMRI oraz reprezentację miękkiego routingu R wzdłuż wymiaru cech. Zastosuj w pełni połączoną warstwę fuzji (od 384 do 128), a następnie normalizację warstwową, aktywację GELU i dropout (p=0.3), i wykonaj uśrednianie (mean-pooling) wynikowej reprezentacji w obrębie 68 ROI, aby uzyskać 128-wymiarową reprezentację zfuzowaną na poziomie badanego zfused:
      figure-protocol-7
    2. Prześlij zfused przez współdzielonego eksperta stanu neuronowego, który składa się z w pełni połączonej warstwy (od 128 do 128), normalizacji warstwowej, aktywacji GELU i dropoutu (p=0.3). Oznacz wynikową 128-wymiarową reprezentację współdzielonego eksperta jako Eshared:
      figure-protocol-8
  6. Eksperci EEG i fMRI.
    1. Dla każdej modalności wykonaj uśrednianie (mean-pooling) reprezentacji świadomej stanu w obrębie 68 ROI i przekaż wynikową 128-wymiarową reprezentację przez odpowiedniego eksperta specyficznego dla danej modalności:
      figure-protocol-9
    2. Każdy ekspert specyficzny dla modalności składa się z w pełni połączonej warstwy (od 128 do 128), normalizacji warstwowej, aktywacji GELU i dropoutu (p=0.3). Oznacz wynikowe 128-wymiarowe reprezentacje ekspertów specyficznych dla modalności odpowiednio jako EEEG i EfMRI.
  7. Moduł fuzji.
    1. Aby obliczyć wagi ekspertów, zconcatenate 128-wymiarową reprezentację zfuzowaną na poziomie badanego zfused z 2-wymiarową maską dostępności modalności m, co daje 130-wymiarowe wejście do bramki (Gate). Moduł fuzji zawiera bramkę ekspertów, która generuje specyficzne dla próbki wagi używane do fuzji ekspertów. Bramka ekspertów składa się z w pełni połączonej warstwy (od 130 do 128), a następnie aktywacji GELU, dropoutu (p = 0.3) i wyjściowej w pełni połączonej warstwy (od 128 do 3). Zastosuj funkcję softmax do trzech wyjściowych logitów, aby uzyskać specyficzne dla próbki wagi ekspertów:figure-protocol-10
    2. Wynikowe wagi są nieujemne i ich suma dla każdej próbki wynosi 1:
      figure-protocol-11
    3. Pomnóż każdą 128-wymiarową reprezentację eksperta przez odpowiadającą jej wagę bramki i zsumuj trzy reprezentacje ważone:
      figure-protocol-12
      UWAGA: Operacja ta implementuje gęstą fuzję soft MoE.
    4. Prześlij wynikową 128-wymiarową końcową reprezentację eksperta efused do głowicy klasyfikacyjnej diagnozy zaburzeń mózgu opisanej w sekcji 4.8.
  8. Głowica klasyfikacyjna diagnozy zaburzeń mózgu: Prześlij 128-wymiarową końcową reprezentację eksperta przez głowicę klasyfikacyjną składającą się z normalizacji warstwowej, dropoutu (p = 0.3) i w pełni połączonej warstwy mapującej 128 wymiarów na 2 wyjściowe logity. Zastosuj funkcję softmax, aby uzyskać prawdopodobieństwo HC oraz prawdopodobieństwo choroby docelowej. Przypisz próbkę do klasy choroby, gdy prawdopodobieństwo choroby docelowej wynosi co najmniej 0.5.
    figure-protocol-13
  9. Zweryfikuj spójność implementacji przed treningiem. Przeprowadź testowy przebieg w przód (dry forward pass) dla m = [1,1], m = [1,0] oraz m = [0,1]. Potwierdź, że reprezentacje EEG, fMRI, świadome stanu, routingu i zfuzowane zachowują 68 wierszy ROI, chyba że zostały wyraźnie uśrednione, oraz potwierdź, że wagi ekspertów sumują się do 1 w kolejności: ekspert EEG, ekspert fMRI i współdzielony ekspert stanu neuronowego.

5. Trenowanie pięciu modeli BrainMoE do diagnostyki zaburzeń mózgu

  1. Wytrenuj jeden model BrainMoE dla każdego binarnego zadania specyficznego dla danej choroby.
    1. Użyj tej samej architektury i domyślnych hiperparametrów dla wszystkich zadań: 30 epok, rozmiar partii (batch size) 16, szybkość uczenia (learning rate) 0,001, zanik wag (weight decay) 0,0001. Ustal architekturę modelu i hiperparametry przed ewaluacją na foldzie testowym i pozostaw je niezmienione we wszystkich foldach, powtórzeniach oraz zadaniach specyficznych dla chorób.
    2. Nie wykorzystuj wyników z wydzielonego foldu testowego do selekcji modelu ani strojenia hiperparametrów. Dla każdej mini-partii wykonaj trzy przejścia w przód (forward passes), stosując maski pełne, tylko EEG i tylko fMRI przy współdzielonych wagach modelu. Uruchom trenowanie BrainMoE w następujący sposób: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (Plik uzupełniający 6). Ustaw <TASK> na depression, anxiety, reading_disorder, autism lub adhd.
  2. Zoptymalizuj uśrednioną stratę klasyfikacji trzech stanów. Oblicz ważoną klasowo stratę entropii krzyżowej Ls dla każdego stanu jako
    figure-protocol-14
    oraz uśrednij straty jako
    figure-protocol-15
  3. Zresetuj gradienty, wykonaj propagację wsteczną i zaktualizuj wszystkie trenowalne parametry za pomocą optymalizatora AdamW.

6. Ocena stanów wnioskowania przy pełnej i brakującej modalności

  1. Metoda ewaluacji: Wczytaj punkt kontrolny (checkpoint) dla wybranego zadania związanego z chorobą i użyj zapisanej listy plików testowych z tego samego punktu kontrolnego. Użyj m = [1,1] dla pełnej inferencji EEG-fMRI, m = [1,0] dla inferencji tylko na podstawie EEG oraz m = [0,1] dla inferencji tylko na podstawie fMRI. Na koniec zastosuj funkcję softmax, aby uzyskać prawdopodobieństwo wystąpienia danej choroby i przypisz klasę choroby, gdy prawdopodobieństwo wynosi co najmniej 0,5.
  2. Metryki ewaluacji: Oblicz metryki ewaluacji na podstawie macierzy pomyłek, gdzie TP oznacza próbki dodatnie pod kątem choroby prawidłowo zaklasyfikowane jako choroba, TN oznacza HC (zdrowe kontrolę) prawidłowo zaklasyfikowane jako zdrowe, FP oznacza HC błędnie zaklasyfikowane jako choroba, a FN oznacza próbki dodatnie pod kątem choroby błędnie zaklasyfikowane jako zdrowe.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. Użyj dokładności (accuracy) do raportowania ogólnego wskaźnika poprawności klasyfikacji. Użyj czułości (sensitivity) do ilościowej oceny wykrywania próbek dodatnich pod kątem choroby oraz swoistości (specificity) do ilościowej oceny identyfikacji HC.
  4. Użyj miary F1 (F1 score) do podsumowania równowagi między precyzją a czułością. Użyj zbalansowanej dokładności (balanced accuracy), aby zmniejszyć wpływ niezrównoważenia klas. Dodatkowo oblicz AUC, aby ocenić dyskryminację niezależną od progu w różnych progach decyzyjnych.
  5. Dla każdego powtórzenia oblicz średnią z każdej metryki wydajności dla pięciu wydzielonych foldów (held-out folds). Raportuj wyniki końcowe jako średnią i odchylenie standardowe z 10 średnich obliczonych na poziomie powtórzeń.
  6. Porównaj BrainMoE z metodami bazowymi (baseline). Wszystkie modele bazowe wykorzystały te same partycje na poziomie uczestników oraz pełne dane wejściowe EEG-fMRI co BrainMoE, z konfiguracjami ustalonymi przed ewaluacją na wydzielonych zbiorach. BrainMoE porównywano z każdym modelem bazowym za pomocą dwustronnych testów t-studenta dla prób zależnych z korektą Holma.

7. Przeprowadzenie atrybucji okluzji węzłów na poziomie grupy dla pięciu zaburzeń mózgu

  1. Zdefiniuj kohortę atrybucji. Załaduj wytrenowany punkt kontrolny BrainMoE oraz plik z nazwami regionów DK. Wybierz próbki testowe dodatnie pod kątem choroby, które zostały poprawnie sklasyfikowane w pełnym stanie EEG-fMRI przy m = [1,1]. Wykorzystaj tę kohortę do analizy atrybucji na poziomie grupy i zapisz bazowe prawdopodobieństwo wystąpienia choroby dla każdej próbki.
  2. Oblicz wyniki okluzji węzłów specyficzne dla danej modalności. W przypadku atrybucji pochodzącej z EEG, dokonaj okluzji jednego obszaru zainteresowania (ROI) EEG naraz, ustawiając wektor cech wybranego węzła EEG oraz odpowiadający mu wiersz i kolumnę grafu EEG na zero, pozostawiając jednocześnie dane wejściowe fMRI bez zmian. W przypadku atrybucji pochodzącej z fMRI zastosuj tę samą operację do macierzy cech węzłów fMRI oraz grafu fMRI, pozostawiając dane wejściowe EEG bez zmian. Powtórz tę procedurę dla wszystkich 68 obszarów DK. Przeprowadź analizę atrybucji metodą okluzji węzłów, korzystając z kodu dostarczonego w Plik uzupełniający 7.
  3. Oblicz i zwizualizuj wkłady ROI na poziomie grupy. Dla każdego ROI i każdej modalności oblicz wynik wkładu jako średni spadek prawdopodobieństwa wystąpienia docelowej choroby po okluzji we wszystkich wybranych próbkach. Uszereguj oddzielnie wyniki pochodzące z EEG i fMRI, wyeksportuj 10 najwyżej ocenianych ROI dla każdej modalności i oznacz najwyżej sklasyfikowane ROI na rycinie.

Wyniki

Wydajność BrainMoE w różnych zaburzeniach i stanach modalności
Protokół pozwolił na wygenerowanie pięciu specyficznych dla danych chorób klasyfikatorów BrainMoE rozróżniających grupę zdrową od chorych oraz stworzenie tabel predykcji dla stanów wnioskowania: pełnego EEG-fMRI, wyłącznie EEG oraz wyłącznie fMRI. Stan pełnego EEG-fMRI wykazał konsekwentnie wysoką dyskryminację w pięciu zadaniach, z wartościami AUC w zakresie od 84,4 ± 3,2% dla RI do 88,4 ± 3,8% dla ASD (Tabela 1). Średnia makro wydajności stanu pełnego w pięciu zadaniach osiągnęła poziom 86,9 ± 3,0% AUC, 81,4 ± 3,1% dokładności (accuracy), 81,4 ± 2,5% zrównoważonej dokładności (balanced accuracy) oraz 81,2 ± 3,0% miary F1.

W warunkach symulowanego braku modalności BrainMoE utrzymał użyteczną wydajność w sytuacji, gdy jedna modalność wejściowa została zamaskowana. W stanie ograniczonym tylko do EEG model osiągnął średnią makro AUC na poziomie 83,1 ± 3,7%, przy czym najwyższą wartość AUC dla samego EEG odnotowano w przypadku ADHD i wyniosła ona 87,9 ± 2,8%. W stanie ograniczonym tylko do fMRI średnia makro AUC wyniosła 80,0 ± 3,9%. Przedziały wydajności te oraz przewidywana przewaga wydajności w pełnym stanie służą jako praktyczne punkty odniesienia dla pomyślnej implementacji, wskazując, że wytrenowany framework BrainMoE może przeprowadzać wnioskowanie pełne, tylko na podstawie EEG oraz tylko na podstawie fMRI bez konieczności stosowania oddzielnych modeli dla każdej modalności.

Reprezentatywnym nieoptymalnym wynikiem jest brak możliwości odtworzenia oczekiwanej przewagi wydajności stanu pełnego, na przykład w sytuacji, gdy AUC dla pełnego EEG-fMRI jest niższe niż AUC dla samego EEG lub samego fMRI. Przeciwnie, pomyślna implementacja powinna odtworzyć przewagę stanu pełnego oraz zakresy wydajności referencyjnej przedstawione w Tabeli 1. W przypadku zaobserwowania nieoptymalnego wzorca, przed interpretacją wyników modelu należy zweryfikować wymiary wejściowe H5, kolejność obszarów DK, przypisanie maski dostępności modalności oraz zapisane partycje walidacji krzyżowej.

Porównanie z punktami odniesienia
Zaproponowany model BrainMoE porównano z klasycznymi metodami uczenia maszynowego (maszyna wektorów nośnych (SVM) i wielowarstwowy perceptron (MLP)), ogólnymi metodami głębokiego uczenia (Transformer7, 3D-CNN22 oraz ResNet6), zaawansowanymi metodami głębokiego uczenia (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12) oraz metodami głębokiego uczenia opartymi na MoE (dFCExpert17, EvoMoE18 oraz NeuroMoE++19) (Tabela 2). BrainMoE osiągnął najwyższą średnią wartość AUC spośród wszystkich porównanych metod, wynoszącą 86,9 ± 3,0%.

Klasyczne metody uczenia maszynowego wykazały niższą średnią wydajność, przy czym SVM osiągnął średnią wartość AUC na poziomie 66,7 ± 4,5%, a MLP 64,6 ± 6,3%. Ogólne metody głębokiego uczenia wykazały zmienną wydajność, gdzie ResNet osiągnął średnią wartość AUC wynoszącą 71,0 ± 3,3%, a Transformer 63,8 ± 4,7%. Wśród zaawansowanych modeli bazowych głębokiego uczenia, BNT, BrainGNN, MultiEpilepsyNet oraz SZAtt-Net przewyższyły większość klasycznych i ogólnych metod głębokiego uczenia, jednak ich średnie wartości AUC pozostały niższe niż w przypadku BrainMoE.

Aby zapewnić wsparcie statystyczne dla porównania punktowego, BrainMoE zestawiono z najsilniejszym modelem bazowym dla każdego parametru wydajności (Tabela 3). BrainMoE uzyskał lepsze wyniki niż NeuroMoE++ w zakresie AUC i zrównoważonej dokładności (BA) oraz lepsze wyniki niż SZAtt-Net w zakresie miary F1 i dokładności. Wszystkie porównania pozostały istotne po zastosowaniu poprawki Holma.

Analiza podgrup według płci i miejsca pozyskania danych
Charakterystyka kohorty specyficzna dla danego zadania, obejmująca liczbę zachowanych rekordów multimodalnych, stosunki liczby osób chorych do kontrolnych, liczbę unikalnych uczestników, podsumowania wieku, rozkład płci oraz rozkład miejsc pozyskania danych, została zestawiona w tabeli charakterystyki kohorty (Tabela 4). Stosunki liczby osób chorych do kontrolnych obliczono na podstawie liczby rekordów multimodalnych, natomiast charakterystyka demograficzna i miejsca pozyskania danych zostały podsumowane na poziomie unikalnych uczestników.

Aby ocenić potencjalny wpływ płci oraz miejsca pozyskania próbek, wyniki BrainMoE zostały podzielone według tych czynników (Tabela 5). W podgrupie mężczyzn odnotowano wyższą średnią wartość AUC, BA, wskaźnika F1 oraz dokładność niż w podgrupie kobiet, podczas gdy odpowiadające im niekorygowane wartości p testu Welcha mieściły się w przedziale od 0,089 do 0,321. Podobnie, podgrupa RUBIC wykazała wyższą średnią wydajność niż podgrupa Staten Island, przy wartościach p w zakresie od 0,055 do 0,309. W analizach tych nie stwierdzono statystycznie istotnych różnic między podgrupami.

Analiza ablacyjna komponentów BrainMoE
Przeprowadzono eksperymenty ablacyjne w celu oceny wkładu maski dostępności modalności, routera splotowego, wspólnego eksperta oraz projektu fuzji ekspertów MoE (Tabela 6). Usunięcie osadzania maski (mask embedding) obniżyło średnią wartość AUC do 79,2 ± 3,1%, a zastąpienie routera splotowego routerem MLP obniżyło ją do 79,3 ± 3,7%. Usunięcie wspólnego eksperta zredukowało AUC dla samego fMRI do 73,5 ± 3,3%, co było najniższym wynikiem spośród testowanych wariantów. Usunięcie wszystkich ekspertów MoE obniżyło również ogólną zrównoważoną dokładność (balanced accuracy) do 74,2 ± 3,0%. Wyniki ablacji wykazały, że pełny projekt BrainMoE osiągnął najwyższą ogólną wydajność zarówno w stanach pełnych, jak i brakujących modalności, podczas gdy osadzanie maski, router splotowy, wspólny ekspert oraz fuzja ekspertów MoE przyczyniły się odpowiednio do końcowego zachowania modelu.

Wyniki interpretowalności na poziomie ROI dla pięciu zaburzeń mózgu
Aby zbadać regionalne wkłady leżące u podstaw przewidywań BrainMoE, przeprowadzono atrybucję poprzez okluzję węzłów na poprawnie sklasyfikowanych próbkach pozytywnych w pełnym stanie EEG-fMRI. Wkłady ROI pochodzące z EEG i fMRI uszeregowano oddzielnie, mierząc spadek prawdopodobieństwa wystąpienia docelowej choroby po okluzji każdego regionu atlasu DK. Analiza zidentyfikowała specyficzne dla modalności wzorce wkładu w pięciu zadaniach dotyczących chorób (Rycina 2). W przypadku atrybucji pochodzącej z fMRI, najwyżej sklasyfikowanymi regionami były: lewy zakręt obręczy tylny w MDD, prawa kora okołokalcarowa w ANX, lewa kora przyhipokampalna w RI, prawa część trójkątna w ASD oraz lewa kora entorynalna w ADHD. W przypadku atrybucji pochodzącej z EEG, najwyżej sklasyfikowanymi regionami były: lewe brzegi górnej bruzdy skroniowej w MDD, lewa kora przedcentralna w ANX, lewy klin w RI, lewa kora językowa w ASD oraz prawa wyspa w ADHD. Najwyżej sklasyfikowane ROI pochodzące z EEG i fMRI dla każdego zaburzenia zostały zwizualizowane na powierzchniach korowych na Rycynie 3. Wyniki te wykazały, że BrainMoE zapewnia interpretowalność na poziomie ROI, zachowując jednocześnie odrębne profile atrybucji dla reprezentacji pochodzących z EEG i fMRI. Dla poprawnie sklasyfikowanych próbek pozytywnych oceniono stabilność między fałdami (cross-fold stability), wykorzystując częstotliwość Top-1 ROI w 50 wydzielonych fałdach (Tabela 7). Obserwowane częstotliwości mieściły się w zakresie od 36% do 68%, co przekracza teoretyczną referencyjną wartość wyboru losowego wynoszącą 1/68 (1,47%) i wspiera interpretację opartą na rankingach względnych, a nie na bezwzględnych wartościach wkładu. Porównania z wcześniejszymi odkryciami z zakresu neuroobrazowania przeprowadzono post hoc i wykorzystano wyłącznie do kontekstualizacji wyników atrybucji, a nie jako niezależną walidację.

figure-results-1
Rycina 1: Przegląd struktury BrainMoE z adaptacyjną fuzją EEG-fMRI do komputerowo wspomaganej diagnostyki zaburzeń mózgu. Dopasowane do źródła cechy EEG oraz ROI fMRI są przetwarzane przez oddzielne kodery grafowe (Graph Encoders). Powstałe reprezentacje są przekazywane do ekspertów EEG i fMRI, a wraz z maską dostępności modalności (Modality Availability Mask) do wspólnego modułu miękkiego routingu (Soft-Routing Module). Reprezentacje modalności i reprezentacja routingu są łączone i przetwarzane przez wspólnego eksperta stanu neuronalnego (Shared neural-state expert). Wyjścia trzech ekspertów są następnie łączone w module fuzji (Fuse Module) i przekazywane do głowicy klasyfikacji diagnostycznej (Diagnosis Classification Head) w celu uzyskania prawdopodobieństwa HC oraz prawdopodobieństwa wystąpienia docelowej choroby. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

figure-results-2
Rysunek 2: Analiza wkładu ROI oparta na okluzji węzłów. Zwizualizowano 10 największych wkładów ROI pochodzących z EEG i fMRI dla każdego zadania chorobowego w pełnym stanie wnioskowania EEG-fMRI. Panele (A–E) przedstawiają wyniki pochodzące z fMRI odpowiednio dla MDD, ANX, RI, ASD i ADHD, a panele (F–J) przedstawiają odpowiadające im wyniki pochodzące z EEG w tej samej kolejności. Na każdym wykresie oznaczono tylko najwyżej sklasyfikowany ROI. Wkład ROI zdefiniowano jako spadek prawdopodobieństwa wystąpienia docelowej choroby po okluzji odpowiadającego regionu atlasu DK. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

figure-results-3
Rycina 3: Mapy interpretowalności na poziomie ROI kory w pięciu zaburzeniach mózgu. Panele (A–E) przedstawiają odpowiednio MDD, ANX, RI, ASD i ADHD. Każdy panel wyświetla na powierzchni kory DK najwyżej sklasyfikowane ROI pochodzące z EEG na czerwono oraz najwyżej sklasyfikowane ROI pochodzące z fMRI na pomarańczowo. Kolory wskazują modalność, a nie wielkość wkładu; w związku z tym nie zastosowano ilościowej skali kolorystycznej. Przedrostki lh i rh oznaczają odpowiednio lewą i prawą półkulę. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Zadanie dot. chorobyStanAUCDokładnośćBAF1CzułośćSwoistość
MDDPełny88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDTylko EEG83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDTylko fMRI82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXPełny85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXTylko EEG81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXTylko fMRI74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIPełny84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RITylko EEG80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RITylko fMRI81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDPełny88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDTylko EEG82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDTylko fMRI81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDPełny88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDTylko EEG87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDTylko fMRI80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Tabela 1: Wydajność klasyfikacji BrainMoE w zadaniach związanych z chorobami i stanami dostępności modalności. Wydajność BrainMoE w pięciu zadaniach klasyfikacji osób zdrowych względem chorych w stanach wnioskowania dla pełnego EEG-fMRI, samego EEG oraz samego fMRI. Metryki są przedstawione jako średnia ± odchylenie standardowe i obejmują pole pod krzywą charakterystyki operacyjnej odbiornika (AUC), dokładność (accuracy), dokładność zbalansowaną (BA), wynik F1, czułość oraz swoistość.

MetodaGrupa metodŚrednia AUCŚrednia BAŚrednia wartość F1Średnia dokładność
SVM (maszyna wektorów nośnych)Klasyczne uczenie maszynowe66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPKlasyczne uczenie maszynowe64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformatorOgólne głębokie uczenie (DL)63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNOgólne DL65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetOgólne uczenie głębokie (DL)71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNZaawansowane głębokie uczenie70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTZaawansowane uczenie głębokie (DL)73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNZaawansowane uczenie głębokie72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetZaawansowane uczenie głębokie78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetZaawansowane uczenie głębokie78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL oparty na MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEDL oparty na MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++DL oparty na MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (nasz)DL oparty na MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Tabela 2: Średnia wydajność klasyfikacji BrainMoE w porównaniu z klasycznymi metodami uczenia maszynowego, generycznymi modelami głębokiego uczenia oraz zaawansowanymi architekturami głębokiego uczenia w neuroobrazowaniu. Wyniki zostały zagregowane dla ocenianych zadań klasyfikacji chorób i przedstawione jako średnia ± odchylenie standardowe dla AUC, BA, wyniku F1 oraz dokładności.

PorównanieŚrednie AUCŚrednie BAŚrednie F1Średnia dokładność
Najsilniejszy model bazowyNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Wyniki najsilniejszego modelu bazowego81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Różnica+5.4+3.5+3.8+3.3
p z testu t0.00060.00650.01870.0276
p skorygowane metodą Holma*p < 0.01p < 0.05p < 0.05p < 0.05
dz Cohena1.631.110.910.83

Tabela 3: Porównanie BrainMoE z najsilniejszą linią bazową dla każdej metryki wydajności. Wartości p obliczono za pomocą dwustronnych sparowanych testów t i skorygowano przy użyciu procedury Holma. dz Cohena oznacza standaryzowaną różnicę sparowaną.

KohortaZapisy multimodalne (n)Stosunek grupy chorych do grupy kontrolnejLiczba unikalnych uczestników (n)Przedział wiekowy (lata)Płeć (mężczyzna/kobieta)Miejsce pozyskania (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD (zespół depresyjny / duża depresja)520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD (zespół nadpobudliwości psychoruchowej z deficytem uwagi)5554.83:13385.04–21.72241/97136/202

Tabela 4: Charakterystyka kohort badawczych wykorzystanych w pięciu zadaniach klasyfikacji specyficznych dla danej choroby. Tabela przedstawia liczbę zachowanych rekordów multimodalnych, stosunki liczby osób chorych do grupy kontrolnej, liczbę unikalnych uczestników, charakterystykę demograficzną oraz rozkład ośrodków pozyskiwania danych.

PodgrupaLiczbaŚrednia AUCŚrednia BAŚrednia wartość F1Średnia dokładność
Płeć
Samiec70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Kobieta39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Różnica+1.6+2.2+2.4+2.9
wartość p wg testu Welcha--0.3210.1920.1590.089
Miejsce akwizycji
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Różnica+2.4+1.6+2.9+3.3
test Welcha--0.1760.3090.0850.055

Tabela 5: Wyniki BrainMoE w rozbiciu według płci i miejsca pozyskania danych.Wyniki przedstawiono jako średnią ± odchylenie standardowe z 10 powtórzeń 5-krotnej walidacji krzyżowej. Różnica reprezentuje pierwszą podgrupę pomniejszoną o drugą, a wartości P uzyskano za pomocą dwustronnych testów t Welcha.

WariantPełna AUCAUC tylko dla EEGAUC wyłącznie dla fMRIŚrednie AUCŚrednie BA
bez osadzania maski83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
bez routera splotowego84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
Router MLP82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
bez wspólnego eksperta83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
bez ekspertów MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (nasz model)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Tabela 6: Analiza ablacyjna kluczowych komponentów BrainMoE. Wyniki ablacji wykazujące wkład maski dostępności modalności, routera splotowego, wspólnego eksperta oraz projektu fuzji ekspertów MoE. Każdy wariant jest oceniany w warunkach wnioskowania dla pełnego zestawu EEG-fMRI, samego EEG oraz samego fMRI, przy czym średnie AUC i średnie BA podsumowują ogólną wydajność.

ChorobaEEG: najwyżej oceniany ROIEEG: Częstotliwość dominująca, n/N (%)fMRI: najwyżej sklasyfikowany ROIfMRI: Częstotliwość Top-1, n/N (%)Referencja przypadkowa (%)
Epizod depresyjny (MDD)lewe brzegi bruzdy skroniowej górnej22/50 (44%)lewy tylny zakręt obręczy25/50 (50%)1.47
ANXlewa kora przedcentralna18/50 (36%)prawy kora okołotrwoniowa21/50 (42%)1.47
RIlewy klin26/50 (52%)lewa kora przyhipokampalna29/50 (58%)1.47
ASD (spektrum autyzmu)lewa kora językowa27/50 (54%)prawy trójkątny fragment zakrętu czołowego28/50 (56%)1.47
ADHD (zespół nadpobudliwości psychoruchowej z deficytem uwagi)prawa wyspa31/50 (62%)lewa kora entorynalna34/50 (68%)1.47

Tabela 7: Stabilność krzyżowa najwyżej sklasyfikowanych ROI pochodzących z EEG i fMRI. Częstotliwość Top-1 oznacza liczbę i procent analiz na poziomie 50-krotnym, w których raportowane ROI zajęło pierwsze miejsce. Teoretyczna referencja dla losowego wyboru wynosiła 1/68 (1,47%).

Plik uzupełniający 1: Skrypt do sprawdzania danych wejściowych H5.Skrypt w języku Python służący do weryfikacji wymaganych kluczy wejściowych H5, typów danych, etykiet diagnostycznych oraz wymiarów danych wejściowych kompatybilnych z atlasem DK przed treningiem BrainMoE. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 2: Skrypt preprocessingu fMRI.Pliki konfiguracyjne i wykonawcze programu C-PAC wykorzystane do preprocessingu fMRI, obejmujące usuwanie początkowych wolumenów, korekcję ruchu i zniekształceń, rejestrację i normalizację, regresję czynników zakłócających, filtrowanie czasowe oraz wygładzanie przestrzenne. Prosimy kliknąć tutaj, aby pobrać ten plik.

Plik uzupełniający 3: Skrypty przetwarzania FreeSurfer. Skrypty do przetwarzania danych strukturalnego MRI, korejestracji podziału kory Desikan-Killiany do natywnej przestrzeni fMRI oraz wyodrębniania sygnałów fMRI na poziomie ROI. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 4: Skrypty do wstępnego przetwarzania danych EEG.Skrypty MATLAB/EEGLAB wykorzystane do wstępnego przetwarzania danych EEG, obejmujące filtrowanie, identyfikację i usuwanie komponentów artefaktów oraz ponowne referencjonowanie. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 5: Skrypt MNE-Python do lokalizacji źródeł i ekstrakcji cech. Skrypt Python do lokalizacji źródeł EEG, ekstrakcji ROI z atlasu DK oraz generowania cech EEG na poziomie ROI, wykorzystywanych jako dane wejściowe dla BrainMoE. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 6: Kod implementacji BrainMoE.Kod Python i pliki konfiguracyjne dla architektury BrainMoE, koderów grafów, obsługi stanów modalności, routingu i fuzji ekspertów, trenowania modelu, ewaluacji oraz wariantów ablacyjnych. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 7: Kod atrybucji przesłaniania węzłów. Kod Python do analizy przesłaniania węzłów specyficznej dla danej modalności, obliczania wyników wkładu ROI, rankingowania ROI pochodzących z EEG i fMRI oraz generowania wyników atrybucji. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Multimodalna analiza sygnałów mózgowych stała się istotnym kierunkiem w komputerowo wspomaganej diagnostyce zaburzeń mózgu, ponieważ EEG i fMRI dostarczają komplementarnych informacji o aktywności neuronalnej. W porównaniu referencyjnym klasyczne metody uczenia maszynowego, takie jak SVM i MLP, zapewniły podstawową wydajność diagnostyczną, lecz wykazały ograniczoną zdolność do modelowania hierarchicznych, grafowych i między-modalnych interakcji cech. Ogólne modele głębokiego uczenia, w tym 3D-CNN, ResNet i Transformer, oferowały silniejszą zdolność modelowania nieliniowego, jednak architektury te nie zostały zaprojektowane specjalnie do fuzji danych EEG-fMRI ani do reprezentacji sieci mózgowych. Zaawansowane metody głębokiego uczenia osiągnęły lepsze wyniki niż większość modeli klasycznych i ogólnych, lecz wiele z nich nadal opierało się na stałych strategiach integracji cech i nie oddzielało w sposób jawny informacji specyficznych dla danej modalności od wspólnych informacji o stanie neuronalnym.

W niniejszym badaniu zaproponowano BrainMoE w celu rozwiązania problemu fuzji danych poprzez połączenie grafowych koderów modalności, ekspertów specyficznych dla danej modalności, wspólnego eksperta stanów neuronowych oraz adaptacyjnego mechanizmu routingu. Taka konstrukcja umożliwiła oddzielne modelowanie reprezentacji pochodzących z EEG i fMRI, a następnie ich integrację poprzez fuzję na poziomie ekspertów. Dzięki wprowadzeniu masek stanu modalności i tokenów brakującej modalności, ten sam wytrenowany model mógł przeprowadzać wnioskowanie wyłącznie na podstawie EEG lub wyłącznie na podstawie fMRI, bez konieczności budowania osobnych modeli dla każdego przypadku braku danej modalności. Wyniki eksperymentalne wykazały, że BrainMoE osiągnął najwyższą ogólną skuteczność w pięciu zadaniach binarnej klasyfikacji chorób oraz utrzymał użyteczną wydajność zarówno w stanie EEG-only, jak i fMRI-only. Analiza ablacyjna dodatkowo potwierdziła wkład embeddingu maski, konwolucyjnego routera, wspólnego eksperta oraz fuzji ekspertów MoE. Wyniki te wskazują, że poprawa wydajności nie była wynikiem działania pojedynczego komponentu, lecz skoordynowanego projektu kodowania grafowego, modelowania stanu modalności, adaptacyjnego routingu i fuzji ekspertów.

Krytyczne kroki protokołu i rozwiązywanie problemów
Krytyczne kroki protokołu obejmują utrzymanie tej samej kolejności 68 regionów DK w macierzach węzłów i grafów EEG oraz fMRI, stosowanie zdefiniowanych wcześniej ustawień preprocessingu niezależnie dla każdego uczestnika oraz wymuszenie walidacji krzyżowej na poziomie uczestnika, aby wszystkie rekordy pochodzące od tego samego uczestnika pozostały w jednym foldzie. Maska Dostępności Modalności musi być również zgodna z dostarczonymi danymi wejściowymi dla każdego stanu wnioskowania.

Jeśli wnioskowanie zawiedzie lub nie uda się odtworzyć oczekiwanej przewagi wydajności stanu pełnego, należy w pierwszej kolejności zweryfikować wymagane klucze H5, wymiary macierzy EEG i fMRI, kolejność regionów DK, przypisanie maski dostępności modalności (Modality Availability Mask) oraz zapisane partycje walidacji krzyżowej. Pliki z brakującymi kluczami, nieprawidłowymi wymiarami lub niespójną kolejnością regionów powinny zostać wykluczone przed treningiem lub ewaluacją. Strukturę można zmodyfikować pod kątem alternatywnych parcelacji kory lub reprezentacji cech EEG/fMRI, pod warunkiem, że obie modalności zostaną zmapowane na spójną kolejność ROI, a odpowiadające im wymiary wejścia modelu zostaną odpowiednio dostosowane. Głowicę klasyfikacji specyficzną dla danej choroby można również zaadaptować do innych zadań klasyfikacji binarnej, zachowując strukturę kodowania grafowego i fuzji eksperckiej. Takie modyfikacje wymagają ponownego treningu i walidacji, a nie bezpośredniego zastosowania modeli opisanych w niniejszej pracy.

Analiza interpretowalności oparta na okluzji węzłów
Analiza okluzji węzłów zapewniła ponadto interpretowalność predykcji modelu BrainMoE na poziomie ROI, a najwyżej sklasyfikowane ROI powiązane z chorobą przedstawiono w Rycina 3Wyznaczony przez BrainMoE obszar zainteresowania (ROI) w lewej tylnej części mózgu, oparty na danych EEG, jest zgodny z wcześniejszymi metaanalizami opartymi na wokselach23 dowody wskazujące na zmienioną wewnętrzną aktywność mózgu w tylnych obszarach kory w depresji jednobiegunowej (MDD). Wyznaczone na podstawie EEG/fMRI obszary zainteresowania (ROI) w lewym zakręcie przedcentralnym i prawym obszarze okołokalcarniowym są zgodne z wcześniejszymi dowodami z neuroobrazowania w zaburzeniach lękowych: metaanaliza grubości kory24 wykazano zwiększoną grubość kory w zakręcie przedcentralnym lewej półkuli u pacjentów z zaburzeniami lękowymi, podczas gdy badanie sieci współzmienności strukturalnej25 w zaburzeniach lęku społecznego zgłoszono nieprawidłową centralność węzłową obejmującą prawą korę okołokalcarową. W przypadku zaburzeń czytania obszar zainteresowania (ROI) w lewym klinie, wyznaczony na podstawie EEG, jest zgodny z badaniem konektywności całego mózgu26 wykazując zmienioną łączność w obrębie lewego klinu w dysleksji, podczas gdy ROI lewego zakrętu przyhipokampalnego wyznaczonego na podstawie fMRI jest zgodny z oddzielną analizą27 zgłaszanie nieprawidłowego sprzężenia parahipokampalno-hipokampalnego u młodzieży ze specyficznymi deficytami rozumienia tekstu. W zadaniu dotyczącym zaburzeń spektrum autyzmu obszar zainteresowania (ROI) w obrębie lewej zakrętu językowego, wskazany przez atrybucję pochodzącą z EEG, potwierdza wcześniejsze dowody z fMRI w stanie spoczynku28 obniżonego ReHo w lewej zakręcie językowej u chłopców w okresie przedpokwitaniowym z ASD. Wyznaczony na podstawie fMRI obszar ROI prawej części trójkątnej jest również biologicznie uzasadniony, ponieważ zgłaszano zmiany ALFF w prawej części trójkątnej zakrętu czołowego dolnego29 u dzieci z autyzmem. W przypadku ADHD obszar zainteresowania (ROI) prawej wyspy wyznaczony na podstawie EEG jest zgodny z dowodami z obrazowania strukturalnego MRI30 wykazujące zmniejszoną objętość przedniej części wyspy u młodzieży z ADHD, w szczególności w obrębie krótkiej zakrętu wyspy prawej. Wyznaczony za pomocą fMRI obszar zainteresowania (ROI) lewej kory entorynalnej może odzwierciedlać znalezisko bardziej specyficzne dla danego podtypu, co potwierdza oddzielna publikacja w czasopiśmie Psychological Medicine31 wykazano mniejszą objętość lewej przedniej części kory entorynalnej w podgrupie ADHD-C po korekcie FDR. Wyniki te należy jednak interpretować z uwzględnieniem zależności międzyregionalnych, ponieważ skorelowane sygnały z ROI mogą uniemożliwić pełną izolację wkładu pojedynczego regionu poprzez wykluczenie pojedynczego węzła i mogą prowadzić do konserwatywnych szacunków.

Ograniczenia i przyszłe kierunki badań
Mimo że do uzyskania wewnętrznych szacunków wydajności zastosowano wielokrotną 5-krotną walidację krzyżową, przyszłe badania z wykorzystaniem zagnieżdżonej walidacji krzyżowej lub niezależnej walidacji zewnętrznej mogłyby dodatkowo wzmocnić ocenę stabilności wyboru modelu oraz jego zdolności do generalizacji. Ponieważ wyniki dla samych danych EEG oraz samych danych fMRI zostały wygenerowane poprzez maskowanie jednej modalności w pełnych zapisach multimodalnych i nie zostały ocenione na zewnętrznej kohorcie walidacyjnej, przyszłe badania powinny objąć zewnętrzne kohorty walidacyjne dla pojedynczych modalności w celu oceny generalizacji. Dalszym ograniczeniem jest to, że schemat badania osób zdrowych w porównaniu z osobami z jedną chorobą nie obejmuje przypadków współistnienia wielu schorzeń, co ogranicza generalizowalność kliniczną i stanowi motywację do przyszłych badań nad klasyfikacją wieloetykietową oraz diagnostyką różnicową. Przyszłe prace mogłyby również ocenić odporność powiązań EEG na poziomie źródłowym przy użyciu estymatorów łączności odpornych na wycieki (leakage-aware connectivity estimators). Chociaż wspólna parcellacja DK zapewnia anatomicznie ugruntowany interfejs dla fuzji multimodalnej, jest ona założeniem modelowania, które może nie w pełni oddawać specyficzne dla danej modalności różnice w rozdzielczości czasowej i pochodzeniu fizjologicznym. Poza pięcioma ocenionymi tutaj zaburzeniami, opracowany schemat mógłby zostać zaadaptowany do innych zadań klasyfikacji neurologicznej lub psychiatrycznej obejmujących anatomicznie dopasowane multimodalne dane mózgowe oraz rozszerzony o zastosowania wieloetykietowe lub diagnostykę różnicową.

Podsumowanie
Podsumowując, BrainMoE zapewnia praktyczne i interpretowalne ramy dla fuzji EEG-fMRI w komputerowo wspomaganej diagnostyce zaburzeń mózgu. Jego główną zaletą jest adaptacyjna integracja cech multimodalnych, napędzana architekturą wieloekspercką oraz mechanizmem soft-routingu, który dynamicznie równoważy informacje specyficzne dla danej modalności i informacje współdzielone. Ponadto, dzięki płynnemu włączeniu masek stanu modalności oraz tokenów brakującej modalności, ten sam wytrenowany model osiąga stabilną wydajność podczas wnioskowania przy niepełnych modalnościach, bez konieczności stosowania oddzielnych konfiguracji. Co kluczowe, interpretowalna struktura zapewnia przejrzyste ścieżki atrybucji regionalnej na poziomie grupowym w pięciu różnych zaburzeniach mózgu, przekształcając konwencjonalną architekturę „czarnej skrzynki” w narzędzie do diagnostyki komputerowo wspomaganej, oparte na wiedzy fizjologicznej. Jest to istotne dla przyszłych przepływów pracy w obliczeniowym obrazowaniu neurologicznym, w których heterogeniczne źródła danych, niepełna dostępność modalności oraz wyjaśnialne wyniki modelu są kluczowymi kwestiami.

Oświadczenia

Autorzy declare, że nie stwierdzono żadnych konfliktów interesów. Autorzy oświadczają, że podczas przygotowywania niniejszego manuskryptu, kodu, analizy danych lub tworzenia wykresów nie korzystano z narzędzi generatywnej sztucznej inteligencji.

Podziękowania

Badania te zostały sfinansowane przez National Natural Science Foundation of China w ramach grantów nr 62433002, 62277001 i U25A20446, Project of Construction and Support for High-level Innovative Teams of Beijing Municipal Institutions w ramach grantu nr BPHR20220104 oraz Beijing Scholars Program w ramach grantu nr 099.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
BashGNU Project5.1.16(1)-releaseOprogramowanie
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1Oprogramowanie
CUDA ToolkitNVIDIA CorporationVersion 12.4Oprogramowanie
GPU kompatybilne z CUDANVIDIA CorporationGeForce RTX 4060 Laptop GPUSprzęt
Atlas korowy Desikan-KillianyFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)Atlas/zasób
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)Oprogramowanie
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)Oprogramowanie
FSLFMRIB, University of OxfordDołączony do C-PAC 1.8.7; dokładna wersja nieokreślona (RRID:SCR_002823)Oprogramowanie
Zbiór danych Healthy Brain Network (HBN)Child Mind InstituteRRID:SCR_016989Zbiór danych
MATLABMathWorksR2022a (RRID:SCR_001622)Oprogramowanie
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)Oprogramowanie/biblioteka
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)Oprogramowanie
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)Biblioteka

Bibliografia

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Przedruki i uprawnienia

Tagi

fuzja EEG-fMRImultimodalne obrazowanie mózguwspomagana komputerowo diagnostykakoder grafowymapy atrybucji ROIekspert stanu neuronowegomaski stanu modalnościanaliza okluzji węzłów

Ten artykuł został opublikowany

Film wkrótce dostępny

Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.