Методическая статья

Слияние данных электроэнцефалографии и функциональной магнитно-резонансной томографии на основе смеси экспертов для интерпретируемой компьютерной диагностики заболеваний головного мозга

0 просмотров

⸱

DOI:

10.3791/73432

⸱

25 сентября 2026 г.

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

В этой статье

Краткое содержание

В данном протоколе представлен Brain Mixture-of-Experts — адаптивная и интерпретируемая платформа слияния данных электроэнцефалографии и функциональной магнитно-резонансной томографии для компьютерной диагностики заболеваний головного мозга. Метод интегрирует гетерогенные представления ЭЭГ и фМРТ с помощью модально-специфичных экспертов, общего эксперта нейронного состояния и адаптивной маршрутизации, обеспечивая при этом интерпретируемость и возможность вывода в условиях симулированного отсутствия одной из модальностей.

Аннотация

Электроэнцефалография (ЭЭГ) и функциональная магнитно-резонансная томография (фМРТ) предоставляют взаимодополняющую информацию о функциях мозга и демонстрируют значительные перспективы в выявлении функциональных нарушений при различных заболеваниях головного мозга. Однако различные характеристики сигналов и разрозненные репрезентативные пространства ЭЭГ и фМРТ создают серьезные трудности для эффективного мультимодального объединения, что препятствует точной компьютерной диагностике заболеваний мозга с использованием традиционных фиксированных моделей. В данном исследовании представлена Brain Mixture-of-Experts (BrainMoE) — адаптивная и интерпретируемая платформа слияния ЭЭГ и фМРТ для компьютерной диагностики заболеваний головного мозга, объединяющая мультимодальные признаки мозга с помощью модально-специфических экспертов, общего эксперта нейронных состояний и механизма адаптивной маршрутизации. BrainMoE сначала проецирует сигналы ЭЭГ и фМРТ в единое пространство областей интереса (ROI) атласа Десикана-Киллиани (DK), затем использует графовые кодировщики для извлечения специфичных для каждой модальности представлений сетей мозга. Модуль мягкой маршрутизации формирует маршрутное представление, а вентиль экспертов (Expert Gate) в модуле слияния (Fuse Module) генерирует веса для конкретных образцов, чтобы объединить представления ЭЭГ, фМРТ и общего эксперта нейронных состояний. Для обработки сценариев с неполным сбором данных используются маски состояний модальностей и токены отсутствующих модальностей, что позволяет одной обученной модели выполнять вывод на основе полных данных ЭЭГ-фМРТ, только ЭЭГ или только фМРТ. Наконец, анализ окклюзии узлов предоставляет карты атрибуции на уровне ROI для прогнозов, полученных как на основе ЭЭГ, так и на основе фМРТ. Платформа была протестирована на наборе данных Healthy Brain Network (HBN) в пяти задачах бинарной классификации заболеваний мозга, включая большое депрессивное расстройство, тревожное расстройство, нарушения чтения, расстройства аутистического спектра и синдром дефицита внимания с гиперактивностью. BrainMoE превзошла современные алгоритмы сравнения, достигнув среднего значения AUC 86.9 ± 3.0%, а эксперименты по абляции подтвердили вклад компонентов маршрутизации и слияния экспертов. Кроме того, анализ интерпретируемости позволил выявить вклад ROI на групповом уровне в классификацию заболеваний, что согласуется с ранее опубликованными данными нейровизуализации. Данный метод поддерживает компьютерную диагностику заболеваний головного мозга, решая проблему интеграции гетерогенных нейронных представлений ЭЭГ-фМРТ при сохранении интерпретируемости и возможности выполнения вывода в условиях имитации отсутствия одной из модальностей.

Введение

Заболевания головного мозга сопровождаются сложными изменениями нейронной активности и организации сетей мозга, которые трудно охарактеризовать с помощью одного метода визуализации1. После реконструкции источников2 ЭЭГ позволяет получить данные об электрофизиологической активности на уровне регионов, тогда как функциональная магнитно-резонансная томография (фМРТ) фиксирует функциональную связность на уровне регионов, что дает взаимодополняющее представление о функциях мозга. Для облегчения интеграции этих данных в предыдущих мультимодальных исследованиях обе модальности были сопоставлены с атласом Desikan-Killiany (DK), состоящим из 68 регионов3. Хотя такое пространственное соответствие не означает эквивалентности временного разрешения или физиологического происхождения, оно обеспечивает единый анатомический индекс для слияния графов на уровне узлов, фиксированные размеры графа и согласованную интерпретацию на уровне областей интереса (ROI) при сохранении специфической для каждой модальности информации. Интеграция этих анатомически выровненных, но специфичных для каждой модальности представлений может обогатить представления сигналов мозга, связанных с заболеванием, и помочь в компьютерной диагностике расстройств головного мозга3,4.

Несмотря на потенциал объединения ЭЭГ и фМРТ для компьютерной диагностики заболеваний головного мозга, гетерогенность этих двух модальностей создает технические трудности для их эффективной интеграции. Классические методы машинного обучения, такие как SVM и MLP, позволяют создавать базовые модели классификации, однако они обладают ограниченной способностью улавливать нелинейные кросс-модальные взаимодействия. Универсальные модели глубокого обучения, включая архитектуры GNN5, ResNet6 и Transformer7, обеспечивают более эффективное обучение представлениям, но они не предназначены специально для графов мозга на уровне ROI или моделирования состояний модальностей. Современные передовые модели3,8,9 обладают повышенной нелинейной сложностью для более точного моделирования сетей мозга. Модель BrainNetCNN8 была представлена для адаптации сверточных операций к матрицам связности мозга; BrainGNN9 далее моделировала топологию графа на уровне ROI с использованием графовых нейронных сетей и пулинга; а BNT10 впоследствии усилила анализ функциональных сетей мозга с помощью многоуровневого внимания на базе трансформеров. Тем не менее, эти достижения в основном разрабатывались для одномодальных условий. Затем MultiEpilepsyNet11 расширила возможности мультимодального обучения для обнаружения эпилептических приступов по ЭЭГ и МРТ с помощью федеративного гибридного фреймворка, а ее модуль EpiSkullNet++ на стороне МРТ улучшил сегментацию и предобработку изображений мозга. Впоследствии SZAtt-Net12 разработала мультимодальную модель классификации шизофрении, объединив блоки CNN, BiGRU и MLP с механизмами канального, собственного, пространственного и временного внимания. Однако эти методы оставались специфичными для конкретных задач и опирались на относительно фиксированные схемы слияния, не поддерживая явным образом адаптивную маршрутизацию между состояниями с полным и отсутствующим набором модальностей.

Модели смеси экспертов (Mixture-of-Experts, MoE)13,14 все чаще применяются в мультимодальном обучении, поскольку они позволяют обрабатывать гетерогенные источники информации с помощью специализированных экспертных модулей и динамически объединять их посредством механизмов маршрутизации. Softmax-гейтинг обеспечивает нормализованные веса экспертов, зависящие от входных данных, и был теоретически охарактеризован с точки зрения скорости сходимости15. Родственные многовентильные архитектуры дополнительно продемонстрировали, что отдельные гейты могут изучать зависящие от задачи комбинации общих экспертов в крупномасштабном многозадачном обучении16. В нейробиологических исследованиях и изучении мозга варианты MoE17,18,19 всё чаще используются для облегчения слияния гетерогенных признаков. dFCExpert17 использовал модульность и экспертов на основе состояний для моделирования паттернов динамической функциональной связности по данным фМРТ. EvoMoE18 дополнительно использовал сеть гейтинга для выбора подходящих экспертов для независимо-пользовательской классификации SSVEP-ЭЭГ. NeuroMoE++19 исследовал адаптивное к пациенту мультимодальное слияние для классификации неврологических расстройств. Несмотря на успех, эти модели обычно полагаются на грубозернистое смешивание и дискретную маршрутизацию, которые игнорируют высокосинхронизированную природу кросс-модальных нейронных состояний, что препятствует обнаружению тонких, но информативных паттернов, критически важных для диагностики заболеваний мозга. Более того, без специального механизма для отделения нюансов конкретной модальности от единого общего нейронного состояния такие модели обладают ограниченной интерпретируемостью и демонстрируют снижение производительности при отсутствии критически важной модальности (фМРТ или ЭЭГ).

Для преодоления этих ограничений в данной работе представлена модель Brain Mixture-of-Experts (BrainMoE) — адаптивная и интерпретируемая платформа слияния данных ЭЭГ и фМРТ для компьютерной диагностики пяти категорий нарушений работы мозга, включая большое депрессивное расстройство (БДР), тревожное расстройство (ТР), специфическое расстройство обучения с нарушением чтения (НР), расстройство аутистического спектра (РАС) и синдром дефицита внимания/гиперактивности (СДВГ). Протокол предполагает первоначальное совмещение признаков реконструированного источника ЭЭГ и фМРТ с пространством областей интереса (ROI) атласа DK20, после чего строятся графовые представления модальностей для обоих типов данных. BrainMoE использует экспертную сеть для ЭЭГ, экспертную сеть для фМРТ и общую экспертную сеть нейронных состояний, которые объединяются с помощью модуля мягкой маршрутизации (soft routing) для синтеза модально-специфической и общей информации. Маски состояний модальностей и токены отсутствующих модальностей включены для обеспечения возможности проведения вывода на основе полной комбинации ЭЭГ-фМРТ, только ЭЭГ или только фМРТ в рамках одной обученной модели. Для обеспечения биологической интерпретируемости в протоколе дополнительно применяется анализ окклюзии узлов, при котором каждая ROI атласа DK выборочно маскируется, а результирующее изменение вероятности прогнозирования заболевания используется для оценки региональных вкладов, полученных на основе ЭЭГ и фМРТ. В данном протоколе описывается полный рабочий процесс выравнивания данных, построения модели, обучения, оценки и интерпретации ROI на основе окклюзии узлов, что представляет собой адаптивную и интерпретируемую стратегию компьютерной диагностики нарушений работы мозга посредством гетерогенного слияния сигналов мозга ЭЭГ и фМРТ. Для обеспечения воспроизводимости и будущих расширений в открытом репозитории GitHub предоставлены код модели BrainMoE, а также код для обучения и оценки; предварительная обработка данных ЭЭГ и фМРТ была выполнена с использованием общедоступного стороннего программного обеспечения. Репозиторий доступен по адресу https://github.com/zhongruizhe123/BrainMoE.

Протокол

В данном исследовании использовались обезличенные данные из базы данных Healthy Brain Network (HBN)21, при этом внимание было сосредоточено на пяти различных клинических расстройствах для последующих задач диагностической классификации. Этическое одобрение и письменное информированное согласие были предварительно получены инициативой HBN от всех участвующих центров и субъектов. Записи ЭЭГ и фМРТ были получены в разных сессиях, а не одновременно, и сопоставлены с помощью идентификаторов участников и сессий, доступных в HBN.

1. Подготовка вычислительной среды и входных данных

  1. Настройка вычислительной среды
    1. Создайте и активируйте виртуальную среду Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Установите необходимые пакеты и их фиксированные версии, используя файл requirements.txt, предоставленный в открытом репозитории GitHub: pip install -r requirements.txt
    3. Перед обучением проверьте конфигурацию PyTorch и CUDA: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Убедитесь, что в выводе указаны PyTorch 2.6.0+cu124, CUDA 12.4 и доступность CUDA (CUDA availability) имеет значение True. Обучение модели следует проводить с использованием совместимого с CUDA графического процессора (GPU).
  2. Проверка всех входных файлов H5 перед обучением модели.
    1. Убедитесь, что каждый файл содержит sLORETA_mean_func для признаков узлов ЭЭГ, sLORETA_mean_CorrMatrix для графа ЭЭГ, fMRI-DK68-node-mat для признаков узлов фМРТ, fMRI-DK68-edge-mat для графа фМРТ и метку (label) для диагноза. Исключите файлы с отсутствующими ключами, нечисловыми записями, некорректными метками или размерностями, не соответствующими атласу Desikan-Killiany из 68 регионов. Запустите скрипт проверки входных данных H5 следующим образом: python checkH5.py (Дополнительный файл 1).

2. Сопоставление признаков ЭЭГ и фМРТ в общем анатомическом пространстве

  1. Предварительная обработка данных фМРТ.
    1. Обработайте данные фМРТ с помощью C-PAC (версия 1.8.7). Запустите скрипт предобработки C-PAC следующим образом: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (Дополнительный файл 2). Отбросьте первые пять объемов для уменьшения эффектов начального нестационарного сигнала.
    2. Выполните коррекцию времени сканирования срезов, коррекцию движения, коррекцию искажений, регистрацию, нормализацию в анатомическом пространстве MNI152 и пространственное сглаживание. Регрессируйте 24 параметра помех, связанных с движением.
    3. Примените временную полосовую фильтрацию в диапазоне 0.01-0.08 Hz.
  2. Генерация признаков фМРТ, выровненных по атласу.
    1. Обработайте соответствующую структурную МРТ с помощью FreeSurfer (версия 7.4.1). Запустите скрипты следующим образом: bash Step01_mgz_2_nifti.sh. Выполните совместную регистрацию полученного кортикального парцеллирования Десикана-Киллиана (DK) в нативном пространстве фМРТ участника. Запустите скрипты следующим образом: python Step02_CoRegistration.py. Рассчитайте средний воксельный сигнал внутри каждой из 68 кортикальных областей. Запустите скрипты следующим образом: python Step03_fMRI_Signal_Extraction.py (Дополнительный файл 3).
    2. Сохраните 370 последовательных временных точек фМРТ без временного дополнения, чтобы получить матрицу признаков узлов фМРТ размером 68 x 370, где 68 обозначает кортикальные области DK, а 370 — сохраненные временные точки фМРТ.
  3. Построение графа фМРТ.
    1. Вычислите корреляции Пирсона между временными рядами из 370 точек для 68 областей DK. Сохраните полученную функциональную матрицу связности размером 68 x 68 в качестве матрицы ребер фМРТ.
  4. Предварительная обработка данных ЭЭГ.
    1. Обработайте записи ЭЭГ со 129 каналов с помощью инструментария EEGLAB (версия 2022.1) в MATLAB (версия R2022a). Последовательно запустите два скрипта предобработки EEGLAB следующим образом: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Дополнительный файл 4). Сохраните частоту дискретизации 500 Hz и примените полосовой фильтр 0.2–40 Hz. Выявите зашумленные сегменты и неисправные электроды, и интерполируйте плохие каналы, используя средний сигнал соседних электродов.
    2. Используйте анализ независимых компонентов с плагином ICLabel для классификации независимых компонентов. Удалите компоненты с вероятностью классификации как глазных или мышечных артефактов более 0.90. Примените усредненное переопределение референса. Исключите записи, содержащие менее 250 s пригодных данных после предобработки и удаления артефактов.
  5. Генерация признаков ЭЭГ, выровненных по атласу.
    1. Постройте индивидуализированную трехслойную модель головы методом граничных элементов (BEM) на основе структурной МРТ каждого участника. Определите пространство источников на индивидуальной поверхности коры каждого участника. Зарегистрируйте положения электродов ЭЭГ на поверхности BEM и рассчитайте матрицу lead-field.
    2. Примените оператор инверсии, регуляризованный с помощью матрицы ковариации базового шума. Установите отношение сигнал/шум равным 3.0, что дает λ2 = 1/SNR2 = 1/9 (приблизительно 0.1111), и выполните локализацию источников с помощью стандартизированной низкоразрешающей электромагнитной томографии (sLORETA), реализованной в MNE-Python (версия 1.9).
    3. Агрегируйте оценки источников по вершинам внутри каждой области парцелляции Десикана-Киллиана путем арифметического усреднения, чтобы получить 68 временных рядов на уровне ROI. Сохраните первый непрерывный сегмент длительностью 250 s и разделите каждый временной ряд ROI на 250 последовательных, неперекрывающихся эпох по 1 s.
    4. Рассчитайте мощность альфа-диапазона на частоте 8–12 Hz внутри каждой эпохи, чтобы получить матрицу признаков узлов ЭЭГ размером 68 x 250, где 68 обозначает кортикальные области DK, а 250 — 250 последовательных, неперекрывающихся эпох по 1 s.
  6. Построение графа ЭЭГ и проверка кросс-модального выравнивания.
    1. Вычислите корреляции Пирсона между рядами мощности альфа-ритма (8–12 Hz) за 250 эпох для 68 областей DK. Сохраните полученную матрицу 68 x 68 в качестве графа ЭЭГ.
    2. Убедитесь, что матрицы ЭЭГ и фМРТ используют один и тот же порядок областей DK, и используйте один и тот же файл индексов областей DK для ввода в модель, атрибуции и визуализации. Запустите скрипт локализации источников и извлечения признаков MNE-Python следующим образом: python "Extract features - templates.py" (Дополнительный файл 5).
  7. Нормализация признаков узлов внутри каждого образца.
    1. Примените поузловую z-нормализацию к матрицам признаков узлов ЭЭГ и фМРТ. Оставьте матрицы графов в качестве входных данных о связности и примените нормализацию графа внутри модели BrainMoE.
    2. Выполните предобработку ЭЭГ и фМРТ независимо для каждого участника с использованием фиксированных настроек, не используя информацию из фолдов перекрестной проверки для определения параметров предобработки.

3. Построение задач бинарной классификации для конкретных заболеваний

  1. Определите пять задач бинарной классификации для конкретных заболеваний.
    1. Закодируйте здоровый контроль (HC) как класс 0 во всех задачах, а выбранную группу заболевания — как класс 1 в соответствующей задаче.
    2. Сформируйте отдельные задачи по сравнению здоровых лиц с больными для депрессии, тревожного расстройства, нейроонтогенетического расстройства со специфическим расстройством обучения и нарушением чтения, расстройства аутистического спектра и синдрома дефицита внимания/гиперактивности.
  2. Охарактеризуйте когорты исследования и изучите возможные эффекты пола и места сбора данных.
    1. Для каждой задачи по конкретному заболеванию включите участников HBN с полными данными ЭЭГ, фМРТ и структурной магнитно-резонансной томографии (sMRI), а также с достоверным диагностическим ярлыком. Исключите из когорт с заболеванием участников с коморбидными диагнозами. Исключите записи ЭЭГ, содержащие менее 250 s пригодных данных после предобработки и удаления артефактов, и оставьте только входные файлы, прошедшие критерии контроля качества, описанные в разделе 1.2.
    2. Сведите в Таблице 4 данные о количестве сохраненных мультимодальных записей и уникальных участников, соотношении больных и контроля, возрастных диапазонах, распределении по полу и распределении по местам сбора данных для общей когорты HC и каждой когорты заболеваний.
      ПРИМЕЧАНИЕ: Одна и та же когорта HC повторно использовалась как класс 0 во всех пяти задачах, поэтому оценки эффективности на уровне задач не являются статистически независимыми. Эта зависимость обусловлена общей когортой HC, а не пересечением групп заболеваний.
    3. Проведите стратификацию эффективности по полу и месту сбора данных и сравните полученные значения с помощью двухсторонних t-критериев Уэлча по результатам повторных 5-кратных перекрестных проверок.
  3. Выберите соответствующие каждой задаче файлы H5 и определите разбиения для перекрестной проверки.
    1. Для каждой задачи оставьте только HC и целевую группу заболевания. Сгенерируйте 10 повторений 5-кратной перекрестной проверки на уровне участников. Стратифицируйте уникальных участников по бинарному ярлыку класса (HC против целевого заболевания), чтобы сохранить распределение классов по фолдам.
    2. Используйте уникальный идентификатор участника в качестве группирующей переменной и назначьте все сессии и мультимодальные записи одного и того же участника в один и тот же фолд. Используйте случайные числа (seeds) от 1 до 10 соответственно для генерации 10 повторных разбиений перекрестной проверки. Используйте фиксированное случайное число 1 для инициализации и обучения модели.
    3. Зарезервируйте отдельный фолд исключительно для финальной оценки и сохраните идентификаторы участников, списки файлов и индексы разбиения для каждого фолда вместе с соответствующей контрольной точкой. Для каждого обучающего фолда вычислите веса классов на основе обучающих меток и используйте их в функции потерь перекрестной энтропии для уменьшения смещения, вызванного дисбалансом классов.

4. Построение архитектуры BrainMoE для компьютерной диагностики заболеваний головного мозга

ПРИМЕЧАНИЕ: Архитектура BrainMoE была разработана как компактный фреймворк слияния данных ЭЭГ-фМРТ с учетом отсутствующих модальностей, который объединяет графовый кодировщик, общую мягкую маршрутизацию нейронных состояний и интеграцию признаков на основе экспертных систем для бинарной диагностики конкретных заболеваний. Общая архитектура представлена на Рисунке 1, а код реализации приведен в Дополнительном файле 6.

  1. Определите входные данные и состояния модальностей BrainMoE. Используйте модальность ЭЭГ и модальность фМРТ после выравнивания в пространстве источников в качестве парных графовых входных данных. Здесь X обозначает матрицу региональных признаков, A обозначает специфичный для данной модальности граф мозга, и каждая строка соответствует одному из 68 регионов по атласу Десикана-Киллиана.
    figure-protocol-1
    figure-protocol-2
    Определите маску доступности модальностей как m = [мЭЭГ, мфМРТ]. Используйте m = [1,1] для полных входных данных ЭЭГ-фМРТ, m = [1,0] для входных данных только ЭЭГ и m = [0,1] для входных данных только фМРТ.
  2. Графовый кодировщик: для каждой модальности q, где q — ЭЭГ или фМРТ, передайте матрицу признаков Xq и график Aq в соответствующий конкретной модальности графовый энкодер (Graph Encoder). Энкодер представляет собой обучаемый нейронный модуль, который включает в себя проекцию узлов, передачу сообщений в графе, нормализацию, функцию активации и слой дропаута (p=0,3).
    figure-protocol-3
    ПРИМЕЧАНИЕ: В данной системе обозначений Zq представляет собой латентное представление на уровне ROI, созданное графовым кодировщиком ЭЭГ или графовым кодировщиком фМРТ. Графовый кодировщик ЭЭГ отображает каждую входную матрицу размером 68 x 250 в латентное представление размером 68 x 128, в то время как графовый кодировщик фМРТ отображает каждую входную матрицу размером 68 x 370 в латентное представление размером 68 x 128. Каждый кодировщик использует проекцию входных данных, за которой следуют два остаточных слоя графовой свертки со 128 скрытыми измерениями, функцией активации GELU, нормализацией слоя и дропаутом.
  3. Обучаемые токены пропущенных модальностей: Пусть Тв будьте токеном для модальности q и мq будет соответствующим индикатором доступности. Этот этап позволяет получить представление с учетом состояния, которое сохраняет одну и ту же структуру из 68 регионов как при полных, так и при одномодальных входных данных.
    figure-protocol-4
    ПРИМЕЧАНИЕ: Каждый обучаемый токен отсутствующей модальности представляет собой 128-мерный вектор, который расширяется на 68 строк ROI в случае недоступности соответствующей модальности.
  4. Модуль мягкой маршрутизации на основе общего нейронного состояния: первым шагом объедините представление ЭЭГ с учетом состояния ZЭЭГ, состояние-зависимое fMRI-представление ZфМРТа также встроенная маска доступности модальностей (Modality Availability Mask). Маска доступности модальностей встраивается с помощью многослойного перцептрона (MLP) с размерностью 2 → 128, активация GELU и нормализация слоев. Роутер состоит из двух одномерных сверточных слоев с размерностью каналов 384 → 128 → 128, размер ядра 3 и отступ 1. После каждой свертки применяется активация GELU, а после первой свертки — дропаут (p=0,3).
    figure-protocol-5
    figure-protocol-6
  5. Общий эксперт по нейронным состояниям.
    1. Конкатенируйте представление ЭЭГ с учетом состояния ZЭЭГ, представление fMRI с учетом состояния ZфМРТ, и представление с мягкой маршрутизацией R вдоль размерности признаков. Примените полносвязный слой слияния (с 384 до 128), затем слой нормализации (layer normalization), активацию GELU и дропаут (p=0,3), после чего выполните средний пулинг полученного представления по 68 областям интереса (ROI) для получения 128-мерного объединенного представления на уровне субъекта. zслитый:
      figure-protocol-7
    2. Пропустить zслитый через общий эксперт нейронного состояния (Shared neural-state expert), который состоит из полносвязного слоя (128 на 128), слоя нормализации (layer normalization), активации GELU и дропаута (p=0,3). Обозначим полученное 128-мерное представление общего эксперта как Eсовместный:
      figure-protocol-8
  6. Эксперты в области ЭЭГ и фМРТ.
    1. Для каждой модальности выполните усреднение (mean-pooling) представлений с учетом состояния по всем 68 областям интереса (ROI) и передайте полученное 128-мерное представление через соответствующий специфичный для данной модальности Эксперт:
      figure-protocol-9
    2. Каждый эксперт, специфичный для конкретной модальности, состоит из полносвязного слоя (128 на 128), слоя нормализации, функции активации GELU и слоя дропаута (p=0,3). Обозначим полученные 128-мерные представления экспертов, специфичных для конкретных модальностей, как ЕЭЭГ и ЕфМРТсоответственно.
  7. Модуль предохранителей.
    1. Для расчета весов экспертов объедините 128-мерное интегрированное представление на уровне субъекта zслитый с использованием двумерной маски доступности модальностей мв результате чего получается 130-мерный входной сигнал затвора (Gate). Модуль объединения (Fuse Module) содержит экспертный затвор (Expert Gate), который генерирует веса для конкретных образцов, используемые при объединении экспертов. Экспертный затвор состоит из полносвязного слоя (с 130 до 128 нейронов), за которым следуют активация GELU и дропаут (p = 0,3) и выходной полносвязный слой (со 128 до 3 нейронов). Примените функцию softmax к трем выходным логитам для получения весов экспертов для конкретного образца:figure-protocol-10
    2. Полученные веса являются неотрицательными, и их сумма для каждого образца равна 1:
      figure-protocol-11
    3. Умножьте каждое 128-мерное представление эксперта на соответствующий вес гейта (Gate) и суммируйте три взвешенных представления:
      figure-protocol-12
      ПРИМЕЧАНИЕ: Данная операция реализует плотное слияние мягких MoE (смеси экспертов).
    4. Передайте полученное конечное 128-мерное представление эксперта еслитый к головной части классификации диагностики заболеваний головного мозга, описанной в разделе 4.8.
  8. Классификатор для диагностики заболеваний мозга: пропустите итоговое 128-мерное экспертное представление через классификационную голову, состоящую из слоя нормализации (layer normalization), дропаута (dropout)p = 0,3) и полносвязный слой, отображающий 128 измерений на 2 выходных логита. Примените функцию softmax для получения вероятности HC и вероятности целевого заболевания. Присвойте образцу класс заболевания, если вероятность целевого заболевания составляет не менее 0,5.
    figure-protocol-13
  9. Проверьте согласованность реализации перед началом обучения. Выполните тестовый прямой проход при m = [1,1], m = [1,0] и m = [0,1]. Убедитесь, что представления ЭЭГ, фМРТ, чувствительного к состоянию (state-aware), маршрутизации (routing) и объединенного (fused) содержат 68 строк ROI, если не было выполнено явного пулинга, и подтвердите, что сумма весов экспертов равна 1 в следующем порядке: эксперт ЭЭГ, эксперт фМРТ и общий эксперт по нейронным состояниям.

5. Обучение пяти моделей BrainMoE для диагностики заболеваний головного мозга

  1. Обучите одну модель BrainMoE для каждой бинарной задачи по конкретному заболеванию.
    1. Используйте одну и ту же архитектуру и стандартные гиперпараметры для всех задач: 30 эпох, размер батча 16, скорость обучения 0,001, коэффициент затухания весов 0,0001. Зафиксируйте архитектуру модели и гиперпараметры перед оценкой на тестовой выборке и оставьте их неизменными для всех фолдов, повторений и задач по конкретным заболеваниям.
    2. Не используйте результаты на отложенной тестовой выборке для выбора модели или подбора гиперпараметров. Для каждого мини-батча выполните три прямых прохода, используя полные маски, маски только для ЭЭГ и маски только для фМРТ с общими весами модели. Запустите обучение BrainMoE следующим образом: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (Дополнительный файл 6). Установите значение <TASK> как depression, anxiety, reading_disorder, autism или adhd.
  2. Оптимизируйте усредненную функцию потерь классификации трех состояний. Вычислите взвешенную по классам перекрестную энтропию Ls для каждого состояния как
    figure-protocol-14
    и усредните потери следующим образом
    figure-protocol-15
  3. Сбросьте градиенты, выполните обратное распространение ошибки и обновите все обучаемые параметры с помощью AdamW.

6. Оценка состояний вывода при полном наборе и отсутствии модальностей

  1. Метод оценки: Загрузите контрольную точку (checkpoint) для выбранной задачи по заболеванию и используйте сохраненный список тестовых файлов из этой же контрольной точки. Используйте m = [1,1] для полного вывода (inference) по данным ЭЭГ-фМРТ, m = [1,0] для вывода только по ЭЭГ и m = [0,1] для вывода только по фМРТ. В завершение примените функцию softmax для получения вероятности целевого заболевания и присвойте класс заболевания, если вероятность составляет не менее 0.5.
  2. Метрики оценки: Рассчитайте метрики оценки на основе матрицы ошибок, где TP обозначает образцы с заболеванием, правильно классифицированные как больные, TN обозначает здоровый контроль (HC), правильно классифицированный как здоровый, FP обозначает HC, ошибочно классифицированный как больной, а FN обозначает образцы с заболеванием, ошибочно классифицированные как здоровые.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. Используйте точность (accuracy) для отчета об общем показателе правильной классификации. Используйте чувствительность (sensitivity) для количественной оценки выявления положительных случаев заболевания и специфичность (specificity) для количественной оценки идентификации HC.
  4. Используйте F1-меру для обобщения баланса между прецизионностью (precision) и чувствительностью. Используйте сбалансированную точность (balanced accuracy) для снижения влияния дисбаланса классов. Кроме того, рассчитайте AUC для оценки дискриминационной способности, не зависящей от выбора порога принятия решения.
  5. Для каждого повторения вычислите среднее значение каждой метрики эффективности по пяти отложенным блокам (folds). Представьте окончательные результаты в виде среднего значения и стандартного отклонения для 10 средних значений по повторениям.
  6. Сравните BrainMoE с базовыми методами. Все базовые методы использовали те же разделения на уровне участников и полные входные данные ЭЭГ-фМРТ, что и BrainMoE, при этом конфигурации были зафиксированы до проведения отложенной оценки. BrainMoE сравнивали с каждым базовым методом с помощью двусторонних парных t-критериев с поправкой Холма.

7. Выполнение атрибуции окклюзии узлов на групповом уровне для пяти заболеваний головного мозга

  1. Определите когорту для анализа атрибуции. Загрузите обученную контрольную точку (checkpoint) BrainMoE и файл с названиями областей DK. Выберите положительные тестовые образцы заболевания, которые были правильно классифицированы при полном состоянии ЭЭГ-фМРТ с m = [1,1]. Используйте эту когорту для анализа атрибуции на групповом уровне и сохраните исходную вероятность целевого заболевания для каждого образца.
  2. Вычислите показатели окклюзии узлов для каждой модальности. Для атрибуции на основе ЭЭГ последовательно окклюзируйте каждую область интереса (ROI) ЭЭГ, обнуляя вектор признаков выбранного узла ЭЭГ, а также соответствующую строку и столбец графа ЭЭГ, оставляя при этом входные данные фМРТ без изменений. Для атрибуции на основе фМРТ выполните ту же операцию с матрицей признаков узлов фМРТ и графом фМРТ, оставляя входные данные ЭЭГ без изменений. Повторите эту процедуру для всех 68 областей DK. Выполните анализ атрибуции методом окклюзии узлов, используя код, представленный в Дополнительном файле 7.
  3. Рассчитайте и визуализируйте вклад ROI на групповом уровне. Для каждой ROI и каждой модальности рассчитайте показатель вклада как среднее снижение вероятности целевого заболевания после окклюзии по всем выбранным образцам. Отранжируйте показатели, полученные на основе ЭЭГ и фМРТ, по отдельности, экспортируйте топ-10 ROI для каждой модальности и отметьте ROI с наивысшим рангом на рисунке.

Результаты

Эффективность BrainMoE при различных заболеваниях и состояниях модальности
В ходе реализации протокола были созданы пять специфичных для каждого заболевания классификаторов BrainMoE (здоровые пациенты против больных), а также сформированы таблицы прогнозов для состояний вывода с использованием полного набора данных EEG-fMRI, только EEG и только fMRI. Состояние полного набора EEG-fMRI обеспечило стабильно высокую дискриминацию в пяти задачах, при этом значения AUC варьировались от 84,4 ± 3,2% для RI до 88,4 ± 3,8% для ASD (Таблица 1). Среднемакроскопическая эффективность полного состояния по пяти задачам достигла 86,9 ± 3,0% AUC, 81,4 ± 3,1% точности (accuracy), 81,4 ± 2,5% сбалансированной точности (balanced accuracy) и 81,2 ± 3,0% F1-меры.

В условиях симулированного отсутствия модальностей BrainMoE сохранял приемлемую эффективность при маскировании одной из входных модальностей. В режиме использования только ЭЭГ модель достигла макро-усредненного значения AUC 83.1 ± 3.7%, при этом самый высокий показатель AUC только по ЭЭГ наблюдался для СДВГ и составил 87.9 ± 2.8%. В режиме использования только фМРТ макро-усредненный AUC составил 80.0 ± 3.9%. Эти диапазоны эффективности и ожидаемое преимущество при использовании полного набора состояний служат практическими ориентирами для успешной реализации, указывая на то, что обученная структура BrainMoE может выполнять полный вывод, а также вывод только по ЭЭГ или только по фМРТ без использования отдельных моделей для каждой модальности.

Репрезентативным субоптимальным результатом является невозможность воспроизвести ожидаемое преимущество в производительности при использовании полного состояния; например, когда AUC для совмещенных данных EEG-fMRI ниже, чем AUC только для EEG или только для fMRI. Напротив, успешная реализация должна воспроизвести преимущество полного состояния и диапазоны контрольных показателей производительности, указанные в Таблице 1. При обнаружении субоптимального паттерна, перед интерпретацией выходных данных модели, проверьте размерности входных данных H5, порядок регионов DK, назначение маски доступности модальностей и сохраненные разделы кросс-валидации.

Сравнительный анализ
Предложенная модель BrainMoE была сопоставлена с классическими методами машинного обучения (метод опорных векторов (SVM) и многослойный перцептрон (MLP)), общими методами глубокого обучения (Transformer7, 3D-CNN22 и ResNet6), передовыми методами глубокого обучения (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), а также методами глубокого обучения на основе MoE (dFCExpert17, EvoMoE18 и NeuroMoE++19) (Таблица 2). Модель BrainMoE достигла самого высокого среднего значения AUC среди всех сравниваемых методов, составившего 86.9 ± 3.0%.

Классические методы машинного обучения продемонстрировали более низкую среднюю эффективность: SVM достиг среднего значения AUC 66,7 ± 4,5%, а MLP — 64,6 ± 6,3%. Общие методы глубокого обучения показали переменную эффективность: ResNet достиг среднего AUC 71,0 ± 3,3%, а Transformer — 63,8 ± 4,7%. Среди продвинутых базовых моделей глубокого обучения BNT, BrainGNN, MultiEpilepsyNet и SZAtt-Net превзошли большинство классических и общих методов глубокого обучения, однако их средние значения AUC оставались ниже, чем у BrainMoE.

Для обеспечения статистической достоверности эталонного сравнения BrainMoE сопоставляли с наиболее сильным базовым решением по каждому показателю эффективности (Таблица 3). BrainMoE превзошел NeuroMoE++ по показателям AUC и сбалансированной точности (BA), а также превзошел SZAtt-Net по F1-мере и точности. Все сравнения остались статистически значимыми после поправки Холма.

Анализ подгрупп по полу и месту сбора данных
Характеристики когорт для конкретных задач, включая количество сохраненных мультимодальных записей, соотношения больных и контрольной группы, количество уникальных участников, сводные данные по возрасту, распределение по полу и распределение по местам сбора данных, приведены в таблице характеристик когорт (Таблица 4). Соотношения больных и контрольной группы рассчитаны на основе количества мультимодальных записей, тогда как демографические характеристики и данные о местах сбора обобщены на уровне уникальных участников.

Для оценки потенциального влияния пола и места получения данных показатели эффективности BrainMoE были стратифицированы по этим факторам (Таблица 5). В подгруппе мужчин средние значения AUC, BA, F1-меры и точности оказались выше, чем в подгруппе женщин, при этом соответствующие нескорректированные значения p по критерию Уэлча варьировались от 0,089 до 0,321. Аналогичным образом, в подгруппе RUBIC средние показатели эффективности были выше, чем в подгруппе Staten Island, при этом значения p варьировались от 0,055 до 0,309. В ходе данного анализа статистически значимых различий между подгруппами выявлено не было.

Абляционный анализ компонентов BrainMoE
Были проведены абляционные эксперименты для оценки вклада маски доступности модальностей, сверточного роутера, общего эксперта и архитектуры слияния экспертов MoE (Таблица 6). Удаление эмбеддинга маски снизило средний показатель AUC до 79,2 ± 3,1%, а замена сверточного роутера на MLP-роутер снизила его до 79,3 ± 3,7%. Удаление общего эксперта привело к снижению AUC только для fMRI до 73,5 ± 3,3%, что стало самым низким показателем среди протестированных вариантов. Удаление всех экспертов MoE также снизило общую сбалансированную точность до 74,2 ± 3,0%. Эти результаты абляционного анализа показали, что полная архитектура BrainMoE обеспечивает наилучшую общую производительность как при наличии всех модальностей, так и при их отсутствии, в то время как эмбеддинг маски, сверточный роутер, общий эксперт и слияние экспертов MoE вносят свой вклад в итоговое поведение модели.

Результаты интерпретируемости на уровне ROI для пяти заболеваний головного мозга
Для изучения региональных вкладов, лежащих в основе прогнозов BrainMoE, было выполнено присвоение атрибутов методом окклюзии узлов для правильно классифицированных образцов с положительным результатом заболевания в полном состоянии ЭЭГ-фМРТ. Вклады ROI, полученные на основе ЭЭГ и фМРТ, ранжировались отдельно путем измерения снижения вероятности целевого заболевания после окклюзии каждого региона атласа DK. Анализ выявил специфические для каждой модальности паттерны вкладов в пяти задачах по заболеваниям (Рисунок 2). Для атрибуции на основе фМРТ наиболее значимыми регионами оказались левая задняя поясная извилина при MDD, правая перикалкариновая кора при ANX, левая парагиппокампальная кора при RI, правая треугольная часть средней лобной извилины при ASD и левая энторинальная кора при ADHD. Для атрибуции на основе ЭЭГ наиболее значимыми регионами были левые берега верхней височной борозды при MDD, левая прецентральная кора при ANX, левый клин при RI, левая язычная кора при ASD и правая островковая доля при ADHD. Наивысшие по рангу ROI, полученные на основе ЭЭГ и фМРТ для каждого заболевания, визуализированы на поверхностях коры на Рисунке 3. Эти результаты показали, что BrainMoE обеспечивает интерпретируемость на уровне ROI, сохраняя при этом раздельные профили атрибуции для представлений, полученных на основе ЭЭГ и фМРТ. Для правильно классифицированных образцов с положительным результатом заболевания оценивалась стабильность между фолдами с использованием частоты появления ROI Top-1 в 50 исключенных фолдах (Таблица 7). Наблюдаемые частоты варьировались от 36% до 68%, что превышает теоретический порог случайного выбора 1/68 (1,47%) и подтверждает возможность интерпретации на основе относительного ранжирования, а не абсолютных величин вклада. Сравнения с предыдущими нейровизуализационными данными проводились post hoc и использовались только для контекстуализации результатов атрибуции, а не в качестве независимой валидации.

figure-results-1
Рисунок 1: Обзор структуры BrainMoE с адаптивным слиянием данных ЭЭГ-фМРТ для компьютерной диагностики заболеваний головного мозга. Приведенные к источнику признаки ЭЭГ и ROI фМРТ обрабатываются отдельными графовыми кодировщиками. Полученные представления передаются экспертам по ЭЭГ и фМРТ, а также совместно с маской доступности модальностей в общий модуль мягкой маршрутизации (Soft-Routing Module). Представления модальностей и представление маршрутизации объединяются и обрабатываются общим экспертом по нейронным состояниям. Затем выходы трех экспертов объединяются в модуле слияния (Fuse Module) и передаются в классификационную голову диагностики для расчета вероятностей принадлежности к группе здорового контроля (HC) и группе с целевым заболеванием. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-results-2
Рисунок 2: Анализ вклада ROI на основе окклюзии узлов. Визуализированы 10 наибольших вкладов ROI, полученных на основе ЭЭГ и фМРТ, для каждой задачи по заболеванию при полном состоянии вывода ЭЭГ-фМРТ. Панели (A–E) показывают результаты на основе фМРТ для MDD, ANX, RI, ASD и ADHD соответственно, а панели (F–J) показывают соответствующие результаты на основе ЭЭГ в том же порядке. На каждом графике отмечен только ROI с наивысшим рангом. Вклад ROI определялся как снижение вероятности целевого заболевания после окклюзии соответствующей области атласа DK. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-results-3
Рисунок 3: Карты интерпретируемости на уровне ROI коры при пяти заболеваниях головного мозга. Панели (A–E) демонстрируют БРД, ГТР, RI, РАС и СДВГ соответственно. На каждой панели на поверхности коры DK красным цветом выделен ROI с наивысшим рангом, полученный на основе ЭЭГ, а оранжевым — ROI с наивысшим рангом, полученный на основе фМРТ. Цвета указывают на модальность, а не на величину вклада; следовательно, количественная цветовая шкала не применяется. Префиксы lh и rh обозначают левое и правое полушария соответственно. Нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Задача по заболеваниюСостояниеAUCТочностьBAF1ЧувствительностьСпецифичность
MDDПолное88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDТолько ЭЭГ83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDТолько фМРТ82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXПолное85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXТолько ЭЭГ81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXТолько фМРТ74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIПолное84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIТолько ЭЭГ80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIТолько фМРТ81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDПолное88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDТолько ЭЭГ82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDТолько фМРТ81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDПолное88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDТолько ЭЭГ87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDТолько фМРТ80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Таблица 1: Эффективность классификации BrainMoE при выполнении задач по различным заболеваниям и в зависимости от доступности модальностей. Эффективность BrainMoE для пяти задач классификации «здоровые против больных» в условиях полного набора данных EEG-fMRI, только EEG и только fMRI. Метрики представлены в виде среднего значения ± стандартного отклонения и включают площадь под ROC-кривой (AUC), точность (accuracy), сбалансированную точность (BA), F1-меру, чувствительность и специфичность.

МетодГруппа методовСреднее значение AUCСредняя BAСреднее значение F1Средняя точность
Метод опорных векторов (SVM)Классическое машинное обучение66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
Многослойный перцептронКлассическое машинное обучение64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
ТрансформаторУниверсальное глубокое обучение63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
Трехмерная сверточная нейронная сеть (3D-CNN)Универсальное глубокое обучение65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetОбщий DL71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNПродвинутое глубокое обучение70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTПродвинутое глубокое обучение73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNПродвинутое глубокое обучение72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetПродвинутое глубокое обучение78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetПродвинутое глубокое обучение78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertГлубокое обучение на основе смеси экспертов (MoE)80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEГлубокое обучение на основе MoE (смеси экспертов)79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++Глубокое обучение на основе MoE (смеси экспертов)81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (наша разработка)DL на основе MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Таблица 2: Средние показатели эффективности классификации BrainMoE в сравнении с классическими методами машинного обучения, общими моделями глубокого обучения и продвинутыми архитектурами глубокого обучения для нейровизуализации. Результаты агрегированы по всем оцениваемым задачам классификации заболеваний и представлены в виде среднего значения ± стандартного отклонения для AUC, BA, F1-меры и точности.

СравнениеСреднее AUCСреднее BAСреднее F1Средняя точность
Наилучший базовый методNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Показатели наилучшего базового метода81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Разница+5.4+3.5+3.8+3.3
p-значение t-критерия0.00060.00650.01870.0276
p* с поправкой Холмаp < 0.01p < 0.05p < 0.05p < 0.05
dz Коэна1.631.110.910.83

Таблица 3: Сравнение BrainMoE с наиболее сильным базовым вариантом по каждому показателю эффективности. Значения p были рассчитаны с использованием двусторонних парных t-критериев и скорректированы с помощью процедуры Холма. Cohen's dz обозначает стандартизированную парную разность.

КогортаМультимодальные записи (n)Соотношение больных и контрольной группыУникальные участники (n)Возрастной диапазон (лет)Пол (Мужчины/Женщины)Место сбора данных (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Таблица 4: Характеристики когорт исследования, использованных в пяти задачах классификации специфических заболеваний. В таблице указано количество сохраненных мультимодальных записей, соотношение больных и контрольной группы, число уникальных участников, демографические характеристики и распределение по центрам сбора данных.

ПодгруппаКоличествоСреднее AUCСреднее BAСреднее F1Средняя точность
Пол
Мужской70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Женский39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Разница+1.6+2.2+2.4+2.9
p Уэлча--0.3210.1920.1590.089
Место сбора данных
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Разница+2.4+1.6+2.9+3.3
p Уэлча--0.1760.3090.0850.055

Таблица 5: Эффективность BrainMoE в зависимости от пола и места получения данных. Результаты представлены в виде среднего значения ± стандартного отклонения по 10 повторениям 5-кратной перекрестной проверки. Разница представляет собой результат первой подгруппы минус результат второй; значения P были получены с помощью двухстороннего t-критерия Уэлча.

ВариантПолная площадь под кривой (AUC)AUC только по ЭЭГAUC только по данным фМРТСреднее значение AUCСреднее значение BA
без эмбеддинга маски83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
без сверточного маршрутизатора84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
Маршрутизатор MLP82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
без общего эксперта83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
без экспертов MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (собственная разработка)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Таблица 6: Абляционный анализ ключевых компонентов BrainMoE. Результаты абляции, демонстрирующие вклад маски доступности модальностей, сверточного маршрутизатора, общего эксперта и конструкции слияния экспертов MoE. Каждый вариант оценивается в условиях вывода при наличии полных данных EEG-fMRI, только EEG и только fMRI; общая эффективность представлена средними значениями AUC и BA.

ЗаболеваниеЭЭГ: наиболее значимая область интереса (ROI)ЭЭГ: частота с максимальной амплитудой, n/N (%)фМРТ: наиболее значимая область интереса (ROI)фМРТ: Частота встречаемости наиболее частого значения, n/N (%)Случайный уровень (% )
БАР (большое депрессивное расстройство)левые берега верхней височной борозды22/50 (44%)левая задняя часть поясной извилины25/50 (50%)1.47
ANXлевая прецентральная извилина коры18/50 (36%)правая перикалкарная кора21/50 (42%)1.47
РИлевый кунеус26/50 (52%)левая парагиппокампальная кора29/50 (58%)1.47
РАСлевая язычная кора27/50 (54%)правая треугольная часть средней лобной извилины28/50 (56%)1.47
СДВГправая островковая доля31/50 (62%)левая энторринальная кора34/50 (68%)1.47

Таблица 7: Перекрестная стабильность наиболее значимых областей интереса (ROI), определенных на основе ЭЭГ и фМРТ. Top-1 частота указывает количество и процент анализов на уровне 50-кратного перекрестного складывания, в которых указанная ROI заняла первое место. Теоретический эталон при случайном выборе составил 1/68 (1,47%).

Дополнительный файл 1: Скрипт проверки входных данных H5. Скрипт на языке Python для проверки необходимых ключей H5, типов данных, диагностических меток и размерностей входных данных, совместимых с атласом DK, перед началом обучения BrainMoE. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 2: Скрипт для предобработки фМРТ. Конфигурационные и исполнительные файлы C-PAC, использованные для предобработки фМРТ, включая удаление начальных сканов, коррекцию движения и искажений, регистрацию и нормализацию, регрессию мешающих факторов, временную фильтрацию и пространственное сглаживание. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 3: Скрипты обработки FreeSurfer. Скрипты для обработки данных структурной МРТ, совмещения корковой парцелляции Дезикана-Киллиани с нативным пространством фМРТ и извлечения сигналов фМРТ на уровне областей интереса (ROI). Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 4: Скрипты для предобработки ЭЭГ. Скрипты MATLAB/EEGLAB, используемые для предобработки ЭЭГ, включая фильтрацию, идентификацию и удаление артефактных компонентов, а также перепривязку референса. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 5: Скрипт MNE-Python для локализации источников и извлечения признаков. Python-скрипт для локализации источников ЭЭГ, извлечения областей интереса (ROI) по атласу DK и генерации признаков ЭЭГ на уровне ROI, используемых в качестве входных данных для BrainMoE. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 6: Код реализации BrainMoE. Код на языке Python и конфигурационные файлы для архитектуры BrainMoE, графовых энкодеров, обработки состояний модальностей, маршрутизации и слияния экспертов, обучения модели, оценки и вариантов абляционного анализа. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 7: Код для атрибуции при окклюзии узлов. Код на языке Python для анализа окклюзии узлов с учетом конкретных модальностей, расчета показателей вклада областей интереса (ROI), ранжирования ROI, полученных с помощью ЭЭГ и фМРТ, и генерации результатов атрибуции. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Мультимодальный анализ сигналов мозга стал важным направлением в компьютерной диагностике заболеваний головного мозга, поскольку ЭЭГ и фМРТ предоставляют взаимодополняющую информацию о нейронной активности. В сравнительном анализе классические методы машинного обучения, такие как SVM и MLP, продемонстрировали базовую диагностическую эффективность, но имели ограниченную способность моделировать иерархические, графовые и кросс-модальные взаимодействия признаков. Универсальные модели глубокого обучения, включая 3D-CNN, ResNet и Transformer, обеспечили более высокую способность к нелинейному моделированию, однако эти архитектуры не были специально разработаны для слияния данных ЭЭГ-фМРТ или представления нейронных сетей мозга. Современные методы глубокого обучения достигли более высоких результатов, чем большинство классических и универсальных моделей, но многие из них по-прежнему опирались на фиксированные стратегии интеграции признаков и не разделяли эксплицитно специфическую для каждой модальности информацию и общую информацию о нейронном состоянии.

В данном исследовании был предложен метод BrainMoE для решения проблемы слияния данных путем объединения кодировщиков модальностей на основе графов, специализированных экспертов для каждой модальности, общего эксперта нейронного состояния и механизма адаптивной маршрутизации. Такая архитектура позволила моделировать представления, полученные на основе ЭЭГ и фМРТ, раздельно, а затем интегрировать их посредством слияния на уровне экспертов. Благодаря внедрению масок состояния модальности и токенов отсутствующей модальности, одна и та же обученная модель могла выполнять вывод только по ЭЭГ или только по фМРТ без необходимости создания отдельных моделей для каждого случая отсутствия данных. Результаты экспериментов показали, что BrainMoE достиг наилучших общих показателей в пяти задачах бинарной классификации заболеваний и сохранил приемлемую эффективность как в режиме только ЭЭГ, так и в режиме только фМРТ. Абляционный анализ дополнительно подтвердил вклад эмбеддинга масок, сверточного маршрутизатора, общего эксперта и слияния экспертов MoE. Эти результаты указывают на то, что повышение эффективности было обусловлено не одним компонентом, а скоординированным сочетанием графового кодирования, моделирования состояния модальности, адаптивной маршрутизации и слияния экспертов.

Критические этапы протокола и поиск и устранение неисправностей
Критические этапы протокола включают сохранение одного и того же порядка 68 регионов DK в матрицах узлов и графов ЭЭГ и фМРТ, независимое применение предопределенных настроек предобработки для каждого участника и обеспечение перекрестной проверки на уровне участников, чтобы все записи одного и того же участника оставались в одном фолде. Маска доступности модальностей также должна соответствовать предоставленным входным данным для каждого состояния вывода.

Если вывод данных не удается выполнить или ожидаемое преимущество в производительности при использовании полного состояния не воспроизводится, в первую очередь проверьте необходимые ключи H5, размерности матриц EEG и fMRI, порядок регионов DK, назначение маски доступности модальностей (Modality Availability Mask) и сохраненные разделы кросс-валидации. Файлы с отсутствующими ключами, неверными размерностями или несоответствием порядка регионов следует исключить перед обучением или оценкой. Архитектуру можно модифицировать для альтернативных вариантов коркового парцеллирования или представлений признаков EEG/fMRI при условии, что обе модальности сопоставлены с единым порядком ROI, а соответствующие размерности входных данных модели скорректированы. Специализированный для конкретного заболевания классификатор также может быть адаптирован для других задач бинарной классификации с сохранением структуры графового кодирования и объединения экспертных данных (expert-fusion). Такие модификации требуют повторного обучения и валидации, а не прямого применения моделей, представленных в данной работе.

Анализ интерпретируемости на основе окклюзии узлов
Анализ окклюзии узлов дополнительно обеспечил интерпретируемость прогнозов BrainMoE на уровне ROI (областей интереса), при этом наиболее значимые ROI, связанные с заболеваниями, показаны на рисунке 3. Выявленная BrainMoE левая задняя ROI на основе ЭЭГ согласуется с предшествующими данными метаанализа на основе вокселей23, сообщающими об измененной внутренней активности мозга в задних корковых областях при БРЛ. Левая прецентральная и правая перикалкаральная ROI, полученные на основе ЭЭГ/фМРТ, согласуются с предыдущими данными нейровизуализации при тревожных расстройствах: метаанализ толщины коры24 показал увеличение толщины коры в левой прецентральной извилине у пациентов с тревожными расстройствами, а исследование сети структурной ковариации25 при социальном тревожном расстройстве выявило аномальную центральность узлов с участием правой перикалкаральной коры. Для нарушений чтения левая клиновидная ROI на основе ЭЭГ согласуется с исследованием коннективности всего мозга26, сообщающим об измененной связности левой клиновидной области при дислексии, тогда как левая парагиппокампальная ROI на основе фМРТ согласуется с отдельным исследованием27, сообщающим об аномальном взаимодействии парагиппокампальной и гиппокампальной областей у подростков со специфическим дефицитом понимания прочитанного. В задаче по расстройствам аутистического спектра левая язычная ROI, выделенная на основе атрибуции по ЭЭГ, перекликается с предыдущими данными фМРТ в состоянии покоя28 о снижении ReHo в левой язычной извилине у мальчиков допубертатного периода с РАС. Правая ROI pars triangularis на основе фМРТ также биологически правдоподобна, так как об измененном ALFF в правой pars triangularis нижней лобной извилины сообщалось29 у детей с аутизмом. Для СДВГ правая островковая ROI на основе ЭЭГ соответствует данным структурной МРТ30, демонстрирующим снижение объема передней части островка у молодежи с СДВГ, особенно с участием короткой извилины правого островка. Левая энторинальная ROI на основе фМРТ может отражать более специфичный для подтипа результат, так как в отдельном исследовании в журнале Psychological Medicine31 сообщалось о меньшем объеме левой энторинальной коры в подгруппе СДВГ-C после коррекции FDR. Тем не менее, эти результаты следует интерпретировать с учетом межрегиональной зависимости, поскольку коррелирующие сигналы ROI могут препятствовать полной изоляции вклада отдельного региона при окклюзии одного узла и могут привести к консервативным оценкам.

Ограничения и перспективы
Несмотря на использование повторной 5-кратной перекрестной проверки для получения внутренних оценок эффективности, будущие исследования с применением вложенной перекрестной проверки или независимой внешней валидации позволили бы дополнительно укрепить оценку стабильности выбора модели и ее обобщающей способности. Поскольку результаты только для ЭЭГ и только для фМРТ были получены путем маскирования одной модальности в полных мультимодальных записях и не оценивались на внешней валидационной когорте, в будущих исследованиях следует включить внешние одномодальные валидационные когорты для оценки обобщающей способности. Дополнительным ограничением является то, что дизайн исследования «здоровые против одной болезни» не учитывает коморбидные состояния, что ограничивает клиническую применимость и обосновывает проведение будущих исследований по многоклассовой классификации и дифференциальной диагностике. В дальнейшей работе также можно оценить надежность ассоциаций ЭЭГ на уровне источников с использованием оценщиков связности, учитывающих утечку сигнала. Хотя общее парцеллирование DK обеспечивает анатомически обоснованный интерфейс для мультимодального слияния, это является допущением моделирования, которое может не полностью отражать специфические для каждой модальности различия во временном разрешении и физиологическом происхождении. Помимо пяти расстройств, рассмотренных здесь, данная платформа может быть адаптирована для других задач классификации неврологических или психиатрических заболеваний, включающих анатомически согласованные мультимодальные данные о мозге, а также расширена для приложений многоклассовой или дифференциальной диагностики.

Заключение
Подводя итог, BrainMoE представляет собой практическую и интерпретируемую платформу для объединения данных ЭЭГ и фМРТ в целях компьютерной диагностики заболеваний головного мозга. Его основным преимуществом является адаптивная интеграция мультимодальных признаков, реализованная за счет многоэкспертной архитектуры и механизма «мягкой» маршрутизации (soft-routing), который динамически балансирует специфичную для конкретной модальности и общую информацию. Кроме того, благодаря бесшовной интеграции масок состояний модальностей и токенов отсутствующих модальностей, одна и та же обученная модель демонстрирует стабильную работу при выводе с неполным набором модальностей, не требуя отдельных конфигураций. Что крайне важно, интерпретируемая платформа обеспечивает прозрачные пути региональной атрибуции на групповом уровне для пяти различных заболеваний головного мозга, превращая традиционную архитектуру «черного ящика» в физиологически обоснованный инструмент компьютерной диагностики. Это имеет большое значение для будущих рабочих процессов в области вычислительной нейровизуализации, где разнородные источники данных, неполная доступность модальностей и объяснимость результатов работы модели являются ключевыми аспектами.

Раскрытие информации

Авторы заявляют об отсутствии конфликта интересов. Авторы заявляют, что при подготовке данной рукописи, написании кода, анализе данных или создании графиков не использовались инструменты генеративного искусственного интеллекта.

Благодарности

Данное исследование было профинансировано Национальным природным научным фондом Китая по грантам № 62433002, 62277001 и U25A20446, Проектом по созданию и поддержке высокоуровневых инновационных групп муниципальных учреждений Пекина по гранту № BPHR20220104, а также Программой пекинских ученых по гранту № 099.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
BashGNU Project5.1.16(1)-releaseПрограммное обеспечение
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1Программное обеспечение
CUDA ToolkitNVIDIA CorporationVersion 12.4Программное обеспечение
CUDA-compatible GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUОборудование
Desikan-Killiany cortical atlasFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)Атлас/ресурс
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)Программное обеспечение
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)Программное обеспечение
FSLFMRIB, University of OxfordПоставляется в комплекте с C-PAC 1.8.7; точная версия не указана (RRID:SCR_002823)Программное обеспечение
Healthy Brain Network (HBN) datasetChild Mind InstituteRRID:SCR_016989Набор данных
MATLABMathWorksR2022a (RRID:SCR_001622)Программное обеспечение
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)Программное обеспечение/библиотека
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)Программное обеспечение
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)Библиотека

Ссылки

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Перепечатки и разрешения

Теги

слияние ЭЭГ и фМРТмультимодальная визуализация мозгакомпьютерная диагностикаграфовые энкодерыкарты атрибуции ROIэксперт нейронного состояниямаски состояния модальностианализ окклюзии узлов

Эта статья была опубликована

Видео скоро будет доступно

Связаться с нами
Порекомендовать библиотеке

Конфиденциальность

Условия использования

Политики

© 2026 MyJoVE Corporation. Все права защищены.