Методическая статья

Слияние данных электроэнцефалографии и функциональной магнитно-резонансной томографии на основе смеси экспертов для интерпретируемой компьютерной диагностики заболеваний головного мозга

89 просмотров

⸱

DOI:

10.3791/73432

⸱

25 сентября 2026 г.

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

В этой статье

Краткое содержание

В данном протоколе представлен Brain Mixture-of-Experts — адаптивная и интерпретируемая платформа слияния данных электроэнцефалографии и функциональной магнитно-резонансной томографии для компьютерной диагностики заболеваний головного мозга. Метод интегрирует гетерогенные представления ЭЭГ и фМРТ с помощью модально-специфичных экспертов, общего эксперта нейронного состояния и адаптивной маршрутизации, обеспечивая при этом интерпретируемость и возможность вывода в условиях симулированного отсутствия одной из модальностей.

Аннотация

Электроэнцефалография (ЭЭГ) и функциональная магнитно-резонансная томография (фМРТ) предоставляют взаимодополняющую информацию о функциях мозга и демонстрируют значительные перспективы в выявлении функциональных нарушений при различных заболеваниях головного мозга. Однако различные характеристики сигналов и разрозненные репрезентативные пространства ЭЭГ и фМРТ создают серьезные трудности для эффективного мультимодального объединения, что препятствует точной компьютерной диагностике заболеваний мозга с использованием традиционных фиксированных моделей. В данном исследовании представлена Brain Mixture-of-Experts (BrainMoE) — адаптивная и интерпретируемая платформа слияния ЭЭГ и фМРТ для компьютерной диагностики заболеваний головного мозга, объединяющая мультимодальные признаки мозга с помощью модально-специфических экспертов, общего эксперта нейронных состояний и механизма адаптивной маршрутизации. BrainMoE сначала проецирует сигналы ЭЭГ и фМРТ в единое пространство областей интереса (ROI) атласа Десикана-Киллиани (DK), затем использует графовые кодировщики для извлечения специфичных для каждой модальности представлений сетей мозга. Модуль мягкой маршрутизации формирует маршрутное представление, а вентиль экспертов (Expert Gate) в модуле слияния (Fuse Module) генерирует веса для конкретных образцов, чтобы объединить представления ЭЭГ, фМРТ и общего эксперта нейронных состояний. Для обработки сценариев с неполным сбором данных используются маски состояний модальностей и токены отсутствующих модальностей, что позволяет одной обученной модели выполнять вывод на основе полных данных ЭЭГ-фМРТ, только ЭЭГ или только фМРТ. Наконец, анализ окклюзии узлов предоставляет карты атрибуции на уровне ROI для прогнозов, полученных как на основе ЭЭГ, так и на основе фМРТ. Платформа была протестирована на наборе данных Healthy Brain Network (HBN) в пяти задачах бинарной классификации заболеваний мозга, включая большое депрессивное расстройство, тревожное расстройство, нарушения чтения, расстройства аутистического спектра и синдром дефицита внимания с гиперактивностью. BrainMoE превзошла современные алгоритмы сравнения, достигнув среднего значения AUC 86.9 ± 3.0%, а эксперименты по абляции подтвердили вклад компонентов маршрутизации и слияния экспертов. Кроме того, анализ интерпретируемости позволил выявить вклад ROI на групповом уровне в классификацию заболеваний, что согласуется с ранее опубликованными данными нейровизуализации. Данный метод поддерживает компьютерную диагностику заболеваний головного мозга, решая проблему интеграции гетерогенных нейронных представлений ЭЭГ-фМРТ при сохранении интерпретируемости и возможности выполнения вывода в условиях имитации отсутствия одной из модальностей.

Введение

Заболевания головного мозга сопровождаются сложными изменениями нейронной активности и организации сетей мозга, которые трудно охарактеризовать с помощью одного метода визуализации1. После реконструкции источников2 ЭЭГ позволяет получить данные об электрофизиологической активности на уровне регионов, тогда как функциональная магнитно-резонансная томография (фМРТ) фиксирует функциональную связность на уровне регионов, что дает взаимодополняющее представление о функциях мозга. Для облегчения интеграции этих данных в предыдущих мультимодальных исследованиях обе модальности были сопоставлены с атласом Desikan-Killiany (DK), состоящим из 68 регионов3. Хотя такое пространственное соответствие не означает эквивалентности временного разрешения или физиологического происхождения, оно обеспечивает единый анатомический индекс для слияния графов на уровне узлов, фиксированные размеры графа и согласованную интерпретацию на уровне областей интереса (ROI) при сохранении специфической для каждой модальности информации. Интеграция этих анатомически выровненных, но специфичных для каждой модальности представлений может обогатить представления сигналов мозга, связанных с заболеванием, и помочь в компьютерной диагностике расстройств головного мозга3,4.

Несмотря на потенциал объединения ЭЭГ и фМРТ для компьютерной диагностики заболеваний головного мозга, гетерогенность этих двух модальностей создает технические трудности для их эффективной интеграции. Классические методы машинного обучения, такие как SVM и MLP, позволяют создавать базовые модели классификации, однако они обладают ограниченной способностью улавливать нелинейные кросс-модальные взаимодействия. Универсальные модели глубокого обучения, включая архитектуры GNN5, ResNet6 и Transformer7, обеспечивают более эффективное обучение представлениям, но они не предназначены специально для графов мозга на уровне ROI или моделирования состояний модальностей. Современные передовые модели3,8,9 обладают повышенной нелинейной сложностью для более точного моделирования сетей мозга. Модель BrainNetCNN8 была представлена для адаптации сверточных операций к матрицам связности мозга; BrainGNN9 далее моделировала топологию графа на уровне ROI с использованием графовых нейронных сетей и пулинга; а BNT10 впоследствии усилила анализ функциональных сетей мозга с помощью многоуровневого внимания на базе трансформеров. Тем не менее, эти достижения в основном разрабатывались для одномодальных условий. Затем MultiEpilepsyNet11 расширила возможности мультимодального обучения для обнаружения эпилептических приступов по ЭЭГ и МРТ с помощью федеративного гибридного фреймворка, а ее модуль EpiSkullNet++ на стороне МРТ улучшил сегментацию и предобработку изображений мозга. Впоследствии SZAtt-Net12 разработала мультимодальную модель классификации шизофрении, объединив блоки CNN, BiGRU и MLP с механизмами канального, собственного, пространственного и временного внимания. Однако эти методы оставались специфичными для конкретных задач и опирались на относительно фиксированные схемы слияния, не поддерживая явным образом адаптивную маршрутизацию между состояниями с полным и отсутствующим набором модальностей.

Модели смеси экспертов (Mixture-of-Experts, MoE)13,14 все чаще применяются в мультимодальном обучении, поскольку они позволяют обрабатывать гетерогенные источники информации с помощью специализированных экспертных модулей и динамически объединять их посредством механизмов маршрутизации. Softmax-гейтинг обеспечивает нормализованные веса экспертов, зависящие от входных данных, и был теоретически охарактеризован с точки зрения скорости сходимости15. Родственные многовентильные архитектуры дополнительно продемонстрировали, что отдельные гейты могут изучать зависящие от задачи комбинации общих экспертов в крупномасштабном многозадачном обучении16. В нейробиологических исследованиях и изучении мозга варианты MoE17,18,19 всё чаще используются для облегчения слияния гетерогенных признаков. dFCExpert17 использовал модульность и экспертов на основе состояний для моделирования паттернов динамической функциональной связности по данным фМРТ. EvoMoE18 дополнительно использовал сеть гейтинга для выбора подходящих экспертов для независимо-пользовательской классификации SSVEP-ЭЭГ. NeuroMoE++19 исследовал адаптивное к пациенту мультимодальное слияние для классификации неврологических расстройств. Несмотря на успех, эти модели обычно полагаются на грубозернистое смешивание и дискретную маршрутизацию, которые игнорируют высокосинхронизированную природу кросс-модальных нейронных состояний, что препятствует обнаружению тонких, но информативных паттернов, критически важных для диагностики заболеваний мозга. Более того, без специального механизма для отделения нюансов конкретной модальности от единого общего нейронного состояния такие модели обладают ограниченной интерпретируемостью и демонстрируют снижение производительности при отсутствии критически важной модальности (фМРТ или ЭЭГ).

Для преодоления этих ограничений в данной работе представлена модель Brain Mixture-of-Experts (BrainMoE) — адаптивная и интерпретируемая платформа слияния данных ЭЭГ и фМРТ для компьютерной диагностики пяти категорий нарушений работы мозга, включая большое депрессивное расстройство (БДР), тревожное расстройство (ТР), специфическое расстройство обучения с нарушением чтения (НР), расстройство аутистического спектра (РАС) и синдром дефицита внимания/гиперактивности (СДВГ). Протокол предполагает первоначальное совмещение признаков реконструированного источника ЭЭГ и фМРТ с пространством областей интереса (ROI) атласа DK20, после чего строятся графовые представления модальностей для обоих типов данных. BrainMoE использует экспертную сеть для ЭЭГ, экспертную сеть для фМРТ и общую экспертную сеть нейронных состояний, которые объединяются с помощью модуля мягкой маршрутизации (soft routing) для синтеза модально-специфической и общей информации. Маски состояний модальностей и токены отсутствующих модальностей включены для обеспечения возможности проведения вывода на основе полной комбинации ЭЭГ-фМРТ, только ЭЭГ или только фМРТ в рамках одной обученной модели. Для обеспечения биологической интерпретируемости в протоколе дополнительно применяется анализ окклюзии узлов, при котором каждая ROI атласа DK выборочно маскируется, а результирующее изменение вероятности прогнозирования заболевания используется для оценки региональных вкладов, полученных на основе ЭЭГ и фМРТ. В данном протоколе описывается полный рабочий процесс выравнивания данных, построения модели, обучения, оценки и интерпретации ROI на основе окклюзии узлов, что представляет собой адаптивную и интерпретируемую стратегию компьютерной диагностики нарушений работы мозга посредством гетерогенного слияния сигналов мозга ЭЭГ и фМРТ. Для обеспечения воспроизводимости и будущих расширений в открытом репозитории GitHub предоставлены код модели BrainMoE, а также код для обучения и оценки; предварительная обработка данных ЭЭГ и фМРТ была выполнена с использованием общедоступного стороннего программного обеспечения. Репозиторий доступен по адресу https://github.com/zhongruizhe123/BrainMoE.

Протокол

В данном исследовании использовались деидентифицированные данные из базы данных Healthy Brain Network (HBN)21, при этом основное внимание было уделено пяти различным клиническим расстройствам для последующих задач диагностической классификации. Этическое одобрение и письменное информированное согласие были предварительно получены инициативой HBN от всех участвующих центров и субъектов. Записи ЭЭГ и фМРТ проводились в разные сессии, а не одновременно, и были сопоставлены с помощью идентификаторов участников и сессий, доступных в HBN.

1. Подготовка вычислительной среды и входных данных

  1. Настройка вычислительной среды
    1. Создайте и активируйте виртуальную среду Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. Установите необходимые пакеты и их фиксированные версии, используя файл requirements.txt, предоставленный в открытом репозитории GitHub: pip install -r requirements.txt
    3. Проверьте конфигурацию PyTorch и CUDA перед началом обучения: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." Убедитесь, что в выводе указаны PyTorch 2.6.0+cu124, CUDA 12.4 и что доступность CUDA (CUDA availability) имеет значение True. Обучайте модель с использованием совместимого с CUDA графического процессора (GPU).
  2. Проверка всех входных файлов H5 перед обучением модели.
    1. Убедитесь, что каждый файл содержит sLORETA_mean_func для признаков узлов ЭЭГ, sLORETA_mean_CorrMatrix для графа ЭЭГ, fMRI-DK68-node-mat для признаков узлов фМРТ, fMRI-DK68-edge-mat для графа фМРТ, а также метку (label) для диагноза. Исключите файлы с отсутствующими ключами, нечисловыми записями, некорректными метками или размерностями, не соответствующими атласу Desikan-Killiany для 68 регионов. Запустите скрипт проверки входных данных H5 следующим образом: python checkH5.py (Дополнительный файл 1).

2. Приведение признаков ЭЭГ и фМРТ к общему анатомическому пространству

  1. Предобработка данных фМРТ.
    1. Обработайте данные фМРТ с помощью C-PAC (версия 1.8.7). Запустите скрипт предобработки C-PAC следующим образом: bash run_cpac_brainmoe.sh (Дополнительный файл 2). Удалите первые пять объемов для уменьшения влияния начальных эффектов нестационарного сигнала.
    2. Выполните коррекцию времени сканирования срезов, коррекцию движения, коррекцию искажений, регистрацию, нормализацию в анатомическое пространство MNI152 и пространственное сглаживание. Проведите регрессию 24 параметров помех, связанных с движением.
    3. Примените временную полосовую фильтрацию в диапазоне 0.01-0.08 Hz.
  2. Генерация признаков фМРТ, выровненных по атласу.
    1. Обработайте соответствующее структурное МРТ с помощью FreeSurfer (версия 7.4.1). Запустите скрипты следующим образом: bash Step01_mgz_2_nifti.sh. Выполните корегистрацию полученного кортикального парцеллирования Дезикана-Киллиани в нативном пространстве фМРТ участника. Запустите скрипты следующим образом: python Step02_CoRegistration.py. Вычислите средний повоксельный сигнал внутри каждой из 68 кортикальных областей. Запустите скрипты следующим образом: python Step03_fMRI_Signal_Extraction.py (Дополнительный файл 3).
    2. Сохраните 370 последовательных временных точек фМРТ без временного дополнения, чтобы получить матрицу признаков узлов фМРТ размером 68 x 370, где 68 обозначает кортикальные области DK, а 370 — сохраненные временные точки фМРТ.
  3. Построение графа фМРТ.
    1. Вычислите корреляции Пирсона между временными рядами из 370 точек для 68 областей DK. Сохраните полученную матрицу функциональной связности 68 x 68 в качестве матрицы ребер фМРТ.
  4. Предобработка данных ЭЭГ.
    1. Обработайте записи ЭЭГ в 129 каналах с помощью инструментария EEGLAB (версия 2022.1) в MATLAB (версия R2022a). Последовательно запустите два скрипта предобработки EEGLAB следующим образом: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (Дополнительный файл 4). Сохраните частоту дискретизации 500 Hz и примените полосовой фильтр 0.2–40 Hz. Выявите зашумленные сегменты и неисправные электроды, и проведите интерполяцию плохих каналов, используя средний сигнал от соседних электродов.
    2. Используйте анализ независимых компонентов с плагином ICLabel для классификации независимых компонентов. Удалите компоненты с вероятностью классификации как глазных или мышечных артефактов более 0.90. Примените усредненное переопределение референса. Исключите записи, содержащие менее 250 s пригодных данных после предобработки и удаления артефактов.
  5. Генерация признаков ЭЭГ, выровненных по атласу.
    1. Постройте индивидуализированную трехслойную модель головы методом граничных элементов (BEM) на основе структурного МРТ каждого участника. Определите пространство источников на индивидуальной кортикальной поверхности каждого участника. Зарегистрируйте положения электродов ЭЭГ на поверхности BEM и вычислите матрицу передаточных функций (lead-field matrix).
    2. Примените обратного оператора, регуляризованного с использованием ковариационной матрицы базового шума. Установите отношение сигнал/шум равным 3.0, что дает λ2 = 1/SNR2 = 1/9 (приблизительно 0.1111), и выполните локализацию источников с помощью стандартизированной низкоразрешающей электромагнитной томографии (sLORETA), реализованной в MNE-Python (версия 1.9).
    3. Агрегируйте повершинные оценки источников внутри каждого участка Дезикана-Киллиани путем арифметического усреднения, чтобы получить 68 временных рядов на уровне ROI. Сохраните первый непрерывный сегмент длительностью 250 s и разделите каждый временной ряд ROI на 250 последовательных неперекрывающихся эпох по 1 s.
    4. Вычислите мощность альфа-диапазона на частоте 8–12 Hz внутри каждой эпохи, чтобы получить матрицу признаков узлов ЭЭГ размером 68 x 250, где 68 обозначает кортикальные области DK, а 250 — последовательные неперекрывающиеся эпохи по 1 s.
  6. Построение графа ЭЭГ и проверка кросс-модального выравнивания.
    1. Вычислите корреляции Пирсона между рядами мощности альфа-ритма 8–12 Hz за 250 эпох для 68 областей DK. Сохраните полученную матрицу 68 x 68 в качестве графа ЭЭГ.
    2. Подтвердите, что матрицы ЭЭГ и фМРТ используют один и тот же порядок областей DK, и используйте один и тот же файл индексов областей DK для ввода модели, атрибуции и визуализации. Запустите скрипт MNE-Python для локализации источников и извлечения признаков следующим образом: python "Extract features - templates.py" (Дополнительный файл 5).
  7. Нормализация признаков узлов внутри каждого образца.
    1. Примените поузловую z-score нормализацию к матрицам признаков узлов ЭЭГ и фМРТ. Оставьте матрицы графов в качестве входных данных о связности и примените нормализацию графа внутри модели BrainMoE.
    2. Выполняйте предобработку ЭЭГ и фМРТ независимо для каждого участника с использованием фиксированных настроек, не используя информацию из фолдов кросс-валидации для определения параметров предобработки.

3. Построение задач бинарной классификации для конкретных заболеваний

  1. Определите пять задач бинарной классификации для конкретных заболеваний.
    1. Закодируйте здоровый контроль (HC) как класс 0 во всех задачах, а выбранную группу с заболеванием — как класс 1 в рамках соответствующей задачи.
    2. Сформируйте отдельные задачи по сравнению здоровых лиц с больными для следующих состояний: депрессия, тревожное расстройство, нейроонтогенетическое расстройство со специфическим нарушением обучения и нарушением чтения, расстройство аутистического спектра и синдром дефицита внимания/гиперактивности.
  2. Охарактеризуйте когорты исследования и изучите возможные эффекты пола и места сбора данных.
    1. Для каждой задачи по конкретному заболеванию включите участников HBN с полными данными ЭЭГ, фМРТ и структурной магнитно-резонансной томографии (sMRI), а также с подтвержденным диагностическим маркером. Исключите участников с коморбидными диагнозами из когорт с положительным результатом по заболеванию. Исключите записи ЭЭГ, содержащие менее 250 s пригодных данных после предобработки и удаления артефактов, и оставьте только входные файлы, прошедшие критерии контроля качества, описанные в разделе 1.2.
    2. Сведите в Table 4 количество сохраненных мультимодальных записей и уникальных участников, соотношение больных и контроля, возрастные диапазоны, распределение по полу и распределение по местам сбора данных для общей когорты HC и каждой когорты с заболеванием.
      ПРИМЕЧАНИЕ: Одна и та же когорта HC использовалась в качестве класса 0 во всех пяти задачах, поэтому оценки эффективности на уровне задач не являются статистически независимыми. Эта зависимость обусловлена использованием общей когорты HC, а не перекрытием групп с заболеваниями.
    3. Проведите стратификацию эффективности по полу и месту сбора данных и сравните полученные значения с помощью двусторонних t-критериев Уэлча по результатам повторных 5-кратных перекрестных проверок.
  3. Выберите файлы H5 для конкретных задач и определите разбиения для перекрестной проверки.
    1. Для каждой задачи оставьте только HC и целевую группу с заболеванием. Сгенерируйте 10 повторений 5-кратной перекрестной проверки на уровне участников. Проведите стратификацию уникальных участников по бинарному классовому признаку (HC против целевого заболевания), чтобы сохранить распределение классов по фолдам.
    2. Используйте уникальный идентификатор участника в качестве группирующей переменной и назначьте все сеансы и мультимодальные записи одного и того же участника в один и тот же фолд. Для генерации 10 повторных разбиений перекрестной проверки используйте случайные зерна (random seeds) от 1 до 10 соответственно. Для инициализации и обучения модели используйте фиксированное случайное зерно 1.
    3. Зарезервируйте отдельный фолд исключительно для финальной оценки; сохраните идентификаторы участников, списки файлов и индексы разбиения для каждого фолда вместе с соответствующей контрольной точкой. Для каждого обучающего фолда вычислите веса классов на основе меток обучения и используйте их в функции потерь перекрестной энтропии для снижения смещения, вызванного дисбалансом классов.

4. Построение архитектуры BrainMoE для компьютерной диагностики заболеваний головного мозга

ПРИМЕЧАНИЕ: Архитектура BrainMoE была разработана как компактная платформа для слияния данных ЭЭГ и фМРТ с учетом отсутствующих модальностей, которая сочетает в себе графовый энкодер, общую мягкую маршрутизацию нейронных состояний и интеграцию признаков на основе экспертов для бинарной диагностики конкретных заболеваний. Общая архитектура представлена на Рисунок 1, а код реализации представлен в Дополнительный файл 6.

  1. Определите входные данные BrainMoE и состояния модальностей. Используйте модальность ЭЭГ и модальность фМРТ после выравнивания в пространстве источников в качестве парных графовых входных данных. Здесь X обозначает региональную матрицу признаков, A обозначает специфичную для модальности матрицу графа мозга, и каждая строка соответствует одному из 68 регионов Дезикана-Киллиани.
    Статическое равновесие, ΣFx=0, математическое матричное представление, уравнения для анализа баланса.
    Уравнения данных МРТ, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), формула матричного представления.
    Определите маску доступности модальностей как m = [mEEG, mfMRI]. Используйте m = [1,1] для полных входных данных ЭЭГ-фМРТ, m = [1,0] для входных данных только ЭЭГ и m = [0,1] для входных данных только фМРТ.
  2. Графовый кодировщик: для каждой модальности q, где q — это ЭЭГ или фМРТ, передайте матрицу признаков Xq и граф Aq в соответствующий специфичный для данной модальности графовый кодировщик. Кодировщик представляет собой обучаемый нейронный модуль, который включает проекцию узлов, передачу сообщений по графу, нормализацию, активацию и дропаут (p=0.3).
    Уравнение графового кодирования для интеграции неврологических данных с параметрами ЭЭГ и фМРТ.
    ПРИМЕЧАНИЕ: в данной нотации Zq — это латентное представление на уровне ROI, созданное графовым кодировщиком ЭЭГ или графовым кодировщиком фМРТ. Графовый кодировщик ЭЭГ отображает каждую входную матрицу 68 x 250 в латентное представление 68 x 128, в то время как графовый кодировщик фМРТ отображает каждую входную матрицу 68 x 370 в латентное представление 68 x 128. Каждый кодировщик использует проекцию входа, за которой следуют два остаточных слоя графовой свертки с 128 скрытыми измерениями, активация GELU, нормализация слоя и дропаут.
  3. Обучаемые токены отсутствующих модальностей: пусть Tq будет токеном для модальности q, а mq — соответствующим индикатором доступности. Этот шаг создает представление с учетом состояния, которое сохраняет одну и ту же структуру из 68 регионов как при полных, так и при одномодальных входных данных.
    Уравнение в диаграмме слияния нейронных данных; формула интеграции анализа ЭЭГ и фМРТ с весовым коэффициентом.
    ПРИМЕЧАНИЕ: каждый обучаемый токен отсутствующей модальности представляет собой 128-мерный вектор, который расширяется по 68 строкам ROI, когда соответствующая модальность недоступна.
  4. Общий модуль мягкой маршрутизации нейронных состояний (Shared Neural-State Soft-Routing Module): сначала объедините представление ЭЭГ с учетом состояния ZEEG, представление фМРТ с учетом состояния ZfMRI и вложенную маску доступности модальностей. Маска доступности модальностей вкладывается с помощью MLP с размерностью 2 → 128, активацией GELU и нормализацией слоя. Маршрутизатор (Router) состоит из двух одномерных сверточных слоев с размерностью каналов 384 → 128 → 128, размером ядра 3 и паддингом 1. Активация GELU применяется после каждой свертки, с дропаутом (p=0.3) после первой свертки.
    Математическое уравнение для конкатенации данных ЭЭГ и МРТ в анализе многослойного перцептрона.
    Обозначение статического равновесия Π=Router(U); визуализация математической формулы.
  5. Общий эксперт нейронных состояний.
    1. Объедините по размерности признаков представление ЭЭГ с учетом состояния ZEEG, представление фМРТ с учетом состояния ZfMRI и представление мягкой маршрутизации R. Примените полносвязный слой слияния (с 384 до 128), затем нормализацию слоя, активацию GELU и дропаут (p=0.3), и выполните средний пулинг результирующего представления по 68 ROI, чтобы получить 128-мерное объединенное представление на уровне субъекта zfused:
      Уравнение: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); диаграмма метода интеграции данных.
    2. Пропустите zfused через общий эксперт нейронных состояний, который состоит из полносвязного слоя (с 128 до 128), нормализации слоя, активации GELU и дропаута (p=0.3). Обозначьте результирующее 128-мерное представление общего эксперта как Eshared:
      Уравнение преобразования общего эксперта, E_shared = SharedExpert(z_user).
  6. Эксперты ЭЭГ и фМРТ.
    1. Для каждой модальности выполните средний пулинг представления с учетом состояния по 68 ROI и пропустите полученное 128-мерное представление через соответствующего специфичного для данной модальности эксперта:
      Анализ данных ЭЭГ и фМРТ; уравнение; Expert_q(MeanPool(Z_q)); нейронаука, исследования мозга
    2. Каждый специфичный для модальности эксперт состоит из полносвязного слоя (с 128 до 128), нормализации слоя, активации GELU и дропаута (p=0.3). Обозначьте результирующие 128-мерные представления специфичных для модальностей экспертов как EEEG и EfMRI соответственно.
  7. Модуль слияния (Fuse module).
    1. Для расчета весов экспертов объедините 128-мерное объединенное представление на уровне субъекта zfused с 2-мерной маской доступности модальностей m, что даст 130-мерный вход для гейта. Модуль слияния содержит гейт экспертов (Expert Gate), который генерирует специфичные для образца веса, используемые для слияния экспертов. Гейт экспертов состоит из полносвязного слоя (с 130 до 128), за которым следуют активация GELU, дропаут (p = 0.3) и выходной полносвязный слой (с 128 до 3). Примените softmax к трем выходным логитам для получения специфичных для образца весов экспертов:Диаграмма формулы глубокого обучения; функция Softmax; уравнение нейронной сети; концепция алгоритма.
    2. Полученные веса являются неотрицательными и в сумме дают 1 для каждого образца:
      Уравнение взвешенного распределения, W_EEG + W_fMRI + W_shared = 1, для анализа изображений мозга.
    3. Умножьте каждое 128-мерное представление эксперта на соответствующий вес гейта и суммируйте три взвешенных представления:
      Уравнение статического равновесия, формула: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      ПРИМЕЧАНИЕ: эта операция реализует плотное слияние мягкой смеси экспертов (soft MoE fusion).
    4. Передайте результирующее 128-мерное финальное представление эксперта efused в классификационную голову для диагностики заболеваний мозга, описанную в разделе 4.8.
  8. Классификационная голова для диагностики заболеваний мозга: пропустите 128-мерное финальное представление эксперта через классификационную голову, состоящую из нормализации слоя, дропаута (p = 0.3) и полносвязного слоя, отображающего 128 измерений в 2 выходных логита. Примените softmax для получения вероятности группы здорового контроля (HC) и вероятности целевого заболевания. Отнесите образец к классу заболевания, если вероятность целевого заболевания составляет не менее 0.5.
    Уравнение классификации Softmax, формула прогнозирования выходных данных нейронной сети в машинном обучении.
  9. Проверьте согласованность реализации перед обучением. Выполните тестовый прямой проход при m = [1,1], m = [1,0] и m = [0,1]. Убедитесь, что представления ЭЭГ, фМРТ, представления с учетом состояния, маршрутизации и слияния сохраняют 68 строк ROI, если только они не были явно объединены пулингом, и подтвердите, что веса экспертов в сумме дают 1 в порядке: эксперт ЭЭГ, эксперт фМРТ и общий эксперт нейронных состояний.

5. Обучение пяти моделей BrainMoE для диагностики заболеваний головного мозга

  1. Обучите одну модель BrainMoE для каждой бинарной задачи, специфичной для конкретного заболевания.
    1. Используйте одну и ту же архитектуру и гиперпараметры по умолчанию для всех задач: 30 эпох, размер пакета 16, скорость обучения 0.001, затухание весов 0.0001. Зафиксируйте архитектуру модели и гиперпараметры перед оценкой на тестовой выборке и оставьте их неизменными для всех фолдов, повторений и задач по конкретным заболеваниям.
    2. Не используйте показатели эффективности на отложенной тестовой выборке для выбора модели или настройки гиперпараметров. Для каждого мини-пакета выполните три прямых прохода, используя полную маску, маску только для ЭЭГ и маску только для фМРТ с общими весами модели. Запустите обучение BrainMoE следующим образом: python train.py --config configs/brain_moe.json --task --data_dir (Дополнительный файл 6). Установите значение как depression, anxiety, reading_disorder, autism или adhd.
  2. Оптимизируйте усредненную функцию потерь классификации трех состояний. Вычислите взвешенную по классам перекрестную энтропию Ls для каждого состояния как
    Формула статического равновесия в нейронауке; уравнение, описывающее метод интеграции мультимодальных данных мозга.
    и усредните потери следующим образом
    Уравнение потерь при обучении L_train=(L_full+L_EEG-only+L_MRI-only)/3; уравнение исследования.
  3. Сбросьте градиенты, выполните обратное распространение ошибки и обновите все обучаемые параметры с помощью AdamW.

6. Оценка состояний вывода при полном наборе и при отсутствии модальностей

  1. Метод оценки: загрузите контрольную точку (checkpoint) для выбранной задачи по заболеванию и используйте сохраненный список тестовых файлов из этой же контрольной точки. Используйте m = [1,1] для полного вывода EEG-fMRI, m = [1,0] для вывода только по ЭЭГ и m = [0,1] для вывода только по фМРТ. Наконец, примените функцию softmax для получения вероятности целевого заболевания и назначьте класс заболевания, если вероятность составляет не менее 0,5.
  2. Метрики оценки: вычислите метрики оценки на основе матрицы ошибок, где TP обозначает образцы с заболеванием, правильно классифицированные как больные, TN обозначает здоровый контроль (HC), правильно классифицированный как здоровый, FP обозначает HC, ошибочно классифицированный как больной, а FN обозначает образцы с заболеванием, ошибочно классифицированные как здоровые.
    Формула статического равновесия, расчет точности, уравнение для анализа истинно/ложноположительных и истинно/ложноотрицательных результатов.
    Формула расчета чувствительности, уравнение для анализа доли истинно положительных результатов в исследовании.
    Формула специфичности, \( \text{Specificity} = \frac{TN}{TN + FP} \), уравнение, статистический анализ.
    Формула F1-меры: среднее гармоническое точности и чувствительности, используется в статистическом анализе.
    Формула сбалансированной точности; уравнение для оценки эффективности модели классификации.
  3. Используйте точность (accuracy) для сообщения об общем показателе правильной классификации. Используйте чувствительность (sensitivity) для количественной оценки выявления лиц с заболеванием и специфичность (specificity) для количественной оценки идентификации HC.
  4. Используйте F1-меру для обобщения баланса между точностью и чувствительностью. Используйте сбалансированную точность (balanced accuracy) для снижения влияния дисбаланса классов. Кроме того, вычислите AUC для оценки дискриминационной способности, не зависящей от порога, по различным порогам принятия решения.
  5. Для каждого повторения вычислите среднее значение каждой метрики эффективности по пяти выделенным фолдам. Представьте окончательные результаты как среднее значение и стандартное отклонение десяти средних значений по повторениям.
  6. Сравните BrainMoE с базовыми методами. Все базовые методы использовали те же разделения на уровне участников и полные входные данные EEG-fMRI, что и BrainMoE, с конфигурациями, зафиксированными перед оценкой на выделенных данных. BrainMoE сравнивали с каждым базовым методом с использованием двухсторонних парных t-критериев с поправкой Холма.

7. Проведение атрибуции окклюзии узлов на уровне групп для пяти мозговых расстройств

  1. Определите когорту для анализа атрибуции. Загрузите обученную контрольную точку BrainMoE и файл с названиями регионов DK. Выберите положительные по заболеванию тестовые образцы, которые были правильно классифицированы при полном состоянии EEG-fMRI с m = [1,1]. Используйте эту когорту для анализа атрибуции на групповом уровне и сохраните базовую вероятность целевого заболевания для каждого образца.
  2. Вычислите показатели окклюзии узлов для каждой модальности. Для атрибуции на основе ЭЭГ последовательно окклюзируйте каждый ROI ЭЭГ, обнуляя вектор признаков выбранного узла ЭЭГ, а также соответствующую строку и столбец графа ЭЭГ, оставляя входные данные фМРТ без изменений. Для атрибуции на основе фМРТ выполните ту же операцию с матрицей признаков узлов фМРТ и графом фМРТ, оставляя входные данные ЭЭГ без изменений. Повторите эту процедуру для всех 68 регионов DK. Проведите анализ атрибуции методом окклюзии узлов, используя код, представленный в Дополнительном файле 7.
  3. Рассчитайте и визуализируйте вклад ROI на групповом уровне. Для каждого ROI и каждой модальности рассчитайте показатель вклада как среднее снижение вероятности целевого заболевания после окклюзии по всем выбранным образцам. Ранжируйте показатели, полученные на основе ЭЭГ и фМРТ, отдельно, экспортируйте 10 наиболее значимых ROI для каждой модальности и отметьте ROI с наивысшим рангом на рисунке.

Результаты

Эффективность BrainMoE при различных расстройствах и состояниях модальностей
Согласно протоколу, было создано пять специфичных для каждого заболевания классификаторов BrainMoE для различения здоровых лиц и пациентов, а также сформированы таблицы прогнозов для состояний вывода: полного EEG-fMRI, только EEG и только fMRI. Состояние полного EEG-fMRI обеспечило стабильно высокую дискриминацию во всех пяти задачах, при этом значения AUC варьировались от 84,4 ± 3,2% для RI до 88,4 ± 3,8% для ASD (Таблица 1). Макро-усредненная эффективность полного состояния по пяти задачам составила 86,9 ± 3,0% AUC, 81,4 ± 3,1% accuracy, 81,4 ± 2,5% balanced accuracy и 81,2 ± 3,0% F1 score.

В условиях симуляции отсутствия модальностей модель BrainMoE сохраняла приемлемую эффективность при маскировании одной из входных модальностей. В состоянии использования только ЭЭГ модель достигла макро-усредненного значения AUC 83,1 ± 3,7%, при этом наивысший показатель AUC только для ЭЭГ наблюдался для СДВГ и составил 87,9 ± 2,8%. В состоянии использования только фМРТ макро-усредненный AUC составил 80,0 ± 3,9%. Данные диапазоны эффективности и ожидаемое преимущество при использовании полного набора данных служат практическими эталонами для успешной реализации, показывая, что обученная платформа BrainMoE может выполнять полный вывод, а также вывод только по ЭЭГ или только по фМРТ без использования отдельных моделей для каждой модальности.

Репрезентативным субоптимальным результатом является отсутствие ожидаемого преимущества в производительности при использовании полного состояния, например, когда значение AUC для совмещенного EEG-fMRI ниже, чем AUC только для EEG или только для fMRI. Напротив, успешная реализация должна воспроизвести преимущество полного состояния и диапазоны контрольных показателей производительности, представленные в Таблице 1. При наблюдении субоптимального паттерна, перед интерпретацией выходных данных модели, проверьте размерности входных данных H5, порядок регионов DK, назначение маски доступности модальностей и сохраненные разделы перекрестной проверки.

Сравнительный анализ
Предложенная модель BrainMoE была сопоставлена с классическими методами машинного обучения (метод опорных векторов (SVM) и многослойный перцептрон (MLP)), общими методами глубокого обучения (Transformer7, 3D-CNN22 и ResNet6), передовыми методами глубокого обучения (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), а также методами глубокого обучения на основе MoE (dFCExpert17, EvoMoE18 и NeuroMoE++19) (Таблица 2). BrainMoE достигла самого высокого среднего значения AUC среди всех сравниваемых методов, которое составило 86.9 ± 3.0%.

Классические методы машинного обучения продемонстрировали более низкую среднюю эффективность: для SVM средний показатель AUC составил 66,7 ± 4,5%, а для MLP — 64,6 ± 6,3%. Общие методы глубокого обучения показали переменную эффективность: ResNet достиг среднего AUC 71,0 ± 3,3%, а Transformer — 63,8 ± 4,7%. Среди усовершенствованных базовых моделей глубокого обучения BNT, BrainGNN, MultiEpilepsyNet и SZAtt-Net превзошли большинство классических и общих методов глубокого обучения, однако их средние значения AUC остались ниже, чем у BrainMoE.

Для обеспечения статистической достоверности эталонного сравнения BrainMoE сравнивали с наиболее сильным базовым решением по каждому показателю эффективности (Таблица 3). BrainMoE превзошел NeuroMoE++ по показателям AUC и сбалансированной точности (BA), а также превзошел SZAtt-Net по F1-мере и общей точности. Все сравнения оставались значимыми после поправки Холма.

Анализ подгрупп по полу и месту сбора данных
Характеристики когорты для конкретных задач, включая количество сохраненных мультимодальных записей, соотношение больных и контрольной группы, количество уникальных участников, сводные данные по возрасту, распределение по полу и распределение по местам сбора данных, представлены в таблице характеристик когорты (Table 4). Соотношения больных и контрольной группы рассчитаны на основе количества мультимодальных записей, в то время как демографические характеристики и характеристики мест сбора данных обобщены на уровне уникальных участников.

Для оценки потенциального влияния пола и места сбора данных эффективность BrainMoE была стратифицирована по этим факторам (Таблица 5). В подгруппе мужчин наблюдались более высокие средние значения AUC, BA, F1-меры и точности по сравнению с подгруппой женщин, при этом соответствующие нескорректированные значения p-value по критерию Уэлча варьировались от 0,089 до 0,321. Аналогично, подгруппа RUBIC продемонстрировала более высокую среднюю эффективность, чем подгруппа Staten Island, при значениях p-value от 0,055 до 0,309. В данных анализах статистически значимых различий между подгруппами выявлено не было.

Абляционный анализ компонентов BrainMoE
Абляционные эксперименты были проведены для оценки вклада маски доступности модальностей, сверточного роутера, общего эксперта и архитектуры слияния экспертов MoE (Таблица 6). Удаление эмбеддинга маски снизило средний показатель AUC до 79.2 ± 3.1%, а замена сверточного роутера на MLP-роутер снизила его до 79.3 ± 3.7%. Удаление общего эксперта привело к снижению AUC только для фМРТ до 73.5 ± 3.3%, что стало самым низким показателем среди протестированных вариантов. Удаление всех экспертов MoE также снизило общую сбалансированную точность до 74.2 ± 3.0%. Результаты абляционного анализа показали, что полная архитектура BrainMoE обеспечила наилучшую общую производительность как в состояниях с полным набором модальностей, так и при их отсутствии, в то время как эмбеддинг маски, сверточный роутер, общий эксперт и слияние экспертов MoE в равной степени повлияли на итоговое поведение модели.

Результаты интерпретируемости на уровне ROI для пяти заболеваний мозга
Для изучения региональных вкладов, лежащих в основе предсказаний BrainMoE, было проведено присваивание атрибутов методом окклюзии узлов (node-occlusion attribution) для правильно классифицированных образцов с положительным результатом заболевания в полном состоянии EEG-fMRI. Вклады ROI, производные от ЭЭГ и фМРТ, ранжировались отдельно путем измерения снижения вероятности целевого заболевания после окклюзии каждой области атласа DK. Анализ выявил специфические для каждой модальности паттерны вклада в пяти задачах по заболеваниям (Рисунок 2). Для атрибуции на основе фМРТ наиболее значимыми областями были левая задняя поясная извилина при MDD, правая перикалкаральная кора при ANX, левая парагиппокампальная кора при RI, правая треугольная часть средней лобной извилины (pars triangularis) при ASD и левая энторинальная кора при ADHD. Для атрибуции на основе ЭЭГ наиболее значимыми областями были левые берега верхней височной борозды при MDD, левая прецентральная кора при ANX, левый клин при RI, левая язычная кора при ASD и правый островок при ADHD. Наивысшие по рангу ROI, производные от ЭЭГ и фМРТ для каждого расстройства, визуализированы на поверхностях коры на Рисунке 3. Эти результаты показали, что BrainMoE обеспечил интерпретируемость на уровне ROI, сохранив при этом раздельные профили атрибуции для представлений, производных от ЭЭГ и фМРТ. Для правильно классифицированных образцов с положительным результатом заболевания оценивалась стабильность перекрестных выборок с использованием частоты ROI Top-1 в 50 исключенных фолдах (Таблица 7). Наблюдаемые частоты варьировались от 36% до 68%, что превышало теоретический эталон случайного выбора 1/68 (1,47%) и подтверждало возможность интерпретации на основе относительного ранжирования, а не абсолютных величин вклада. Сравнения с предыдущими результатами нейровизуализации проводились post hoc и использовались только для контекстуализации результатов атрибуции, а не в качестве независимой валидации.

Схема слияния модальностей ЭЭГ/фМРТ; общий эксперт нейронного состояния; классификация диагнозов при заболеваниях головного мозга.
Рисунок 1: Обзор архитектуры BrainMoE с адаптивным слиянием ЭЭГ и фМРТ для компьютерной диагностики заболеваний головного мозга. Признаки ЭЭГ и ROI фМРТ, выровненные по источнику, обрабатываются отдельными графовыми кодировщиками. Полученные представления передаются экспертам по ЭЭГ и фМРТ, а вместе с маской доступности модальностей — в общий модуль мягкой маршрутизации (Soft-Routing Module). Представления модальностей и представление маршрутизации объединяются и обрабатываются общим экспертом нейронного состояния. Выходы трех экспертов затем объединяются в модуле слияния (Fuse Module) и передаются в голову классификации диагноза для получения вероятностей группы здорового контроля (HC) и целевого заболевания. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Столбчатые диаграммы вклада ROI мозга; fMRI EEO анализ для расстройств: депрессия, тревожность, СДВГ.
Рисунок 2: Анализ вклада ROI на основе окклюзии узлов. Визуализированы 10 наибольших вкладов ROI, полученных на основе ЭЭГ и фМРТ, для каждой задачи по заболеваниям при полном состоянии вывода ЭЭГ-фМРТ. На панелях (A–E) показаны результаты на основе фМРТ для БРД, ANX, RI, РАС и СДВГ соответственно, а на панелях (F–J) — соответствующие результаты на основе ЭЭГ в том же порядке. На каждом графике отмечен только ROI с наивысшим рейтингом. Вклад ROI определялся как снижение вероятности целевого заболевания после окклюзии соответствующей области атласа DK. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Диаграммы активации областей мозга; психические расстройства: MDD, ANX, RI, ASD, ADHD; МРТ-анализ мозга.
Рисунок 3: Карты интерпретируемости на уровне ROI коры при пяти различных заболеваниях мозга. Панели (A–E) соответствуют MDD, ANX, RI, ASD и ADHD соответственно. На каждой панели красным цветом отмечена ROI с наивысшим рангом, полученная на основе ЭЭГ, а оранжевым — ROI с наивысшим рангом, полученная на основе фМРТ, на поверхности коры DK. Цвета указывают на модальность, а не на величину вклада; следовательно, количественная цветовая шкала не применяется. Префиксы lh и rh обозначают левое и правое полушария соответственно. Нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Задача по изучению заболеванияСостояниеAUC (площадь под кривой)ТочностьBAF1ЧувствительностьСпецифичность
БРД (большое депрессивное расстройство)Полный88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
БАР (Большое депрессивное расстройство)только ЭЭГ83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
БАР (большое депрессивное расстройство)только фМРТ82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXПолный85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
тревожностьтолько ЭЭГ81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXтолько фМРТ74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
РИПолный84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
РИТолько ЭЭГ80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
РИтолько фМРТ81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
РАС (расстройство аутистического спектра)Полный88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
РАС (расстройство аутистического спектра)только ЭЭГ82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
РАС (расстройство аутистического спектра)только фМРТ81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
СДВГПолный88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
СДВГтолько ЭЭГ87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
СДВГтолько фМРТ80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

Таблица 1: Эффективность классификации BrainMoE по задачам заболеваний и состояниям доступности модальностей. Эффективность BrainMoE для пяти задач классификации «здоровый против больного» в состояниях вывода при полном наборе данных ЭЭГ-фМРТ, только ЭЭГ и только фМРТ. Показатели представлены в виде среднего значения ± стандартного отклонения и включают площадь под ROC-кривой (AUC), точность (accuracy), сбалансированную точность (BA), F1-меру, чувствительность и специфичность.

МетодГруппа методовСреднее значение AUCСреднее значение BAСреднее значение F1Средняя точность
SVM (метод опорных векторов)Классическое машинное обучение66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
Многослойный перцептрон (MLP)Классическое машинное обучение64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
ТрансформерОбщее глубокое обучение63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNN (трехмерная сверточная нейронная сеть)Универсальное глубокое обучение65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetОбщий DL (глубокое обучение)71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNПродвинутое глубокое обучение70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTПродвинутое глубокое обучение73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNПродвинутое глубокое обучение72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetПродвинутое глубокое обучение78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetПродвинутое глубокое обучение78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL на основе MoE (смеси экспертов)80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEDL на основе MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++Глубокое обучение на основе смеси экспертов (MoE)81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (наша разработка)Глубокое обучение на основе смеси экспертов (MoE-based DL)86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

Таблица 2: Средние показатели эффективности классификации BrainMoE по сравнению с классическими методами машинного обучения, общими моделями глубокого обучения и передовыми архитектурами глубокого обучения для нейровизуализации. Результаты обобщены по всем оцениваемым задачам классификации заболеваний и представлены в виде среднего значения ± стандартного отклонения для AUC, BA, F1-меры и точности.

СравнениеСреднее значение AUCСредний BAСреднее значение F1Средняя точность
Наиболее сильный базовый уровеньNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
Наилучшая базовая производительность81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
Различие+5.4+3.5+3.8+3.3
p-значение t-критерия0.00060.00650.01870.0276
p*-значение, скорректированное по методу Хольмаp < 0.01p < 0.05p < 0.05p < 0.05
d-критерий Коэнаz1.631.110.910.83

Таблица 3: Сравнение BrainMoE с наиболее сильным базовым методом по каждому показателю эффективности. Значения p были рассчитаны с использованием двухсторонних парных t-критериев и скорректированы с помощью процедуры Холма. Cohen's dz обозначает стандартизированную парную разность.

КогортаМультимодальные записи (n)Отношение больных к контрольной группеУникальные участники (n)Возрастной диапазон (лет)Пол (мужчины/женщины)Место сбора данных (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

Таблица 4: Характеристики когорт исследования, использованных в пяти задачах классификации специфических заболеваний. В таблице указано количество сохраненных мультимодальных записей, соотношение больных и контроля, число уникальных участников, демографические характеристики и распределение по центрам сбора данных.

ПодгруппаКоличествоСреднее значение AUCСреднее значение BAСреднее значение F1Средняя точность
Пол
Мужской70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
Женский39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
Разница+1.6+2.2+2.4+2.9
p по Уэлчу--0.3210.1920.1590.089
Место сбора данных
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
Разница+2.4+1.6+2.9+3.3
p по Уэлчу--0.1760.3090.0850.055

Таблица 5: Эффективность BrainMoE в зависимости от пола и места сбора данных. Результаты представлены как среднее значение ± стандартное отклонение по 10 повторениям 5-кратной перекрестной проверки. Разница представляет собой значение первой подгруппы минус значение второй, P-значения были получены с помощью двухсторонних t-критериев Уэлча.

ВариантПолная AUC (площадь под кривой)AUC только по ЭЭГAUC только по данным фМРТСреднее значение AUCСреднее значение BA
без встраивания маски83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
без сверточного маршрутизатора84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
Маршрутизатор MLP82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
без общего эксперта83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
без экспертов MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (наша разработка)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

Таблица 6: Абляционный анализ основных компонентов BrainMoE. Результаты абляции, демонстрирующие вклад маски доступности модальностей, сверточного роутера, общего эксперта и дизайна слияния экспертов MoE. Каждый вариант оценивается в условиях вывода при полном наборе данных EEG-fMRI, только EEG и только fMRI; средние значения AUC и BA резюмируют общую эффективность.

ЗаболеваниеЭЭГ: наиболее значимая область интереса (ROI)ЭЭГ: доминирующая частота, n/N (%)фМРТ: наиболее значимый регион интереса (ROI)фМРТ: Частота Top-1, n/N (%)Вероятность случайного совпадения (%)
БАР (большое депрессивное расстройство)левые берега верхней височной борозды22/50 (44%)левая задняя часть поясной извилины25/50 (50%)1.47
Тревожностьлевая прецентральная извилина коры головного мозга18/50 (36%)правая перикалькариновая кора21/50 (42%)1.47
РИлевая клиньевидная доля26/50 (52%)левая парагиппокампальная кора29/50 (58%)1.47
РАС (расстройства аутистического спектра)левая язычная кора27/50 (54%)правая треугольная часть (pars triangularis)28/50 (56%)1.47
СДВГправая островковая доля31/50 (62%)левая энторринальная кора34/50 (68%)1.47

Таблица 7: Перекрестная стабильность наиболее значимых областей интереса (ROI), определенных на основе ЭЭГ и фМРТ. Top-1 frequency обозначает количество и процент анализов на уровне 50 фолдов, в которых указанная область ROI заняла первое место. Теоретический эталон случайного выбора составил 1/68 (1,47%).

Дополнительный файл 1: Скрипт для проверки входных данных H5.Скрипт на языке Python для проверки необходимых ключей входных данных H5, типов данных, диагностических меток и размерности входных данных, совместимых с атласом DK, перед началом обучения BrainMoE. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 2: Скрипт для предобработки фМРТ. Файлы конфигурации и запуска C-PAC, использованные для предобработки данных фМРТ, включая удаление начальных объемов, коррекцию движения и дисторсии, регистрацию и нормализацию, регрессию мешающих факторов, временную фильтрацию и пространственное сглаживание. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 3: Скрипты обработки FreeSurfer. Скрипты для обработки данных структурной МРТ, корегистрации кортикальной парцелляции по Дезикану-Киллиану с нативным пространством фМРТ и извлечения сигналов фМРТ на уровне ROI. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 4: Скрипты для предобработки ЭЭГ.Скрипты MATLAB/EEGLAB, используемые для предобработки ЭЭГ, включая фильтрацию, идентификацию и удаление компонентов-артефактов, а также перераспределение референтных электродов. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 5: Скрипт MNE-Python для локализации источников и извлечения признаков. Скрипт на языке Python для локализации источников ЭЭГ, извлечения ROI по атласу DK и генерации признаков ЭЭГ на уровне ROI, используемых в качестве входных данных для BrainMoE. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 6: Код реализации BrainMoE. Python-код и конфигурационные файлы для архитектуры BrainMoE, графовых кодировщиков, обработки состояний модальностей, маршрутизации и слияния экспертов, обучения модели, оценки и вариантов абляции. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 7: Код для анализа атрибуции путем окклюзии узлов. Код на языке Python для проведения анализа окклюзии узлов с учетом конкретных модальностей, расчета показателей вклада областей интереса (ROI), ранжирования ROI на основе данных ЭЭГ и фМРТ, а также генерации выходных данных атрибуции. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Мультимодальный анализ сигналов мозга стал важным направлением в компьютерной диагностике заболеваний головного мозга, поскольку ЭЭГ и фМРТ предоставляют взаимодополняющую информацию о нейронной активности. В сравнительном анализе классические методы машинного обучения, такие как SVM и MLP, продемонстрировали базовую диагностическую эффективность, но имели ограниченную способность моделировать иерархические, графовые и кросс-модальные взаимодействия признаков. Универсальные модели глубокого обучения, включая 3D-CNN, ResNet и Transformer, обеспечили более высокую способность к нелинейному моделированию, однако эти архитектуры не были специально разработаны для слияния данных ЭЭГ-фМРТ или представления нейронных сетей мозга. Современные методы глубокого обучения достигли более высоких результатов, чем большинство классических и универсальных моделей, но многие из них по-прежнему опирались на фиксированные стратегии интеграции признаков и не разделяли эксплицитно специфическую для каждой модальности информацию и общую информацию о нейронном состоянии.

В данном исследовании был предложен метод BrainMoE для решения проблемы слияния данных путем объединения кодировщиков модальностей на основе графов, специализированных экспертов для каждой модальности, общего эксперта нейронного состояния и механизма адаптивной маршрутизации. Такая архитектура позволила моделировать представления, полученные на основе ЭЭГ и фМРТ, раздельно, а затем интегрировать их посредством слияния на уровне экспертов. Благодаря внедрению масок состояния модальности и токенов отсутствующей модальности, одна и та же обученная модель могла выполнять вывод только по ЭЭГ или только по фМРТ без необходимости создания отдельных моделей для каждого случая отсутствия данных. Результаты экспериментов показали, что BrainMoE достиг наилучших общих показателей в пяти задачах бинарной классификации заболеваний и сохранил приемлемую эффективность как в режиме только ЭЭГ, так и в режиме только фМРТ. Абляционный анализ дополнительно подтвердил вклад эмбеддинга масок, сверточного маршрутизатора, общего эксперта и слияния экспертов MoE. Эти результаты указывают на то, что повышение эффективности было обусловлено не одним компонентом, а скоординированным сочетанием графового кодирования, моделирования состояния модальности, адаптивной маршрутизации и слияния экспертов.

Критические этапы протокола и поиск и устранение неисправностей
Критические этапы протокола включают сохранение одного и того же порядка 68 регионов DK в матрицах узлов и графов ЭЭГ и фМРТ, независимое применение предопределенных настроек предобработки для каждого участника и обеспечение перекрестной проверки на уровне участников, чтобы все записи одного и того же участника оставались в одном фолде. Маска доступности модальностей также должна соответствовать предоставленным входным данным для каждого состояния вывода.

Если вывод данных не удается выполнить или ожидаемое преимущество в производительности при использовании полного состояния не воспроизводится, в первую очередь проверьте необходимые ключи H5, размерности матриц EEG и fMRI, порядок регионов DK, назначение маски доступности модальностей (Modality Availability Mask) и сохраненные разделы кросс-валидации. Файлы с отсутствующими ключами, неверными размерностями или несоответствием порядка регионов следует исключить перед обучением или оценкой. Архитектуру можно модифицировать для альтернативных вариантов коркового парцеллирования или представлений признаков EEG/fMRI при условии, что обе модальности сопоставлены с единым порядком ROI, а соответствующие размерности входных данных модели скорректированы. Специализированный для конкретного заболевания классификатор также может быть адаптирован для других задач бинарной классификации с сохранением структуры графового кодирования и объединения экспертных данных (expert-fusion). Такие модификации требуют повторного обучения и валидации, а не прямого применения моделей, представленных в данной работе.

Анализ интерпретируемости на основе окклюзии узлов
Анализ окклюзии узлов дополнительно обеспечил интерпретируемость прогнозов BrainMoE на уровне ROI (областей интереса), при этом наиболее значимые ROI, связанные с заболеваниями, показаны на рисунке 3. Выявленная BrainMoE левая задняя ROI на основе ЭЭГ согласуется с предшествующими данными метаанализа на основе вокселей23, сообщающими об измененной внутренней активности мозга в задних корковых областях при БРЛ. Левая прецентральная и правая перикалкаральная ROI, полученные на основе ЭЭГ/фМРТ, согласуются с предыдущими данными нейровизуализации при тревожных расстройствах: метаанализ толщины коры24 показал увеличение толщины коры в левой прецентральной извилине у пациентов с тревожными расстройствами, а исследование сети структурной ковариации25 при социальном тревожном расстройстве выявило аномальную центральность узлов с участием правой перикалкаральной коры. Для нарушений чтения левая клиновидная ROI на основе ЭЭГ согласуется с исследованием коннективности всего мозга26, сообщающим об измененной связности левой клиновидной области при дислексии, тогда как левая парагиппокампальная ROI на основе фМРТ согласуется с отдельным исследованием27, сообщающим об аномальном взаимодействии парагиппокампальной и гиппокампальной областей у подростков со специфическим дефицитом понимания прочитанного. В задаче по расстройствам аутистического спектра левая язычная ROI, выделенная на основе атрибуции по ЭЭГ, перекликается с предыдущими данными фМРТ в состоянии покоя28 о снижении ReHo в левой язычной извилине у мальчиков допубертатного периода с РАС. Правая ROI pars triangularis на основе фМРТ также биологически правдоподобна, так как об измененном ALFF в правой pars triangularis нижней лобной извилины сообщалось29 у детей с аутизмом. Для СДВГ правая островковая ROI на основе ЭЭГ соответствует данным структурной МРТ30, демонстрирующим снижение объема передней части островка у молодежи с СДВГ, особенно с участием короткой извилины правого островка. Левая энторинальная ROI на основе фМРТ может отражать более специфичный для подтипа результат, так как в отдельном исследовании в журнале Psychological Medicine31 сообщалось о меньшем объеме левой энторинальной коры в подгруппе СДВГ-C после коррекции FDR. Тем не менее, эти результаты следует интерпретировать с учетом межрегиональной зависимости, поскольку коррелирующие сигналы ROI могут препятствовать полной изоляции вклада отдельного региона при окклюзии одного узла и могут привести к консервативным оценкам.

Ограничения и перспективы
Несмотря на использование повторной 5-кратной перекрестной проверки для получения внутренних оценок эффективности, будущие исследования с применением вложенной перекрестной проверки или независимой внешней валидации позволили бы дополнительно укрепить оценку стабильности выбора модели и ее обобщающей способности. Поскольку результаты только для ЭЭГ и только для фМРТ были получены путем маскирования одной модальности в полных мультимодальных записях и не оценивались на внешней валидационной когорте, в будущих исследованиях следует включить внешние одномодальные валидационные когорты для оценки обобщающей способности. Дополнительным ограничением является то, что дизайн исследования «здоровые против одной болезни» не учитывает коморбидные состояния, что ограничивает клиническую применимость и обосновывает проведение будущих исследований по многоклассовой классификации и дифференциальной диагностике. В дальнейшей работе также можно оценить надежность ассоциаций ЭЭГ на уровне источников с использованием оценщиков связности, учитывающих утечку сигнала. Хотя общее парцеллирование DK обеспечивает анатомически обоснованный интерфейс для мультимодального слияния, это является допущением моделирования, которое может не полностью отражать специфические для каждой модальности различия во временном разрешении и физиологическом происхождении. Помимо пяти расстройств, рассмотренных здесь, данная платформа может быть адаптирована для других задач классификации неврологических или психиатрических заболеваний, включающих анатомически согласованные мультимодальные данные о мозге, а также расширена для приложений многоклассовой или дифференциальной диагностики.

Заключение
Подводя итог, BrainMoE представляет собой практическую и интерпретируемую платформу для объединения данных ЭЭГ и фМРТ в целях компьютерной диагностики заболеваний головного мозга. Его основным преимуществом является адаптивная интеграция мультимодальных признаков, реализованная за счет многоэкспертной архитектуры и механизма «мягкой» маршрутизации (soft-routing), который динамически балансирует специфичную для конкретной модальности и общую информацию. Кроме того, благодаря бесшовной интеграции масок состояний модальностей и токенов отсутствующих модальностей, одна и та же обученная модель демонстрирует стабильную работу при выводе с неполным набором модальностей, не требуя отдельных конфигураций. Что крайне важно, интерпретируемая платформа обеспечивает прозрачные пути региональной атрибуции на групповом уровне для пяти различных заболеваний головного мозга, превращая традиционную архитектуру «черного ящика» в физиологически обоснованный инструмент компьютерной диагностики. Это имеет большое значение для будущих рабочих процессов в области вычислительной нейровизуализации, где разнородные источники данных, неполная доступность модальностей и объяснимость результатов работы модели являются ключевыми аспектами.

Раскрытие информации

Авторы заявляют об отсутствии конфликта интересов. Авторы заявляют, что при подготовке данной рукописи, написании кода, анализе данных или создании графиков не использовались инструменты генеративного искусственного интеллекта.

Благодарности

Данное исследование было профинансировано Национальным природным научным фондом Китая по грантам № 62433002, 62277001 и U25A20446, Проектом по созданию и поддержке высокоуровневых инновационных групп муниципальных учреждений Пекина по гранту № BPHR20220104, а также Программой пекинских ученых по гранту № 099.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
BashGNU Project5.1.16(1)-releaseПрограммное обеспечение
C-PACFCP-INDIVersion 1.8.7; container tag release-v1.8.7.dev1Программное обеспечение
CUDA ToolkitNVIDIA CorporationVersion 12.4Программное обеспечение
CUDA-compatible GPUNVIDIA CorporationGeForce RTX 4060 Laptop GPUОборудование
Desikan-Killiany cortical atlasFreeSurfer, Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospitalaparc; 68 cortical regions (RRID:SCR_001847)Атлас/ресурс
EEGLABSwartz Center for Computational Neuroscience, University of California San DiegoVersion 2022.1 (RRID:SCR_007292)Программное обеспечение
FreeSurferAthinoula A. Martinos Center for Biomedical Imaging, Massachusetts General HospitalVersion 7.4.1 (RRID:SCR_001847)Программное обеспечение
FSLFMRIB, University of OxfordПоставляется в комплекте с C-PAC 1.8.7; точная версия не указана (RRID:SCR_002823)Программное обеспечение
Healthy Brain Network (HBN) datasetChild Mind InstituteRRID:SCR_016989Набор данных
MATLABMathWorksR2022a (RRID:SCR_001622)Программное обеспечение
MNE-PythonMNE-Python Development TeamVersion 1.9 (RRID:SCR_005972)Программное обеспечение/библиотека
PythonPython Software FoundationVersion 3.12.4 (RRID:SCR_008394)Программное обеспечение
PyTorchPyTorch FoundationVersion 2.6.0+cu124 (RRID:SCR_018536)Библиотека

Ссылки

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

Перепечатки и разрешения

Больше статей

слияние ЭЭГ и фМРТмультимодальная визуализация мозгакомпьютерная диагностикаграфовые энкодерыкарты атрибуции ROIэксперт нейронного состояниямаски состояния модальностианализ окклюзии узлов

Эта статья была опубликована

Видео скоро будет доступно

Связаться с нами
Порекомендовать библиотеке

Конфиденциальность

Условия использования

Политики

© 2026 MyJoVE Corporation. Все права защищены.