SET Net — гибридная фреймворк глубокого обучения для классификации расслабления внимания на основе ЭЭГ в приложениях интерфейса мозга и компьютера

Summary

В этой статье представлена сеть трансформаторов сжатия и возбуждения (SET-Net) — гибридная сеть CNN-трансформатор, которая распознаёт состояния внимания и релаксации с помощью спектрограмм для выявления состояний внимания и релаксации на основе ЭЭГ с точностью 93,7% и высокой обобщённостью для использования в приложениях интерфейса мозга и компьютера (BCI).

Abstract

Технология интерфейса мозга и компьютера (BCI) используется как инструмент для обеспечения прямого канала связи между человеческим мозгом и внешней средой. Это применимо как в вспомогательных, так и в интерактивных системах. Неинвазивное получение нейронной активности с помощью электроэнцефалографии (ЭЭГ) является стандартом для систем БЦИ. Однако эффективно классифицировать когнитивные состояния, включая внимание и расслабление, сложно, поскольку сигнал ЭЭГ нестационарен и шумит. Для преодоления этих недостатков в исследовании предлагается новая гибридная архитектура глубокого обучения, а именно сеть трансформаторов с использованием сжатия и возбуждения (SE) (SET-Net). В этом методе сигналы ЭЭГ предварительно обрабатываются и делятся на временные окна для анализа значимых представлений спектрограмм. Предлагаемая модель достигает точности классификации 93,7%, при этом оценка F1 составляет 0,93, а ROC-AUC — 0,98. Это демонстрирует эффективность гибридной модели глубокого обучения с усиленной дискриминацией состояния внимания-релаксации на основе ЭЭГ. Это обеспечивает масштабируемую систему для приложений BCI в реальном времени как вспомогательные технологии в взаимодействии человека и компьютера.

Introduction

Интерфейсы мозг–компьютер (BCI) стали революционной технологией, позволяющей человеческому мозгу и внешним устройствам общаться напрямую без использования традиционных нейромышечных связей. Электроэнцефалография (ЭЭГ) является наиболее распространённым и широко используемым методом благодаря неинвазивному характеру, портативности и экономической эффективности¹. БКИ на основе ЭЭГ применяются в здравоохранении, а также в нейрореабилитации, играх и вспомогательных технологиях для людей с неврологическими нарушениями путём изучения активности^{мозга 2}. Одним из самых значимых применений является идентификация когнитивных состояний, включая внимание и расслабление, которые могут использоваться для создания адаптивных интерфейсов человек-компьютер и цифровой^{доступности.} Низкое отношение сигнал/шум, большая изменчивость между субъектами и сложная временная динамика между состояниями внимания и релаксации, которые интерпретируются с помощью ЭЭГ; поэтому классифицировать состояния внимания и релаксации с помощью ЭЭГ сложно⁴. Классические модели машинного обучения, включая поддерживающую векторную машину (SVM) и случайный лес, показали умеренную производительность; однако обычно они основаны на инженерии признаков, поскольку не полностью используют пространственно-спектрально-временную сложность^{ЭЭГ 5}. Недавние достижения в области глубокого обучения, особенно сверточной нейронной сети (CNN) и трансформаторов, открыли новые возможности для автоматизированного извлечения признаков и строгой классификации сигналов^{ЭЭГ 6}.

Системы БКИ на основе ЭЭГ долгое время широко изучались как инструмент в мониторинге когнитивного состояния, нейрореабилитации и интерактивных системах. Определение психического состояния — одна из самых важных задач, например, состояния расслабления и внимания. В ответ на это учёные продемонстрировали различные решения, такие как стандартная инженерия признаков и продвинутые модели глубокого обучения. Классические подходы машинного обучения в основном основаны на ручной инженерии признаков во времени, частоте или пространстве времени-частоты. Исследования гибридных алгоритмов глубокого обучения в рамках системы SET-Net для классификации внимания и релаксации на основе ЭЭГ оказались важным научным направлением, поскольку они могут потенциально улучшить системы BCI, которые можно использовать в реальной жизни^7,8. Модели глубокого обучения, включая сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN) и трансформаторы, добились значительного прогресса в декодировании сигналов ЭЭГ за последнее десятилетие^9,10. Эти достижения привели к улучшению и более эффективному декодированию когнитивных состояний, что является желательным для нейрореабилитации и вспомогательных технологий^11,12. Растущая популярность систем BCI подчёркивает прикладную значимость повышения точности классификации, и недавние результаты показали, что классификация может превышать 85% в области моторных изображений и активности внимания^13,14. Тем не менее, несмотря на такие достижения, существуют проблемы с достижением сильных классификаций в реальном времени в разнообразных и шумных условиях^15,16. Ключевой проблемой, рассматриваемой в этом исследовании, является точность и внешняя достоверность моделей классификации внимания–релаксации на основе ЭЭГ, особенно моделей, состоящих из гибридного глубокого обучения в архитектуре SET-Net^17,18, ограничены. Существующие методы обычно связаны с проблемами межсубъектной изменчивости, низким шумом сигнала и слабым использованием пространственно-временных свойств^19,20,21. Существуют методы, ориентированные на сверточное извлечение признаков, другие — на архитектуру внимания или трансформаторов, что приводит к различным мнениям о наилучшем проектировании моделей^22,23,24. Кроме того, модели ЭЭГ сложно обучить и обосновать из-за отсутствия больших аннотированных наборов данных^25,26. Этот недостаток знаний ограничивает использование BCI в реальных условиях, что особенно важно — быть гибкими и точными ^27,28. Теоретически это устанавливается на основе сочетания пространственного, временного и внимания-ориентированного извлечения признаков с использованием гибридных моделей глубокого обучения^29,30,31. Это сочетание видно в фреймворке SET-Net, который достигается с помощью сверточных слоёв для извлечения локальных признаков и механизмов самоконцентрации для изучения глобальных зависимостей³². Эта синергия улучшает представление сигналов ЭЭГ и может применяться для лучшей классификации состояний расслабления и внимания. Теория основана на реальности, что изменчивость сигналов и шума ЭЭГ может быть устранена с помощью силы многомасштабных пространственно-временных характеристик и методов адаптации доменов³³. Систематический обзор направлен на критический анализ теоретического прогресса точности и практического применения гибридных методов глубокого обучения архитектуры SET-Net на основе ЭЭГ по классификации внимания–релаксации³⁴. Обзор будет использован для создания лучшей, более интерпретативной и обобщаемой системы BCI в будущих экспериментах через синтез последних разработок и выявление сильных и ограниченных сторон методов. Такие пробелы помогут в будущем разработке реальных приложений BCI, которые повысят пользователя и надёжность системы. Обзор применял широкий подход к обзору литературы, при котором рецензируемые статьи изучались в зависимости от гибридных моделей глубокого обучения в классификации внимания–релаксации ЭЭГ³⁴. Критерии включения сосредоточены на последних тенденциях сверточных, повторяющихся и ориентированных на внимание архитектур в рамках SET-Net или аналогичных систем³⁵. Аналитические модели оценивают дизайн моделей, алгоритмы выбора признаков, точность классификации и работоспособность в реальной среде. Результаты организованы для объяснения построения теории, практики и будущих исследовательских возможностей.

Несмотря на недавние достижения, существующие методы не способны одновременно фиксировать пространственные, спектральные и дальнодействующие временные зависимости в одноканальных ЭЭГ-сигналах, что приводит к неоптимальной эффективности в классификации внимания–релаксации. Кроме того, существующие методы основаны на ручном добавлении характеристик или учитывают лишь некоторые особенности сигналов ЭЭГ; поэтому их нельзя обобщать между участниками и условиями реального времени. Таким образом, существует необходимость в единой структуре, способной адекватно моделировать многомерные особенности ЭЭГ и быть сильной и исследовательской в реальном времени.

Для преодоления этих недостатков в исследовании предлагается гибридная модель глубокого обучения, которая называется Squeeze-and-Excitation Transformer Network (SET-Net). В частности, модуль CNN изучает локальные пространственно-спектральные паттерны с помощью ЭЭГ-спектрограмм и преодолевает ограничения ручной извлечения признаков. Блок SE улучшает представление признаков, адаптируя важность по каналам и повышая устойчивость к шуму и вариативности. Кодировщик трансформаторов моделирует долгосрочные временные зависимости, которые не ограничиваются только моделями CNN. Кроме того, временно-частотный анализ можно эффективно проводить с использованием спектрограммного представления, что улучшает изучение дискриминативных признаков. Для обеспечения стабильной работы были внедрены сбалансированные тренировки и валидация без утечек, что улучшило обобщение результатов по всем предметам.

Кроме того, предлагаемая структура подтверждается в приложении в реальном времени, где категоризированные когнитивные состояния преобразуются в управляющие инструкции интерактивных систем. Это показывает, что модель практически применима в вспомогательных технологиях и цифровой доступности и потенциально может быть использована в практической реализации BCI.

Главным достижением этого исследования стало создание новой гибридной архитектуры SET-Net, которая включает сверточные нейронные сети, внимание с сжатием и возбуждением, а также трансформаторные энкодеры для лучшего моделирования сигналов ЭЭГ. Кроме того, для успешного представления временно-частотных свойств ЭЭГ-сигналов использовалось представление на основе спектрограммы. Предлагаемая структура позволяет чётко классифицировать когнитивные состояния внимания и релаксации. Кроме того, была показана практическая применимость модели в интерфейсе мозг-компьютер в реальном времени.

Эта статья организована в разделы, в которых представлен обзор исследований, классов внимания и релаксации мозговой активности, применяемых к системам BCI. Эта статья структурирована для того, чтобы сначала представить исследовательские пробелы и вызовы, связанные с разработкой систем BCI, а затем представить процесс и методологию сбора данных, включающие запись сигналов ЭЭГ. предварительную обработку и представление признаков. В ней обсуждается важность внимания и релаксационных занятий, а также процесс извлечения значимых характеристик из данных ЭЭГ. Результаты затем представлены и оцениваются с помощью количественного и сравнительного анализа, а также фактической эффективности приложения. В последней части обсуждаются результаты, ограничения исследования и будущие направления работы.

Protocol

Исследование было проведено в соответствии с Хельсинкской декларацией и одобрено Комитетом по институциональной этике Университета SR, Варангал, Телангана, Индия (Одобрение No 007/2026). Информированное согласие было получено письменно от всех участников до сбора данных.

Отбор участников

Данные ЭЭГ были собраны у 11 здоровых участников (возрастной диапазон: 25–45 лет; средний возраст: 28 лет) без истории неврологических или психиатрических расстройств. В этом исследовании было рассмотрено всего 1175 сегментов ЭЭГ, из которых 527 относятся к классу релаксации и 648 — к классу внимания. Участники, чьи записи ЭЭГ демонстрировали чрезмерные артефакты движения или плохое качество сигнала, были исключены.

Настройка приобретения ЭЭГ

Общая схема предлагаемой системы интерфейса мозг-компьютер на основе ЭЭГ показана на рисунке 1, где показана вся система приёма, классификации и использования в реальном времени. Данные ЭЭГ записывались с помощью небольшого модуля обнаружения биопотенциала, связанного с микроконтроллерной системой. Гелевые электроды были размещены на основе системы International 10–20, а именно префронтальных точек Fp1 и Fp2, с опорными и заземляющими электродами, расположенными на мочках уха, как показано на рисунке 2. Сигналы оцифровывались со скоростью 128 Гц и передавались на компьютер с помощью собственного скрипта для получения на Python. Для снижения импеданса электродов и улучшения качества сигнала использовались адекватные предварительные обработки кожи и проводящий гель.

Экспериментальная процедура

Записи ЭЭГ проводились при двух когнитивных состояниях — расслаблении и внимания, согласно стандартизированному протоколу. В состоянии расслабления участник сидел в комфортной, низкошумной обстановке и инструктировался оставаться неподвижным с минимальным движением. Успокаивающий инструментальный звук воспроизводился через наушники, а получение ЭЭГ инициировалось с помощью команды python collect.py. ЭЭГ-сигналы записывались в течение 5 минут за сессию и повторялись в течение четырёх сессий. В состоянии внимания участнику предлагалось выполнять требующие внимания задачи, такие как интерактивные игры, при этом сохраняя ту же схему освоения, что и в состоянии расслабления. ЭЭГ-сигналы записывались в течение 5 минут за сессию и повторялись в течение четырёх сессий. Каждый участник участвовал в общей сложности 40 минут, включая 20 минут на расслабление и 20 минут на задачи на внимание, что позволило достоверно сравнивать когнитивные состояния.

Обработанный набор данных был организован в маркированные сегменты следующим образом: Релаксация (0); Внимание (1). Каждый сегмент имел длительность 4 с перекрытием 50% и представлялся в виде спектрограммы с использованием кратковременного преобразования Фурье.

Обработка сигналов, представление признаков и реализация моделей

Полученные ЭЭГ-сигналы были предварительно обработаны для устранения шума и артефактов. Для удаления помех электросети использовался 50-гц фильтр с вырезами, а для выбора соответствующих диапазонов частот ЭЭГ применялся фильтр Баттерворта 4-го порядка в сигнале между 0,5 и 30 Гц. Для выявления сегментов, загрязнённых артефактами, использовались пороговые параметры амплитуды и визуальная проверка, и примерно 8–12% данных были удалены. Гауссовское добавление шума, временное маскирование и частотное маскирование — это методы дополнения данных, используемые для повышения устойчивости модели. Сигналы ЭЭГ фильтровались и затем делились на окна по 4 секунды, разделённые на 50 процентов.

Отдельные сегменты ЭЭГ были преобразованы в временно-частотное представление (кратковременное преобразование Фурье), как показано в уравнении (1), чтобы позволить извлекать временные и спектральные характеристики.

(1)

Полученные спектрограммы были нормализованы и изменены до фиксированных размеров, чтобы служить входными данными для классификационной модели. Чтобы предотвратить утечку данных, вызванную перекрытием, набор данных был разделён на обучающие (70%), валидационные (10%) и тестирование (20%) подмножества перед сегментацией, как показано на рисунке 3. Кроме того, была проведена кросс-валидация по принципу «оставляя одного участника вне субъекта» (LOSO) для оценки межсубъектной обобщённости, при которой данные одного участника использовались для тестирования, а оставшиеся — для обучения.

Предлагаемая архитектура SET-Net, как показано на рисунке 4, была разработана для захвата многомерных особенностей ЭЭГ. Модель интегрирует сверточную нейронную сеть (CNN) для извлечения пространственно-спектральных представлений, за которым следует блок сжатия и возбуждения (SE), который адаптивно перекалибровывает важность признаков по каналам, как описано в уравнении (2). Основная система CNN состоит из двух сверточных слоёв размером ядра 3 × 3, за которыми следуют пакетная нормализация и экспоненциальная линейная единица активации (ELU).

(2)

Внутренняя структура SE-блока показана на рисунке 5. Для фиксации долгосрочных временных зависимостей был включён трансформаторный кодировщик, механизм внимания которого определен в уравнении (3) и иллюстрирован на рисунке 6.

(3)

Для уменьшения размера карт объектов до фиксированного размера 16 × 16 использовался адаптивный слой пула. Коэффициент редукции блока SE составляет 8, который используется для перекалибровки откликов по каналам. Трансформаторный энкодер состоял из четырёх слоёв с четырьмя головками внимания, размером прямой подачи 256 и размером вложения модели 128.

Окончательная классификация проводилась с использованием полностью связанных слоёв с регуляризацией dropout и функцией softmax активации для различия состояний внимания и релаксации. Детальная архитектура по слоям предлагаемой модели представлена в Таблице 1.

Модель была обучена с использованием оптимизатора AdamW с начальной скоростью обучения 0,001 и затуханием веса 1×10⁻⁴. Для усиления сходимости использовался планировщик косинусного отжига, и 50 эпох были обучены с использованием партии размером 32. Классовый дисбаланс был преодолен с помощью взвешенной функции потери кросс-энтропии, как описано в уравнении (4).

(4)

Таблица 2 суммирует конфигурацию обучения, а в таблице 3 представлен поиск гиперпараметров предложенного SET-Net, который использовался в классификации внимания-релаксации на основе ЭЭГ. Выбранные параметры обеспечивают стабильность тренировки, улучшенную обобщённость и толерантность к изменениям сигналов ЭЭГ. Выбранные параметры обеспечивают стабильность процесса обучения, улучшают обобщение и сопротивляют изменениям сигнала ЭЭГ. Для измерения производительности модели использовались точность, точность, отзыв, F1-балл и ROC-AUC. Все конвейеры, включающие предобработку, обучение моделей и оценку, были написаны на Python с использованием фреймворка PyTorch для обеспечения воспроизводимости. Таблица 4 содержит подробное описание устранения неполадок для руководства и решения задач, связанных с получением ЭЭГ, предварительной обработкой, обучением моделей и использованием в реальном времени. Таблица 5 предоставляет обзор материалов ЭЭГ-устройства, что позволяет удобно проводить эксперименты и настраивать эксперименты. Python 3.8 с фреймворком глубокого обучения PyTorch был использован для реализации предлагаемого фреймворка SET-Net. Стандартные научные вычислительные библиотеки использовались для предварительной обработки сигналов и извлечения признаков с помощью NumPy, SciPy и Matplotlib. Каждая экспериментальная процедура проводилась на системе с процессором Intel i7 и 16 ГБ оперативной памяти для ускорения обучения моделей.

ДОСТУПНОСТЬ ДАННЫХ:

Анонимизированный набор данных ЭЭГ, сгенерированный и проанализированный в ходе этого исследования, общедоступен в репозитории Zenodo по следующей ссылке на присоединение: https://zenodo.org/records/19627795.

Все данные были сняты с идентификации для обеспечения конфиденциальности участников в соответствии с институциональными этическими рекомендациями, утверждёнными Комитетом по этике Университета SR (Approval No 007/2026).

Обработанная информация, настройки модели и детали реализации, необходимые для воссоздания результатов, представлены в рукописи, а исходный код доступен публично по адресу: https://github.com/Ravichanderj/SET-Net-EEG-BCI.

Results

Представление признаков на основе спектрограммы

Основной целью этого исследования было правильное классифицирование состояний внимания и расслабления с помощью сигналов ЭЭГ. Преобразование необработанных ЭЭГ-сигналов в спектрограммы позволило эффективно извлекать дискриминационные признаки. Спектрограммы показывают увеличение активности альфа-диапазона (8–13 Гц) во время релаксации и увеличение бета-активности (14–25 Гц) во время внимания. Это...

Discussion

Текущие исследования предполагают гибридную модель глубокого обучения SET-Net для классификации внимания и релаксации на основе ЭЭГ. Для изучения пространственных, спектральных и временных особенностей ЭЭГ-сигналов архитектура сочетает сверточные нейронные сети, внимание сжатия и возбуждения, а также кодировщики трансформаторов, как показано на рисунке 5. Результаты показывают, что предлагаемый метод может достичь цели исследования. Точность, показатели F1 и...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Компьютер / Ноутбук	Дженерик	Любая стандартная система	≥ Рекомендуется 8 ГБ оперативной памяти
скрипт сбора данных	Обычай	collect.py	Скрипт приобретения на основе Python
Одноразовые гелевые электроды	Дженерик	Заранее гельированные электроды Ag/AgCl	Одноразовый клей
Модуль получения ЭЭГ	Лаборатории Вверх Вниз	BioAmp EXG Pill	Аналоговый фронтенд для сигналов биопотенциала
Электродный гель (если используются многоразовые электроды)	Дженерик	Проводящий гель	Улучшает проводимость сигнала
Интерактивное приложение (игра)	Дженерик	Любая простая игра (например, гонки)	Интерфейс с управлением клавиатурой
Провода перемычки	Дженерик	Male– Женские разъёмы	Стандартные провода для макетной платы
Матплотлиб / Сиборн	Открытый исходный код	Последние версии	Библиотеки визуализации
Плата микроконтроллера	Arduino	Уно / Мейкер Уно	10-битный АЦП, USB-интерфейс
Среда программирования на Python	Фонд программного обеспечения Python	Python и ge; 3.8	Язык программирования с открытым исходным кодом
Библиотека PyTorch	Meta AI	Версия и описание; 1.12	Фреймворк глубокого обучения
Scikit-learn	Открытый исходный код	Последняя стабильная версия	Утилиты машинного обучения
Библиотеки обработки сигналов	SciPy	Последняя версия	Фильтрация, STFT
USB-кабель	Дженерик	USB Type-A до B	Кабель передачи данных