Методическая статья

Комбинированный взвешенный подход корреляции признаков для улучшенного распознавания эмоций на основе ЭЭГ на различных наборах данных

DOI:

10.3791/69073

⸱

17 апреля 2026 г.

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Статья сосредоточена на распознавании эмоций на основе ЭЭГ — это новая область в нейронауке и эмоциональных вычислениях. Традиционные линейные методы недостаточны, так как невозможно передать сложную эмоциональную структуру в видео. Чтобы решить эту проблему, авторы предлагают новую модель — Комбинированную взвешенную корреляцию признаков (CWFC), которая отражает эмоциональные взаимосвязи. После фильтрации по полосным пропускам модель использует независимый компонентный анализ (ICA), дискретное вейвлет-преобразование (DWT) и быстрое преобразование Фурье (FFT) для извлечения нелинейных признаков из ЭЭГ. В этом случае лучшая признак выбирается LSTM, и эти признаки оцениваются с помощью классификатора случайного леса. Введение: Увеличение данных на основе генеративной состязательной сети (GAN) обеспечивает точность 88% (для валентности) и 86% (для оценки результатов тестов: предложенное возбуждение на основе GAN) в наборе данных DEAP, который отличается очень высоким уровнем дополнения данных, что смогло повысить производительность при повышении производительности. Модель подтверждает, что CWFC полезен для всех наборов данных, поскольку обеспечивает общую точность классификации 89% для эмоциональных состояний в наборе данных SEED.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Распознавание эмоций с помощью ЭЭГ-сигналов — это активная область исследований в аффективных вычислениях и нейронауке, помогающая учёным в поисках понимания процессов в мозге, связанных с эмоциями. В отличие от существующих работ, посвящённых линейным особенностям ЭЭГ, настоящая работа сосредоточена на нелинейных особенностях для лучшей характеристики тонких изменений эмоционального отклика. Вдохновлённый этим, в текущей статье предложенный метод называется Комбинированная взвешенная корреляция признаков (CWFC) для изучения влияния нелинейных компонентов на эффективность обнаружения эмоций. В качестве первого шага данные ЭЭГ собираются и предварительно обрабатываются с помощью полосовых фильтров для разделения частотных диапазонов, таких как бета, альфа, гамма, дельта и тета. Для выявления сложных эмоциональных паттернов экстракция признаков выполняется с помощью независимого компонентного анализа (ICA), DWT (дискретное вейвлетное преобразование) и FFT (быстрое преобразование Фурье). Эти особенности могут быть интегрированы в модель CWFCC как комбинированные элементы, чтобы повысить её мощность, а также общую точность прогнозирования. Затем примените классификатор случайного леса, чтобы определить, насколько значимы эти объединённые признаки. Предлагаемая работа интегрирует дополнение данных GAN после оптимального выбора признаков (с акцентом на LSTM). В наборе данных DEAP это увеличение обеспечивает поразительную точность валентности 88% и 86% точности возбуждения, что значительно повышает точность распознавания эмоций. Предлагаемая модель достигла точности валентности и возбуждения в 62% и 65% соответственно на ранних DEAP без дополнения данных GAN. Кроме того, эта модель может различать набор данных SEED во время нейтральных эмоциональных состояний, отрицательных и положительных, со средней точностью 89%. Предлагаемая статья провозглашает превосходную эффективность модели CWFC с дополнением данных на основе GAN на ЭЭГ для распознавания эмоций на различных наборах данных посредством глубокого анализа и сравнительных исследований.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Распознавание эмоций важно в человеческом взаимодействии и общении. Чтобы установить успешные межличностные связи, необходимо уметь воспринимать и понимать эмоции, что имеет далеко идущие последствия в таких разнообразных областях, как психология, неврология и взаимодействие человека скомпьютером 1. В последние несколько лет электроэнцефалограмма (ЭЭГ) BCI (интерфейс мозга и компьютера) стала инструментом для выявления эмоций, на котором исследователи сосредоточились. Хотя БКИ на основе ЭЭГ дают прямое окно в электрическую активность человеческого мозга и являются подходящим исследовательским инструментом для изучения эмоциональных состояний. Автоматическая и точная классификация эмоциональных состояний фундаментально изменила область распознавания эмоций с помощью методов машинного обучения иBCI 2 на основе ЭЭГ.

В предыдущей работе представлено распознавание эмоций и его значение в различных сферах, включая здравоохранение, взаимодействие человека и компьютера инейронауку 3. Несмотря на значительный прогресс, в текущих исследованиях распознавания эмоций на основе ЭЭГ сохраняется явный пробел. Во-первых, подходы, представленные в литературе, используют извлечение однодоменных признаков (например, спектральные или временные частотные признаки) или уникальные нелинейные дескрипторы, доступные и изолируемые, которые недостаточно для моделирования, поскольку работают только с частичным представлением по своей природе сложных и нестационарных сигналов ЭЭГ. Во-вторых, хотя различные нелинейные признаки сообщают о превосходящей дискриминационной способности, они обычно используются отдельно и изолируют взаимосвязи между этими признаками в разных областях. Это ограничение делает их менее способными моделировать многомасштабную и исходную динамику, связанную с активацией эмоционального мозга. В-третьих, большинство методов глубокого обучения предназначены для оптимизации эффективности классификации, но не учитывают интерпретируемость признаков, снижение избыточности и устойчивость при наличии классового дисбаланса. Следовательно, обобщение межнабора по-прежнему остаётся открытой проблемой между исследованиями с разными установками электродов, частотой дискретизации (128–256 Гц) и длительностью записи (30–60 с). Основные измерения эмоционального интеллекта представлены на рисунке 1.

Чтобы преодолеть такие недостатки, в этой статье мы предлагаем фреймворк Combined Weighted Feature Concatenation (CWFC), который объединяет многодоменные нелинейные признаки в одной архитектуре. Вместо того чтобы рассматривать ICA, DWT и FFT как независимые методы извлечения, как традиционные методы, мы моделируем разложение на уровне источника (ICA), многоразрешённую временную динамику (DWT) и спектральные мощностные представления (FFT) с помощью взвешенной корреляции. Такая структура помогает модели использовать дополнительную нейронную информацию и снижать избыточность для повышения дискриминационных способностей. Кроме того, для достижения устойчивости при наименьшем количестве дисбалансированных ЭЭГ-образцов применяются как ранжирование важности признаков, так и аугментация на основе GAN. Интегрируя мультимодальные взаимосвязи признаков и временные зависимости через классификацию LSTM, объединённая модель улучшает обобщение в различных условиях получения ЭЭГ. Таким образом, основной вклад этой работы заключается в преодолении недостатка интеграции между нелинейными представлениями ЭЭГ и недостаточной обобщаемости в существующих методах, а также введение систематической, воспроизводимой и стабильной структуры распознавания эмоций в реальных приложениях BCI.

figure-introduction-1
Рисунок 1: Фазы эмоционального интеллекта. Фазы эмоционального интеллекта отражают, как можно извлечь распознавание эмоций из сигналов ЭЭГ, а затем использовать его для диагностики и мониторинга эмоциональных проблем в оценке психического здоровья. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Нелинейные особенности ЭЭГ для исследований распознавания эмоций дают более глубокое понимание нейронных процессов, связанных с аффективной обработкой. Будучи неинвазивной, высоковременной методикой, чувствительной к быстрой нейродинамике, ЭЭГ широко используется для изучения мозговой активности, связанной с эмоциональными состояниями. Нелинейные методы особенно уместны для изучения ЭЭГ-сигналов благодаря их нестационарной и сложной природе, которая лучше служит моделью как вызываемой, так и индуцированной активности в эмоциональных процессах. В любом из числа вычислительных моделей эмоции представлены с точки зрения существующих теоретических моделей, таких как Базовая модельэмоций 4 (BEM) и модельCircumplex 5,6. Два структурно и функционально различных представления о эмоциях — это модель базовых эмоций, которая предполагает, что существует набор биологически основанных основныхэмоций 7,8 (особенно любовь), и модель Циркумплекс, которая организует эмоции по двум базовым измерениям:валентность 9 (положительно–отрицательная) и возбуждение10,11 (низко–высокое). Рамка валентно-возбуждения, показанная на рисунке 2, широко распространена в исследованиях распознавания эмоций на основе ЭЭГ, главным образом благодаря её соответствию стандартным наборам данных и применимости для моделирования непрерывных эмоциональных состояний. Такое измерение-ориентированное представление предлагает систематический и количественно измеримый способ отображения нейронной активности в эмоциональные категории и, таким образом, может облегчить классификацию на основе машинного обучения.

figure-introduction-2
Рисунок 2: Представление эмоций валентности и возбуждения. Двухосевая диаграмма, показывающая эмоциональные состояния: валентность указывает на положительные или отрицательные чувства, а возбуждение — с низкой или высокой эмоциональной интенсивностью. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Возбуждение — это эмоциональная интенсивность, валентность положительная или отрицательная. В последнее время анализ эмоций был сосредоточен на ЭЭГ для изучения нейронных коррелятов эмоций. Извлечение признаков имеет большое значение, поскольку ЭЭГ отображается в величинах во времени, частоте и временно-частотной области. Некоторые из наиболее распространённых нелинейных характеристик — вейвлет-энтропия12, корреляционнаяразмерность 13, и в этом исследовании используется комбинированный взвешенный подход, являющийся слиянием DWT, ICA иFFT 13. Стандартные наборы данных DEAP14 и SEED15 доступны для воспроизводимой оценки. Традиционные линейные признаки часто уже не являются достаточными, что требует проектирования нелинейныхподходов 16. Эмоциональные паттерны, основанные на частотных диапазонах, показаны на рисунке 2, а веса вклада полос ЭЭГ приведены в таблице 1.

Разные частотные диапазоныДиапазон частотных диапазонов в ГцФункции частотного диапазона в распознавании эмоций
ГаммаБольше 30 ГцИнтеграция эмоциональных данных и синхронизация нескольких областей мозга во время эмоциональной обработки могут отражаться в гамма-активности.
БетаВ диапазоне от 13 до 30 ГцВариации в бета-силе могут быть признаком эмоционального возбуждения и моторных реакций, связанных с эмоциональными проявлениями.
АльфаОт 8 до 13 ГцЭмоциональные состояния и вариации альфа-силы, особенно альфа-асимметрия, связаны между собой. При эмоциональном возбуждении и большем внимании к эмоциям часто наблюдается снижение альфа-силы.
ТетаВ диапазоне от 4 до 8 ГцЭмоциональные переживания могут быть связаны с увеличением тета-мощности, что может способствовать кодированию и восстановлению эмоциональных воспоминаний.
Дельта0,5-4 ГцУвеличение активности дельта в контексте обнаружения эмоций может указывать на расслабленное или состояние покоя.

Таблица 1: Функции частотного диапазона ЭЭГ в распознавании эмоций вместе с разным диапазоном. В этой таблице представлены широко распознанные частотные диапазоны ЭЭГ, указаны их соответствующие частотные диапазоны и описано их функциональное значение в исследованиях распознавания эмоций. Он подчёркивает, как каждая полоса связана с разными когнитивными и аффективными процессами, что служит основой для интерпретации сигналов ЭЭГ в классификации эмоционального состояния.

Недавнее развитие распознавания эмоций на основе ЭЭГ стимулируется прорывами в глубоком обучении и нелинейной обработке сигналов. Модели на базе CNN достигали высокой производительности благодаря выбору электродов и гиперпараметрической настройке17, тогда как независимая модель CNN с динамической дифференциальной энтропией улучшала носимость и снижаласложность 18. Однако модели для этой проблемы обычно нельзя обобщать между темами. Для моделирования зависимости последовательностей были предложены архитектуры LSTM на основе внимания с механизмами адаптациидоменов 19,20, требующие больших вычислений и недостаточно интерпретируемы. Помимо глубоких сетей, нелинейные и топологические методы также вызвали значительный интерес. С помощью устойчивого гомологического фазового пространственного анализа была получена усиленная дискриминация для тонких эмоциональныхсостояний 21,22. Методы ансамбля, сочетающие выходы энтропии и фракталов с различными выборами признаков, были известны как улучшенные предикторы. Гибридные модели CNN–LSTM 23 превосходили классификацию прямой валентности и возбуждения на DEAP24, а многоколоночные CNN эффективно использовали пространственное распределениеэлектродов 25. Представления объектов на основе топографическихкарт объектов 26, 27 (TOPO-FM) и голографических карт объектов (HOLO-FM) были оценены на ряде общедоступных наборов данных28, 29, 30. Несмотря на значительные достижения в точности классификации, проблемы с межсубъектной обобщённостью и интерпретируемостью модели, а также устойчивостью по гетерогенности условий получения ЭЭГ остаются. Автор31 предлагает обширный обзор основных вызовов, подходов и дальнейших направлений в этой области, с акцентом на качество сигнала, извлечение признаков и масштабируемость в прикладных мягких вычислениях. В связанной работе32 продвинутая функциональная связность измеряет корректированную корреляцию амплитудной огибающей в различных диапазонах ЭЭГ, выявляя неблагоприятные условия вождения, подчёркивая силу многодиапазонной связности для мониторинга поведения на лету.

В более широком нейровизуализированном соотношении33,36 представлен глубокий обзор мультимодальных методов обучения, сочетающих различные сигналы, такие как ЭЭГ и мимики или физиологические данные, для более надёжного обнаружения эмоций с целью демонстрации потенциала интеграции модальностей, что значительно повышает производительность в системах ИИ. Помимо DEAP и SEED, набор данных DREAMER также является недавним дополнением к репрезентативным ориентирам в исследованиях распознавания эмоций на основе ЭЭГ. DREAMER был предложен Кацигианнисом иРамзаном 37 и содержит сигналы ЭЭГ и ЭКГ, полученные от участников, наблюдающих за аудиовизуальными эмоциональными стимулами с помощью недорогого беспроводного устройства. Содержимое набора данных применимо для размерного моделирования эмоций с иерархиями валентности, возбуждения и доминирования в соответствии с циркумплексной моделью аффекта. Благодаря хорошо продуманной экспериментальной парадигме, наборы данных DREAMER широко используются для оценки глубокого обучения и моделей распознавания эмоций, независимых от субъекта. Его приложения могут сравнивать с другими базами данных измерений эмоций, а также показали, что он является ценной альтернативой в дополнении к набору данных cirrus dance, DEAP и SEED. Эти наборы данных широко используются в исследованиях аффективных вычислений и охватывают ЭЭГ-записи, полученные в контролируемых экспериментальных условиях со стандартизированными эмоциональными стимулами. Этот набор данных состоит из 32-канальных ЭЭГ-сигналов от 32 участников, получивших эмоциональные видеоклипы. Данные аннотированы относительно валентности и возбуждения. SEED: многосессионные ЭЭГ-записи испытуемых во время экспериментов по выживанию эмоций на основе плёнки с метками категорий эмоций. DREAMER — это набор данных по ЭЭГ и ЭКГ, записываемый во время индукции эмоций с помощью аудиовизуального подачи стимула. Все наборы данных изначально были собраны с использованием стандартизированных протоколов, аппаратных конфигураций и валидации процедур маркировки, как это было описано в их первоначальных публикациях. В данном исследовании анализировались только сигналы ЭЭГ из этих наборов данных.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Исследование не включало прямого взаимодействия с людьми. Все наборы данных, использованные в этом исследовании, были получены с общедоступных платформ и использовались в соответствии с заявленными ими политиками использования. Поэтому формальное этическое одобрение не было необходимо.

1. Подготовка вычислительной среды

  1. Подготовьте среду на Python (версии 3.8 или выше) на стандартной рабочей станции.
  2. Установите TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE и PyWavelets с помощью pip.
  3. Исправьте случайное засечка (seed = 42) в NumPy и TensorFlow для обеспечения согласованных экспериментальных результатов.

2. Сбор и структурирование наборов данных (DEAP, SEED и DREAMER)

  1. Получите наборы данных EEG из публичных репозиториев DEAP, SEED и DREAMER. Необработанные наборы данных ЭЭГ, использованные в этом исследовании, доступны через публичные записи. Набор данных DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), набор данных SEED (репозиторий лаборатории BCMI: http://bcmi.sjtu.edu.cn/~seed/seed.html) и набор данных DREAMER доступны через порт данных IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. Извлекать исходные записи ЭЭГ (.dat) для всех участников и испытаний.
  3. Преобразуйте записи в формат массива NumPy и упорядочите их по темам и по пробам для обработки.
  4. Читайте в наборе данных DEAP и извлекайте записи ЭЭГ для всех участников. Сохранять в общей сложности 32 канала ЭЭГ (от Fp1 до O2) и удалять физиологические сигналы, не связанные с ЭЭГ.
  5. Скачайте налет данных SEED и извлеките все записи ЭЭГ из каждого эксперимента. При необходимости сэмплировать до 200 Гц. Примените фильтр полосного пропуска 0–75 Гц и сегментируйте сигналы по эпохам (eeg_1–eeg_15) массивы.
  6. Помечайте каждый кадр эмоцией (−1: отрицательно, 0: нейтрально, +1: положительно) и переставляйте данные в течение × канала.
  7. Получите набор данных DREAMER и получите записи ЭЭГ всех участников и испытаний. Выбирайте доступные ЭЭГ-каналы, а также эмоциональные ярлыки.
  8. Классифицировать каждый эксперимент на небольшие окна заданной длительности и переформировать данные в структурированные матрицы по субъектам с закодированными категориальными переменными для оценок валентности, возбуждения и доминирования.
    ПРИМЕЧАНИЕ: Подробные спецификации предварительно обработанного набора данных DEAP, используемого для анализа, приведены в таблице 2, а рисунок 3 иллюстрирует распределение показателей валентности и возбуждения.
Сигнал записывался на разных этапахУстройство ЭЭГ (электроэнцефалограмма) по набору данных DEAP
Полученные данные24 предмета (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
Индексы канала"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
Размер окна256
Нет видео/судебного процесса40
Размер шага16 (каждый по 0,125 секунды обновляется один раз)
Частота дискретизации128 Гц
Список предметов32
ЭмоцииВозбуждение, Валенс

Таблица 2: ОБЪЯСНЕНИЕ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ НАБОРОВ ДАННЫХ. Сводка этапов предварительной обработки наборов данных ЭЭГ, включая фильтрацию, удаление артефактов, сегментацию и нормализацию, выполненные до извлечения признаков и обучения модели.

figure-protocol-1
Рисунок 3: Набор данных DEAP Valence — представление возбуждения первых 40 данных. Картирование валентно-возбуждённой карты первых 40 испытаний ЭЭГ из набора данных DEAP, иллюстрируя распределение эмоционального состояния и вариабельность по двум измерениям. Такое представление даёт представление о распространении эмоциональных реакций и поддерживает процесс извлечения признаков для классификации эмоций. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

ПРИМЕЧАНИЕ: Расположение электродов ЭЭГ в разных областях мозга показано на рисунке 4. Конфигурация канала соответствует стандартному размещению электродов EEG для скальпа, используемых для сбора данных в наборах данных DEAP, SEED и DREAMER. Электроды распределены по фронтальной, височной, теменной и затылочной областям, что позволяет охватывать как локальную, так и распределённую нейронную активность, связанную с эмоциональной обработкой.

figure-protocol-2
Рисунок 4: Представление электрода сигнала ЭЭГ. Размещение электродов в международной системе EEG 10–20 для получения сигнала на коже головы. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

3. Ресемплирование сигнала и сегментация окон

  1. Понижение дискретов записей SEED EEG с 512 Гц до 200 Гц с использованием scipy.signal.resample() для снижения вычислительной сложности. Затем каждое испытание разделяется на окна фиксированной длины из 256 образцов с шагом 16 образцов.
  2. Сохраняйте исходные частоты дискретизации для DEAP и DREAMER (наборы данных 128 Гц). Размер шага — 16 сэмплов (0,125 с перекрываются при 128 Гц).
  3. Разделите каждое исследование ЭЭГ на окна из 256 образцов с шагом 16 образцов, чтобы создать перекрывающиеся сегменты.

4. Фильтрация полосовой пропускной полосы и декомпозиция частот

  1. Определите частоту дискретизации (fs) и установите порядок фильтра на 2. Вычислите частоту Найквиста (0,5 × fs) и нормализуйте срезающие частоты.
  2. Спроектировать полосный фильтр Баттерворта с использованием scipy.signal.butter().
  3. Примените нулевую фазовую фильтрацию с помощью scipy.signal.filtfilt(), чтобы избежать фазовых искажений.
  4. Выделите пять канонических диапазонов ЭЭГ: дельта (0,5–4 Гц), тета (4–8 Гц), альфа (8–13 Гц), бета (13–30 Гц) и гамма-диапазон (30–45 Гц).

5. Удаление артефактов с помощью независимого анализа компонентов

  1. Примените FastICA из Scikit-learn с количеством компонентов, равным числу каналов ЭЭГ.
  2. Определяйте артефактные компоненты с помощью статистических показателей, таких как дисперсия и куртоз.
  3. Удалить выявленные компоненты и восстановить очищенные сигналы ЭЭГ для дальнейшего анализа.

6. Экстракция дифференциальной энтропии на основе CWFC

  1. Вычислите дисперсию каждого отфильтрованного сегмента ЭЭГ вдоль оси канала.
  2. Вычислите дифференциальную энтропию с помощью следующих методов:
  3. Извлекать значения энтропии для всех частотных диапазонов и каналов ЭЭГ.
  4. Храните полученные признаки энтропии в структурированной матрице признаков.

7. Извлечение признаков с помощью дискретного вейвлет-преобразования (DWT)

  1. Выполните многоуровневое разложение вейвлетов с помощью материнского вейвлета "db4".
  2. Разложите каждый сегмент ЭЭГ до уровня 4.
  3. Извлекайте статистические дескрипторы (среднее, дисперсию, энергию, энтропию) из каждого уровня разложения.
  4. Добавить функции, полученные на основе DWT, к существующей матрице признаков.

8. Экстракция спектральных признаков с использованием БФТ

  1. Примените быстрое преобразование Фурье, используя numpy.fft.fft() на каждом сегменте ЭЭГ.
  2. Вычислить плотность спектральной мощности по определённым частотным диапазонам.
  3. Извлекать значения мощности диапазона для всех каналов.
  4. Объедините функции на основе FFT с ранее извлечёнными признаками.

9. Выбор признаков через случайный лес

  1. Обучить классификатор случайного леса с 300 деревьями, используя критерий примеси Джини.
  2. Установите максимальную глубину дерева на 20 и включите bootstrap sampling с оценкой out-of-bag.
  3. Ранговые особенности основаны на важности.
  4. Удалить признаки ниже заранее заданного порога важности для снижения избыточности.

10. Разбиение данных

  1. Стратифицированная выборка для перетасовки набора данных таким образом, чтобы сохранить баланс классов между эмоциональными категориями.
  2. Разделите набор данных на 10 равных складок. С каждой итерацией используйте 9 fold для обучения и 1 для тестирования, всегда убедившись, что каждая складка проходит один раз.
  3. Используйте этот подход для каждого склода и рассчитывайте средние показатели производительности (точность, точность, отзыв, оценка F1) плюс стандартное отклонение для проверки устойчивости модели.
    ПРИМЕЧАНИЕ: Выполняйте все разбиения по выборке, при этом гарантируя, что между наборами обучения и тестирования в каждом складке не будут совместные выборки.

11. Дополнение данных с помощью генеративной состязательной сети

  1. Постройте GAN на уровне функций с помощью последовательного API Keras. Определите полностью связанные слои для генераторных и дискриминаторных сетей.
  2. Обучайте GAN для 200 эпох, используя векторы признаков класса меньшинства. Генерируйте синтетические образцы признаков из обученного генератора.
  3. Сохраняйте только высокоуверенные синтетические образцы, оценённые дискриминатором. Объедините выбранные синтетические образцы с исходным обучающим набором.

12. Архитектура модели LSTM

  1. Постройте последовательную модель LSTM с использованием Keras. Добавьте первый слой LSTM с 128 скрытыми единицами и установите return_sequences=true.
  2. Добавьте второй слой LSTM с 128 скрытыми единицами. После каждого слоя LSTM применяйте dropout (скорость = 0,3), чтобы избежать перенагона.
  3. Добавьте слой Dense Output с активацией SoftMax для многоклассовой классификации.

13. Сборка и обучение моделей

  1. Скомпилируйте модель с помощью оптимизатора Адама с скоростью обучения 0,001.
  2. Используйте категориальную потерю по перекрёстной энтропии. Обучайте модель с размером партии = 64 для 80 эпох.
  3. Применяйте раннюю остановку с терпением = 10 в зависимости от точности валидации.

14. Оценка эффективности

  1. Оцените обученную модель с использованием независимого тестового набора данных. Вычислите показатели производительности, включая точность, точность, отзыв и результат F1.
  2. Сохраняйте обученные веса модели и результаты оценки для воспроизводимости. Такой хорошо организованный конвейер гарантирует, что предлагаемая структура может быть легко воспроизведена.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Коллекция двух различных наборов данных ЭЭГ; DEAP и SEED стали первым этапом анализа. На рисунке 5 показан график валентности-возбуждения LAHV, HALV, LALV и HAHV — это короткие формы низкого возбуждения, высокого возбуждения, низкого возбуждения, низкого возбуждения, низкой валентности и высокого возбуждения высокой валентности соответственно. Зарегистрировано четыре категории психологической реакции: HAHV, LAHV, HALV и LALV. С каждым состоянием связаны две фундаментальные эмоциональные ...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этой статье исследование провело тщательное исследование распознавания эмоций на основе ЭЭГ на двух эталонных наборах данных (то есть DEAP и SEED) и показало, что предлагаемая модель CWFC может эффективно захватывать дискриминационную информацию, связанную с эмоциями. В отличие от предыдущих работ, основанных в основном на линейных описаниях или типах признаков, предлагаемая методология объединяет различные нелинейные извлечения признаков, которые взаимосвязаны, и использует их через в...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы также хотели бы поблагодарить учреждения и исследователей в базах данных DEAP и SEED EEG за их значительный вклад в эту работу. Наконец, спасибо нашим университетам за поддержку через ресурсы и поощрение для проведения этого расследования.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Набор данных DEAPУниверситет королевы Мэри в Лондонеv1.0Набор данных ЭЭГ эмоций
Набор данных DREAMERIEEE DataPortПубличный релизНабор данных ЭЭГ эмоций
КерасGoogle LLC2.x (бэкэнд TensorFlow)Моделирование нейронных сетей
Рабочая станцияLenovoIntel Core i7, 16 ГБ ОПЕРАТИВНОЙ ПАМЯТИ, 8 ГБ ВИДЕОКАРТЫ NVIDIAОбучение и вычисление моделей
MNE-PythonРазработчики MNE1.xПредварительная обработка ЭЭГ
NumPyРазработчики NumPy1.xЧисленное вычисление
Операционная системаMicrosoft CorporationWindows 11 (64-битная)Вычислительная платформа
PythonФонд программного обеспечения Python3.8+Среда программирования
PyWaveletsРазработчики PyWavelets1.xВейвлет-разложение
Scikit-learnРазработчики scikit-learn1.xУтилиты машинного обучения
SciPyСообщество SciPy1.xОбработка сигналов и ресемплирование
Набор данных SEEDЛаборатория BCMI, Шанхайский университет Цзяо ТунПубличный релизНабор данных ЭЭГ эмоций
TensorFlowGoogle LLC2.xФреймворк глубокого обучения

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

GANLSTMDEAP

Похожие статьи