다양한 데이터셋에서 EEG 기반 감정 인식을 향상시키기 위한 통합 가중 특징 상관관계 접근법

요약

이 논문은 신경과학과 감정 컴퓨팅에서 떠오르는 신흥 분야인 EEG 기반 감정 인식에 초점을 맞추고 있습니다. 전통적인 선형 방법으로는 복잡한 감정 구조를 비디오로 표현할 수 없기 때문에 불충분합니다. 이를 해결하기 위해 저자들은 감정적 관계를 포착하는 새로운 모델인 결합 가중 특징 상관관계(CWFC)를 제안합니다. 밴드 패스 필터링 이후, 독립 성분 분석(ICA), 이산 웨이블릿 변환(DWT), 고속 푸리에 변환(FFT)을 사용하여 EEG에서 비선형 특징을 추출합니다. 이 경우 LSTM이 최적의 특징을 선택하고, 이 특징들은 랜덤 포레스트 분류기(Random Forest Classifier)로 평가됩니다. 서론: 생성적 적대적 네트워크(GAN) 기반 데이터 증강은 가치 기준 88%, 테스트 결과 평가 기준 86%를 제공합니다. 제안된 GAN 기반 각성 데이터셋은 데이터 증강이 매우 높음에도 성능 향상에 기여했습니다. 이 모델은 CWFC가 SEED 데이터셋에서 감정 상태에 대해 전체 분류 정확도 89%를 제공함으로써 데이터셋 전반에 걸쳐 유용함을 검증합니다.

초록

EEG 신호를 이용한 감정 인식은 감정 컴퓨팅과 신경과학에서 활발히 연구되고 있으며, 과학자들이 감정에 관여하는 뇌 과정을 이해하는 데 도움을 줍니다. 선형 EEG 특징에 초점을 맞춘 기존 연구와 달리, 본 연구는 감정 반응의 미세한 변화를 더 잘 특징짓기 위해 비선형 특성에 집중하고 있습니다. 이 점에서 영감을 받아 현재 논문에서는 비선형 성분이 감정 감지 성능에 미치는 영향을 조사하기 위해 결합 가중 특징 상관(CWFC)이라는 방법을 제안하고 있습니다. 첫 번째 단계로, EEG 데이터를 수집하고 대역통과 필터를 사용해 베타, 알파, 감마, 델타, 쎄타와 같은 주파수 대역을 구분하여 사전 처리합니다. 복잡한 감정 패턴을 감지하기 위해 특징 추출은 독립 성분 분석(ICA), DWT(이산 웨이블릿 변환), FFT(고속 푸리에 변환)를 통해 수행됩니다. 이러한 특징들은 CWFCC 모델의 정밀도와 전반적인 예측 정확도를 향상시키기 위해 결합된 특징으로 구축될 수 있습니다. 그 다음 랜덤 포레스트 분류기를 적용하여 이 결합된 특징들이 얼마나 중요한지 확인해 보세요. 제안된 연구는 최적 특징 선택 후 GAN 데이터 증강(LSTM에 중점을 두음)을 통합하는 것입니다. DEAP 데이터셋에서 이 증강은 놀라운 88%의 가치 정확도와 86%의 각성 정확도를 가져와 감정 인식 정확도를 크게 향상시킵니다. 제안된 모델은 GAN 데이터 증강 없이 초기 DEAP에서 각각 62%와 각성 정확도를 달성했습니다. 더불어, 이 모델은 중립 감정 상태, 부정적, 긍정적 SEED 데이터셋을 평균 정확도 89%로 구분할 수 있습니다. 제안된 논문은 심층 분석과 비교 연구를 통해 다양한 데이터셋에서 감정 인식을 위해 GAN 기반 데이터 증강을 적용한 CWFC 모델의 우수한 성능을 선언합니다.

서론

감정 인식은 인간 간 상호작용과 의사소통에서 중요합니다. 성공적인 대인 관계를 구축하려면 감정을 인지하고 이해할 수 있어야 하며, 이는 심리학, 신경학, 인간-컴퓨터 상호작용 등 다양한 영역에 광범위한 영향을 미친^다. 최근 몇 년간 뇌파도(EEG) 기반 BCI(뇌컴퓨터 인터페이스)는 연구자들이 감정을 감지하는 데 중점을 둔 우수 도구로 자리 잡았습니다. EEG 기반 BCI는 인간 뇌의 전기 활동을 직접 들여다볼 수 있는 창을 제공하며, 감정 상태를 탐색하는 적절한 연구 도구이기도 합니다. 자동화되고 정확한 감정 상태 분류는 머신러닝 기법과 EEG 기반 BCI²를 통해 감정 인식 분야를 근본적으로 변화시켰습니다.

이전 연구에서는 감정 인식과 그 중요성을 의료, 인간-컴퓨터 상호작용, 신경과학 등 다양한 분야에서 소개^{했습니다.} 상당한 진전에도 불구하고, 현재 EEG 기반 감정 인식 연구에는 명확한 연구 격차가 남아 있습니다. 첫째, 문헌에서 소개된 접근법은 단일 영역 특징 추출(예: 스펙트럼 또는 시간 주파수 특징)이나 고립 가능한 단일 비선형 기술자를 사용하는데, 이는 본질적으로 복잡하고 비정상적인 EEG 신호의 부분적 표현만을 다루어 모델링에 충분한 정보를 제공하지 못합니다. 둘째, 다양한 비선형 특징들이 더 뛰어난 판별력을 가진 것으로 보고되었지만, 보통은 별도로 사용되며 도메인 간 특징들 간의 관계를 분리합니다. 이 제약은 감정적 뇌 활성화와 관련된 다중 규모 및 소스 수준의 역학을 모델링하는 능력을 떨어뜨린다. 셋째, 대부분의 딥러닝 기법은 분류 성능을 최적화하도록 설계되었으나, 클래스 불균형이 존재했을 때 특징 해석 가능성, 중복성 감소, 견고성은 고려하지 않습니다. 따라서 서로 다른 전극 구성, 샘플링 속도(128–256 Hz), 기록 시간(30–60초)을 적용한 연구들 사이에서 데이터 세트 간 일반화는 여전히 미해결 문제입니다. 감성 지능의 주요 차원은 그림 1에 제시되어 있습니다.

이러한 단점을 극복하기 위해, 본 논문에서는 다중 도메인 비선형 특징을 하나의 아키텍처로 집계하는 결합 가중 기능 연결 프레임워크(CWFC)를 도입합니다. ICA, DWT, FFT를 기존 접근법처럼 독립적인 추출 방법으로 다루는 대신, 우리는 가중 상관관계를 통해 소스 수준 분해(ICA), 다중 해상도 시간 역학(DWT), 스펙트럼 파워 표현(FFT)을 모델링합니다. 이 구조는 모델이 보완적인 신경 정보를 활용하고 중복을 줄여 구별력을 높이는 데 도움을 줄 수 있습니다. 또한, 특징 중요도 순위 부여와 GAN 기반 증강이 가장 적은 불균형 EEG 샘플에서 견고성을 달성하는 데 사용됩니다. LSTM 분류를 통해 다중 모달 특징 관계와 시간적 의존성을 통합하여, 이 결합 모델은 다양한 EEG 획득 조건에 대한 일반화를 향상시킵니다. 따라서 이 연구의 주요 기여는 비선형 EEG 표현 간의 통합 부족과 기존 방법에서의 일반화 부족을 극복하고, 실제 BCI 응용 내에 체계적이고 재현 가능하며 안정적인 감정 인식 프레임워크를 도입한 것입니다.

그림 1: 감성 지능의 단계. 감정 지능의 단계들은 EEG 신호에서 감정 인식을 추출하는 방법을 나타내며, 이를 정신 건강 평가에서 정서 문제의 진단과 모니터링에 활용합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

감정 인식 연구를 위한 비선형 EEG 기능은 정서 처리에 관여하는 신경 과정을 보다 깊이 있게 이해할 수 있게 합니다. 빠른 신경 역학에 민감한 비침습적이고 고시간 해상도 기법인 EEG는 감정 상태와 관련된 뇌 활동 연구에 널리 사용되어 왔습니다. 비선형 방법은 비고정적이고 복잡한 특성 때문에 감정 과정에서 유발되고 유도된 활동을 더 잘 모델링하기 때문에 EEG 신호 연구에 특히 적합합니다. 수많은 계산 모델에서 감정은 기본 감정 모델⁴(BEM)와 서커플렉스 모델 ^5,6과 같은 기존 이론 모델을 참조하여 표현됩니다. 구조적·기능적으로 구별되는 두 가지 감정 개념은 생물학적으로 기반한 기본 핵심 감정 ^7,8(특히 사랑)이 존재한다고 가정하는 기본 감정 모델과, 감정을 두 가지 기본 차원(가치⁹(긍정-부정)과 각성^10,11(낮음-높음)에 따라 감정을 조직하는 서커플렉스 모델이다. 그림 2에 나타난 가치-각성 프레임워크는 표준 데이터셋과의 일치와 연속적인 감정 상태 모델링에 적용 가능하기 때문에 EEG 기반 감정 인식 연구에서 널리 사용됩니다. 이 차원 기반 표현은 신경 활동을 감정 범주로 체계적이고 정량화할 수 있는 방법을 제공하여 기계 학습 기반 분류를 용이하게 할 수 있습니다.

그림 2: 가치-각성 감정 표현. 감정 상태를 나타내는 2축 다이어그램으로, 가치는 긍정적 또는 부정적 감정을 나타내고 각성은 낮은 강도에서 높은 감정 강도를 나타냅니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

각성은 감정적 강도, 양성 또는 부정적 가치입니다. 감정 분석은 최근 감정의 신경 상관관계를 탐구하기 위한 EEG에 집중되고 있습니다. 특징 추출은 EEG를 시간, 주파수, 시간-주파수 영역의 양으로 매핑하는 매우 중요합니다. 가장 흔한 비선형 특성 중 일부는 웨이블릿 엔트로피¹², 상관관계^{차원 13}이며, 이 제안된 연구는 DWT와 ICA를 융합한 가중 접근법과 FFT¹³을 결합한 것입니다. 표준 DEAP¹⁴ 및 SEED¹⁵ 데이터셋이 재현 가능한 평가를 위해 제공됩니다. 전통적인 선형 특징은 더 이상 충분하지 않아 비선형 접근법^설계가 필요하다. 주파수 대역 기반 감정 패턴은 그림 2에 나타났으며, EEG 대역의 기여 가중치는 표 1에 나와 있습니다.

서로 다른 주파수 대역	주파수 대역 범위 (Hz)	감정 인식에서 주파수 대역의 기능
감마	30Hz 이상일 때	감정 데이터 통합과 감정 처리 중 여러 뇌 영역의 동기화는 감마 활동에 반영될 수 있습니다.
베타	13Hz에서 30Hz 사이	베타 파워의 변동은 감정적 각성과 감정 표현과 관련된 운동 반응의 신호일 수 있습니다.
알파	8Hz에서 13Hz 사이	감정 상태와 알파 파워의 변동, 특히 알파 비대칭성이 관련되어 있습니다. 감정적으로 흥분하고 감정 입력에 더 집중할 때는 알파 파워가 자주 감소하는 것이 관찰됩니다.
쎄타	4Hz에서 8Hz 사이	감정적 경험은 쎄타 능력 증가와 연관될 수 있으며, 이는 감정 기억의 부호화와 회상에 도움을 줄 수 있습니다.
델타	0.5-4 Hz	감정 감지 맥락에서 델타 활동이 증가하는 것은 편안하거나 안정된 정서 상태를 나타낼 수 있습니다.

표 1: 감정 인식에서 EEG 주파수 대역의 기능과 다양한 범위 이 표는 일반적으로 인식되는 EEG 주파수 대역을 개괄하고, 각각의 주파수 범위를 명시하며, 감정 인식 연구에서 기능적 중요성을 설명합니다. 각 밴드가 서로 다른 인지 및 정서 과정과 연관되어 있어 감정 상태 분류에서 EEG 신호를 해석하는 기초를 제공합니다.

EEG 기반 감정 인식의 최근 발전은 딥러닝과 비선형 신호 처리의 돌파구에 의해 촉진되었습니다. CNN 기반 모델은 전극 선택과 하이퍼파라미터^튜닝을 사용하여 높은 성능을 달성했으며, 동적 미분 엔트로피를 이용한 피험자 독립 CNN 모델은 착용성을 높이고 복잡도를 감소시켰습니다¹⁸. 하지만 이 문제에 대한 모델은 일반적으로 모든 주제에 일반화할 수 없습니다. 시퀀스 의존성을 모델링하기 위해, 도메인 적응 메커니즘을 가진 주의 기반 LSTM 아키텍처^{가 제안되었으며,} 이는 대규모 계산이 필요하고 해석 가능성이 부족합니다. 심층 네트워크 영역을 넘어, 비선형 및 위상학적 방법들도 상당한 관심을 받고 있습니다. 지속적 상동성 기반 위상 공간 분석을 사용하여 미묘한 감정 상태에 대한 향상된 분별력을 얻었습니다^21,22. 엔트로피와 프랙탈 출력을 다양한 특징 선택과 결합하는 앙상블 방법은 향상된 예측 변수로 알려져 있습니다. 하이브리드 CNN–LSTM 모델은 DEAP ²⁴에서 직접 원가-각성 분류보다 우수한 성능을 보였으며, 다열 CNN은 전극의 공간 분포를 효과적으로 활용했습니다. 지형학적 특징지도^26,27(TOPO-FM)과 홀로그램 특징지도(HOLO-FM) 기반 특징 표현은 공개된 데이터셋^{28, 29, 30}을 기준으로 평가되었습니다. 이러한 결과들이 분류 정확도에 상당한 진전을 보였음에도 불구하고, 모델의 피험자 간 일반화와 해석 가능성, 그리고 EEG 획득 조건의 이질성에 대한 견고성에 관한 도전 과제는 여전히 남아 있습니다. 저^{자 31}은 이 분야의 주요 도전 과제, 접근 방식 및 향후 방향에 대해 폭넓게 조사하며, 응용 소프트 컴퓨팅에서의 신호 품질, 특징 추출 및 확장성에 초점을 맞추고 있습니다. 관련 연구³²에서는 고급 기능 연결성이 서로 다른 EEG 주파수 대역에서 진폭 외피 상관관계를 보정하여 불리한 운전 조건을 식별함으로써 다중 대역 연결성의 강점을 강조했습니다.

더 넓은 신경영상 관계^33,36에서는 EEG와 얼굴 표정 또는 생리학적 데이터를 포함한 다양한 신호를 결합하여 보다 신뢰할 수 있는 감정 감지를 위한 다중 모달 학습 방법을 강력히 개관하며, AI 시스템의 성능을 크게 향상시키는 모달리티 통합의 잠재력을 입증하는 데 참고합니다. DEAP와 SEED 외에도, DREAMER 데이터셋은 EEG 기반 감정 인식 연구의 대표적인 벤치마크에 최근에 추가되었습니다. DREAMER는 Katsigiannis와 Ramzan³⁷이 제안했으며, 저렴한 무선 기기로 시청각 감정 자극을 관찰한 피험자들로부터 획득한 EEG 및 ECG 신호를 포함하고 있습니다. 데이터셋의 내용은 감정의 원시적 모델과 일치하는 가치, 각성, 우위 계층을 가진 감정의 차원 모델링에 적용 가능합니다. 잘 고려된 실험적 패러다임 덕분에 DREAMER 데이터셋은 딥러닝 및 피험자 독립적 감정 인식 모델 평가에 광범위하게 사용되어 왔습니다. 이 응용 분야는 차원 감정 표현의 다른 데이터베이스와 비교할 수 있으며, cirrus dance, DEAP, SEED 데이터셋을 보완하는 유용한 대안임이 입증되었습니다. 이 데이터셋은 정서 컴퓨팅 연구에 광범위하게 사용되며, 표준화된 정서 자극을 가진 통제된 실험 조건 하에서 획득된 EEG 기록을 포함합니다. 이 데이터셋은 감정 영상 클립을 받은 32명의 피험자로부터 32채널 EEG 신호로 구성되어 있습니다. 데이터는 가치와 각성에 관한 주석이 달려 있습니다. SEED: 범주별 감정 라벨을 가진 필름 기반 감정 유발 실험 중 피험자의 다중 세션 EEG 기록. DREAMER는 시청각 자극 제시를 통해 감정 유도 중에 기록되는 EEG 및 ECG 데이터셋입니다. 모든 데이터셋은 원래 표준화된 프로토콜, 하드웨어 구성 및 라벨링 절차 검증을 통해 수집되었으며, 이는 원래 출판물에 보고된 바와 같습니다. 여기서는 이 데이터셋에서만 나온 EEG 신호를 분석했습니다.

프로토콜

이 연구는 인간 대상 대상자와의 직접적인 접촉을 포함하지 않았습니다. 이 연구에 사용된 모든 데이터셋은 공개 접근 가능한 플랫폼에서 수집되었으며, 명시된 사용 정책에 따라 사용되었습니다. 따라서 공식적인 윤리적 승인은 필요하지 않았습니다.

1. 계산 환경 준비

1. 표준 워크스테이션에서 파이썬 환경(버전 3.8 이상)을 준비하세요.
2. pip을 사용해 TensorFlow(v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE, PyWavelets 등을 설치하세요.
3. NumPy와 TensorFlow에서 무작위 시드(시드 = 42)를 고정하여 일관된 실험 결과를 보장합니다.

2. 데이터셋 획득 및 구조화 (DEAP, SEED, DREAMER)

1. DEAP, SEED, DREAMER의 공개 저장소에서 EEG 데이터셋을 확보하세요. 이 연구에 사용된 원시 EEG 데이터셋은 공개 기록을 통해 이용할 수 있습니다. DEAP 데이터셋(http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), SEED 데이터셋(BCMI 실험실 저장소: http://bcmi.sjtu.edu.cn/~seed/seed.html), DREAMER 데이터셋은 IEEE 데이터 포트(https://ieee-dataport.org/documents/dreamer-dataset)에서 접근할 수 있습니다.
2. 모든 피험자와 임상시험에 대해 원시 EEG 기록(.dat)을 추출합니다.
3. 녹음을 NumPy 배열 형식으로 변환하고, 주제별로 및 시험별로 배열하여 처리하세요.
4. DEAP 데이터셋을 읽고 모든 피험자의 EEG 기록을 추출하세요. 총 32개의 EEG 채널(Fp1부터 O2까지)을 유지하고, 비EEG 생리적 신호는 제거합니다.
5. SEED 데이터셋을 다운로드하여 각 실험에서 모든 EEG 기록을 추출하세요. 필요하면 200Hz로 다운샘플링하세요. 0–75Hz 밴드패스 필터를 적용하고 신호를 eeg_1 eeg_15 행각별의 배열로 세분화합니다.
6. 각 프레임에 감정(−1: 부정, 0: 중립, +1: 긍정)을 표시하고 채널 × 시간에 따라 데이터를 재배열합니다.
7. DREAMER 데이터셋을 확보하고 모든 피험자/임상시험 EEG 기록을 검색하세요. 사용 가능한 EEG 채널과 감정 라벨을 선택하세요.
8. 모든 실험을 지정된 기간의 작은 창으로 분류하고, 데이터를 대상별 구조화된 행렬로 재구성하고, 가치, 각성, 우위 점수를 위한 범주 변수를 인코딩합니다.
   참고: 분석에 사용되는 사전 처리된 DEAP 데이터셋의 상세 사양은 표 2에 요약되어 있으며, 그림 3 은 가치 및 각성 점수의 분포를 보여줍니다.

신호는 여러 단계로 기록됩니다	DEAP 데이터셋의 EEG(뇌파 검사) 장치
수집된 데이터	24개 과목 (시즌 2, 시즌 4, 시즌 5, 시즌 6, 시즌 7, 시즌 8, 시즌 9, 시즌 10, 시즌 11, 시즌 12, 시즌 13, 시즌 14, 시즌 15, 시즌 16, 시즌 17, 시즌 18, 시즌 19, 시즌 20, 시즌 21, 시즌 22, 시즌 23, 시즌 24, 시즌 25, 시즌 26)
채널 지수	"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "오즈", "Pz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
창 크기	256
영상/재판 금지	40
단계 크기	16 (각 0.125초 1회 업데이트)
샘플링 레이트	128 Hz
과목 목록	32
감정	각성, 발렌스

표 2: 데이터셋 전처리 설명. 특징 추출 및 모델 훈련 이전에 수행된 필터링, 인공물 제거, 분할, 정규화 등 EEG 데이터셋 전처리 단계의 요약.

그림 3: DEAP 데이터셋 Valence-첫 40개 데이터의 각성 표현. DEAP 데이터셋에서 처음 40건의 EEG 시험을 평가한 가치-각성 매핑으로, 두 차원에 걸친 감정 상태 분포와 변동성을 보여줍니다. 이 표현은 감정 반응의 확산에 대한 통찰을 제공하며, 감정 분류를 위한 특징 추출 과정을 지원합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

참고: 뇌 영역 내 EEG 전극 위치는 그림 4에 나타났습니다. 채널 구성은 DEAP, SEED, DREAMER 데이터셋에서 데이터 수집에 사용되는 표준 두피 EEG 전극 배치를 따릅니다. 전극은 전두, 측두, 두정, 후두부 영역에 분포되어 있어 감정 처리와 관련된 국소 및 분산 신경 활동을 모두 포괄할 수 있습니다.

그림 4: EEG 신호 전극 표현. 두피 신호 획득을 위한 EEG 10–20 국제 시스템에서 전극 배치. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

3. 신호 재샘플링 및 윈도우 분할

1. scipy.signal.resample()를 사용하여 512Hz에서 200Hz로 SEED EEG 기록을 다운샘플링하여 계산 복잡도를 줄입니다. 그 다음 각 시험을 256개의 고정 길이 창으로 나누고, 16개의 샘플 스텝 크기로 나눈다.
2. DEAP와 DREAMER(128Hz 데이터셋)의 원래 샘플링 비율을 유지하세요. 스텝 크기 16 샘플(128 Hz에서 0.125초 겹침).
3. 각 EEG 시험을 256개의 샘플 창으로 구분하고, 16개의 샘플 스텝 크기를 통해 겹치는 구간을 만듭니다.

4. 대역통과 필터링 및 주파수 분해

1. 샘플링 주파수(fs)를 정의하고 필터 차수를 2로 설정합니다. 나이퀴스트 주파수(0.5 × fs)를 계산하고 컷오프 주파수를 정규화합니다.
2. scipy.signal.butter()를 사용하여 버터워스 밴드패스 필터를 설계하세요.
3. 위상 왜곡을 피하기 위해 scipy.signal.filtfilt()를 사용하여 제로 페이즈 필터링을 적용하세요.
4. 다섯 개의 표준 EEG 주파수 대역을 추출합니다: 델타(0.5–4 Hz), 쎄타(4–8 Hz), 알파(8–13 Hz), 베타(13–30 Hz), 감마(30–45 Hz).

5. 독립 성분 분석을 이용한 아티팩트 제거

1. Scikit-learn의 FastICA를 EEG 채널 수와 같은 컴포넌트 수를 적용하세요.
2. 분산과 과도와 같은 통계적 지표를 사용하여 인공물 구성 요소를 식별합니다.
3. 확인된 성분을 제거하고 깨끗한 EEG 신호를 재구성하여 추가 분석을 진행합니다.

6. CWFC 기반 미분 엔트로피 특징 추출

1. 각 필터링된 EEG 구간의 채널 축을 따라 분산을 계산합니다.
2. 미분 엔트로피를 다음과 같이 계산합니다:
3. 모든 주파수 대역과 EEG 채널의 엔트로피 값을 추출합니다.
4. 결과된 엔트로피 특징들을 구조화된 특징 행렬에 저장합니다.

7. 이산 웨이브릿 변환(DWT) 특징 추출

1. "db4" 모 웨이블릿을 사용하여 다단계 웨이브릿 분해를 수행합니다.
2. 각 EEG 구간을 4단계까지 분해하세요.
3. 각 분해 수준에서 통계적 기술자(평균, 분산, 에너지, 엔트로피)를 추출합니다.
4. 기존 기능 매트릭스에 DWT에서 파생된 특징을 추가하세요.

8. FFT를 이용한 스펙트럼 특징 추출

1. 각 EEG 구간에 numpy.fft.fft()를 사용하여 빠른 푸리에 변환을 적용하세요.
2. 정의된 주파수 대역에서 스펙트럼 전력 밀도를 계산합니다.
3. 모든 채널의 밴드 전력 값을 추출하세요.
4. FFT 기반 특징과 이전에 추출한 특징을 연결하세요.

9. 랜덤 포레스트를 통한 특징 선택

1. Gini 불순물 기준을 사용해 300개의 나무로 랜덤 포레스트 분류기를 훈련하세요.
2. 최대 트리 깊이를 20으로 설정하고, 아웃-오브 백 추정을 이용한 부트스트랩 샘플링을 활성화하세요.
3. 특징을 중요도 점수에 따라 순위를 매깁니다.
4. 중복을 줄이기 위해 미리 정의된 중요도 임계값 이하의 특징을 제거하세요.

10. 데이터 분할

1. 감정 범주 간 클래스 균형을 유지하기 위해 데이터셋을 재구성하는 계층화된 표본추출.
2. 데이터셋을 10개의 동일한 배로 나누세요. 각 반복마다 9개의 폴드를 훈련용으로, 1개의 폴드를 테스트용으로 사용하며, 각 폴드는 항상 테스트 세트로 한 번씩 사용되도록 하세요.
3. 이 방법을 각 폴드에 적용하여 평균 성능 지표(정확성, 정밀도, 회상율, F1 점수)와 표준 편차를 계산하여 모델 안정성을 점검합니다.
   참고: 모든 분할은 각 접힘 내 훈련 및 테스트 세트 간에 샘플이 공유되지 않도록 하여 샘플별로 수행하세요.

11. 생성적 대립 네트워크를 이용한 데이터 증강

1. Keras Sequential API를 사용하여 기능 수준 GAN을 구축하세요. 생성기 네트워크와 판별 네트워크 모두에 대해 완전 연결 계층을 정의합니다.
2. 소수민족 특성 벡터를 사용해 200 에포크에 대해 GAN을 훈련시킵니다. 학습된 생성기에서 합성 특징 샘플을 생성하세요.
3. 판별기가 평가한 신뢰도가 높은 합성 샘플만 유지합니다. 선택한 합성 샘플을 원래 학습 세트와 병합합니다.

12. LSTM 모델 아키텍처

1. Keras를 사용하여 순차 LSTM 모델을 구성합니다. 128개의 숨겨진 유닛이 있는 첫 번째 LSTM 계층을 추가하고 return_sequences=true로 설정합니다.
2. 128개의 숨겨진 유닛이 있는 두 번째 LSTM 레이어를 추가하세요. 각 LSTM 층마다 드롭아웃(속도 = 0.3)을 적용하여 과적합을 방지합니다.
3. 다중 클래스 분류를 위해 SoftMax 활성화가 포함된 Dense 출력 레이어를 추가하세요.

13. 모델 편집 및 훈련

1. 학습률 0.001의 Adam 옵티마이저를 사용해 모델을 컴파일하세요.
2. 범주적 교차 엔트로피 손실을 사용하세요. 배치 크기 = 64로 80 에포크를 학습시킵니다.
3. 검증 정확도에 따라 인내심 = 10으로 조기 정지를 적용하세요.

14. 성과 평가

1. 독립 테스트 데이터셋을 사용해 학습된 모델을 평가합니다. 정확도, 정밀도, 회상률, F1 점수 등 성능 지표를 계산합니다.
2. 훈련된 모델 가중치와 평가 결과를 재현성을 위해 저장하세요. 이렇게 잘 조직된 파이프라인은 제안된 프레임워크가 쉽게 재현될 수 있음을 보장합니다.

결과

두 가지 다른 EEG 데이터셋 수집; DEAP와 SEED가 분석의 첫 단계를 형성했습니다. 그림 5는 LAHV, HALV, LALV, HAHV의 원가-각성 그래프를 보여주며, 각각 저각성, 고각성, 저원가, 고각성, 고가성의 단축 형태입니다. 심리적 반응의 네 가지 범주가 보고되었습니다: HAHV, LAHV, HALV, LALV. 두 가지 기본적인 감정적 특징인 원가와 각성은 각 상태와 연관되어 있으며, 평균과 표준편차로 측정됩니다. 참가자들은 HAHV 상태를 평균적으로 평가했으며 평균 가치 7.12(SD = 1.04). 각성 점수의 표준편차, 즉 평균은 각각 6.81과 0.84였다. 네 가지 테스트 상황에서 정서 상태의 표현에서 놀라운 차이가 드러난다. LAHV 상태에서 평균 가치 점수는 6.67(SD = 1.09)로, 기분이 전반적으로 긍정적임을 나타내며, 평균 각성 점수는 3.87(SD = 1.09)로 중간 정도의 각성 수준을 시사합니다. 반면, HALV 상태는 ...

토론

이 논문에서는 두 개의 벤치마크 데이터셋(즉, DEAP과 SEED)에서 EEG 기반 감정 인식을 철저히 조사하여, 제안된 CWFC 모델이 감정 관련 판별 정보를 효과적으로 포착할 수 있음을 보여주었습니다. 선형 기술이나 특징 유형에 기반한 이전 연구들과 달리, 제안된 방법론은 서로 연결된 다양한 비선형 특징 추출을 통합하고, 가중 상관 모델을 통해 기능적 관계를 추론합니다. 이 다중 뷰 특징 융합은 연구의 가장 큰 혁신으로, EEG에서 감정 처리를 뒷받침하는 다양한 특징 간의 미묘한 비선형 역학과 상호 의존성을 포착할 수 있게 합니다. 이 결과는 CWFC가 전통적인 머신러닝 기법과 강력한 딥러닝 기초 모델에 비해 우위를 점함을 보여줍니다. 증강 없이도 CWFC는 DEAP 데이터셋에서 61%의 정확도를 달성했으며, 이는 로지스틱 회귀와 EESCN보다 높은 수치입니다. 특히, GAN 기반 데이터 증강(본 논문의 주요 기여 중 하나)의 도입은 훈련 분포를 크게 늘리고 데이터...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
DEAP 데이터셋	런던 퀸 메리 대학교	v1.0	EEG 감정 데이터셋
DREAMER 데이터셋	IEEE 데이터포트	공개	EEG 감정 데이터셋
케라스	구글 LLC	2.x (텐서플로우 백엔드)	신경망 모델링
워크스테이션	레노버	인텔 코어 i7, 16GB RAM, 8GB 엔비디아 GPU	모델 학습 및 계산
MNE-파이썬	MNE 개발자	1.x	EEG 전처리
넘버피	넘피 개발자들	1.x	수치 계산
운영 체제	마이크로소프트 코퍼레이션	윈도우 11 (64비트)	계산 플랫폼
파이썬	파이썬 소프트웨어 재단	3.8+	프로그래밍 환경
파이 웨이블릿	파이웨이블렛 개발자들	1.x	웨이블릿 분해
Scikit-learn	scikit-learn 개발자들	1.x	머신러닝 유틸리티
사이피	SciPy 커뮤니티	1.x	신호 처리 및 재샘플링
SEED 데이터셋	상하이 교통대학교 BCMI 연구소	공개	EEG 감정 데이터셋
텐서플로우	구글 LLC	2.x	딥러닝 프레임워크