SET Net: 뇌 컴퓨터 인터페이스 응용에서 EEG 기반 주의력 이완 분류를 위한 하이브리드 딥러닝 프레임워크

Summary

본 논문은 스펙트로그램 특징을 사용해 EEG 기반의 주의 및 이완 상태를 93.7%의 정확도와 높은 일반화도로 식별하는 하이브리드 CNN-트랜스포머 네트워크인 압축-흥분 변환기 네트워크(SET-Net)를 소개하며, 이는 뇌 컴퓨터 인터페이스(BCI) 응용에 사용됩니다.

Abstract

뇌 컴퓨터 인터페이스(BCI) 기술은 인간의 뇌와 외부 환경 간에 직접 소통 채널을 제공하는 도구로 사용됩니다. 이 방법은 보조 및 상호작용 시스템에 적용됩니다. 뇌파검사(EEG)를 이용한 비침습적 신경 활동 획득은 BCI 시스템에서 표준입니다. 하지만 EEG 신호가 비정상적이고 소음이 크기 때문에 주의력과 이완을 포함한 인지 상태를 효과적으로 분류하기가 어렵습니다. 이러한 한계를 극복하기 위해 본 연구는 새로운 하이브리드 딥러닝 아키텍처인 압축-여기(SE) 트랜스포머 네트워크(SET-Net)를 제안합니다. 이 방법에서는 EEG 신호를 전처리하여 시간적 창으로 나누어 중요한 스펙트로그램 표현을 분석합니다. 제안된 모델은 분류 정확도 93.7%를 달성하며, F1 점수는 0.93, ROC-AUC는 0.98입니다. 이는 EEG 기반 주의력 이완 상태의 분별력이 향상된 하이브리드 딥러닝 모델의 효과를 입증합니다. 이는 인간-컴퓨터 상호작용 보조 기술로서 실시간 BCI 응용을 위한 확장 가능한 시스템을 제공합니다.

Introduction

뇌-컴퓨터 인터페이스(BCI)는 인간의 뇌와 외부 장치가 전통적인 신경근 연결 없이 직접 소통할 수 있게 해주는 파괴적인 기술이 되었습니다. 뇌파검사(EEG)는 비침습적 특성, 휴대성, 비용 효율성 덕분에 가장 일반적이고 널리 사용되는 기법입니다^. EEG 기반 BCI는 의료 분야뿐만 아니라 신경 재활, 게임 및 뇌 활동을 관찰하는 보조 기술 등에서 사용되어 왔습니다^. 가장 중요한 응용 중 하나는 주의력과 이완을 포함한 인지 상태를 식별하는 것으로, 이를 통해 적응형 인간-컴퓨터 인터페이스와 디지털 접근성을 만들 수^{있습니다.} 낮은 신호 대 잡음비, 피험자 간 큰 변동성, 그리고 EEG를 이용해 해석되는 주의 상태와 이완 상태 간의 복잡한 시간적 역학; 따라서 EEG를 이용해 주의 및 이완 상태를 분류^{하는 것은 어}렵습니다. 지지 벡터 머신(SVM)과 랜덤 포레스트 등 고전적인 머신러닝 모델은 중간 정도의 성능을 보였습니다. 그러나 EEG⁵의 공간-스펙트럼-시간적 복잡성을 완전히 활용하지 못하기 때문에 일반적으로 특징 공학에 기반합니다. 특히 합성곱 신경망(CNN)과 트랜스포머 등 딥러닝의 최근 발전은 자동화된 특징 추출과 EEG 신호의 강력한 분류에 새로운 기회를 제공했습니다^.

EEG 기반 BCI 시스템은 인지 상태 모니터링, 신경재활, 상호작용 시스템 등에서 오랫동안 광범위하게 연구되어 왔습니다. 정신 상태의 정의는 이완과 주의 상태와 같은 가장 중요한 도전 과제 중 하나입니다. 이에 대응하여 과학자들은 표준 특징 공학과 고급 딥러닝 모델 등 다양한 해결책을 시연해 왔습니다. 고전적 머신러닝 접근법은 주로 시간, 주파수 또는 시-주파수 공간에서 수작업으로 설계된 특징에 의존합니다. EEG 기반 주의-이완 분류의 SET-Net 시스템의 일환으로 하이브리드 딥러닝 알고리즘 연구는 실제 환경에서 활용할 수 있는 BCI 시스템을 향상시킬 잠재력을 보여 중요한 과학적 방향으로 여겨졌습니다^7,8. 합성곱 신경망(CNN), 순환 신경망(RNN), 트랜스포머 등 딥러닝 모델은 지난 10년간 EEG 신호 디코딩에서 상당한 진전을 이루었습니다^9,10. 이러한 발전은 인지 상태의 개선되고 효율적인 해독으로 이어졌으며, 이는 신경재활 및 보조 기술을 위한 인지 상태에 바람직합니다^11,12. BCI 시스템의 인기가 높아지면서 분류의 정확성 향상이 실질적으로 중요하다는 점이 강조되었으며, 최근 결과는 운동 영상과 주의 활동에서 분류가 85% 이상일 수 있음을 보여주었습니다^13,14. 그럼에도 불구하고, 이러한 발전에도 불구하고 다양하고 소음이 많은 환경에서 강력한 실시간 분류를 달성하는 데는 여전히 도전이 존재합니다^15,16. 이 연구에서 다루는 핵심 문제는 EEG 기반 주의-이완 분류 모델, 특히 SET-Net 아키텍처 내 하이브리드 딥러닝 모델의 정밀도와 외부 타당성입니다^17,18, 는 제한적입니다. 기존 방법들은 대개 피험자 간 변동성, 낮은 신호 잡음, 시공간적 특성의 미흡한 활용 문제를 동반합니다^19,20,21. 컨볼루션 피처 추출에 초점을 맞춘 방법도 있고, 주의력이나 트랜스포머 아키텍처에 초점을 맞춘 방법도 있어, 최적의 모델 설계에 대한 다양한 의견이 있습니다^22,23,24. 또한, EEG 모델은 대규모 주석 데이터셋이 없어 훈련과 정당화가 쉽지 않습니다^25,26. 이러한 지식 부족은 실제 상황에서 BCI의 사용을 제한하며, 가장 중요한 것은 유연하고 정밀한 상태입니다 ^27,28. 이는 하이브리드 딥러닝 모델을 이용한 공간적, 시간적, 주의력 기반 특징 추출을 혼합하여 이론적으로 확립됩니다^29,30,31. 이 조합은 SET-Net 프레임워크에서 볼 수 있는데, 이는 국소 특징을 추출하기 위한 컨볼루션 계층과 전역 의존성을 학습하는 자기 주의 메커니즘을 통해 달성됩니다³². 이 시너지는 EEG 신호의 표현을 향상시키며, 이완 및 주의 상태의 더 나은 분류에 적용할 수 있습니다. 이 이론은 다스케일 시공간적 특성과 도메인 적응 기법의 강점을 통해 EEG 신호와 잡음의 변동성을 제거할 수 있다는 현실에 기반해 시작되었습니다³³. 체계적 검토는 EEG 기반 주의-이완 분류의 SET-Net 아키텍처 하이브리드 딥러닝 기법의 정확성과 실용적 적용에 대한 이론적 진전을 비판적으로 검토하는 데 중점을 둡니다³⁴. 이 검토는 최신 발전을 종합하고 방법의 강점과 한계를 파악함으로써 향후 실험에서 더 나은, 더 해석적이며, 일반화 가능한 BCI 시스템 개발을 안내하는 데 활용될 것입니다. 이러한 격차는 사용자의 효율성과 신뢰성을 향상시킬 실제 BCI 응용 개발에 도움이 될 것입니다. 이 리뷰는 EEG 주의-이완 분류에서 하이브리드 딥러닝 모델에 기반한 동료 심사 논문들을 활용하는 광범위한 문헌 검토 방식을 적용했습니다³⁴. 포함 기준은 SET-Net 또는 유사 시스템 내 합성곱, 반복, 주의 기반 아키텍처의 최근 추세에 초점을 맞춥니다³⁵. 분석 모델은 모델 설계, 특징 선택 알고리즘, 분류 정확도, 그리고 실제 환경에서 작동성을 평가합니다. 연구 결과는 이론 구축, 실무, 미래 연구 기회를 설명하도록 구성되어 있습니다.

최근 발전에도 불구하고, 기존 방법들은 단일 채널 EEG 신호에서 공간적, 스펙트럼적, 장거리 시간 의존성을 동시에 포착하지 못해 주의력-이완 분류에서 최적이 아닌 성능을 보입니다. 또한 기존 방법들은 수작업으로 추가된 특성에 기반하거나 EEG 신호의 일부 특징만 고려합니다; 따라서 참가자와 실시간 조건에 일반화할 수 없습니다. 따라서 다차원 EEG 특징을 충분히 모델링할 수 있고 실시간으로 강력하고 연구 가능한 통합 프레임워크가 필요합니다.

이러한 단점을 극복하기 위해 본 연구는 하이브리드 딥러닝 모델인 압축-여기 변환기 네트워크(SET-Net)를 제안합니다. 특히, CNN 모듈은 EEG 스펙트로그램을 통해 국소 공간-스펙트럼 패턴을 학습하고, 수작업으로 만든 특징 추출의 제약을 극복합니다. SE 블록은 채널별 중요도를 조정하고 노이즈 및 변동성의 견고성을 높여 특징 표현을 향상시킵니다. 트랜스포머 인코더는 CNN 단독 모델에 국한되지 않는 장거리 시간 의존성을 모델링합니다. 또한, 스펙트로그램 기반 표현을 사용하여 시간-주파수 분석을 효과적으로 수행할 수 있어 판별적 특징의 학습을 향상시킵니다. 안정적인 성능을 보장하기 위해 균형 잡힌 훈련과 누설 없는 검증을 채택하여 피험자 간 성능 일반화를 개선했습니다.

더불어, 제안된 구조는 실시간 응용에서 확인되어, 분류된 인지 상태가 상호작용 시스템의 명령어를 제어하는 데 변환됩니다. 이는 이 모델이 보조기술과 디지털 접근성에 실질적으로 적용 가능하며, BCI의 실질적 구현에 잠재적으로 활용될 수 있음을 보여줍니다.

이 연구의 주요 성과는 합성곱 신경망, 압축-여기 주의, 트랜스포머 인코더를 통합하여 EEG 신호를 더 잘 모델링하는 새로운 SET-Net 하이브리드 아키텍처 설계입니다. 더불어, 스펙트로그램 기반 표현을 사용해 EEG 신호의 시간-주파수 특성을 성공적으로 표현하였습니다. 제안된 프레임워크는 주의 및 이완 인지 상태를 강력하게 분류할 수 있게 합니다. 더불어, 이 모델은 실시간 뇌-컴퓨터 인터페이스 응용 분야에서 실용적인 적용 가능성도 입증되었습니다.

이 논문은 BCI 시스템에 적용된 뇌 활동의 주의 및 이완 범주를 분류한 연구들을 검토하는 섹션으로 구성되어 있습니다. 이 논문은 BCI 시스템 개발과 관련된 연구 공백과 도전 과제를 먼저 제시하고, 이어서 EEG 신호 기록을 포함하는 데이터 수집 과정과 방법론을 제시하도록 구성되어 있습니다. 전처리와 특징 표현. 주의력과 이완 활동의 중요성과 EEG 데이터에서 의미 있는 특징을 도출하는 과정에 대해 논의합니다. 그 결과 결과는 정량적 및 비교 분석과 함께 애플리케이션의 실제 성능을 통해 제시되고 평가됩니다. 마지막 부분에서는 연구 결과, 한계점, 그리고 향후 연구 방향에 대해 논의합니다.

Protocol

이 연구는 헬싱키 선언에 따라 수행되었으며, 인도 텔랑가나 와랑갈에 위치한 SR 대학교 기관 윤리 위원회(승인 번호 007/2026)에서 승인받았습니다. 데이터 수집 전에 모든 참가자로부터 서면으로 동의를 받았습니다.

참가자 선발

뇌파 데이터는 신경학적 또는 정신과적 질환 병력이 없는 11명의 건강한 참가자(연령대: 25–45세; 평균 연령: 28세)로부터 수집되었습니다. 이 연구에서는 총 1175개의 EEG 구간이 고려되었으며, 이 중 527개는 이완 단계, 648개는 주의 단계에 속합니다. EEG 기록에서 과도한 움직임 아티팩트나 신호 품질이 저하된 참가자는 제외되었습니다.

EEG 획득 장치

제안된 EEG 기반 뇌-컴퓨터 인터페이스 시스템의 일반적인 배치는 그림 1에 나타나 있으며, 신호 획득, 분류, 실시간 사용의 전체 파이프라인을 보여줍니다. EEG 데이터는 마이크로컨트롤러 기반 시스템에 연결된 소형 생체 전위 획득 모듈을 통해 기록되었습니다. 젤 전극은 국제 10–20 시스템, 즉 Fp1과 Fp2의 전전두엽 점에 배치되었고, 참조 전극과 접지 전극은 그림 2에 표시된 귓불에 배치되었습니다. 신호는 128Hz 속도로 디지털화되어 자체 작성한 파이썬 획득 스크립트를 통해 컴퓨터로 전송되었습니다. 적절한 피부 전처리와 전도성 젤을 사용하여 전극 임피던스를 줄이고 신호 품질을 향상시켰습니다.

실험 절차

EEG 기록은 이완과 주의 두 가지 인지 조건 하에서 표준화된 프로토콜에 따라 수행되었습니다. 이완 상태에서는 참가자가 편안하고 소음이 적은 환경에 앉아 최소한의 움직임으로 가만히 있으라는 지시를 받았습니다. 이어폰을 통해 진정시키는 기악 오디오가 재생되었고, 명령어 파이썬 collect.py 을 사용해 EEG 획득이 시작되었습니다. 뇌파 신호는 세션당 5분씩 기록되고 4회 세션 동안 반복되었습니다. 주의 상태에서는 참가자가 이완 상태와 동일한 습득 설정을 유지하면서 인터랙티브 게임과 같은 주의가 필요한 과제를 수행하도록 지시받았습니다. 뇌파 신호는 세션당 5분씩 기록되고 4회 세션 동안 반복되었습니다. 각 참가자는 총 40분, 20분은 이완, 20분은 주의 과제로 구성되어 인지 상태의 신뢰성 비교가 가능했습니다.

처리된 데이터셋은 다음과 같이 라벨링된 세그먼트로 구성되었습니다: 이완(0); 주의 (1). 각 구간은 4초의 지속 시간과 50%의 겹침을 가졌으며, 단시간 푸리에 변환을 이용한 스펙트로그램으로 표현되었습니다.

신호 처리, 특징 표현 및 모델 구현

획득된 뇌파 신호는 잡음과 아티팩트를 제거하기 위해 사전 처리되었습니다. 전력선 간섭을 제거하기 위해 50 Hz 노치 필터가 사용되었고, 0.5에서 30 Hz 사이 신호에 4차 버터워스 밴드패스 필터를 사용해 관련 EEG 주파수 대역을 선택했습니다. 진폭 임계값 측정과 시각적 검사를 통해 유물 오염 구간을 식별했으며, 약 8–12%의 데이터가 삭제되었습니다. 가우시안 노이즈 더미, 시간 마스킹, 주파수 마스킹은 모델의 견고성을 향상시키기 위해 사용되는 데이터 증강 방법입니다. EEG 신호는 필터링된 후 50% 간격으로 4초간 나누어졌습니다.

개별 EEG 구간은 방정식 (1)에 나타난 것처럼 시간-주파수 표현(단시 푸리에 변환)으로 변환되어 시간적 및 스펙트럼 특성을 추출할 수 있게 되었습니다.

(1)

결과된 스펙트로그램은 정규화되어 고정 차원으로 재조정되어 분류 모델의 입력값으로 사용되었습니다. 중복으로 인한 데이터 유출을 방지하기 위해, 세분화 전에 데이터셋은 훈련(70%), 검증(10%), 테스트(20%)의 하위 집합으로 나뉘었으며, 그림 3에 나타난 것으로 나타났습니다. 또한, 한 피험자의 데이터를 검사에 사용하고 나머지 데이터는 훈련에 사용하는 교차 피험자 일반화 평가를 위해 한 피험자 제외(LOSO) 교차 검증이 수행되었습니다.

그림 4에 나타난 제안된 SET-Net 아키텍처는 다차원 EEG 특징을 포착하도록 설계되었습니다. 이 모델은 합성곱 신경망(CNN) 백본을 통합하여 공간-스펙트럼 표현을 추출하고, 이후 채널별 특징 중요성을 적응적으로 재보정하는 압축-여기(SE) 블록을 적용합니다. 이는 방정식 (2)에 설명되어 있습니다. CNN 백본은 커널 크기가 3 × 3인 두 개의 합성곱 층으로 구성되며, 그 다음에 배치 정규화와 지수 선형 단위(ELU) 활성화가 진행됩니다

(2)

SE 블록의 내부 구조는 그림 5에 나타난다. 장거리 시간 의존성을 포착하기 위해 트랜스포머 인코더가 도입되었으며, 그 주의 메커니즘은 식(3)에 정의되어 있고 그림 6에 나타났습니다.

(3)

적응형 평균 풀링 계층을 사용해 특징 지도를 16 × 16의 고정된 크기로 줄였습니다. SE 블록의 감축 비율은 8로, 채널별 특징 응답을 재보정하는 데 사용됩니다. 변압기 인코더는 네 개의 레이어와 네 개의 어텐션 헤드, 피드 포워드 차원 크기는 256, 모델 임베딩 크기는 128로 구성되었습니다.

최종 분류는 완전 연결 층과 드롭아웃 정규화, 소프트맥스 활성화 함수를 사용하여 주의 상태와 이완 상태를 구분하였습니다. 제안된 모델의 상세한 계층별 아키텍처는 표 1에 제시되어 있습니다.

이 모델은 AdamW 옵티마이저를 사용하여 초기 학습률 0.001, 가중치 감소 1×10⁻⁴로 학습되었습니다. 코사인 어닐링 스케줄러가 수렴을 강화하기 위해 사용되었고, 50개의 에포크가 32번의 배치 크기로 훈련되었습니다. 클래스 불균형은 방정식(4)에 설명된 가중 교차 엔트로피 손실 함수를 사용하여 극복되었다.

(4)

표 2는 훈련 구성을 요약하며, 표 3은 EEG 기반 주의력 이완 분류에 사용된 제안된 SET-Net의 하이퍼파라미터 탐색을 제시합니다. 선택된 매개변수는 훈련의 안정성, 향상된 일반화, 그리고 EEG 신호 변화에 대한 내성을 제공합니다. 선택된 매개변수들은 훈련 과정의 안정성을 제공하고, 일반화를 강화하며, EEG 신호의 변화를 방지합니다. 정확도, 정밀도, 회상률, F1 점수, ROC-AUC를 사용하여 모델 성능을 측정했습니다. 전처리, 모델 학습, 평가가 포함된 모든 파이프라인은 재현성을 보장하기 위해 PyTorch 프레임워크를 사용하여 Python으로 작성되었습니다. 표 4는 EEG 획득, 전처리, 모델 훈련 및 실시간 사용과 관련된 문제를 안내하고 해결하기 위한 문제 해결에 대한 상세한 설명을 제공합니다. 표 5는 EEG 장치의 재료에 대한 개요를 제공하여 실험 수행과 실험 설정을 쉽게 수행할 수 있도록 합니다. Python 3.8과 PyTorch 딥러닝 프레임워크를 사용하여 제안된 SET-Net 프레임워크를 구현했습니다. 표준 과학 컴퓨팅 라이브러리가 NumPy, SciPy, Matplotlib을 이용한 신호 전처리 및 특징 추출에 사용되었습니다. 모든 실험 절차는 모델 학습 속도를 높이기 위해 인텔 i7 프로세서와 16GB RAM을 탑재한 시스템에서 수행되었습니다.

데이터 가용성:

이 연구 중 생성된 익명화된 EEG 데이터셋은 다음 인증 링크 아래 Zenodo 저장소에 공개되어 있습니다: https://zenodo.org/records/19627795.

모든 데이터는 SR 대학교 기관 윤리 위원회(승인 번호 007/2026)에 따라 참가자의 기밀성을 보장하기 위해 식별 해제되었습니다.

결과를 재현하는 데 필요한 처리된 정보, 모델 설정, 구현 세부사항은 원고에 제시되어 있으며, 소스 코드는 다음 https://github.com/Ravichanderj/SET-Net-EEG-BCI 에서 공개되어 있습니다.

Results

스펙트로그램 기반 특징 표현

이 연구의 주요 목표는 EEG 신호를 활용하여 주의 상태와 이완 상태를 적절히 분류하는 것이었습니다. 원시 EEG 신호를 스펙트로그램으로 변환함으로써 구별적 특징을 효과적으로 추출할 수 있게 되었습니다. 스펙트로그램은 이완 시 알파 밴드 활동(8–13 Hz)이 증가하고, 주의 중에는 베타 활동(14–25 Hz)이 증가함을 나타냅니다. 이러한 주파수-영역 특성의 뚜렷한 분열은 입력의 표현 자체가 두 인지 상태 간의 유의미한 차이를 나타낸다는 점을 명확히 입증하여 연구 목적을 명확히 정당화합니다.

SET-Net 모델 성능

표 6은 성공적인 주의 완화 분류를 보여주는 제안된 SET-Net 모델의 성능을 요약합...

Discussion

현재 연구는 EEG 기반 주의-이완 분류를 위한 하이브리드 딥러닝 모델인 SET-Net을 제안합니다. EEG 신호의 공간적, 스펙트럼적, 시간적 특성을 학습하기 위해, 이 아키텍처는 그림 5에 보이듯 합성곱 신경망, 압축-여기 주의, 트랜스포머 인코더를 결합합니다. 연구 결과는 제안된 방법이 연구 목표를 달성할 수 있음을 보여줍니다. 정확도, F1 점수, ROC-AUC 값(표 6)이 높아 모델이 신뢰성이 높고 분류 성능이 균형을 이루고 있음을 증명합니다. 혼동 행렬(그림 8)에 따르면, 예측의 가장 많은 비율이 정확했으며, 전환 인지 상태 간의 유사성과 관련된 소규모 오분류가 있었습니다. 소작 연구(표 7)는 모든 아키텍처 요소가 성능 향상에 크게 기여할 수 있음을 확인시켜 줍니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
컴퓨터 / 노트북	제네릭	어떤 표준 시스템이든	≥ 8GB RAM 권장
데이터 수집 스크립트	관습	collect.py	파이썬 기반 획득 스크립트
일회용 젤 전극	제네릭	사전 겔화된 Ag/AgCl 전극	일회용 접착제
EEG 획득 모듈	업사이드 다운 랩스	바이오앰프 EXG 필	생체 전위 신호를 위한 아날로그 프론트엔드
전극 젤 (재사용 가능한 전극을 사용하는 경우)	제네릭	전도성 젤	신호 전도율을 향상시킵니다
인터랙티브 애플리케이션 (게임)	제네릭	간단한 게임(예: 레이싱)	키보드 제어 인터페이스
점퍼 와이어	제네릭	Male– 암 커넥터	표준 브레드보드 와이어
매트플롯립 / 씨본	오픈 소스	최신 버전	시각화 라이브러리
마이크로컨트롤러 보드	아두이노	우노 / 메이커 우노	10비트 ADC, USB 인터페이스
파이썬 프로그래밍 환경	파이썬 소프트웨어 재단	Python ≥ 3.8	오픈 소스 프로그래밍 언어
PyTorch 라이브러리	메타 AI	버전 ≥ 1.12	딥러닝 프레임워크
Scikit-learn	오픈 소스	최신 안정 버전	ML 유틸리티
신호 처리 라이브러리	사이피	최신 버전	필터링, STFT
USB 케이블	제네릭	USB 타입-A에서 B로	데이터 전송 케이블