SET Net: Een hybride deep learning-framework voor EEG-gebaseerde aandachtontspanningsclassificatie in hersen-computerinterface-toepassingen

Summary

Dit artikel presenteert het squeeze-and-excitation transformer network (SET-Net), een hybride CNN-Transformer netwerk dat aandacht- en relaxatietoestanden herkent met behulp van spectrogramkenmerken om EEG-gebaseerde aandacht- en relaxatietoestanden te identificeren met 93,7% nauwkeurigheid en hoge generalisatie, en wordt gebruikt in Brain Computer Interface (BCI)-toepassingen.

Abstract

Brain Computer Interface (BCI)-technologie wordt gebruikt als hulpmiddel om een direct communicatiekanaal te bieden tussen het menselijk brein en de externe omgeving. Dit heeft toepassingen in ondersteunende en interactieve systemen. De niet-invasieve verwerving van neurale activiteit met behulp van elektro-encefalografie (EEG) is standaard bij BCI-systemen. Het is echter moeilijk om cognitieve toestanden, waaronder aandacht en ontspanning, effectief te classificeren, omdat het EEG-signaal niet-stationair en ruiserig is. Om deze tekortkomingen te overwinnen, stelt deze studie een nieuwe hybride deep learning-architectuur voor, namelijk het squeeze-and-excitation (SE) transformatornetwerk (SET-Net). Bij deze methode worden EEG-signalen voorverwerkt en onderverdeeld in temporele vensters om de significante spectrogramrepresentaties te analyseren. Het voorgestelde model behaalt een classificatienauwkeurigheid van 93,7%, met een F1-score van 0,93 en een ROC-AUC van 0,98. Dit toont de effectiviteit van het hybride deep learning-model aan met verbeterde discriminatie van EEG-gebaseerde aandacht-ontspanningstoestand. Dit biedt een schaalbaar systeem voor realtime BCI-toepassingen als ondersteunende technologie in mens-computerinteractie.

Introduction

Hersen–computerinterfaces (BCI's) zijn een disruptieve technologie geworden die het menselijk brein en externe apparaten in staat stelt direct te communiceren zonder gebruik te maken van traditionele neuromusculaire verbindingen. Elektro-encefalografie (EEG) is de meest gebruikte en meest gebruikte techniek vanwege hun niet-invasieve aard, draagbaarheid en^{kosteneffectiviteit}. EEG-gebaseerde BCI's zijn gebruikt in de gezondheidszorg en in neurorevalidatie, gaming en ondersteunende technologieën voor personen met neurologische beperkingen door hersenactiviteit^te onderzoeken 2. Een van de belangrijkste toepassingen is het identificeren van cognitieve toestanden, waaronder aandacht en ontspanning, die kunnen worden gebruikt om adaptieve mens-computerinterfaces en^{digitale toegankelijkheid} te creëren. Een lage signaal-ruisverhouding, grote variabiliteit tussen de proefpersonen en ingewikkelde temporele dynamiek tussen aandacht- en ontspanningstoestanden die worden geïnterpreteerd met EEG; daarom is het classificeren van aandachts- en ontspanningstoestanden met EEG moeilijk⁴. Klassieke machine learning-modellen, waaronder support vector machine (SVM) en random forest, hebben matige prestaties getoond; ze zijn echter doorgaans gebaseerd op feature engineering omdat ze de ruimtelijk-spectraal-temporele complexiteit van EEG⁵ niet volledig benutten. Recente ontwikkelingen in deep learning, met name convolutioneel neuraal netwerk (CNN) en transformator, hebben nieuwe mogelijkheden geboden voor geautomatiseerde feature-extractie en sterke classificatie van EEG-signalen⁶.

EEG-gebaseerde BCI-systemen zijn al lange tijd uitgebreid bestudeerd als hulpmiddel voor cognitieve toestandmonitoring, neurorevalidatie en interactieve systemen. De definitie van een mentale toestand is een van de belangrijkste uitdagingen, bijvoorbeeld ontspannings- en aandachtstoestanden. Als reactie hierop hebben wetenschappers verschillende oplossingen gedemonstreerd, zoals standaard feature engineering en geavanceerde deep learning-modellen. Klassieke machine learning-benaderingen zijn voornamelijk gebaseerd op handmatig ontworpen functies in tijd, frequentie of tijd-frequentieruimte. Onderzoek naar hybride deep learning-algoritmen als onderdeel van het SET-Net-systeem van EEG-gebaseerde aandacht–relaxatieclassificatie blijkt een belangrijke wetenschappelijke richting te zijn, omdat het mogelijk BCI-systemen kan verbeteren die in praktijksituaties kunnen worden gebruikt^7,8. Deep learning-modellen, waaronder convolutionele neurale netwerken (CNN's), recurrente neurale netwerken (RNN's) en transformers, hebben het afgelopen decennium aanzienlijke vooruitgang geboekt in EEG-signaaldecodering^9,10. Deze ontwikkelingen hebben geleid tot verbeterde en efficiëntere decodering van cognitieve toestanden, die wenselijk zijn voor cognitieve toestanden voor neurorevalidatie en ondersteunende technologieën^11,12. De groeiende populariteit van BCI-systemen benadrukt de toegepaste significantie van het verbeteren van de nauwkeurigheid van classificatie, en recente resultaten tonen aan dat de classificatie meer dan 85% kan zijn in motorische beeldvorming en aandachtsactiviteiten^13,14. Desalniettemin bestaan er ondanks dergelijke ontwikkelingen nog steeds uitdagingen om sterke realtime classificaties binnen diverse en ruisachtige omgevingen te bereiken^15,16. Het belangrijkste probleem dat in deze studie wordt behandeld, is de precisie en externe validiteit van EEG-gebaseerde modellen van aandacht-relaxatieclassificatie, met name modellen die bestaan uit hybride deep learning in de SET-Net-architectuur^17,18, zijn beperkt. De bestaande methoden worden meestal geassocieerd met problemen als variabiliteit tussen de onderwerpen, lage signaalruis en slechte benutting van ruimtelijke en temporele eigenschappen^19,20,21. Er zijn methoden gericht op convolutionele feature-extractie, en andere zijn gericht op attention of transformer-architectuur, wat leidt tot verschillende meningen over het beste modelontwerp^22,23,24. Bovendien zijn EEG-modellen niet gemakkelijk te trainen en te rechtvaardigen vanwege het ontbreken van grote geannoteerde datasets^25,26. Dit gebrek aan kennis beperkt het gebruik van BCI's in echte omstandigheden, wat vooral belangrijk is om flexibel en precies te zijn ^27,28. Dit wordt theoretisch vastgesteld op basis van een mix van ruimtelijke, temporele en op aandacht gebaseerde feature-extractie met behulp van hybride deep learning-modellen^29,30,31. Deze combinatie is te zien in het SET-Net-raamwerk, dat wordt bereikt via convolutionele lagen om lokale kenmerken en zelf-aandacht mechanismen te extraheren om globale afhankelijkheden te leren³². Deze synergie verbetert de representatie van EEG-signalen en kan worden toegepast op een betere classificatie van de relaxatie- en aandachtstoestanden. De theorie is gestart vanuit de realiteit dat variabiliteit van EEG-signalen en ruis kan worden geëlimineerd door de kracht van multiscale ruimtelijke temporele kenmerken en domeinadaptatietechnieken³³. De systematische review richt zich op het kritisch beoordelen van de theoretische vooruitgang van de nauwkeurigheid en praktische toepassing van hybride deep learning-methoden van de SET-Net-architectuur van EEG-gebaseerde aandacht–ontspanningsclassificatie³⁴. De review zal worden gebruikt om de creatie van een beter, meer interpretatief en generaliseerbaar BCI-systeem in toekomstige experimenten te begeleiden door de synthese van de meest recente ontwikkelingen en het identificeren van de sterke en zwakke punten van de methoden. Dergelijke hiaten zullen helpen bij de toekomstige ontwikkeling van praktijkgerichte BCI-toepassingen die de gebruiker en betrouwbaarheid van het systeem zullen verbeteren. De review paste een brede literatuuroverzichtsbenadering toe, waarbij peer-reviewed artikelen werden uitgevoerd op basis van hybride deep learning-modellen in EEG-aandacht–relaxatieclassificatie³⁴. De inclusiecriteria richten zich op recente trends in convolutionele, recurrente en aandachtgebaseerde architecturen binnen het kader van SET-Net of vergelijkbare systemen³⁵. Analytische modellen beoordelen modelontwerpen, feature-selectiealgoritmen, classificatienauwkeurigheid en werkbaarheid in een realistische omgeving. De bevindingen zijn georganiseerd om theorievorming, praktijk en toekomstige onderzoeksmogelijkheden uit te leggen.

Ondanks recente vooruitgang slagen bestaande methoden er niet in om ruimtelijke, spectrale en langeafstandstemporele afhankelijkheden in enkelkanaals EEG-signalen gelijktijdig vast te leggen, wat resulteert in suboptimale prestaties in aandacht–relaxatieclassificatie. Daarnaast zijn bestaande methoden gebaseerd op handmatig toegevoegde kenmerken of worden slechts enkele kenmerken van EEG-signalen meegenomen; Ze kunnen dus niet worden gegeneraliseerd over deelnemers en real-time omstandigheden. Er is dus behoefte aan een uniform kader dat multidimensionale EEG-kenmerken voldoende kan modelleren en sterk en in realtime onderzocht kan worden.

Om deze nadelen te overwinnen, stelt deze studie een onderzoeksartikel voor om een hybride deep learning-model te ontwikkelen, dat wordt aangeduid als het Squeeze-and-Excitation Transformer Network (SET-Net). In het bijzonder leert de CNN-module lokale ruimtelijk-spectrale patronen met EEG-spectrogrammen en overwint de beperkingen van handgemaakte feature-extractie. Het SE-blok verbetert de feature-representatie door het kanaalgewijs belang aan te passen en de robuustheid van ruis en variabiliteit te vergroten. Transformatorencoder modelleert langeafstands-temporele afhankelijkheden die niet beperkt zijn tot CNN-only modellen. Daarnaast kan tijd-frequentieanalyse effectief worden uitgevoerd met behulp van spectrogramgebaseerde representatie, wat het leren van discriminatiekenmerken verbetert. Om stabiele prestaties te garanderen, werden evenwichtige training en lekvrije validatie omarmd, wat de generalisatie van de prestaties tussen de proefpersonen verbeterde.

Bovendien wordt de voorgestelde structuur bevestigd in een realtime toepassing, waarbij de gecategoriseerde cognitieve toestanden worden omgezet in controle-instructies van interactieve systemen. Dit toont aan dat het model praktisch toepasbaar is in ondersteunende technologieën en digitale toegankelijkheid en mogelijk gebruikt kan worden in de praktische implementatie van BCI.

De belangrijkste prestatie van deze studie is het ontwerp van een nieuwe SET-Net hybride architectuur die convolutionele neurale netwerken, squeeze-and-excitation attention en transformatorencoders integreert om EEG-signalen beter te modelleren. Bovendien werd een spectrogramgebaseerde representatie gebruikt om de tijd-frequentie eigenschappen van de EEG-signalen succesvol weer te geven. Het voorgestelde kader maakt een sterke classificatie van aandachts- en ontspanningscognitieve toestanden mogelijk. Bovendien bleek dat het model praktisch toepasbaar is in een realtime hersen-naar-computerinterface.

Dit artikel is georganiseerd in secties waarin een overzicht wordt van studies die de aandacht- en ontspanningsklassen van hersenactiviteit categoriseren zoals toegepast op BCI-systemen. Dit artikel is gestructureerd om eerst de onderzoeksgaten en uitdagingen te presenteren die samenhangen met de ontwikkeling van BCI-systemen, en vervolgens het dataverzamelingsproces en de methodologie van EEG-signaalregistratie te presenteren. preprocessing en feature-representatie. Het bespreekt het belang van aandachts- en ontspanningsactiviteiten, evenals het proces van het afleiden van betekenisvolle kenmerken uit EEG-gegevens. De bevindingen worden vervolgens gepresenteerd en beoordeeld met behulp van kwantitatieve en vergelijkende analyses, evenals de daadwerkelijke prestaties van de applicatie. Het laatste deel bespreekt de bevindingen, beperkingen van de studie en toekomstige werkrichtingen.

Protocol

De studie werd uitgevoerd in overeenstemming met de Verklaring van Helsinki en goedgekeurd door de Institutionele Ethische Commissie van de SR University, Warangal, Telangana, India (Goedkeuring nr. 007/2026). Geïnformeerde toestemming werd schriftelijk verkregen van alle deelnemers vóór de gegevensverzameling.

Selectie van deelnemers

EEG-gegevens werden verzameld van 11 gezonde deelnemers (leeftijdsgroep: 25–45 jaar; gemiddelde leeftijd: 28 jaar) zonder voorgeschiedenis van neurologische of psychiatrische aandoeningen. In deze studie werden in totaal 1175 EEG-segmenten overwogen, waarvan 527 tot de ontspanningsklasse behoren en 648 tot de aandachtsklasse. Deelnemers van wie de EEG-opnames overmatige bewegingsartefacten of slechte signaalkwaliteit vertoonden, werden uitgesloten.

EEG-opname-installatie

De algemene indeling van het voorgestelde EEG-gebaseerde hersen-computerinterfacesysteem is weergegeven in Figuur 1, die de volledige pijplijn van signaalacquisitie, classificatie en realtime gebruik toont. De EEG-gegevens werden geregistreerd met een kleine biopotentiaal-acquisitiemodule die was gekoppeld aan een microcontroller-gebaseerd systeem. De gelelektroden werden geplaatst op basis van het International 10–20 systeem, namelijk de prefrontale punten van Fp1 en Fp2, met referentie- en aardelektroden geplaatst bij de oorlellen, zoals aangegeven in Figuur 2. De signalen werden gedigitaliseerd met een snelheid van 128 Hz en naar een computer gestuurd met behulp van een zelfgeschreven Python-acquisitiescript. Voldoende huidvoorbehandeling en geleidende gel werden gebruikt om de elektrodeimpedantie te verminderen en de signaalkwaliteit te verbeteren.

Experimentele procedure

EEG-opnames werden uitgevoerd onder twee cognitieve omstandigheden, ontspanning en aandacht, volgens een gestandaardiseerd protocol. In de ontspanningstoestand zat de deelnemer in een comfortabele, geluidsarme omgeving en kreeg de instructie om stil te blijven met minimale beweging. Kalmerende instrumentale audio werd afgespeeld via oordopjes en EEG-opname werd gestart met het commando python collect.py. EEG-signalen werden 5 minuten per sessie opgenomen en herhaald gedurende vier sessies. In de aandachtstoestand kreeg de deelnemer de instructie om aandachtseisende taken uit te voeren, zoals interactieve spellen, terwijl hij dezelfde acquisitie-opstelling als in de ontspanningstoestand behield. EEG-signalen werden 5 minuten per sessie opgenomen en herhaald gedurende vier sessies. Elke deelnemer nam in totaal 40 minuten deel, bestaande uit 20 minuten ontspanning en 20 minuten aandachtsopdrachten, waardoor een betrouwbare vergelijking van cognitieve toestanden mogelijk is.

De verwerkte dataset was georganiseerd in gelabelde segmenten als volgt: Relaxatie (0); Aandacht (1). Elk segment had een duur van 4 seconden met 50% overlap en werd weergegeven als een spectrogram met behulp van een korte-tijd Fouriertransformatie.

Signaalverwerking, featurerepresentatie en modelimplementatie

De verkregen EEG-signalen werden vooraf verwerkt om ruis en artefacten te elimineren. Een 50 Hz inkepingsfilter werd gebruikt om powerline-interferentie te verwijderen, en een Butterworth-banddoorlaatfilter van de 4e orde in het signaal tussen 0,5 en 30 Hz werd gebruikt om de relevante EEG-frequentiebanden te selecteren. De amplitudedrempeling en visuele inspectie werden gebruikt om segmenten met artefacten te identificeren, en ongeveer 8–12% van de gegevens werd verwijderd. Gaussische ruistoevoeging, tijdmaskering en frequentiemaskering zijn methoden voor data-augmentatie die worden gebruikt om de robuustheid van het model te verbeteren. EEG-signalen werden gefilterd en vervolgens verdeeld in vensters van 4 seconden, gescheiden door 50 procent.

De afzonderlijke EEG-segmenten werden omgezet naar een tijd-frequentierepresentatie (Short-Time Fourier Transform), zoals getoond in Vergelijking (1), om het extraheren van temporele en spectrale kenmerken mogelijk te maken.

(1)

De resulterende spectrogrammen werden genormaliseerd en aangepast naar vaste afmetingen om als input voor het classificatiemodel te dienen. Om overlap-geïnduceerde datalekken te voorkomen, werd de dataset verdeeld in training (70%), validatie (10%) en test-subsets (20%) voorafgaand aan segmentatie, zoals geïllustreerd in Figuur 3. Daarnaast werd cross-validation (leave-one-subject-out) uitgevoerd om cross-subject generalisatie te evalueren, waarbij gegevens van één proefpersoon werden gebruikt voor testen, terwijl de resterende data voor training werden gebruikt.

De voorgestelde SET-Net-architectuur, zoals weergegeven in Figuur 4, was ontworpen om multidimensionale EEG-kenmerken vast te leggen. Het model integreert een convolutioneel neuraal netwerk (CNN) backbone om ruimtelijk-spectrale representaties te extraheren, gevolgd door een squeeze-and-excitation (SE) blok dat adaptief het kanaalgewijze kenmerk herkalibreert, zoals beschreven in Vergelijking (2). De CNN-ruggengraat bestaat uit twee convolutionele lagen met een kerngrootte van 3 × 3, gevolgd door batchnormalisatie en exponentiële lineaire eenheid (ELU) activatie

(2)

De interne structuur van het SE-blok wordt weergegeven in Figuur 5. Om langetermijnafhankelijkheden vast te leggen, werd een transformatorencoder geïntegreerd, waarvan het aandachtsmechanisme is gedefinieerd in Vergelijking (3) en geïllustreerd in Figuur 6.

(3)

Een adaptieve gemiddelde poolinglaag werd gebruikt om de feature maps te verkleinen tot een vaste grootte van 16 × 16. De reductieverhouding van het SE-blok is 8, dat wordt gebruikt om de kanaalgewijze feature-responsen te herkalibreren. De transformatorencoder bestond uit vier lagen met vier aandachtshoofden, een feed-forward dimensie van 256 en een model-embedding van 128.

De definitieve classificatie werd uitgevoerd met volledig verbonden lagen met dropoutregularisatie en een softmax-activatiefunctie om onderscheid te maken tussen de aandacht- en relaxatietoestanden. De gedetailleerde laaggewijze architectuur van het voorgestelde model wordt gepresenteerd in Tabel 1.

Het model werd getraind met de AdamW-optimizer met een initiële leersnelheid van 0,001 en een gewichtsafname van 1×10⁻⁴. Een cosinus-annealing scheduler werd gebruikt om de convergentie te verbeteren, en 50 epochs werden getraind met een batchgrootte van 32. Klasse-ongelijkheid werd overwonnen met behulp van een gewogen kruis-entropieverliesfunctie, zoals beschreven in Vergelijking (4).

(4)

Tabel 2 vat de trainingsconfiguratie samen, en Tabel 3 presenteert de hyperparameterzoektocht van het voorgestelde SET-Net, dat werd gebruikt in de EEG-gebaseerde aandacht-ontspanningsclassificatie. De geselecteerde parameters zorgen voor stabiliteit in de training, verbeterde generalisatie en tolerantie voor veranderingen in EEG-signalen. De gekozen parameters zorgen voor stabiliteit in het trainingsproces, verbeteren generalisatie en weerstaan veranderingen van het EEG-signaal. Nauwkeurigheid, precisie, terugroepactie, F1-score en ROC-AUC werden gebruikt om de modelprestaties te meten. Alle pijplijnen die preprocessing, modeltraining en evaluatie omvatten, zijn geschreven in Python met behulp van het PyTorch-framework om reproduceerbaarheid te waarborgen. Tabel 4 geeft een gedetailleerde beschrijving van probleemoplossing om problemen te sturen en op te lossen die verband houden met EEG-acquisitie, preprocessing, modeltraining en realtime gebruik. Tabel 5 geeft een overzicht van de materialen van het EEG-apparaat om een eenvoudig kader te bieden voor het uitvoeren van experimenten en de experimentele opstelling. Python 3.8 met het PyTorch deep learning-framework werd gebruikt om het voorgestelde SET-Net-framework te implementeren. Standaard wetenschappelijke rekenbibliotheken werden gebruikt voor signaalvoorverwerking en feature-extractie met behulp van NumPy, SciPy en Matplotlib. Elke experimentele procedure werd uitgevoerd op een systeem met een Intel i7-processor en 16 GB RAM om de training van de modellen te versnellen.

BESCHIKBAARHEID GEGEVENS:

De geanonimiseerde EEG-dataset die tijdens deze studie is gegenereerd en geanalyseerd, is openbaar beschikbaar in de Zenodo-repository onder de volgende toegangslink: https://zenodo.org/records/19627795.

Alle gegevens zijn gedeidentificeerd om de vertrouwelijkheid van deelnemers te waarborgen in overeenstemming met institutionele ethische richtlijnen goedgekeurd door de Institutionele Ethische Commissie van SR University (Goedkeuring nr. 007/2026).

De verwerkte informatie, modelinstellingen en implementatiedetails die nodig zijn om de resultaten na te bootsen, worden in het manuscript gepresenteerd, en de broncode is openbaar beschikbaar op: https://github.com/Ravichanderj/SET-Net-EEG-BCI.

Results

Spectrogram-gebaseerde kenmerkrepresentatie

Het hoofddoel van deze studie was om de toestanden van aandacht en ontspanning correct te classificeren met behulp van EEG-signalen. De omzetting van ruwe EEG-signalen naar spectrogrammen heeft het mogelijk gemaakt om discriminatieve kenmerken effectief te extraheren. De spectrogrammen geven een toename van de alfabandactiviteit (8–13 Hz) tijdens ontspanning en een toename van de bètaactiviteit (14–2...

Discussion

Het huidige onderzoek suggereert een hybride deep learning-model, SET-Net, voor EEG-gebaseerde aandacht-ontspanningsclassificatie. Om de ruimtelijke, spectrale en temporele kenmerken van EEG-signalen te leren, combineert de architectuur convolutionele neurale netwerken, squeeze-and-excitation attention en transformatorencoders, zoals weergegeven in Figuur 5. De bevindingen geven aan dat de voorgestelde methode het doel van het onderzoek kan bereiken. De nauw...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Computer / Laptop	Generic	Elk standaard systeem	≥8 GB RAM aanbevolen
Data acquisitie script	Custom	collect.py	Python-gebaseerd acquisitie script
Wegwerp gel elektroden	Generic	Voorgevulde Ag/AgCl elektroden	Eenmalig gebruik, zelfklevend
EEG acquisitie module	Upside Down Labs	BioAmp EXG Pill	Analoge front-end voor biopotentiaal signalen
Elektrode gel (indien herbruikbare elektroden gebruikt)	Generic	Geleidend gel	Verbetert de signaalgeleidelijkheid
Interactieve applicatie (game)	Generic	Elke eenvoudige game (bijv. racen)	Toetsenbord-gestuurde interface
Jumper wires	Generic	Male–Female connectoren	Standaard breadboard draden
Matplotlib / Seaborn	Open-source	Laatste versies	Visualisatiebibliotheken
Microcontroller board	Arduino	Uno / Maker Uno	10-bit ADC, USB interface
Python programmeeromgeving	Python Software Foundation	Python ≥3.8	Open-source programmeertaal
PyTorch bibliotheek	Meta AI	Versie ≥1.12	Deep learning framework
Scikit-learn	Open-source	Laatste stabiele versie	ML hulpprogramma's
Signaal verwerking bibliotheken	SciPy	Laatste versie	Filtering, STFT
USB kabel	Generic	USB Type-A naar B	Gegevensoverdracht kabel