SET Net: Un quadro ibrido di deep learning per la classificazione del rilassamento dell'attenzione basata sull'EEG nelle applicazioni di interfaccia cervello-computer

Summary

Questo articolo presenta la rete di trasformatori a compressione e eccitazione (SET-Net), una rete ibrida CNN-Transformer che riconosce gli stati di attenzione e rilassamento utilizzando caratteristiche dello spettrogramma per identificare stati di attenzione e rilassamento basati sull'EEG con una precisione del 93,7% e alta generalizzazione, da utilizzare in applicazioni Brain Computer Interface (BCI).

Abstract

La tecnologia Brain Computer Interface (BCI) è utilizzata come strumento per fornire un canale di comunicazione diretto tra il cervello umano e l'ambiente esterno. Questo ha applicazioni nei sistemi assistivi e interattivi. L'acquisizione non invasiva dell'attività neurale tramite elettroencefalografia (EEG) è standard nei sistemi BCI. Tuttavia, è difficile classificare efficacemente gli stati cognitivi, inclusi attenzione e rilassamento, perché il segnale EEG è non stazionario e rumoroso. Per superare queste carenze, questo studio propone una nuova architettura ibrida di deep learning, ovvero la rete trasformatrice squeeze-and-excitation (SE) (SET-Net). In questo metodo, i segnali EEG vengono pre-elaborati e suddivisi in finestre temporali per analizzare le rappresentazioni significative dello spettrogramma. Il modello proposto raggiunge una precisione di classificazione del 93,7%, con un punteggio F1 di 0,93 e un ROC-AUC di 0,98. Questo dimostra l'efficacia del modello ibrido di deep learning con una maggiore discriminazione dello stato di attenzione-rilassamento basato sull'EEG. Questo offre un sistema scalabile per applicazioni BCI in tempo reale come tecnologia assistiva nell'interazione uomo-computer.

Introduction

Le Interfacce Cervello–Computer (BCI) sono diventate una tecnologia dirompente che permette al cervello umano e ai dispositivi esterni di comunicare direttamente senza utilizzare le tradizionali connessioni neuromuscolari. L'elettroencefalografia (EEG) è la tecnica più comune e ampiamente utilizzata grazie alla natura non invasiva, alla portabilità e all'efficacia^economica. Le BCI basate su EEG sono state utilizzate sia nella sanità che nella neuroriabilitazione, nel gaming e nelle tecnologie assistive per persone con disabilità neurologiche esaminando l'attività^{cerebrale 2}. Una delle applicazioni più significative è l'identificazione degli stati cognitivi, inclusi l'attenzione e il rilassamento, che possono essere utilizzati per creare interfacce uomo-computer adattive e accessibilità^{digitale 3}. Un basso rapporto segnale-rumore, una grande variabilità tra soggetti e dinamiche temporali complicate tra stati di attenzione e rilassamento interpretate tramite EEG; pertanto, classificare gli stati di attenzione e rilassamento usando l'EEG è difficile⁴. I modelli classici di machine learning, inclusi support vector machine (SVM) e foresta random, hanno mostrato prestazioni moderate; tuttavia, sono tipicamente basati sull'ingegneria delle caratteristiche perché non sfruttano appieno la complessità spaziale-spettrale–temporale dell'EEG⁵. Gli sviluppi recenti nel deep learning, in particolare nelle reti neurali convoluzionali (CNN) e nel transformer, hanno presentato nuove opportunità per l'estrazione automatizzata delle caratteristiche e una forte classificazione dei segnali^{EEG 6}.

I sistemi BCI basati su EEG sono stati ampiamente studiati per un lungo periodo come strumento nel monitoraggio dello stato cognitivo, nella neuroriabilitazione e nei sistemi interattivi. La definizione di condizione mentale è una delle sfide più cruciali, ad esempio gli stati di rilassamento e attenzione. In risposta a ciò, gli scienziati hanno dimostrato una varietà di soluzioni, come l'ingegneria delle caratteristiche standard e i modelli avanzati di deep learning. Gli approcci classici di apprendimento automatico si basano principalmente su caratteristiche ingegnerizzate manualmente nel tempo, nella frequenza o nello spazio tempo-frequenza. La ricerca sugli algoritmi ibridi di deep learning come parte del sistema SET-Net di classificazione attenzione–rilassamento basata sull'EEG si è rivelata una direzione scientifica importante, poiché potrebbe potenzialmente migliorare i sistemi BCI utilizzabili in contesti reali^7,8. I modelli di deep learning, incluse le reti neurali convoluzionali (CNN), le reti neurali ricorrenti (RNN) e i transformer, hanno raggiunto progressi significativi nella decodifica del segnale EEG nell'ultimo decennio^9,10. Questi sviluppi hanno portato a un miglioramento e a una decodifica più efficiente degli stati cognitivi, che sono desiderabili per stati cognitivi per le tecnologie di neuroriabilitazione e assistenza^11,12. La crescente popolarità dei sistemi BCI sottolinea l'importanza applicata di migliorare l'accuratezza della classificazione, e risultati recenti hanno mostrato che la classificazione può superare l'85% nelle attività di immagini motorie e attenzione^13,14. Tuttavia, le sfide per ottenere solide classificazioni in tempo reale in contesti diversi e rumorosi persistono nonostante tali sviluppi^15,16. Il problema chiave affrontato in questo studio è la precisione e la validità esterna dei modelli basati su EEG per la classificazione dell'attenzione–rilassamento, in particolare quelli che consistono in deep learning ibrido nell'architettura SET-Net.^17,18, sono limitati. I metodi esistenti sono solitamente associati a problemi di variabilità tra soggetti, basso rumore del segnale e scarso sfruttamento delle proprietà spaziotemporali^19,20,21. Esistono metodi orientati all'estrazione convoluzionale delle caratteristiche, altri orientati all'architettura dell'attenzione o trasformatori, portando a varie opinioni sul miglior design di modelli^22,23,24. Inoltre, i modelli EEG non sono facili da addestrare e giustificare a causa dell'indisponibilità di grandi dataset annotati^25,26. Questa mancanza di conoscenza limita l'uso delle BCI in condizioni reali, il che è fondamentale essere flessibile e preciso ^27,28. Questo è teoricamente stabilito su una combinazione di estrazione di caratteristiche spaziali, temporali e basate sull'attenzione utilizzando modelli ibridi di deep learning^29,30,31. Questa combinazione si osserva nel framework SET-Net, che viene ottenuto tramite strati convoluzionali per estrarre caratteristiche locali e meccanismi di auto-attenzione per apprendere le dipendenze globali³². Questa sinergia migliora la rappresentazione dei segnali EEG e può essere applicata a una migliore classificazione degli stati di rilassamento e attenzione. La teoria parte della realtà che la variabilità dei segnali EEG e del rumore può essere eliminata utilizzando la forza delle caratteristiche spaziotemporali multiscala e delle tecniche di adattamento del dominio³³. La revisione sistematica si concentra sulla revisione critica dei progressi teorici dell'accuratezza e dell'applicazione pratica dei metodi ibridi di deep learning dell'architettura SET-Net della classificazione attenzione–rilassamento basata su EEG³⁴. La revisione sarà utilizzata per guidare la creazione di un sistema BCI migliore, più interpretativo e generalizzabile in esperimenti futuri, attraverso la sintesi degli sviluppi più recenti e l'identificazione dei punti di forza e dei limiti dei metodi. Tali lacune aiuteranno nello sviluppo futuro di applicazioni reali di BCI che miglioreranno l'utente e l'affidabilità del sistema. La revisione ha applicato un approccio di revisione ampia della letteratura, in cui articoli peer-reviewed sono stati esercitati in base a modelli ibridi di deep learning nella classificazione EEG attenzione–rilassamento³⁴. I criteri di inclusione si concentrano sulle tendenze recenti nelle architetture convoluzionali, ricorrenti e basate sull'attenzione nel quadro di sistemi SET-Net o simili³⁵. I modelli analitici valutano i disegni dei modelli, gli algoritmi di selezione delle caratteristiche, l'accuratezza della classificazione e la lavorabilità in un contesto reale. I risultati sono organizzati per spiegare la costruzione della teoria, la pratica e le opportunità di ricerca future.

Nonostante i recenti progressi, i metodi esistenti non riescono a catturare simultaneamente dipendenze spaziali, spettrali e temporali a lungo raggio nei segnali EEG a canale singolo, risultando in prestazioni subottimali nella classificazione dell'attenzione–rilassamento. Inoltre, i metodi esistenti si basano su caratteristiche aggiunte manualmente o considerano solo alcune caratteristiche dei segnali EEG; Pertanto, non possono essere generalizzati tra i partecipanti e le condizioni in tempo reale. Pertanto, è necessario un quadro unificato che possa modellare adeguatamente le caratteristiche EEG multidimensionali e che sia forte e ricercabile in tempo reale.

Per superare questi svantaggi, questo studio propone un articolo di ricerca che suggerisce un modello ibrido di deep learning, denominato Squeeze-and-Excitation Transformer Network (SET-Net). In particolare, il modulo CNN apprende i pattern spettrali spaziali locali con spettrogrammi EEG e supera i vincoli dell'estrazione artigianale di caratteristiche. Il blocco SE migliora la rappresentazione delle caratteristiche adattando l'importanza per canale e aumentando la robustezza del rumore e della variabilità. Il codificatore a trasformatore modella dipendenze temporali a lungo raggio che non sono limitate ai modelli solo CNN. Inoltre, l'analisi tempo-frequenza può essere eseguita efficacemente utilizzando rappresentazioni basate su spettrogrammi, che migliora l'apprendimento delle caratteristiche discriminative. Per garantire prestazioni stabili, sono stati adottati un addestramento bilanciato e una validazione senza perdite, che hanno migliorato la generalizzazione delle prestazioni tra i soggetti.

Inoltre, la struttura suggerita viene confermata in un'applicazione in tempo reale, in cui gli stati cognitivi categorizzati vengono trasformati in istruzioni di controllo dei sistemi interattivi. Ciò dimostra che il modello è praticamente applicabile nelle tecnologie assistive e nell'accessibilità digitale e potrebbe potenzialmente essere utilizzato nell'implementazione pratica della BCI.

Il principale risultato di questo studio è la progettazione di una nuova architettura ibrida SET-Net che incorpora reti neurali convoluzionali, attenzione a spremuta e eccitazione e codificatori trasformatori per modellare meglio i segnali EEG. Inoltre, è stata utilizzata una rappresentazione basata su spettrogramma per rappresentare con successo le proprietà tempo-frequenza dei segnali EEG. Il quadro suggerito consente una classificazione forte degli stati cognitivi di attenzione e rilassamento. Inoltre, il modello ha dimostrato di avere un'applicabilità pratica in un'applicazione di interfaccia cervello-computer in tempo reale.

Questo articolo è organizzato in sezioni in cui viene rivista una revisione degli studi che categorizzano le classi di attenzione e rilassamento dell'attività cerebrale applicate ai sistemi BCI. Questo articolo è strutturato per presentare innanzitutto le lacune e le sfide di ricerca associate allo sviluppo dei sistemi BCI, e successivamente presenta il processo di acquisizione dei dati e la metodologia che comprendono la registrazione del segnale EEG, preprocessing e rappresentazione delle funzionalità. Discute l'importanza delle attività di attenzione e rilassamento, nonché il processo di derivazione di caratteristiche significative dai dati EEG. I risultati vengono poi presentati e valutati utilizzando analisi quantitative e comparative, oltre alle prestazioni effettive dell'applicazione. L'ultima parte discute i risultati, i limiti dello studio e le future direzioni di lavoro.

Protocol

Lo studio è stato condotto in conformità con la Dichiarazione di Helsinki ed è stato approvato dal Comitato Etico Istituzionale della SR University, Warangal, Telangana, India (Approvazione n. 007/2026). Il consenso informato è stato ottenuto per iscritto da tutti i partecipanti prima della raccolta dei dati.

Selezione dei partecipanti

I dati EEG sono stati raccolti da 11 partecipanti sani (fascia d'età: 25–45 anni; età media: 28 anni) senza una storia di disturbi neurologici o psichiatrici. In questo studio sono stati considerati in totale 1175 segmenti EEG, di cui 527 appartengono alla classe di rilassamento e 648 alla classe di attenzione. Sono stati esclusi i partecipanti le cui registrazioni EEG mostravano artefatti di movimento eccessivi o scarsa qualità del segnale.

Configurazione per l'acquisizione EEG

La disposizione generale del sistema suggerito di interfaccia cervello-computer basato su EEG è rappresentata nella Figura 1, che mostra l'intera pipeline di acquisizione, classificazione e utilizzo in tempo reale del segnale. I dati EEG sono stati registrati utilizzando un piccolo modulo di acquisizione di biopotenziale collegato a un sistema basato su microcontrollore. Gli elettrodi a gel sono stati posizionati secondo il sistema internazionale 10–20, ovvero i punti prefrontali Fp1 e Fp2, con elettrodi di riferimento e di massa posizionati ai lobi dell'orecchio, come indicato nella Figura 2. I segnali venivano digitalizzati a una velocità di 128 Hz e inviati a un computer utilizzando uno script di acquisizione Python auto-scritto. Sono stati utilizzati adeguati pre-tratti della pelle e gel conduttivo per ridurre l'impedenza degli elettrodi e migliorare la qualità del segnale.

Procedura sperimentale

Le registrazioni EEG sono state eseguite in due condizioni cognitive, rilassamento e attenzione, seguendo un protocollo standardizzato. In condizioni di rilassamento, il partecipante veniva seduto in un ambiente confortevole e a basso rumore e gli veniva istruito a rimanere fermo con il minimo movimento. L'audio strumentale rilassante veniva riprodotto con le cuffie e l'acquisizione dell'EEG veniva avviata usando il comando Python collect.py. I segnali EEG sono stati registrati per 5 minuti per sessione e ripetuti per quattro sessioni. Nella condizione di attenzione, il partecipante è stato istruito a svolgere compiti che richiedono attenzione come giochi interattivi, mantenendo allo stesso tempo la stessa configurazione di acquisizione della condizione di rilassamento. I segnali EEG sono stati registrati per 5 minuti per sessione e ripetuti per quattro sessioni. Ogni partecipante ha partecipato per un totale di 40 minuti, comprendenti 20 minuti di attività di rilassamento e 20 minuti di attenzione, permettendo un confronto affidabile degli stati cognitivi.

Il dataset elaborato è stato organizzato in segmenti etichettati come segue: Rilassamento (0); Attenzione (1). Ogni segmento aveva una durata di 4 s con il 50% di sovrapposizione ed era rappresentato come uno spettrogramma tramite una trasformata di Fourier a breve tempo.

Elaborazione del segnale, rappresentazione delle caratteristiche e implementazione dei modelli

I segnali EEG ottenuti sono stati pre-processati per eliminare rumore e artefatti. Un filtro a tacca da 50 Hz veniva utilizzato per rimuovere le interferenze della linea elettrica, e un filtro passa-banda Butterworth di quarto ordine nel segnale tra 0,5 e 30 Hz veniva utilizzato per selezionare le bande di frequenza EEG rilevanti. La soglia di ampiezza e l'ispezione visiva sono state utilizzate per identificare i segmenti contaminati da artefatti, e circa l'8–12% dei dati sono stati eliminati. L'aggiunta di rumore gaussiana, il mascheramento temporale e il mascheramento di frequenza sono metodi di aumento dei dati utilizzati per migliorare la robustezza del modello. I segnali EEG sono stati filtrati e poi divisi in finestre di 4 secondi separate dal 50 percento.

I singoli segmenti EEG sono stati convertiti in una rappresentazione tempo-frequenza (Trasformata di Fourier a Breve Tempo), come mostrato nell'Equazione (1), per permettere l'estrazione delle caratteristiche temporali e spettrali.

(1)

Gli spettrogrammi risultanti venivano normalizzati e ridimensionati a dimensioni fisse per servire come input al modello di classificazione. Per prevenire perdite di dati indotte da sovrapposizione, il dataset è stato suddiviso in sottoinsiemi di addestramento (70%), validazione (10%) e test (20%) prima della segmentazione, come illustrato nella Figura 3. Inoltre, è stata eseguita la validazione incrociata leave-one-subject-out (LOSO) per valutare la generalizzazione tra soggetti, dove i dati di un soggetto venivano utilizzati per i test, mentre i restanti dati erano usati per l'addestramento.

L'architettura proposta SET-Net, come mostrato nella Figura 4, è stata progettata per catturare caratteristiche EEG multidimensionali. Il modello integra una rete neurale convoluzionale (CNN) per estrarre rappresentazioni spaziali-spettrali, seguita da un blocco di squeeze-and-excitation (SE) che ricalibra adattivamente l'importanza delle caratteristiche canale per canale, come descritto nell'Equazione (2). La spina dorsale CNN è composta da due strati convoluzionali con una dimensione del nucleo di 3 × 3, seguiti da normalizzazione batch e attivazione esponenziale di unità lineari (ELU)

(2)

La struttura interna del blocco SE è mostrata nella Figura 5. Per catturare dipendenze temporali a lungo raggio, è stato incorporato un codificatore a trasformatore, il cui meccanismo di attenzione è definito nell'Equazione (3) e illustrato nella Figura 6.

(3)

È stato utilizzato uno strato di pooling medio adattivo per ridurre le feature map a una dimensione fissa di 16 × 16. Il rapporto di riduzione del blocco SE è 8, che viene utilizzato per ricalibrare le risposte di caratteristiche a canale. L'encoder del trasformatore era composto da quattro strati con quattro testine di attenzione, una dimensione di avanzamento di 256 e una dimensione di embedding del modello di 128.

La classificazione finale è stata eseguita utilizzando strati completamente connessi con regolarizzazione del dropout e una funzione di attivazione softmax per distinguere tra gli stati di attenzione e quelli di rilassamento. L'architettura dettagliata a livello del modello proposto è presentata nella Tabella 1.

Il modello è stato addestrato utilizzando l'ottimizzatore AdamW con un tasso di apprendimento iniziale di 0,001 e un decadimento del peso di 1×10⁻⁴. Fu utilizzato un schedificatore per ricottura cosenica per migliorare la convergenza, e 50 epoche furono addestrate utilizzando una dimensione di lotto di 32. Lo squilibrio di classe è stato superato utilizzando una funzione di perdita ponderata per entropia incrociata, come descritto nell'Equazione (4).

(4)

La Tabella 2 riassume la configurazione di addestramento, e la Tabella 3 presenta la ricerca per iperparametri del proposto SET-Net, utilizzato nella classificazione di attenzione-rilassamento basata sull'EEG. I parametri selezionati forniscono stabilità dell'addestramento, una generalizzazione migliorata e tolleranza ai cambiamenti nei segnali EEG. I parametri scelti forniscono stabilità al processo di addestramento, migliorano la generalizzazione e resistono a alterazioni del segnale EEG. Precisione, precisione, richiamo, punteggio F1 e ROC-AUC sono stati utilizzati per misurare le prestazioni del modello. Tutte le pipeline che coinvolgevano preprocessing, addestramento e valutazione del modello erano scritte in Python utilizzando il framework PyTorch per garantire la riproducibilità. La Tabella 4 fornisce una descrizione dettagliata del troubleshooting per guidare e risolvere problemi associati all'acquisizione EEG, alla pre-elaborazione, all'addestramento del modello e all'uso in tempo reale. La Tabella 5 fornisce una panoramica dei materiali del dispositivo EEG per consentire un quadro semplice per condurre esperimenti e all'allestimento sperimentale. Python 3.8 con il framework di deep learning PyTorch è stato utilizzato per implementare il framework proposto SET-Net. Le librerie standard di calcolo scientifico venivano utilizzate per la pre-elaborazione del segnale e l'estrazione di funzionalità utilizzando NumPy, SciPy e Matplotlib. Ogni procedura sperimentale veniva eseguita su un sistema con processore Intel i7 e 16 GB di RAM per accelerare l'addestramento dei modelli.

DISPONIBILITÀ DEI DATI:

Il dataset EEG anonimizzato generato e analizzato durante questo studio è pubblicamente disponibile nel repository Zenodo sotto il seguente link di accesso: https://zenodo.org/records/19627795.

Tutti i dati sono stati de-identificati per garantire la riservatezza dei partecipanti in conformità con le linee guida etiche istituzionali approvate dal Comitato Etico Istituzionale della SR University (Approvazione n. 007/2026).

Le informazioni elaborate, le impostazioni del modello e le specifiche di implementazione necessarie per ricreare i risultati sono presentate nel manoscritto, e il codice sorgente è pubblicamente disponibile su: https://github.com/Ravichanderj/SET-Net-EEG-BCI.

Results

Rappresentazione delle caratteristiche basata su spettrogrammi

L'obiettivo principale di questo studio era classificare correttamente gli stati di attenzione e rilassamento con l'aiuto dei segnali EEG. La conversione dei segnali EEG grezzi in spettrogrammi ha reso possibile estrarre efficacemente le caratteristiche discriminative. Gli spettrogrammi indicano un aumento dell'attività della banda alfa (8–13 Hz) durante il rilassamento e un aument...

Discussion

Le ricerche attuali suggeriscono un modello ibrido di deep learning, SET-Net, per la classificazione dell'attenzione-rilassamento basata sull'EEG. Per apprendere le caratteristiche spaziali, spettrali e temporali dei segnali EEG, l'architettura combina reti neurali convoluzionali, attenzione di squeeze-and-excitation e encoder a trasformatore, come mostrato nella Figura 5. I risultati indicano che il metodo proposto può raggiungere l'obiettivo dello studio. ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Computer / Laptop	Generico	Qualsiasi sistema standard	≥ Consigliato 8GB di RAM
Script per acquisizione dati	Consuetudine	collect.py	Script di acquisizione basato su Python
Elettrodi gel usa e getta	Generico	Elettrodi Ag/AgCl pre-gelizzati	Adesivo monouso,
Modulo di acquisizione EEG	Laboratori Sottosopra	BioAmp EXG Pill	Front-end analogico per segnali biopotenziali
Gel per elettrodi (se utilizzati elettrodi riutilizzabili)	Generico	Gel conduttivo	Migliora la conducibilità del segnale
Applicazione interattiva (gioco)	Generico	Qualsiasi gioco semplice (ad esempio, le corse)	Interfaccia controllata da tastiera
Fili di collegamento	Generico	Maschio– Connettori femmina	Fili standard a scheda di prova
Matplotlib / Seaborn	Open-source	Ultime versioni	Librerie di visualizzazione
Scheda microcontrollore	Arduino	Uno / Maker Uno	ADC a 10 bit, interfaccia USB
Ambiente di programmazione Python	Python Software Foundation	Python & ge; 3.8	Linguaggio di programmazione open source
Biblioteca PyTorch	Meta AI	Versione ≥ 1.12	Framework per il deep learning
Scikit-learn	Open-source	Ultima versione stabile	Utility ML
Librerie di elaborazione del segnale	SciPy	Ultima versione	Filtraggio, STFT
Cavo USB	Generico	USB Type-A a B	Cavo di trasferimento dati