Articolo metodologico

Un'interfaccia cervello-computer indossabile a canale singolo e non invasiva per l'industria e la sanità

DOI:

10.3791/65007

⸱

7 luglio 2023

 ,  ,  , 
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo documento discute come costruire un'interfaccia cervello-computer facendo affidamento su apparecchiature di livello consumer e potenziali evocati visivamente in stato stazionario. Per questo, un elettroencefalografo a canale singolo che sfrutta elettrodi secchi è stato integrato con occhiali a realtà aumentata per la presentazione degli stimoli e la visualizzazione dei dati di output. Il sistema finale era non invasivo, indossabile e portatile.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il presente lavoro si concentra su come costruire un'interfaccia cervello-computer indossabile (BCI). I BCI sono un nuovo mezzo di interazione uomo-computer che si basa su misurazioni dirette dei segnali cerebrali per assistere sia le persone con disabilità che coloro che sono normodotati. Esempi di applicazioni includono il controllo robotico, l'ispezione industriale e la neuroriabilitazione. In particolare, studi recenti hanno dimostrato che i potenziali evocati visivamente stazionari (SSVEP) sono particolarmente adatti per applicazioni di comunicazione e controllo e sono attualmente in corso sforzi per portare la tecnologia BCI nella vita quotidiana. Per raggiungere questo obiettivo, il sistema finale deve basarsi su strumentazione indossabile, portatile e a basso costo. Nello sfruttamento degli SSVEP è necessario uno stimolo visivo tremolante con frequenze fisse. Pertanto, nel considerare i vincoli della vita quotidiana, in questo studio è stata esplorata la possibilità di fornire stimoli visivi per mezzo di occhiali intelligenti. Inoltre, per rilevare i potenziali indotti, è stato preso in considerazione un dispositivo commerciale per l'elettroencefalografia (EEG). Questo è costituito da un unico canale differenziale con elettrodi secchi (senza gel conduttivo), ottenendo così la massima vestibilità e portabilità. In tale BCI, l'utente può interagire con gli occhiali intelligenti semplicemente fissando le icone che appaiono sul display. Su questo semplice principio, è stato costruito un BCI facile da usare e a basso costo integrando occhiali a realtà estesa (XR) con un dispositivo EEG disponibile in commercio. La funzionalità di questo XR-BCI indossabile è stata esaminata con una campagna sperimentale che ha coinvolto 20 soggetti. L'accuratezza della classificazione era compresa tra l'80% e il 95% in media a seconda del tempo di stimolazione. Dati questi risultati, il sistema può essere utilizzato come interfaccia uomo-macchina per l'ispezione industriale, ma anche per la riabilitazione nell'ADHD e nell'autismo.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Un'interfaccia cervello-computer (BCI) è un sistema che consente la comunicazione e/o il controllo di dispositivi senza percorsi neurali naturali1. La tecnologia BCI è la cosa più vicina che l'umanità ha al controllo degli oggetti con il potere della mente. Da un punto di vista tecnico, il funzionamento del sistema funziona misurando l'attività cerebrale indotta o evocata, che potrebbe essere generata involontariamente o volontariamente dal soggetto2. Storicamente, la ricerca si è concentrata sull'aiutare le persone con disabilità motorie attraverso BCI3, ma un numero crescente di aziende oggi offre strumentazione basata su BCI per giochi4, robotica5, industria6 e altre applicazioni che coinvolgono l'interazione uomo-macchina. In particolare, le BCI possono svolgere un ruolo nella quarta rivoluzione industriale, vale a dire l'industria 4.07, in cui i sistemi di produzione ciberfisici stanno cambiando l'interazione tra gli esseri umani e l'ambiente circostante8. In generale, il progetto europeo BNCI Horizon 2020 ha identificato scenari applicativi come la sostituzione, il ripristino, il miglioramento, il potenziamento o l'integrazione delle funzioni naturali perse del sistema nervoso centrale, nonché l'uso del BCI nello studio del cervello9.

In questo contesto, i recenti progressi tecnologici significano che le interfacce cervello-computer possono essere applicabili per l'uso nella vita quotidiana10,11. Per raggiungere questo obiettivo, il primo requisito è la non invasività, importante per evitare i rischi dell'intervento chirurgico e aumentare l'accettazione da parte dell'utente. Tuttavia, vale la pena notare che la scelta del neuroimaging non invasivo influisce sulla qualità dei segnali cerebrali misurati e il progetto BCI deve quindi affrontare le insidie associate12. Inoltre, sono richieste vestibilità e portabilità. Questi requisiti sono in linea con la necessità di un sistema di facile utilizzo, ma pongono anche alcuni vincoli. Nel complesso, i vincoli hardware menzionati sono affrontati dall'uso di un sistema elettroencefalografico (EEG) con elettrodi privi di gel6. Tale BCI basato su EEG sarebbe anche a basso costo. Nel frattempo, in termini di software, sarebbe auspicabile una formazione minima dell'utente (o idealmente nessuna formazione); Vale a dire, sarebbe meglio evitare lunghi periodi per la messa a punto dell'algoritmo di elaborazione prima che l'utente possa utilizzare il sistema. Questo aspetto è critico nelle BCI a causa della non stazionarietà inter-soggetto e intra-soggetto13,14.

La letteratura precedente ha dimostrato che la rilevazione dei potenziali cerebrali evocati è robusta rispetto alla non stazionarietà e al rumore nell'acquisizione del segnale. In altre parole, i BCI che si basano sulla rilevazione del potenziale evocato sono definiti reattivi e sono i BCI più performanti in termini di riconoscimento del pattern cerebrale15. Tuttavia, richiedono una stimolazione sensoriale, che è probabilmente il principale svantaggio di tali interfacce. L'obiettivo del metodo proposto è, quindi, quello di costruire un BCI altamente indossabile e portatile basato su strumentazione indossabile e pronta all'uso. Gli stimoli sensoriali qui consistono in luci tremolanti, generate da occhiali intelligenti, che sono in grado di suscitare potenziali evocati visivamente stazionari (SSVEP). Lavori precedenti hanno già preso in considerazione l'integrazione di BCI con la realtà virtuale da sola o in combinazione con la realtà aumentata16. Ad esempio, è stato proposto un sistema BCI-AR per controllare un quadricottero con SSVEP17. La realtà virtuale, la realtà aumentata e altri paradigmi sono indicati con il termine realtà estesa. In tale scenario, la scelta degli occhiali intelligenti è conforme ai requisiti di vestibilità e portabilità e gli occhiali intelligenti possono essere integrati con una configurazione di acquisizione EEG minima. Questo documento mostra che il BCI basato su SSVEP richiede anche una formazione minima, ottenendo al contempo prestazioni di classificazione accettabili per applicazioni di comunicazione e controllo a bassa-media velocità. Quindi, la tecnica viene applicata al BCI per applicazioni quotidiane e sembra particolarmente adatta per l'industria e la sanità.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Lo studio è stato approvato dal Comitato Etico di Ricerca Psicologica del Dipartimento di Studi Umanistici dell'Università degli Studi di Napoli Federico II. I volontari hanno firmato il consenso informato prima di partecipare agli esperimenti.

1. Preparare l'interfaccia cervello indossabile non invasivo - computer

  1. Ottenere un elettroencefalografo di livello consumer a basso costo con elettrodi a secco e configurarlo per l'utilizzo a canale singolo.
    1. Cortocircuitare o collegare eventuali canali di ingresso inutilizzati sull'elettroencefalografo a basso costo a una tensione di riferimento interna come specificato nella scheda tecnica inerente. In tal modo, i canali inutilizzati sono disabilitati e non generano rumore di diafonia.
    2. Regolare il guadagno dell'elettroencefalografo (tipicamente attraverso un componente a resistenza variabile) per avere un intervallo di ingresso dell'ordine di 100 μV.
      NOTA: I segnali EEG da misurare sono nell'ordine di decine di microvolt. Tuttavia, gli elettrodi a secco sono fortemente influenzati dagli artefatti di movimento, che provocano oscillazioni dell'ordine di 100 μV a causa della variabilità dell'impedenza elettrodo-pelle. Aumentare l'intervallo di tensione di ingresso aiuta a limitare la saturazione dell'amplificatore EEG, ma non la elimina completamente. D'altra parte, sarebbe scomodo aumentare ulteriormente l'intervallo di tensione di ingresso, perché ciò influenzerebbe la risoluzione della tensione nella misurazione dei componenti EEG desiderati. In definitiva, i due aspetti devono essere bilanciati tenendo conto anche della risoluzione in bit del convertitore analogico-digitale all'interno della scheda elettroencefalografica.
    3. Preparare tre elettrodi asciutti da collegare alla scheda elettroencefalografica. Utilizzare un elettrodo passivo (senza preamplificazione) come elettrodo di riferimento. I restanti due elettrodi di misura dovrebbero essere attivi (cioè coinvolgere la pre-amplificazione e l'eventuale filtraggio analogico).
      NOTA: Gli elettrodi posizionati su un'area pelosa del cuoio capelluto richiedono perni per superare l'impedenza di contatto elettrodo-pelle. Se possibile, saldare perni d'argento con teste piatte (per evitare troppo dolore per l'utente) o idealmente utilizzare gomma conduttiva (morbida) con un rivestimento Ag / AgCl.
  2. Ottieni occhiali intelligenti commerciali con un sistema operativo Android e una frequenza di aggiornamento di 60 Hz. In alternativa, utilizzare una frequenza di aggiornamento inferiore. Una frequenza di aggiornamento più elevata sarebbe auspicabile per gli stimoli in quanto ci sarebbe meno affaticamento degli occhi, ma non ci sono soluzioni attualmente disponibili sul mercato.
    1. Scarica il codice sorgente di un'applicazione Android per la comunicazione o il controllo o sviluppane una.
    2. Sostituire i pulsanti virtuali nell'applicazione con icone tremolanti modificando l'oggetto inerente (di solito in Java o Kotlin). Si consigliano quadrati bianchi con almeno il 5% di dimensione dello schermo. Di solito, più grande è il quadrato stimolante, più alto sarà il componente SSVEP da rilevare, ma un optimum può essere trovato a seconda del caso specifico. Le frequenze consigliate sono lo sfarfallio di 10 Hz e 12 Hz. Implementare lo sfarfallio sull'unità di elaborazione grafica (GPU) per evitare di sovraccaricare l'unità di elaborazione (CPU) degli occhiali intelligenti. A tale scopo, utilizzare oggetti della libreria OpenGL.
    3. Implementare un modulo dell'applicazione Android per l'elaborazione in tempo reale del flusso EEG in ingresso. Il servizio USB Android può essere aggiunto in modo che il flusso possa essere ricevuto tramite USB. L'elaborazione in tempo reale può semplicemente applicare una finestra scorrevole al flusso EEG considerando i pacchetti in entrata. Calcola le densità spettrali di potenza associate alle frequenze di 10 Hz e 12 Hz attraverso una funzione di trasformata di Fourier veloce. Un classificatore addestrato può, quindi, distinguere che l'utente sta guardando l'icona di sfarfallio a 10 Hz o l'icona di sfarfallio a 12 Hz classificando le caratteristiche di densità spettrale di potenza.

2. Calibrare l'interfaccia cervello - computer basata su SSVEP

NOTA: Per questo studio sono stati scelti volontari sani. Escludere soggetti con una storia di malattie cerebrali. Ai soggetti coinvolti è stato richiesto di avere una visione normale o corretta alla normalità. Sono stati istruiti ad essere rilassati durante gli esperimenti e ad evitare movimenti non necessari, specialmente della testa.

  1. Lascia che l'utente indossi gli occhiali intelligenti con l'applicazione Android.
  2. Lasciare che l'utente indossi una fascia stretta per tenere gli elettrodi.
  3. Collegare l'elettroencefalografo a basso costo a un PC tramite un cavo USB mentre il PC è scollegato dall'alimentazione principale.
    1. Inizialmente scollegare tutti gli elettrodi dalla scheda di acquisizione dell'elettroencefalografo per iniziare da una condizione nota.
    2. In questa fase, il flusso EEG viene elaborato offline sul PC con uno script compatibile con l'elaborazione implementata nell'applicazione Android. Avviare lo script per ricevere i segnali EEG e visualizzarli.
  4. Controllare il segnale visualizzato che viene elaborato offline. Questo deve corrispondere solo al rumore di quantizzazione dell'amplificatore EEG.
  5. Collegare gli elettrodi.
    1. Applicare l'elettrodo passivo all'orecchio sinistro con una clip personalizzata o utilizzare un elettrodo con clip per le orecchie. Il segnale di uscita deve rimanere invariato in questa fase perché il canale differenziale di misura è ancora un circuito aperto.
    2. Collegare un elettrodo attivo al terminale negativo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione frontale (posizione standard Fpz) con un fascietto. Dopo alcuni secondi, il segnale dovrebbe tornare a zero (rumore di quantizzazione).
    3. Collegare l'altro elettrodo attivo al terminale positivo dell'ingresso differenziale del canale EEG di misurazione e applicare alla regione occipitale (posizione standard di Oz) con l'archetto. Viene ora visualizzato un segnale cerebrale, che corrisponde all'attività visiva misurata rispetto all'area frontale del cervello (nessuna attività visiva prevista lì).
  6. Acquisire segnali per la calibrazione del sistema.
    1. Stimolare ripetutamente l'utente con icone di sfarfallio a 10 Hz e 12 Hz (ed eventualmente altre) avviando l'icona di sfarfallio nell'applicazione Android e acquisire e salvare i segnali EEG inerenti per l'elaborazione offline. Assicurati che ogni stimolazione in questa fase consista in una singola icona che sfarfalla per 10 secondi e avvia l'icona di sfarfallio premendo sul touchpad degli occhiali intelligenti mentre avvii anche lo script di acquisizione e visualizzazione EEG.
    2. Dai segnali a 10 s associati ad ogni stimolazione, estrarre due caratteristiche usando la trasformata di Fourier veloce: la densità spettrale di potenza a 10 Hz e a 12 Hz. In alternativa, si considerino le seconde armoniche (20 Hz e 24 Hz).
    3. Utilizzare una rappresentazione dei segnali acquisiti nel dominio delle funzionalità per addestrare un classificatore di macchine vettoriali di supporto. Utilizzare uno strumento (in Matlab o Python) per identificare i parametri di un iperpiano con un eventuale kernel basato sulle funzionalità di input. Il modello addestrato sarà in grado di classificare future osservazioni di segnali EEG.

3. Assemblare l'interfaccia finale indossabile e portatile basata su SSVEP

  1. Scollegare il cavo USB dal PC e collegarlo direttamente agli occhiali intelligenti.
  2. Inserire i parametri del classificatore addestrato nell'applicazione Android. Il sistema è ora pronto.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Una possibile implementazione del sistema sopra descritto è mostrata in Figura 1; Questa implementazione consente all'utente di navigare nella realtà aumentata attraverso l'attività cerebrale. Le icone tremolanti sul display degli occhiali intelligenti corrispondono alle azioni per l'applicazione (Figura 1A) e, quindi, questi occhiali rappresentano un sostituto per un'interfaccia tradizionale basata sulla pressione di pulsanti o ...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il corretto funzionamento del sistema coinvolge due aspetti cruciali: l'elicitazione SSVEP e l'acquisizione del segnale. A parte i dispositivi specifici scelti per lo studio attuale, SSVEP potrebbe essere ottenuto con diversi dispositivi che forniscono una luce tremolante, anche se gli occhiali intelligenti sono preferiti per garantire vestibilità e portabilità. Analogamente, potrebbero essere presi in considerazione ulteriori elettroencefalografi commerciali, ma dovrebbero essere indossabili, portatili e coinvolgere un ...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno nulla da rivelare.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo lavoro è stato realizzato nell'ambito del progetto ICT for Health, che è stato sostenuto finanziariamente dal Ministero dell'Istruzione, dell'Università e della Ricerca (MIUR), nell'ambito dell'iniziativa Dipartimenti di Eccellenza (Legge di Bilancio n. 232/2016), attraverso un contributo di eccellenza assegnato al Dipartimento di Informatica e Ingegneria Elettrica dell'Università degli Studi di Napoli Federico II, Napoli, Italia. Il progetto è stato infatti reso possibile dal supporto dell'iniziativa Res4Net e del TC-06 (Emerging Technologies in Measurements) della IEEE Instrumentation and Measurement Society. Gli autori ringraziano anche L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone e M. Ortolano per i loro preziosi contributi nello sviluppo, nella sperimentazione e nella validazione del sistema.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
Gomma conduttiva con rivestimento Ag/AgClab medica s.p.a.N/AElettrodi alternativi – tipo 2
Elettrodo a clip per l'orecchioOpenBCIN/AClip per l'orecchio
EEG-AEOlimexN/AElettrodi attivi
EEG-PEOlimexN/AElettrodo passivo
EEG-SMTOlimexN/AElettroencefalografo a basso costo
Moverio BT-200EpsonN/ASmart occhiali
Elettrodi a scattoOpenBCIN/AElettrodi alternativi – tipo 1

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49(2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005(2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099(2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708(2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010(2010).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Single Channel EEGSteady State Visually Evoked PotentialsSSVEP BCISmart GlassesEEG Signal ProcessingSupport Vector MachinePower Spectral DensityIndustrial InspectionNeurorehabilitation

Articoli correlati