Article de méthode

Une interface cerveau-ordinateur portable à canal unique et non invasive pour l’industrie et les soins de santé

DOI :

10.3791/65007

⸱

7 juillet 2023

 ,  ,  , 
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

Dans cet article

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cet article explique comment construire une interface cerveau-ordinateur en s’appuyant sur un équipement de qualité grand public et des potentiels évoqués visuellement à l’état stable. Pour cela, un électroencéphalographe monocanal exploitant des électrodes sèches a été intégré à des lunettes de réalité augmentée pour la présentation des stimuli et la visualisation des données de sortie. Le système final était non invasif, portable et portable.

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Le présent travail se concentre sur la façon de construire une interface cerveau-ordinateur portable (BCI). Les BCI sont un nouveau moyen d’interaction homme-machine qui repose sur des mesures directes des signaux cérébraux pour aider à la fois les personnes handicapées et les personnes valides. Les exemples d’application incluent le contrôle robotique, l’inspection industrielle et la neuroréhabilitation. Des études récentes ont notamment montré que les potentiels évoqués visuels à l’état stable (SSVEP) sont particulièrement adaptés aux applications de communication et de contrôle, et des efforts sont actuellement déployés pour intégrer la technologie BCI dans la vie quotidienne. Pour atteindre cet objectif, le système final doit s’appuyer sur une instrumentation portable, portable et peu coûteuse. Dans l’exploitation des SSVEP, un stimulus visuel vacillant avec des fréquences fixes est nécessaire. Ainsi, en considérant les contraintes de la vie quotidienne, la possibilité de fournir des stimuli visuels au moyen de lunettes intelligentes a été explorée dans cette étude. De plus, pour détecter les potentiels suscités, un appareil commercial d’électroencéphalographie (EEG) a été envisagé. Il s’agit d’un seul canal différentiel avec des électrodes sèches (pas de gel conducteur), obtenant ainsi la plus grande portabilité et portabilité. Dans un tel BCI, l’utilisateur peut interagir avec les lunettes intelligentes en regardant simplement les icônes apparaissant sur l’écran. Sur ce principe simple, un BCI convivial et peu coûteux a été construit en intégrant des lunettes de réalité étendue (XR) à un appareil EEG disponible dans le commerce. La fonctionnalité de ce XR-BCI portable a été examinée avec une campagne expérimentale impliquant 20 sujets. La précision de classification était comprise entre 80% et 95% en moyenne en fonction du temps de stimulation. Compte tenu de ces résultats, le système peut être utilisé comme interface homme-machine pour l’inspection industrielle mais aussi pour la réadaptation dans le TDAH et l’autisme.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Une interface cerveau-ordinateur (BCI) est un système permettant la communication et/ou le contrôle de dispositifs sans voies neuronales naturelles1. La technologie BCI est ce qui se rapproche le plus du contrôle des objets avec le pouvoir de l’esprit. D’un point de vue technique, le fonctionnement du système fonctionne en mesurant l’activité cérébrale induite ou évoquée, qui pourrait être générée involontairement ou volontairement par le sujet2. Historiquement, la recherche s’est concentrée sur l’aide aux personnes ayant un handicap moteur grâce à BCI3, mais un nombre croissant d’entreprises proposent aujourd’hui des instruments basés sur BCI pour les jeux4, la robotique5, l’industrie6 et d’autres applications impliquant une interaction homme-machine. En particulier, les BCI peuvent jouer un rôle dans la quatrième révolution industrielle, à savoir l’industrie 4.07, où les systèmes de production cyber-physiques modifient l’interaction entre les humains et l’environnement8. D’une manière générale, le projet européen BNCI Horizon 2020 a identifié des scénarios d’application tels que le remplacement, la restauration, l’amélioration, l’amélioration ou le complément des fonctions naturelles perdues du système nerveux central, ainsi que l’utilisation des BCI dans l’étude du cerveau9.

Dans ce cadre, les progrès technologiques récents signifient que les interfaces cerveau-ordinateur peuvent être applicables à une utilisation dans la vie quotidienne10,11. Pour atteindre cet objectif, la première exigence est le caractère non invasif, ce qui est important pour éviter les risques d’une intervention chirurgicale et accroître l’acceptation par les utilisateurs. Cependant, il convient de noter que le choix de la neuroimagerie non invasive affecte la qualité des signaux cérébraux mesurés, et que la conception du BCI doit alors traiter les pièges associés12. De plus, la portabilité et la portabilité sont requises. Ces exigences sont conformes à la nécessité d’un système convivial mais posent également certaines contraintes. Dans l’ensemble, les contraintes matérielles mentionnées sont résolues par l’utilisation d’un système électroencéphalographique (EEG) avec des électrodes sans gel6. Un tel BCI basé sur l’EEG serait également peu coûteux. Pendant ce temps, en ce qui concerne le logiciel, une formation minimale des utilisateurs (ou idéalement aucune formation) serait souhaitée; À savoir, il serait préférable d’éviter de longues périodes pour régler l’algorithme de traitement avant que l’utilisateur puisse utiliser le système. Cet aspect est essentiel dans les BCI en raison de la non-stationnarité inter-sujets et intra-sujets13,14.

La littérature antérieure a démontré que la détection des potentiels cérébraux évoqués est robuste en ce qui concerne la non-stationnarité et le bruit dans l’acquisition du signal. En d’autres termes, les BCI s’appuyant sur la détection du potentiel évoqué sont appelés réactifs et sont les BCI les plus performants en termes de reconnaissance des formes cérébrales15. Néanmoins, ils nécessitent une stimulation sensorielle, ce qui est probablement le principal inconvénient de telles interfaces. L’objectif de la méthode proposée est donc de construire un BCI hautement portable et portable reposant sur des instruments portables et prêts à l’emploi. Les stimuli sensoriels consistent ici en des lumières vacillantes, générées par des lunettes intelligentes, capables de générer des potentiels évoqués visuellement à l’état stable (SSVEP). Des travaux antérieurs ont déjà envisagé d’intégrer BCI à la réalité virtuelle seule ou en conjonction avec la réalité augmentée16. Par exemple, un système BCI-AR a été proposé pour contrôler un quadricoptère avec SSVEP17. La réalité virtuelle, la réalité augmentée et d’autres paradigmes sont désignés par le terme réalité étendue. Dans un tel scénario, le choix des lunettes intelligentes est conforme aux exigences de portabilité et de portabilité, et les lunettes intelligentes peuvent être intégrées avec une configuration d’acquisition EEG minimale. Cet article montre que le BCI basé sur SSVEP nécessite également une formation minimale tout en obtenant des performances de classification acceptables pour les applications de communication et de contrôle à faible et moyenne vitesse. Par conséquent, la technique est appliquée au BCI pour les applications de la vie quotidienne, et elle semble particulièrement adaptée à l’industrie et aux soins de santé.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’étude a été approuvée par le Comité éthique de la recherche psychologique du Département des sciences humaines de l’Université de Naples Federico II. Les volontaires ont signé un consentement éclairé avant de participer aux expériences.

1. Préparation de l’interface cerveau - ordinateur portable non invasive

  1. Procurez-vous un électroencéphalographe grand public à faible coût avec électrodes sèches et configurez-le pour une utilisation monocanal.
    1. Court-circuiter ou connecter tout canal d’entrée inutilisé sur l’électroencéphalographe à faible coût à une tension de référence interne spécifiée par la fiche technique inhérente. Ce faisant, les canaux inutilisés sont désactivés et ne génèrent pas de bruit de diaphonie.
    2. Ajuster le gain de l’électroencéphalographe (généralement à travers un composant à résistance variable) pour avoir une plage d’entrée de l’ordre de 100 μV.
      REMARQUE: Les signaux EEG à mesurer sont de l’ordre de dizaines de microvolts. Cependant, les électrodes sèches sont grandement affectées par les artefacts de mouvement, qui entraînent des oscillations de l’ordre de 100 μV en raison de la variabilité de l’impédance électrode-peau. L’augmentation de la plage de tension d’entrée permet de limiter la saturation de l’amplificateur EEG, mais ne l’élimine pas complètement. D’autre part, il serait peu pratique d’augmenter encore plus la plage de tension d’entrée, car cela affecterait la résolution de tension lors de la mesure des composants EEG souhaités. En fin de compte, les deux aspects doivent être équilibrés en tenant également compte de la résolution binaire du convertisseur analogique-numérique à l’intérieur de la carte électroencéphalographique.
    3. Préparez trois électrodes sèches à connecter à la carte électroencéphalographique. Utiliser une électrode passive (pas de préamplification) comme électrode de référence. Les deux autres électrodes de mesure devraient être actives (c.-à-d. impliquer une préamplification et un éventuel filtrage analogique).
      REMARQUE: Les électrodes placées sur une zone poilue du cuir chevelu nécessitent des broches pour surmonter l’impédance de contact électrode-peau. Si possible, soudez des broches argentées avec des têtes plates (pour éviter trop de douleur pour l’utilisateur) ou, idéalement, utilisez du caoutchouc conducteur (souple) avec un revêtement Ag/AgCl.
  2. Procurez-vous des lunettes intelligentes commerciales avec un système d’exploitation Android et un taux de rafraîchissement de 60 Hz. Vous pouvez également utiliser un taux de rafraîchissement inférieur. Un taux de rafraîchissement plus élevé serait souhaitable pour les stimuli car il y aurait moins de fatigue oculaire, mais il n’y a pas de solutions actuellement disponibles sur le marché.
    1. Téléchargez le code source d’une application Android pour la communication ou le contrôle, ou développez-en une.
    2. Remplacez les boutons virtuels de l’application par des icônes scintillantes en modifiant l’objet inhérent (généralement en Java ou Kotlin). Des carrés blancs avec au moins 5% de dimension d’écran sont recommandés. Habituellement, plus le carré stimulant est grand, plus le composant SSVEP à détecter sera élevé, mais un optimum peut être trouvé en fonction du cas spécifique. Les fréquences recommandées sont 10 Hz et 12 Hz de scintillement. Implémentez le scintillement sur l’unité de traitement graphique (GPU) pour éviter de surcharger l’unité de calcul (CPU) des lunettes intelligentes. Pour ce faire, utilisez des objets de la bibliothèque OpenGL.
    3. Mettre en œuvre un module de l’application Android pour le traitement en temps réel du flux EEG d’entrée. Le service USB Android peut être ajouté afin que le flux puisse être reçu via USB. Le traitement en temps réel peut simplement appliquer une fenêtre coulissante au flux EEG en considérant les paquets entrants. Calculez les densités spectrales de puissance associées aux fréquences 10 Hz et 12 Hz grâce à une fonction de transformée de Fourier rapide. Un classificateur entraîné peut donc distinguer que l’utilisateur regarde l’icône scintillante de 10 Hz ou l’icône de scintillement de 12 Hz en classant les caractéristiques de densité spectrale de puissance.

2. Calibrer l’interface cerveau-ordinateur basée sur SSVEP

NOTE: Des volontaires sains ont été choisis pour cette étude. Exclure les sujets ayant des antécédents de maladies du cerveau. Les sujets impliqués devaient avoir une vision normale ou corrigée à la normale. Ils ont reçu l’ordre de se détendre pendant les expériences et d’éviter les mouvements inutiles, en particulier de la tête.

  1. Laissez l’utilisateur porter les lunettes intelligentes avec l’application Android.
  2. Laissez l’utilisateur porter un bandeau serré pour tenir les électrodes.
  3. Connectez l’électroencéphalographe à faible coût à un PC via un câble USB pendant que le PC est déconnecté de l’alimentation principale.
    1. Déconnectez initialement toutes les électrodes de la carte d’acquisition de l’électroencéphalographe pour partir d’une condition connue.
    2. Dans cette phase, le flux EEG est traité hors ligne sur le PC avec un script compatible avec le traitement implémenté dans l’application Android. Démarrez le script pour recevoir les signaux EEG et les visualiser.
  4. Vérifiez le signal affiché qui est traité hors ligne. Celui-ci doit correspondre uniquement au bruit de quantification de l’amplificateur EEG.
  5. Connectez les électrodes.
    1. Appliquez l’électrode passive sur l’oreille gauche à l’aide d’un clip personnalisé ou utilisez une électrode à pince auriculaire. Le signal de sortie doit rester inchangé à cette étape car le canal différentiel de mesure est toujours un circuit ouvert.
    2. Connectez une électrode active à la borne négative de l’entrée différentielle du canal EEG de mesure et appliquez-la sur la région frontale (emplacement standard FPZ) avec un bandeau. Après quelques secondes, le signal devrait revenir à zéro (bruit de quantification).
    3. Connectez l’autre électrode active à la borne positive de l’entrée différentielle du canal EEG de mesure et appliquez-la sur la région occipitale (emplacement standard d’Oz) avec le bandeau. Un signal cérébral est maintenant affiché, qui correspond à l’activité visuelle mesurée par rapport à la zone frontale du cerveau (aucune activité visuelle n’y est prévue).
  6. Acquérir des signaux pour l’étalonnage du système.
    1. Stimulez à plusieurs reprises l’utilisateur avec des icônes scintillantes de 10 Hz et 12 Hz (et éventuellement d’autres) en démarrant l’icône de scintillement dans l’application Android, et acquérez et enregistrez les signaux EEG inhérents pour un traitement hors ligne. Assurez-vous que chaque stimulation de cette phase consiste en une seule icône scintillante pendant 10 s et démarrez l’icône scintillante en appuyant sur le pavé tactile des lunettes intelligentes tout en démarrant le script d’acquisition et de visualisation EEG.
    2. Des signaux de 10 s associés à chaque stimulation, extrayez deux caractéristiques en utilisant la transformée de Fourier rapide : la densité spectrale de puissance à 10 Hz et à 12 Hz. Alternativement, considérons les secondes harmoniques (20 Hz et 24 Hz).
    3. Utilisez une représentation des signaux acquis dans le domaine des entités pour former un classificateur de machine à vecteurs de support. Utilisez un outil (en Matlab ou Python) pour identifier les paramètres d’un hyperplan avec un noyau éventuel basé sur les fonctionnalités d’entrée. Le modèle formé sera capable de classer les observations futures des signaux EEG.

3. Assembler l’interface SSVEP portable et portable finale

  1. Déconnectez le câble USB du PC et connectez-le directement aux lunettes intelligentes.
  2. Insérez les paramètres du classificateur entraîné dans l’application Android. Le système est maintenant prêt.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Une mise en œuvre possible du système décrit ci-dessus est illustrée à la figure 1; Cette implémentation permet à l’utilisateur de naviguer en réalité augmentée grâce à l’activité cérébrale. Les icônes scintillantes sur l’écran des lunettes intelligentes correspondent aux actions de l’application (Figure 1A) et, par conséquent, ces lunettes représentent un substitut à une interface traditionnelle basée sur des pressions sur des b...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Le bon fonctionnement du système implique deux aspects cruciaux: l’élicitation SSVEP et l’acquisition du signal. Outre les dispositifs spécifiques choisis pour la présente étude, SSVEP pourrait être déclenché avec différents dispositifs fournissant une lumière vacillante, bien que les lunettes intelligentes soient préférées pour assurer la portabilité et la portabilité. De même, d’autres électroencéphalographes commerciaux pourraient être envisagés, mais ils devraient être portables, portables et comporter un nombre mini...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs n’ont rien à divulguer.

Remerciements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce travail a été réalisé dans le cadre du projet TIC pour la santé, qui a été soutenu financièrement par le ministère italien de l’Éducation, de l’Université et de la Recherche (MIUR), dans le cadre de l’initiative Départements d’excellence (loi budgétaire italienne no. 232/2016), à travers une subvention d’excellence accordée au Département des technologies de l’information et du génie électrique de l’Université de Naples Federico II, Naples, Italie. Le projet a en effet été rendu possible grâce au soutien de l’initiative Res4Net et du TC-06 (Emerging Technologies in Measurements) de l’IEEE Instrumentation and Measurement Society. Les auteurs tiennent également à remercier L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone et M. Ortolano pour leurs précieuses contributions au développement, aux tests et à la validation du système.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
Caoutchouc conducteur avec revêtement Ag/AgCl  ;AB MEDICA S.p.A.N/AÉlectrodes alternatives &ndash ; type 2
Électrode d’oreilleOpenBCIN/AClip d’oreille
EEG-AEOlimexN/AÉlectrodes actives
EEG-PEOlimexN/AÉlectrode passive
EEG-SMTOlimexN/AÉlectroencéphalographe économique
Moverio BT-200EpsonN/ASmart verres
Électrodes à pressionOpenBCIN/AÉlectrodes alternatives &ndash ; type 1

Références

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49(2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005(2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099(2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708(2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010(2010).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE

Demander une autorisation

Mots-clés

EEG monocanalpotentiels voqu s visuels en tat stableICM SSVEPlunettes intelligentestraitement du signal EEGmachine vecteurs de supportdensit spectrale de puissanceinspection industrielleneuror adaptation

Articles connexes