Name: SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes (Vidéo) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Découvrez une procédure expérimentale basée sur les SSVEP pour l'interaction cerveau-robot avec des robots humanoïdes. Cette méthode intègre plusieurs logiciels pour contrôler les robots par signaux cérébraux en temps réel.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Les auteurs tiennent à exprimer leur gratitude à M. Hong Hu pour son aide dans l&#39;exécution des expériences rapportées dans le présent document. Ce travail a été financé en partie par la Fondation nationale des sciences naturelles de Chine (n ° 61473207).

1. Acquisition de signaux EEG <ol><li> Expliquer la procédure expérimentale pour le sujet et obtenir le consentement éclairé écrit de participer à des expériences. </li><li> Mesurer la circonférence de la tête du sujet en utilisant un ruban à mesurer et sélectionnez la taille de bonnet EEG qui est proche de la mesure. L&#39;arrangement d&#39;électrodes est basé sur le «système 10-20 international&quot; 12. </li><li> Mesurez la distance entre le nasion et inion. Utilisez un crayon de marquage de la peau à l&#39;occasion de 10% de la distance de référence pour aligner le capuchon, et marquer le point médian de la distance que le sommet sur le cuir chevelu du sujet. </li><li> Placez le bouchon EEG sur le sujet en alignant la barre des 10% avec le milieu des électrodes PF1 et PF2. Électrode de position Cz de la capsule sur le sommet. </li><li> Assurez-vous que le Fz, Cz, Pz et Oz sont sur la ligne médiane de la tête, et que chaque paire d&#39;électrodes situées de chaque côté de la ligne médiane sont sur une ligne horizontale. </li><li>Enduire les électrodes REF1 et REF2 avec gel conducteur. Placer les électrodes de référence sur les mastoïdes gauche et droite à l&#39;aide de ruban adhésif médical. Serrez la jugulaire. </li><li> Placez une seringue pointe arrondie dans les porte-électrodes et injecter un gel conducteur dans chaque électrode dans l&#39;ordre suivant: d&#39;abord, le «terrain» électrode sur le front et le deuxième, les cinq électrodes utilisées dans l&#39;expérience, O2, O1, Oz, Pz et Cz. </li><li> Seat l&#39;objet dans un confortable fauteuil 60 cm en face d&#39;un moniteur de relance. Demandez au sujet de garder ses / ses yeux dans le même plan horizontal avec le centre de l&#39;écran. </li><li> Connecter les fils d&#39;électrodes au système d&#39;acquisition de données EEG. Configurez le taux d&#39;échantillonnage de 1 kHz. </li><li> Examiner la qualité du signal EEG sur le DPC dédié. Si il ya un problème avec une électrode particulière, gel réinjecter pour régler l&#39;impédance du canal. </li><li> Utilisez le CPS dédié à clignoter quatre images de robots à des fréquences de 4.615, 12, 15 et 20Hz comme stimuli visuels sur l&#39;interface utilisateur comme le montre la figure 2. </li></ol> 2. Hors Analyser SSVEP Caractéristiques <ol><li> Mener des 32 essais d&#39;expériences de formation hors ligne pour chaque sujet et enregistrer leurs signaux cérébraux acquis du système EEG long de ce processus. Remarque: Ce processus est mené uniquement par des sujets pour la première fois de l&#39;expérience pour établir leurs vecteurs caractéristiques de SSVEP et de former le classificateur. </li><li> Quand un procès commence, sélectionnez un stimulus comme cible au hasard et afficher une flèche jaune au-dessus. </li><li> 1 secondes plus tard, scintiller les quatre stimuli visuels à des fréquences différentes sur l&#39;interface utilisateur pendant 5 sec. </li><li> Demander le sujet pour se concentrer sur l&#39;objectif de relance sélectionnée tout en gardant son / sa mouvement du corps à un minimum. </li><li> Après chaque essai, donner le sujet 3 sec pour se détendre, et ensuite commencer à l&#39;essai suivant. </li><li> Lorsque tous les essais sont terminés, lire les données enregistrées. Extrait d&#39;une époque données 3-sec être<html> entre 2 et 5 secondes après le déclenchement qui sélectionne un stimulus comme la cible dans chaque procès. </li><li> Calculer la densité spectrale de puissance (PSD) des époques de données en utilisant l&#39;analyseur de données hors ligne dans les scripts MATLAB. Utiliser l&#39;algorithme de traitement décrit en détail ci-dessous: <ol><li> Calculer les coefficients analyse de corrélation canonique (CCA) des données multicanal de l&#39;EEG avec des données de référence. CCA est une méthode statistique multivariée utilisée pour deux ensembles de données pour trouver leur corrélation sous-jacent 13. Considérant le segment 3s de données multicanal EEG X et les données de référence Y de la même longueur, utiliser CCA pour trouver les vecteurs de poids, W x et W y, afin de maximiser le coefficient de corrélation ρ entre x = X T W x et y = Y T W y. Définissez les données de référence pour être les signaux périodiques à certaines fréquences de stimulation. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; où f 1, f 2, f 3, f 4 sont les fréquences de caractéristiques des quatre stimuli visuels. </li><li> Filtrer spatialement les données multicanal EEG X en utilisant les coefficients DPA calculée W x pour obtenir une seule dimension filtrés données x, qui a la corrélation la plus évidente avec la combinaison linéaire des données de référence. </li><li> Calculer le PSD des données x filtré spatialement en utilisant la transformée de Fourier rapide (FFT). <img alt="Equation 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> où N est la taille de FFT de l&#39;échantillon de données x, et FFT (x, N FFT) renvoie transformée de Fourier discrète FFT -point de N x. </li><li> Normaliser le PSD par rapport à sa valeur moyenne entre 3 et 30 Hz. <img alt="Équation 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> où60; <img alt="Équation 3 Dénominateur" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> désigne la moyenne du spectre de puissance comprise entre 3 et 30 Hz. </li></ol></li><li> Calibrer les paramètres de classification pour les quatre fréquences de stimulation. Tout d&#39;abord, observer le spectre PSD normalisée qui correspond à son objectif de relance, et de configurer manuellement la fréquence avec la plus forte amplitude PSD que la fréquence de fonction. Basé sur la fréquence caractéristique, diviser les données PSD normalisées en deux ensembles: l&#39;un est acquise lorsque le stimulus correspondant est sélectionné comme cible, et l&#39;autre est acquise lorsque les stimuli non-cibles sont sélectionnés. Calculer la valeur moyenne de chaque série, respectivement. Déterminer le seuil de la médiane des deux valeurs moyennes de classer la cible et non-cible fixe 14. </li></ol> 3. Traitement des signaux du cerveau en ligne <ol><li> Ouvrir le processeur de signal en ligne comme le montre la figure 3, qui est développé belon sur l&#39;environnement OpenViBE et les scripts MATLAB, sur le DPC pour traiter les signaux du cerveau en ligne. </li><li> Double-cliquez sur la boîte de Signal acquisition et de traitement, qui est marqué avec un cycle rouge dans la figure 3, pour ouvrir la fenêtre de réglage OpenViBE. Configurer les paramètres de classification pour le sujet:. Définir le taux d&#39;échantillonnage de 1 kHz, régler la longueur de temps pour FFT que 3 sec, et régler les fréquences de longs selon les résultats de l&#39;analyse en ligne, par exemple, 4.667, 24, 15 et 20 Hz . </li><li> Cliquez sur le bouton commence à courir le processeur de signaux en ligne, qui traite les données en temps réel en utilisant l&#39;algorithme suivant en trois étapes. </li><li> Tout d&#39;abord, l&#39;algorithme acquiert des données provenant des canaux EEG Oz, O1, O2, Pz et CPZ du système EEG toutes les 0.5s, et extrait le segment de données de la dernière ligne de traitement 3s. </li><li> Deuxièmement, l&#39;algorithme traite le segment de données 3-sec en utilisant les algorithmes décrits à l&#39;étape 2.7, et calcule en temps réel le PSD pour Classification. </li><li> Troisièmement, l&#39;algorithme classe les schémas des ondes cérébrales en fonction des amplitudes PSD dans les quatre fréquences de fonction. Lorsque l&#39;amplitude de fréquence d&#39;une caractéristique est supérieur à un seuil donné, classifier le stimulus scintillement correspondant à la fréquence en tant que cible de SSVEP. </li></ol> 4. Connecter le Robot Humanoïde <ol><li> Appuyez sur le bouton de la poitrine du robot humanoïde et attendez qu&#39;il démarre. Remarque: Ce processus prend environ 1 min et est terminée lorsque le robot dit &quot;OGNAK GNOUK&quot;, tandis que le bouton de la poitrine devient blanc. </li><li> Établir sa WiFi (Wireless Fidelity) connexion à la DPC 15. </li><li> Ouvrez le contrôleur robot programmé en C ++ scripts Visual sur le DPC. Le contrôleur reçoit les résultats de la classification de la Signal Processor ligne par l&#39;intermédiaire de réalité virtuelle périphérique réseau (VRPN) interface, les traduit en commandes de robots, et contrôle les comportements correspondants du humanoid robot via une connexion sans fil. </li><li> Configurez le contrôleur de robot en entrant l&#39;adresse IP du robot en fonction de sa connexion WiFi, définissant trois séries de comportements du robot qui peut facilement être modifiée pour effectuer les trois tâches différentes, et en définissant les paramètres d&#39;exécution de ces comportements (par exemple., La vitesse de marche ou distance) pour adapter l&#39;exigence de tâche. NOTE: Plus de détails de ces comportements sont décrits dans les étapes 5.2.1, 5.3.1, 5.4.1 et. </li><li> Cliquez sur le bouton Générer de la plateforme Visual Studio pour exécuter le Contrôleur de Robot. </li><li> Ouvrez le programme Chorégraphe sur la CPS. Cliquez sur «Se connecter à&quot; bouton pour faire apparaître un widget de connexion. Sélectionnez le robot doit être contrôlée en fonction de son adresse IP, et double-cliquez sur son icône pour s&#39;y connecter. </li><li> Ouvrez l&#39;écran vidéo dans le menu d&#39;affichage dans la barre de menu Chorégraphe, et déplacer le moniteur à l&#39;avant de l&#39;interface utilisateur pour afficher des commentaires de la vidéo en direct depuis la caméra du robot. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. Mener des expériences de contrôle en boucle fermée <ol><li> Demander le sujet pour effectuer trois tâches de contrôle en boucle fermée spécifiques au sein des environnements différents afin d&#39;évaluer la performance de l&#39;interaction cerveau-robots. REMARQUE: ces tâches, qui sont importants dans les applications robotiques, car ils sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne, besoin d&#39;activer différents comportements du robot. </li><li> Effectuer la première tâche de contrôle en boucle fermée à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher à travers les obstacles et pousser un interrupteur pour allumer la lumière, comme le montre la figure 4. <ol><li> Pour accomplir la première tâche, contrôler les comportements des robots qui sont codées par les quatre stimuli SSVEP comme: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et en poussant le commutateur à l&#39;aide de sa main droite. REMARQUE: la configuraprocessus d&#39;est décrite dans l&#39;étape 4.4. </li><li> Informer le sujet de l&#39;objectif de la tâche et les quatre comportements à être contrôlé. </li><li> Exécutez le Robot Controller comme dans les étapes 4.5-4.7, et commencer l&#39;expérience. Donnez le sujet de la liberté de percevoir l&#39;environnement et de prendre des décisions basées sur les commentaires de la vidéo en direct, et pour activer les comportements du robot en regardant fixement les stimuli correspondants. REMARQUE: aucune instruction ou de l&#39;aide devrait être accordée à l&#39;objet, sauf dans les situations d&#39;urgence, par exemple, le robot est sur ​​le point d&#39;entrer en collision avec un obstacle.. </li></ol></li><li> Effectuer la deuxième tâche à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher vers l&#39;escalier suivant le panneau de sortie, comme le montre la Figure 5. Lorsque confrontant passants, demandez au sujet de contrôler le robot à-dire &quot;excusez-moi&quot; et attendre que le passants à céder. <ol><li> Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: marche en avant continuously à une vitesse de 0,05 m / s, en tournant à gauche en continu à une vitesse de 0,1 rad / s, en tournant à droite en continu à une vitesse de 0,1 rad / s, et l&#39;arrêt de tous les comportements de marche. </li><li> Mettez le Robot Controller à la fonction de commande posture dépendante 16. REMARQUE: lorsque le robot marche, cette fonction utilise la quatrième relance que la commande d&#39;arrêter les comportements de marche; lorsque le robot ne marche pas, il utilise la quatrième relance de contrôler le robot à-dire &quot;excusez-moi&quot;. La fonction est implémentée dans les scripts C de par la détection de l&#39;état de marche du robot. </li><li> Informer le sujet de l&#39;objectif de la tâche et les cinq comportements à être contrôlé. </li><li> Exécutez le contrôleur de robot et commencer l&#39;expérience, comme décrit à l&#39;étape 5.2.3. </li></ol></li><li> Mener la troisième tâche de téléprésence contrôler le robot humanoïde à marcher vers une cible de ballon, de le ramasser et de le livrer à la main de l&#39;objet, comme le montre la Figure 6. <ol><li> Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et ramasser des objets. </li><li> Activez la fonction de contrôle posture dépendant dans le Contrôleur de Robot de réutiliser la quatrième relance que la commande de débarquer l&#39;objet quand il a déjà été ramassé. </li><li> Informer le sujet de l&#39;objectif de la tâche et les cinq comportements à être contrôlé. </li><li> Exécutez le contrôleur de robot et commencer l&#39;expérience, comme décrit à l&#39;étape 5.2.3. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Les auteurs n’ont rien à divulguer.

Cet article présente une procédure expérimentale basée SSVEP à établir le système d&#39;interaction cerveau-robot avec des robots humanoïdes en intégrant plusieurs programmes logiciels. Étant donné que l&#39;intention humaine est perçue par l&#39;interprétation des signaux d&#39;EEG en temps réel, il est essentiel de vérifier les connexions d&#39;électrodes EEG et des qualités de signal avant d&#39;effectuer l&#39;expérience. Si les signaux acquis de toutes les électrodes sont de mauvaises qualités, il est nécessaire de...

Brain-Robot Interaction (BRI), qui fournit une voie de communication innovant entre l&#39;humain et un dispositif robotique via des signaux du cerveau, est prospective pour aider les personnes handicapées dans leur vie quotidienne 1,2. Une variété de méthodes sont en mesure d&#39;acquérir les signaux du cerveau soit invasive ou non invasive, comme électrocorticographie (ECoG), électroencéphalogramme (EEG), l&#39;imagerie par résonance magnétique fonctionnelle (IRMf), etc. La méthode non-invasive la plus couramment utilisée pour la construction du système BRI est d&#39;acquérir des signaux EEG à partir des électrodes placées sur le cuir chevelu. Cette méthode est peu coûteuse, facile à utiliser, et offre une résolution temporelle acceptable 3. Parmi une variété de dispositifs robotiques, robots humanoïdes sont avancés car ils sont créés pour imiter certains des mêmes tâches physiques et mentales que les humains subissent quotidiennement. BRI avec un robot humanoïde va jouer un rôle important en aidant les malades et les personnes âgées, ainsi que l&#39;exécution des emplois insalubres ou dangereux. Mais le contrôled&#39;un robot humanoïde à travers le système BRI est très difficile, car le robot humanoïde avec le mouvement du corps entier est conçu pour effectuer des tâches complexes telles que l&#39;assistance personnelle 4, 5. Steady-State potentiels évoqués visuels (SSVEP) est un type de signal du cerveau provoquée par la modulation du stimulus visuel à une fréquence donnée 6. Il contient des sinusoïdes à des fréquences fondamentales et harmoniques de la stimulation de scintillement, et bien en vue apparaît à travers le cortex visuel dans la région occipitale du cuir chevelu 7. La raison du choix des signaux de SSVEP est que le système à base BRI-SSVEP donne un taux de transfert de l&#39;information relativement élevé et nécessite moins de formation 8. Autres types d&#39;ondes cérébrales, comme les potentiels évoqués (ERP) 9 ou moteur-imagerie (MI) les potentiels 10, peuvent également être intégrés dans cette procédure expérimentale. Notre procédure d&#39;interaction cerveau-robot humanoïderobots sont basées sur Cerebot - une plateforme de robot humanoïde de contrôle mental - constitué d&#39;un système d&#39;acquisition de données EEG et un robot humanoïde 11. Le système EEG est capable d&#39;enregistrer des signaux bio-potentiel affichage acquises par divers types d&#39;électrodes de pré-processus et. Il fournit analogique multiples E / S et E / S numériques et est capable d&#39;enregistrer jusqu&#39;à 128 canaux de signaux simultanément à un taux d&#39;échantillonnage de 30 kHz avec une résolution de 16 bits. Ses kits de développement logiciel en C ++ et MATLAB sont faciles pour les utilisateurs de concevoir les procédures expérimentales. Le robot humanoïde possède 25 degrés de liberté et est équipé de plusieurs capteurs, y compris les 2 caméras, 4 micros, 2 télémètres sonar, 2 IR émetteurs et récepteurs, 1 planche d&#39;inertie, 9 capteurs tactiles, et 8 capteurs de pression. Il fournit Choregraphe et SDK C ++ pour créer et éditer les mouvements et les comportements des robots interactifs. L&#39;objectif global de cette méthode est d&#39;établir une procé expérimentale basée SSVEP-dure en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, le logiciel central ainsi que de programmes développés utilisateur écrites en C ++ et MATLAB, afin de permettre l&#39;étude de l&#39;interaction cerveau-robot avec des robots humanoïdes 11. La figure 1 montre la structure du système. L&#39;ordinateur de la présentation du stimulus dédié (CPS) affiche l&#39;interface utilisateur pour fournir le sujet avec des stimuli visuels, des instructions et des évaluations environnementales. L&#39;ordinateur de traitement de données dédié (DPC) exécute l&#39;enregistreur de données et l&#39;analyseur de données hors ligne dans le processus de formation en ligne, et exécute le processeur de signal en ligne et la commande du robot pour le contrôle en ligne du robot humanoïde. Comparé à d&#39;autres systèmes de contrôle basés SSVEP, notre système est plus fiable, plus souple, et surtout plus pratique pour être réutilisés et mis à jour comme il est développé en intégrant un certain nombre de logiciels normalisés, tels que OpenViBE, Chorégraphe, le logiciel central, et modules écrits en C ++et MATLAB. La procédure suivante a été examiné et approuvé par l&#39;université médicale comité d&#39;éthique de l&#39;hôpital général de Tianjin, et tous les sujets ont donné leur consentement par écrit.

<table><tbody><tr><td>Système d’acquisition de données EEG Cerebus</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>Robot humanoïde NAO</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>Casque EEG</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Gel conducteur</td><td>Weaver et compagnie</td><td>10-20-8</td><td></td></tr></tbody></table>

ssvep basé procédure expérimentale pour brain-robot interaction avec des robots humanoïdes

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

L’interaction cerveau-robot (BRI), qui fournit une voie de communication innovante entre l’homme et un dispositif robotique via des signaux cérébraux, est prometteuse pour aider les personnes handicapées dans leur vie quotidienne. L’objectif global de notre méthode est d’établir une procédure expérimentale basée sur SSVEP en intégrant plusieurs logiciels, tels que OpenViBE, Choregraph et les logiciels Central, ainsi que des programmes développés par l’utilisateur et écrits en C++ et MATLAB, afin de permettre l’étude de l’interaction cerveau-robot avec des robots humanoïdes.
Ceci est réalisé en plaçant d’abord des électrodes EEG sur un sujet humain pour mesurer les réponses cérébrales à l’aide d’un système d’acquisition de données EEG. Une interface utilisateur est utilisée pour obtenir des réponses SSVEP et pour afficher un retour vidéo dans les expériences de contrôle en boucle fermée. La deuxième étape consiste à enregistrer les signaux EEG des sujets qui en sont à leur première expérience, à analyser leurs caractéristiques SSVEP hors ligne et à entraîner le classificateur pour chaque sujet. Ensuite, le processeur de signal en ligne et le contrôleur de robot sont configurés pour le contrôle en ligne d’un robot humanoïde. Comme dernière étape, le sujet réalise trois expériences spécifiques de contrôle en boucle fermée dans différents environnements pour évaluer les performances d’interaction cerveau-robot.
L’avantage de cette approche est sa fiabilité et sa flexibilité car elle est développée en intégrant plusieurs logiciels. Les résultats montrent qu’en utilisant cette approche, le sujet est capable d’interagir avec le robot humanoïde via des signaux cérébraux. Cela permet au robot humanoïde contrôlé par l’esprit d’effectuer des tâches typiques qui sont populaires dans la recherche robotique et sont utiles pour aider les personnes handicapées.

Les résultats présentés ici ont été obtenus à partir d&#39;un sujet mâle ayant corrigé à la normale la version. La figure 7 représente la procédure de traitement des données EEG, y compris l&#39;extraction d&#39;une époque de données multicanal (figure 7A), en filtrant spatialement les données à l&#39;aide des coefficients de DPA (figure 7B) , et le calcul du PSD normalisée (figure 7C). <p class="jove_content" fo:kee...

L’objectif global de cette méthode est d’établir une procédure expérimentale basée sur SSVEP en intégrant plusieurs logiciels pour permettre l’étude de l’interaction cerveau-robot avec des robots humanoïdes, ce qui est prospectif pour aider les malades et les personnes âgées ainsi que pour effectuer des travaux insalubres ou dangereux.

SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

L'objectif général de cette méthode est d'établir un protocole expérimental basé sur les PESVE en intégrant plusieurs programmes informatiques afin de permettre l'étude de l'interaction cerveau-robot avec des robots humanoïdes. Cela est réalisé en plaçant d'abord des électrodes EEG sur un sujet humain pour mesurer les réponses cérébrales à l'aide d'un système d'acquisition de données EEG. Une interface utilisateur est utilisée pour provoquer des réponses PESVE et pour afficher une rétroaction vidéo dans les expériences de commande en boucle fermée.La deuxième étape consiste à enregistrer les signaux EEG des sujets lors de leur première séance afin d'analyser hors ligne la caractéristique S-S-V-E-P et d'entraîner le classificateur pour chaque sujet. Ensuite, le processeur de signal en ligne et le contrôleur du robot sont configurés pour le contrôle en temps réel d'un humanoïde Robert. Enfin, le sujet réalise trois expériences spécifiques de contrôle en boucle fermée dans différents environnements.Afin d'évaluer les performances de l'interaction cerveau-Robert, les résultats montrent la densité spectrale de puissance normalisée des signaux cérébraux générés lors du regard fixe sur des stimuli clignotant à différentes fréquences. Notre système traduit ces motifs d'ondes cérébrales en commandes permettant de contrôler les comportements de Robert. Grâce à cette approche, le sujet est capable d'interagir avec le robot humanoïde Robert à l'aide de signaux cérébraux.Cela permet au robot humanoïde Robert d'effectuer des tâches typiques, populaires dans la recherche robotique et utiles pour aider les personnes handicapées. L'avantage de cette approche réside dans sa fiabilité et sa flexibilité, car elle est conçue en intégrant plusieurs programmes informatiques tels qu'open wide graph et un logiciel central, ainsi que des programmes développés par l'utilisateur en C++ et Match Lab. Cette méthode permet d'étudier le cerveau-robot en action à l'aide du robot humanoïde.Cette étude est prospective et vise à aider les personnes malades et âgées, ainsi qu'à effectuer des tâches insalubres ou dangereuses. Mes coéquipiers, Lim et Han, vont maintenant démontrer la pose des capteurs EEG et montrer respectivement la méthode de connexion à l'humain, et non au robot. Expliquez l'expérience et la procédure au sujet.Obtenir le consentement à participer aux expériences. Mesurer la circonférence du sujet, puis choisir la taille du bonnet EEG E proche de la mesure obtenue. Mesurer la distance entre la marque NAS, correspondant à 10 % de la distance, comme référence pour aligner le bonnet.Marquer le point médian de la distance au sommet sur la position cul du sujet. Sur le casque d'EEG, placer l'électrode Cz au sommet en alignant la marque à 10 % avec le point médian des électrodes FP1 et FP2. S'assurer que les électrodes Fz, Cz, Pz et Oz sont alignées sur la ligne médiane de la tête.Appliquez la référence sur les électrodes avec un gel conducteur. Placez les électrodes de référence sur les OIDs gauche et droit à l'aide de ruban médical. Serrez la sangle de chaîne.Placer la seringue à embout émoussé dans les supports d'électrodes et injecter le gel conducteur dans chaque électrode selon l'ordre suivant : premièrement, l'électrode de référence, puis les cinq électrodes utilisées dans l'expérience O 2 0 1 OZ.PZ et cz. Installer le sujet sur une chaise confortable, à 60 centimètres d'un écran de stimulation.Connectez les fils des électrodes au système d'acquisition des données EEG. Configurez la fréquence d'échantillonnage à un kilohertz. Examinez la qualité du signal EEG sur l'ordinateur dédié au traitement des données.S'il y a un problème avec l'électrode particulière, réinjectez des gels pour ajuster l'impédance du canal. Faites clignoter quatre images de robots à différentes fréquences comme stimuli visuels sur l'interface utilisateur.Pour le premier sujet, réalisez l'expérience d'apprentissage hors ligne afin d'établir leurs vecteurs caractéristiques S-S-V-E-P et d'entraîner le classificateur. Effectuez 32 essais pour chaque sujet et enregistrez le signal cérébral tout au long de ce processus. Lorsqu'un essai commence, sélectionnez aléatoirement un stimulus comme cible et affichez une flèche jaune au-dessus de celui-ci.Une seconde. Ensuite, faites clignoter les quatre stimuli visuels à des fréquences différentes sur l'interface utilisateur pendant cinq secondes, puis demandez au sujet de se concentrer sur le stimulus cible sélectionné tout en maintenant les mouvements du corps au minimum. Après chaque essai, accordez au sujet trois secondes pour se détendre, puis commencez l'essai suivant.Lorsque tous les essais sont terminés, lisez les données enregistrées. Les barres verticales oranges indiquent les déclencheurs permettant de sélectionner un stimulus comme cible pendant que les stimuli clignotent durant la période de cinq secondes. Dans chaque essai, extrayez une fenêtre de données de trois secondes entre deux et cinq secondes après le déclencheur.Calculez le coefficient CCA des données EEG multicanal avec un signal de référence y, défini comme étant le signal périodique de stimulation à certaines fréquences. La méthode CCA détermine les vecteurs de combinaison linéaire afin de maximiser le coefficient de corrélation entre les signaux combinés. Filtrez spatialement les données EEG multicanal à l'aide des coefficients CCA calculés.Calculez la densité spectrale de puissance des données du filtre à l'aide de la transformée de Fourier rapide. Normalisez la densité spectrale de puissance par rapport à sa valeur moyenne entre trois hertz et 40 hertz. Étalonnez ensuite les paramètres de classification pour chaque fréquence de stimulus.Configurer les paramètres de classification pour le sujet à l’aide d’une fenêtre de réglage ouverte. Démarrer le processeur de signaux en ligne sur l’ordinateur de traitement des données. Acquérir les données EEG à partir des canaux O2, 01, OZ, PZ et CZ du système EEG toutes les 0,5 seconde et extraire le segment de données des trois dernières secondes pour le traitement en ligne.Traitez le segment de données à l'aide des algorithmes décrits dans le processus hors ligne. Calculez la densité spectrale de puissance en temps réel pour la classification. Lorsque l'amplitude d'une fréquence caractéristique dépasse un seuil donné, le stimulus clignotant à la fréquence correspondante est classifié.En tant que cible SSV EEP, démarrez le robot humain Noro et établissez sa connexion Wi-Fi avec l'ordinateur de traitement des données. Configurez et exécutez le contrôleur du robot, qui reçoit les résultats de classification du processeur de signal en ligne et commande les comportements correspondants du robot humanoïde Robert par connexion sans fil. Exécutez le programme chorégraphique sur l'ordinateur dédié à la présentation des stimuli afin d'afficher en temps réel les vidéos transmises par la caméra de Robert sur l'interface utilisateur.Demander au sujet d'effectuer trois tests spécifiques de contrôle en boucle fermée dans différents environnements afin d'évaluer les performances de l'interaction cerveau-Robert. Ces tests sont populaires dans la recherche en robotique et sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne. Avant chaque nouvelle tâche, informer le sujet de l'objectif de la tâche et des comportements disponibles pour le contrôle.Ces résultats montrent la procédure de traitement des données EEG, y compris l'extraction des époques de données multicanal, le filtrage spatial des données à l'aide des coefficients de CCA et le calcul de la densité spectrale de puissance normalisée. La densité spectrale de puissance normalisée obtenue lors d'essais individuels, durant lesquels le sujet fixe différents stimuli clignotants, est présentée ici. Lors des premières expériences de commande en boucle fermée, l'humain Noah Robert a été contrôlé par des signaux cérébraux afin de franchir des obstacles et d'actionner un interrupteur lumineux mural.Les signaux cérébraux étaient exploités en temps réel. Pour classifier l'intention de commande du sujet, celui-ci regardait un retour vidéo en direct et contrôlait le comportement de Robert en fixant les stimuli correspondants. Une fois le commutateur atteint, le sujet commandait à Robert d'allumer la lumière.Dans la deuxième expérience, le robot humanoïde a été guidé en continu vers l'escalier en suivant la sortie indiquée, sur la base d'un retour vidéo. Lorsqu'il rencontrait un passant espion, le sujet commandait le Robert de dire « pardon » et d'attendre que le passant espion lui cède le passage. Le Robert était ensuite contrôlé pour marcher vers l'escalier.Dans la troisième expérience, le robot humanoïde Robert a été contrôlé avec un mouvement corporel complet afin d'atteindre l'objectif en forme de ballon, de le ramasser et de le remettre à la main du sujet, en se basant sur une rétroaction vidéo en temps réel. Étant donné que l'intention humaine est perçue en interprétant les signaux EEG du temps LU, il est essentiel de vérifier les connexions électriques et la qualité des signaux EEG avant de réaliser les expériences. Un autre problème fréquent lors de l'acquisition des signaux EEG est l'interférence ou la présence d'artéfacts et de bruits.Les mouvements parasites au niveau des reins sont réduits en limitant les mouvements du sujet et en utilisant une technique multicanal basée sur l'analyse des composantes canoniques (CCA). Notre méthode est efficace pour concevoir diverses procédures expérimentales et souple d'emploi afin d'étudier des algorithmes et des techniques destinés à l'interaction cerveau-robot ; en particulier, elle peut être facilement utilisée pour explorer de nouvelles applications dans le domaine de l'interaction cerveau-robot (BRI).

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

Recherche

JoVE Journal

Engineering

Ingénierie

Nous utilisons une boucle fermée fly-machine interface pour enquêter sur les principes généraux de contrôle neuronal.

Une plate-forme expérimentale pour étudier les performances en boucle fermée des interfaces cerveau-machine

Récemment, une grande quantité de perspectives se sont disponibles pour les systèmes homme-robot interactif. Dans ce papier, nous présentons l'intégration d'un nouvel appareil robotisé avec le logiciel open source qui peut rapidement rendre possible une bibliothèque de fonctionnalités interactives. Nous avons alors aperçu une application clinique pour une application neuroréadaptation.

Haptique / Réhabilitation graphique: Intégration d&#39;un robot dans un environnement virtuel Bibliothèque et en l&#39;appliquant à la thérapie des maladies

L'adaptation et l'utilisation d'un robot haptique dans une IRMf 3T est décrite.

Adaptation d&#39;un robot haptique dans une IRMf 3T

Dans cet article, un cadre expérimental pour réaliser des expériences en boucle fermée est présenté, dans lequel le traitement de l’information (c’est-à-dire le codage et le décodage) et l’apprentissage des assemblages neuronaux sont étudiés pendant l’interaction continue avec un corps robotique.

En boucle fermée expériences neuro-robotique l&#39;analyse des propriétés de calcul de réseaux neuronaux

Une nouvelle interface homme-machine à faible coût pour un système interactif de rééducation de l’équilibre post-AVC est présentée dans cet article. Le système intègre des capteurs prêts à l’emploi à faible coût vers un paradigme d’électrothérapie piloté volontairement. L’interface du logiciel de preuve de concept est démontrée sur des volontaires en bonne santé.

Une machine à interface humaine Intégration de capteurs à faible coût avec un système de stimulation neuromusculaire électrique pour post-AVC Solde Réhabilitation

Ici, nous décrivons virtuelle à la main et les paradigmes d'illusion virtuelle-face qui peuvent être utilisés pour étudier liés à corps auto-perception / -représentation. Ils ont déjà été utilisés dans diverses études pour démontrer que, dans des conditions spécifiques, une main virtuelle ou du visage peuvent être incorporés dans sa représentation du corps, ce qui suggère que les représentations du corps sont plutôt souples.

Création Illusions Virtual-main et Virtual-face d&#39;enquêter sur les auto-représentation

Nous présentons des protocoles et des méthodes d’analyse pour construire des interfaces co-adaptatives qui diffusent, paramétrisent, analysent et modifient les signaux du corps humain et du cœur en boucle rapprochée. Cette configuration interface les signaux dérivés des systèmes nerveux périphériques et centraux de la personne avec des entrées sensorielles externes pour aider à suivre le changement biophysique.

Contrôle proxy en temps réel des signaux périphériques re-paramétrisés à l’aide d’une interface en boucle étroite

On estime qu'1 personne sur 6 dans le monde aura un accident vasculaire cérébral au cours de sa vie, entraînant une invalidité à long terme, dont les mécanismes de rééducation sont encore mal connus. Cette étude propose un protocole pour évaluer l’activation cérébrale par spectroscopie fonctionnelle proche infrarouge (fNIRS) lors d’une séance de thérapie robotique des membres inférieurs.

Une expérience utilisant la spectroscopie fonctionnelle proche infrarouge et les mouvements de pointage multi-articulaires assistés par robot du membre inférieur

L’imagerie motrice dans un environnement de réalité virtuelle a de nombreuses applications dans les systèmes d’interface cerveau-ordinateur. Ce manuscrit décrit l’utilisation d’avatars numériques personnalisés qui ressemblent aux participants exécutant des mouvements imaginés par le participant dans un environnement de réalité virtuelle afin de renforcer l’immersion et le sentiment d’appartenance corporelle.

Performance d’imagerie motrice à travers des jumeaux numériques incarnés dans un environnement d’interface cerveau-ordinateur basé sur la réalité virtuelle

Cette étude présente un système d’interface cerveau-ordinateur (BCI) pour les patients victimes d’un AVC, qui combine des signaux d’électroencéphalographie et d’électrooculographie pour contrôler une main robotique d’un membre supérieur, améliorant ainsi les activités quotidiennes. L’évaluation a été effectuée à l’aide du test bimanuel de Berlin pour l’AVC (BeBiTS).

Système robotique de membre supérieur contrôlé par interface cerveau-ordinateur pour améliorer les activités quotidiennes chez les patients victimes d’un AVC

Découvrez une procédure expérimentale basée sur les SSVEP pour l'interaction cerveau-robot avec des robots humanoïdes. Cette méthode intègre plusieurs logiciels pour contrôler les robots par signaux cérébraux en temps réel.

SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes

Explorer plus de vidéos