Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes

Published: November 24, 2015 doi: 10.3791/53558
Automatic Translation
1, 1,2, 1, 1
1School of Electrical Engineering and Automation, Tianjin University, 2Department of Computer & Electrical Engineering and Computer Science, California State University

Introduction

Brain-Robot Interaction (BRI), qui fournit une voie de communication innovant entre l'humain et un dispositif robotique via des signaux du cerveau, est prospective pour aider les personnes handicapées dans leur vie quotidienne 1,2. Une variété de méthodes sont en mesure d'acquérir les signaux du cerveau soit invasive ou non invasive, comme électrocorticographie (ECoG), électroencéphalogramme (EEG), l'imagerie par résonance magnétique fonctionnelle (IRMf), etc. La méthode non-invasive la plus couramment utilisée pour la construction du système BRI est d'acquérir des signaux EEG à partir des électrodes placées sur le cuir chevelu. Cette méthode est peu coûteuse, facile à utiliser, et offre une résolution temporelle acceptable 3. Parmi une variété de dispositifs robotiques, robots humanoïdes sont avancés car ils sont créés pour imiter certains des mêmes tâches physiques et mentales que les humains subissent quotidiennement. BRI avec un robot humanoïde va jouer un rôle important en aidant les malades et les personnes âgées, ainsi que l'exécution des emplois insalubres ou dangereux. Mais le contrôled'un robot humanoïde à travers le système BRI est très difficile, car le robot humanoïde avec le mouvement du corps entier est conçu pour effectuer des tâches complexes telles que l'assistance personnelle 4, 5.

Steady-State potentiels évoqués visuels (SSVEP) est un type de signal du cerveau provoquée par la modulation du stimulus visuel à une fréquence donnée 6. Il contient des sinusoïdes à des fréquences fondamentales et harmoniques de la stimulation de scintillement, et bien en vue apparaît à travers le cortex visuel dans la région occipitale du cuir chevelu 7. La raison du choix des signaux de SSVEP est que le système à base BRI-SSVEP donne un taux de transfert de l'information relativement élevé et nécessite moins de formation 8. Autres types d'ondes cérébrales, comme les potentiels évoqués (ERP) 9 ou moteur-imagerie (MI) les potentiels 10, peuvent également être intégrés dans cette procédure expérimentale.

Notre procédure d'interaction cerveau-robot humanoïderobots sont basées sur Cerebot - une plateforme de robot humanoïde de contrôle mental - constitué d'un système d'acquisition de données EEG et un robot humanoïde 11. Le système EEG est capable d'enregistrer des signaux bio-potentiel affichage acquises par divers types d'électrodes de pré-processus et. Il fournit analogique multiples E / S et E / S numériques et est capable d'enregistrer jusqu'à 128 canaux de signaux simultanément à un taux d'échantillonnage de 30 kHz avec une résolution de 16 bits. Ses kits de développement logiciel en C ++ et MATLAB sont faciles pour les utilisateurs de concevoir les procédures expérimentales. Le robot humanoïde possède 25 degrés de liberté et est équipé de plusieurs capteurs, y compris les 2 caméras, 4 micros, 2 télémètres sonar, 2 IR émetteurs et récepteurs, 1 planche d'inertie, 9 capteurs tactiles, et 8 capteurs de pression. Il fournit Choregraphe et SDK C ++ pour créer et éditer les mouvements et les comportements des robots interactifs.

L'objectif global de cette méthode est d'établir une procé expérimentale basée SSVEP-dure en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, le logiciel central ainsi que de programmes développés utilisateur écrites en C ++ et MATLAB, afin de permettre l'étude de l'interaction cerveau-robot avec des robots humanoïdes 11. La figure 1 montre la structure du système. L'ordinateur de la présentation du stimulus dédié (CPS) affiche l'interface utilisateur pour fournir le sujet avec des stimuli visuels, des instructions et des évaluations environnementales. L'ordinateur de traitement de données dédié (DPC) exécute l'enregistreur de données et l'analyseur de données hors ligne dans le processus de formation en ligne, et exécute le processeur de signal en ligne et la commande du robot pour le contrôle en ligne du robot humanoïde. Comparé à d'autres systèmes de contrôle basés SSVEP, notre système est plus fiable, plus souple, et surtout plus pratique pour être réutilisés et mis à jour comme il est développé en intégrant un certain nombre de logiciels normalisés, tels que OpenViBE, Chorégraphe, le logiciel central, et modules écrits en C ++et MATLAB.

La procédure suivante a été examiné et approuvé par l'université médicale comité d'éthique de l'hôpital général de Tianjin, et tous les sujets ont donné leur consentement par écrit.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. Acquisition de signaux EEG

  1. Expliquer la procédure expérimentale pour le sujet et obtenir le consentement éclairé écrit de participer à des expériences.
  2. Mesurer la circonférence de la tête du sujet en utilisant un ruban à mesurer et sélectionnez la taille de bonnet EEG qui est proche de la mesure. L'arrangement d'électrodes est basé sur le «système 10-20 international" 12.
  3. Mesurez la distance entre le nasion et inion. Utilisez un crayon de marquage de la peau à l'occasion de 10% de la distance de référence pour aligner le capuchon, et marquer le point médian de la distance que le sommet sur le cuir chevelu du sujet.
  4. Placez le bouchon EEG sur le sujet en alignant la barre des 10% avec le milieu des électrodes PF1 et PF2. Électrode de position Cz de la capsule sur le sommet.
  5. Assurez-vous que le Fz, Cz, Pz et Oz sont sur la ligne médiane de la tête, et que chaque paire d'électrodes situées de chaque côté de la ligne médiane sont sur une ligne horizontale.
  6. Enduire les électrodes REF1 et REF2 avec gel conducteur. Placer les électrodes de référence sur les mastoïdes gauche et droite à l'aide de ruban adhésif médical. Serrez la jugulaire.
  7. Placez une seringue pointe arrondie dans les porte-électrodes et injecter un gel conducteur dans chaque électrode dans l'ordre suivant: d'abord, le «terrain» électrode sur le front et le deuxième, les cinq électrodes utilisées dans l'expérience, O2, O1, Oz, Pz et Cz.
  8. Seat l'objet dans un confortable fauteuil 60 cm en face d'un moniteur de relance. Demandez au sujet de garder ses / ses yeux dans le même plan horizontal avec le centre de l'écran.
  9. Connecter les fils d'électrodes au système d'acquisition de données EEG. Configurez le taux d'échantillonnage de 1 kHz.
  10. Examiner la qualité du signal EEG sur le DPC dédié. Si il ya un problème avec une électrode particulière, gel réinjecter pour régler l'impédance du canal.
  11. Utilisez le CPS dédié à clignoter quatre images de robots à des fréquences de 4.615, 12, 15 et 20Hz comme stimuli visuels sur l'interface utilisateur comme le montre la figure 2.

2. Hors Analyser SSVEP Caractéristiques

  1. Mener des 32 essais d'expériences de formation hors ligne pour chaque sujet et enregistrer leurs signaux cérébraux acquis du système EEG long de ce processus.
    Remarque: Ce processus est mené uniquement par des sujets pour la première fois de l'expérience pour établir leurs vecteurs caractéristiques de SSVEP et de former le classificateur.
  2. Quand un procès commence, sélectionnez un stimulus comme cible au hasard et afficher une flèche jaune au-dessus.
  3. 1 secondes plus tard, scintiller les quatre stimuli visuels à des fréquences différentes sur l'interface utilisateur pendant 5 sec.
  4. Demander le sujet pour se concentrer sur l'objectif de relance sélectionnée tout en gardant son / sa mouvement du corps à un minimum.
  5. Après chaque essai, donner le sujet 3 sec pour se détendre, et ensuite commencer à l'essai suivant.
  6. Lorsque tous les essais sont terminés, lire les données enregistrées. Extrait d'une époque données 3-sec être entre 2 et 5 secondes après le déclenchement qui sélectionne un stimulus comme la cible dans chaque procès.
  7. Calculer la densité spectrale de puissance (PSD) des époques de données en utilisant l'analyseur de données hors ligne dans les scripts MATLAB. Utiliser l'algorithme de traitement décrit en détail ci-dessous:
    1. Calculer les coefficients analyse de corrélation canonique (CCA) des données multicanal de l'EEG avec des données de référence. CCA est une méthode statistique multivariée utilisée pour deux ensembles de données pour trouver leur corrélation sous-jacent 13. Considérant le segment 3s de données multicanal EEG X et les données de référence Y de la même longueur, utiliser CCA pour trouver les vecteurs de poids, W x et W y, afin de maximiser le coefficient de corrélation ρ entre x = X T W x et y = Y T W y. Définissez les données de référence pour être les signaux périodiques à certaines fréquences de stimulation.
      /ftp_upload/53558/53558eq1.jpg "/>
      où f 1, f 2, f 3, f 4 sont les fréquences de caractéristiques des quatre stimuli visuels.
    2. Filtrer spatialement les données multicanal EEG X en utilisant les coefficients DPA calculée W x pour obtenir une seule dimension filtrés données x, qui a la corrélation la plus évidente avec la combinaison linéaire des données de référence.
    3. Calculer le PSD des données x filtré spatialement en utilisant la transformée de Fourier rapide (FFT).
      Equation 2
      où N est la taille de FFT de l'échantillon de données x, et FFT (x, N FFT) renvoie transformée de Fourier discrète FFT -point de N x.
    4. Normaliser le PSD par rapport à sa valeur moyenne entre 3 et 30 Hz.
      Équation 3
      où60; Équation 3 Dénominateur désigne la moyenne du spectre de puissance comprise entre 3 et 30 Hz.
  8. Calibrer les paramètres de classification pour les quatre fréquences de stimulation. Tout d'abord, observer le spectre PSD normalisée qui correspond à son objectif de relance, et de configurer manuellement la fréquence avec la plus forte amplitude PSD que la fréquence de fonction. Basé sur la fréquence caractéristique, diviser les données PSD normalisées en deux ensembles: l'un est acquise lorsque le stimulus correspondant est sélectionné comme cible, et l'autre est acquise lorsque les stimuli non-cibles sont sélectionnés. Calculer la valeur moyenne de chaque série, respectivement. Déterminer le seuil de la médiane des deux valeurs moyennes de classer la cible et non-cible fixe 14.

3. Traitement des signaux du cerveau en ligne

  1. Ouvrir le processeur de signal en ligne comme le montre la figure 3, qui est développé belon sur l'environnement OpenViBE et les scripts MATLAB, sur le DPC pour traiter les signaux du cerveau en ligne.
  2. Double-cliquez sur la boîte de Signal acquisition et de traitement, qui est marqué avec un cycle rouge dans la figure 3, pour ouvrir la fenêtre de réglage OpenViBE. Configurer les paramètres de classification pour le sujet:. Définir le taux d'échantillonnage de 1 kHz, régler la longueur de temps pour FFT que 3 sec, et régler les fréquences de longs selon les résultats de l'analyse en ligne, par exemple, 4.667, 24, 15 et 20 Hz .
  3. Cliquez sur le bouton commence à courir le processeur de signaux en ligne, qui traite les données en temps réel en utilisant l'algorithme suivant en trois étapes.
  4. Tout d'abord, l'algorithme acquiert des données provenant des canaux EEG Oz, O1, O2, Pz et CPZ du système EEG toutes les 0.5s, et extrait le segment de données de la dernière ligne de traitement 3s.
  5. Deuxièmement, l'algorithme traite le segment de données 3-sec en utilisant les algorithmes décrits à l'étape 2.7, et calcule en temps réel le PSD pour Classification.
  6. Troisièmement, l'algorithme classe les schémas des ondes cérébrales en fonction des amplitudes PSD dans les quatre fréquences de fonction. Lorsque l'amplitude de fréquence d'une caractéristique est supérieur à un seuil donné, classifier le stimulus scintillement correspondant à la fréquence en tant que cible de SSVEP.

4. Connecter le Robot Humanoïde

  1. Appuyez sur le bouton de la poitrine du robot humanoïde et attendez qu'il démarre.
    Remarque: Ce processus prend environ 1 min et est terminée lorsque le robot dit "OGNAK GNOUK", tandis que le bouton de la poitrine devient blanc.
  2. Établir sa WiFi (Wireless Fidelity) connexion à la DPC 15.
  3. Ouvrez le contrôleur robot programmé en C ++ scripts Visual sur le DPC. Le contrôleur reçoit les résultats de la classification de la Signal Processor ligne par l'intermédiaire de réalité virtuelle périphérique réseau (VRPN) interface, les traduit en commandes de robots, et contrôle les comportements correspondants du humanoid robot via une connexion sans fil.
  4. Configurez le contrôleur de robot en entrant l'adresse IP du robot en fonction de sa connexion WiFi, définissant trois séries de comportements du robot qui peut facilement être modifiée pour effectuer les trois tâches différentes, et en définissant les paramètres d'exécution de ces comportements (par exemple., La vitesse de marche ou distance) pour adapter l'exigence de tâche.
    NOTE: Plus de détails de ces comportements sont décrits dans les étapes 5.2.1, 5.3.1, 5.4.1 et.
  5. Cliquez sur le bouton Générer de la plateforme Visual Studio pour exécuter le Contrôleur de Robot.
  6. Ouvrez le programme Chorégraphe sur la CPS. Cliquez sur «Se connecter à" bouton pour faire apparaître un widget de connexion. Sélectionnez le robot doit être contrôlée en fonction de son adresse IP, et double-cliquez sur son icône pour s'y connecter.
  7. Ouvrez l'écran vidéo dans le menu d'affichage dans la barre de menu Chorégraphe, et déplacer le moniteur à l'avant de l'interface utilisateur pour afficher des commentaires de la vidéo en direct depuis la caméra du robot.
<p class = "jove_title"> 5. Mener des expériences de contrôle en boucle fermée

  1. Demander le sujet pour effectuer trois tâches de contrôle en boucle fermée spécifiques au sein des environnements différents afin d'évaluer la performance de l'interaction cerveau-robots.
    REMARQUE: ces tâches, qui sont importants dans les applications robotiques, car ils sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne, besoin d'activer différents comportements du robot.
  2. Effectuer la première tâche de contrôle en boucle fermée à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher à travers les obstacles et pousser un interrupteur pour allumer la lumière, comme le montre la figure 4.
    1. Pour accomplir la première tâche, contrôler les comportements des robots qui sont codées par les quatre stimuli SSVEP comme: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et en poussant le commutateur à l'aide de sa main droite.
      REMARQUE: la configuraprocessus d'est décrite dans l'étape 4.4.
    2. Informer le sujet de l'objectif de la tâche et les quatre comportements à être contrôlé.
    3. Exécutez le Robot Controller comme dans les étapes 4.5-4.7, et commencer l'expérience. Donnez le sujet de la liberté de percevoir l'environnement et de prendre des décisions basées sur les commentaires de la vidéo en direct, et pour activer les comportements du robot en regardant fixement les stimuli correspondants.
      REMARQUE: aucune instruction ou de l'aide devrait être accordée à l'objet, sauf dans les situations d'urgence, par exemple, le robot est sur ​​le point d'entrer en collision avec un obstacle..
  3. Effectuer la deuxième tâche à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher vers l'escalier suivant le panneau de sortie, comme le montre la Figure 5. Lorsque confrontant passants, demandez au sujet de contrôler le robot à-dire "excusez-moi" et attendre que le passants à céder.
    1. Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: marche en avant continuously à une vitesse de 0,05 m / s, en tournant à gauche en continu à une vitesse de 0,1 rad / s, en tournant à droite en continu à une vitesse de 0,1 rad / s, et l'arrêt de tous les comportements de marche.
    2. Mettez le Robot Controller à la fonction de commande posture dépendante 16.
      REMARQUE: lorsque le robot marche, cette fonction utilise la quatrième relance que la commande d'arrêter les comportements de marche; lorsque le robot ne marche pas, il utilise la quatrième relance de contrôler le robot à-dire "excusez-moi". La fonction est implémentée dans les scripts C de par la détection de l'état de marche du robot.
    3. Informer le sujet de l'objectif de la tâche et les cinq comportements à être contrôlé.
    4. Exécutez le contrôleur de robot et commencer l'expérience, comme décrit à l'étape 5.2.3.
  4. Mener la troisième tâche de téléprésence contrôler le robot humanoïde à marcher vers une cible de ballon, de le ramasser et de le livrer à la main de l'objet, comme le montre la Figure 6.
    1. Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et ramasser des objets.
    2. Activez la fonction de contrôle posture dépendant dans le Contrôleur de Robot de réutiliser la quatrième relance que la commande de débarquer l'objet quand il a déjà été ramassé.
    3. Informer le sujet de l'objectif de la tâche et les cinq comportements à être contrôlé.
    4. Exécutez le contrôleur de robot et commencer l'expérience, comme décrit à l'étape 5.2.3.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Les résultats présentés ici ont été obtenus à partir d'un sujet mâle ayant corrigé à la normale la version. La figure 7 représente la procédure de traitement des données EEG, y compris l'extraction d'une époque de données multicanal (figure 7A), en filtrant spatialement les données à l'aide des coefficients de DPA (figure 7B) , et le calcul du PSD normalisée (figure 7C).

La figure 8 montre le PSD normalisées obtenues avec des essais simples dans lequel le sujet fixa les objectifs qui clignotent à des fréquences différentes. Le pic proéminent apparaît à la fréquence fondamentale ou harmonique de la relance vacillante. Le système BRI maps ces types de réponses SSVEP en commandes pour le contrôle des différents comportements du robot.

Les figures 4-6 montrent la suite de trois en boucle ferméerol tâches effectuées pour évaluer la performance de l'interaction cerveau-robots. Ces tâches sont très populaires dans la recherche en robotique et sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne. La figure 4 montre l'expérience de contrôle de téléprésence de marcher à travers les obstacles et pousser un bouton pour allumer la lumière par les ondes cérébrales. La figure 5 montre le contrôle de téléprésence expérience de la marche vers la cage d'escalier en suivant le panneau de sortie. La figure 6 montre l'expérience de contrôle de téléprésence de ramasser un ballon et de le livrer à la main de l'objet.

Figure 1
Figure 1. Structure du système pour Brain-Robot Interaction avec un robot humanoïde. Les signaux du cerveau sont mesurés par le système d'acquisition de données EEG. L'interface utilisateur suscite des réponses de SSVEP et affiche vivent commentaires vidéo dans le expériences de contrôle en boucle fermée. Pour les sujets pour la première fois, l'enregistreur de données et l'analyseur de données hors ligne sont utilisés dans le processus de formation hors ligne pour analyser leur SSVEP dispose déconnecté et de former le classificateur pour chaque sujet. Ensuite, le processeur de signaux en ligne et le Contrôleur Robot sont configurés pour le contrôle en ligne d'un robot humanoïde. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 2
Figure 2. Interface utilisateur pour le système de base BRI-SSVEP. L'interface utilisateur affiche vivent commentaires vidéo dans la fenêtre du milieu et scintille quatre images à la périphérie représentant comportements de robot humanoïde à quatre fréquences. La représentation en 3D sur le panneau de droite indique la position actuelle du robot humanoïde. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 3
Figure 3. Signal Processor ligne mis en œuvre dans l'environnement de programmation OpenViBE. La boîte acquérir et traiter des signaux marqué avec le cycle rouge invoque l'algorithme de traitement écrit en scripts MATLAB. Le bouton de mises en chantier sur le panneau de menu démarre le programme. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 4
Figure 4. Expérience de contrôle de téléprésence de marche à travers les obstacles et pousser un bouton Lumière.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 5
Figure 5. Expérience contrôle téléprésence de Walking vers l'escalier Suite à l'enseigne de sortie. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 6
Figure 6. Expérience contrôle téléprésence de délivrer un ballon à la réserve. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 7 Figure 7. Procédure de traitement multicanal EEG données (A) multicanal époque de données extraites du procès dans lequel le sujet est à regarder le stimulus à 4.615 Hz. (B) de données filtré spatialement à l'aide de coefficients de l'ACC; (C) de PSD normalisée des données spatialement filtrées. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 8
Figure 8. PSD normalisées obtenues dans les essais unique dans lequel le sujet est à regarder Stimuli scintillement à des fréquences différentes. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Cet article présente une procédure expérimentale basée SSVEP à établir le système d'interaction cerveau-robot avec des robots humanoïdes en intégrant plusieurs programmes logiciels. Étant donné que l'intention humaine est perçue par l'interprétation des signaux d'EEG en temps réel, il est essentiel de vérifier les connexions d'électrodes EEG et des qualités de signal avant d'effectuer l'expérience. Si les signaux acquis de toutes les électrodes sont de mauvaises qualités, il est nécessaire de vérifier la connexion des électrodes de masse et de référence première. Si il ya des problèmes avec les parties des électrodes, ré-injecter gel conducteur d'ajuster l'impédance de ces canaux.

Un autre problème courant lors de l'acquisition des signaux EEG est l'ingérence des artefacts et des bruits 17. Comme le signal EEG a petit rapport signal sur bruit (SNR), artefacts et le bruit peut facilement changements obscurs PSD des réponses SSVEP. Il est important de garder à l'amplificateur de signal de l'EEG à une distance de système de la powfournitures er et d'autres sources de bruit. Pendant l'expérience, un clin d'œil et le mouvement du corps devraient être maintenus à un minimum pour réduire les artefacts. Pour améliorer encore la robustesse de telles immixtions, notre méthode utilise une technique basée sur la CCA pour interpréter les données de l'EEG multicanal. Les résultats montrent que cette technique est efficace dans les caractéristiques de signaux EEG contenant bruits et artefacts extraction.

Pour commencer une nouvelle tâche de contrôle en boucle fermée de robots humanoïdes, nous avons besoin de configurer manuellement la définition et les paramètres de chaque comportement de robot pour correspondre à la nouvelle exigence de la tâche. Ceci est dû au nombre limité d'instructions de commande disponibles dans le système actuel BRI, et peut donc être améliorée en évoquant plusieurs types d'ondes cérébrales. Hwang et al. 18 a proposé une méthode de stimulation bi-fréquence pour la production de stimuli visuels plus. Wang et al. 19, Allison et al. 20, Pan et al. 21, et Li <em> et al. 22 ont proposé plusieurs méthodes hybrides de combiner le modèle basé sur SSVEP avec d'autres schémas des ondes cérébrales, y compris les ERP et MI. Il est également possible d'adopter des techniques de commutation basée sur l'apprentissage de la machine ou de l'architecture hiérarchique pour contrôler le mouvement du corps entier de l'robot humanoïde en utilisant les ondes cérébrales limitées 23.

Considérant les fréquences clignotants disponibles de l'écran LCD 24 et l'influence parmi les composantes harmoniques de SSVEPs 25, nous avons balayé toutes les fréquences clignotants possibles 1-60 Hz et trouvé avec ces quatre fréquences, à savoir., 4.615, 12, 15 et 20 Hz, sont probablement le meilleur choix car ils ont atteint le taux d'exactitude moyen le plus élevé pour nos sujets. Par conséquent, nous avons utilisé les quatre stimuli sur l'interface pour contrôler les comportements de robot humanoïde, y compris la marche en avant, tourner à gauche, tourner à droite, et l'arrêt de la marche / poussant le commutateur / ramasser des objets, qui sont réalisables enOugh pour contrôler un robot humanoïde pour accomplir les tâches présentées dans ce manuscrit.

Les avantages du système BRI sont sa fiabilité et la flexibilité telle qu'elle est développée en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, logiciel centrale et de programmes développés de l'utilisateur en C ++ et MATLAB. Il est efficace et fiable pour la conception de différentes procédures expérimentales en utilisant le logiciel standardisé. Notre système est un outil puissant pour étudier de nouveaux algorithmes et techniques pour l'interaction cerveau-robot avec un robot humanoïde. Il peut être facilement mis à niveau pour explorer les applications BRI en aidant les emplois insalubres ou dangereux malades et âgés, et de la scène.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Les auteurs tiennent à exprimer leur gratitude à M. Hong Hu pour son aide dans l'exécution des expériences rapportées dans le présent document. Ce travail a été financé en partie par la Fondation nationale des sciences naturelles de Chine (n ° 61473207).

Materials

Name Company Catalog Number Comments
Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

DOWNLOAD MATERIALS LIST

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Tags

Ingénierie Numéro 105 neuroscience cerveau-robot de l'interaction (BRI) robot humanoïde Cerebot électroencéphalographe (EEG) l'état d'équilibre visuelle potentielle (SSVEP) l'intégration de multiples logiciels analyse de corrélation canonique (CCA) le contrôle en boucle fermée évoquée le contrôle de téléprésence
SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, J., Li, W., Mao, X., Li, M.… More

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter