SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes

Résumé

L’objectif global de cette méthode est d’établir une procédure expérimentale basée sur SSVEP en intégrant plusieurs logiciels pour permettre l’étude de l’interaction cerveau-robot avec des robots humanoïdes, ce qui est prospectif pour aider les malades et les personnes âgées ainsi que pour effectuer des travaux insalubres ou dangereux.

Résumé

L’interaction cerveau-robot (BRI), qui fournit une voie de communication innovante entre l’homme et un dispositif robotique via des signaux cérébraux, est prometteuse pour aider les personnes handicapées dans leur vie quotidienne. L’objectif global de notre méthode est d’établir une procédure expérimentale basée sur SSVEP en intégrant plusieurs logiciels, tels que OpenViBE, Choregraph et les logiciels Central, ainsi que des programmes développés par l’utilisateur et écrits en C++ et MATLAB, afin de permettre l’étude de l’interaction cerveau-robot avec des robots humanoïdes.

Ceci est réalisé en plaçant d’abord des électrodes EEG sur un sujet humain pour mesurer les réponses cérébrales à l’aide d’un système d’acquisition de données EEG. Une interface utilisateur est utilisée pour obtenir des réponses SSVEP et pour afficher un retour vidéo dans les expériences de contrôle en boucle fermée. La deuxième étape consiste à enregistrer les signaux EEG des sujets qui en sont à leur première expérience, à analyser leurs caractéristiques SSVEP hors ligne et à entraîner le classificateur pour chaque sujet. Ensuite, le processeur de signal en ligne et le contrôleur de robot sont configurés pour le contrôle en ligne d’un robot humanoïde. Comme dernière étape, le sujet réalise trois expériences spécifiques de contrôle en boucle fermée dans différents environnements pour évaluer les performances d’interaction cerveau-robot.

L’avantage de cette approche est sa fiabilité et sa flexibilité car elle est développée en intégrant plusieurs logiciels. Les résultats montrent qu’en utilisant cette approche, le sujet est capable d’interagir avec le robot humanoïde via des signaux cérébraux. Cela permet au robot humanoïde contrôlé par l’esprit d’effectuer des tâches typiques qui sont populaires dans la recherche robotique et sont utiles pour aider les personnes handicapées.

Introduction

Brain-Robot Interaction (BRI), qui fournit une voie de communication innovant entre l'humain et un dispositif robotique via des signaux du cerveau, est prospective pour aider les personnes handicapées dans leur vie quotidienne ^1,2. Une variété de méthodes sont en mesure d'acquérir les signaux du cerveau soit invasive ou non invasive, comme électrocorticographie (ECoG), électroencéphalogramme (EEG), l'imagerie par résonance magnétique fonctionnelle (IRMf), etc. La méthode non-invasive la plus couramment utilisée pour la construction du système BRI est d'acquérir des signaux EEG à partir des électrodes placées sur le cuir chevelu. Cette méthode est peu coûteuse, facile à utiliser, et offre une résolution temporelle acceptable ^3. Parmi une variété de dispositifs robotiques, robots humanoïdes sont avancés car ils sont créés pour imiter certains des mêmes tâches physiques et mentales que les humains subissent quotidiennement. BRI avec un robot humanoïde va jouer un rôle important en aidant les malades et les personnes âgées, ainsi que l'exécution des emplois insalubres ou dangereux. Mais le contrôled'un robot humanoïde à travers le système BRI est très difficile, car le robot humanoïde avec le mouvement du corps entier est conçu pour effectuer des tâches complexes telles que l'assistance personnelle ^{4, 5.}

Steady-State potentiels évoqués visuels (SSVEP) est un type de signal du cerveau provoquée par la modulation du stimulus visuel à une fréquence donnée ^6. Il contient des sinusoïdes à des fréquences fondamentales et harmoniques de la stimulation de scintillement, et bien en vue apparaît à travers le cortex visuel dans la région occipitale du cuir chevelu ^7. La raison du choix des signaux de SSVEP est que le système à base BRI-SSVEP donne un taux de transfert de l'information relativement élevé et nécessite moins de formation ^8. Autres types d'ondes cérébrales, comme les potentiels évoqués (ERP) ⁹ ou moteur-imagerie (MI) les potentiels ^10, peuvent également être intégrés dans cette procédure expérimentale.

Notre procédure d'interaction cerveau-robot humanoïderobots sont basées sur Cerebot - une plateforme de robot humanoïde de contrôle mental - constitué d'un système d'acquisition de données EEG et un robot humanoïde ^11. Le système EEG est capable d'enregistrer des signaux bio-potentiel affichage acquises par divers types d'électrodes de pré-processus et. Il fournit analogique multiples E / S et E / S numériques et est capable d'enregistrer jusqu'à 128 canaux de signaux simultanément à un taux d'échantillonnage de 30 kHz avec une résolution de 16 bits. Ses kits de développement logiciel en C ++ et MATLAB sont faciles pour les utilisateurs de concevoir les procédures expérimentales. Le robot humanoïde possède 25 degrés de liberté et est équipé de plusieurs capteurs, y compris les 2 caméras, 4 micros, 2 télémètres sonar, 2 IR émetteurs et récepteurs, 1 planche d'inertie, 9 capteurs tactiles, et 8 capteurs de pression. Il fournit Choregraphe et SDK C ++ pour créer et éditer les mouvements et les comportements des robots interactifs.

L'objectif global de cette méthode est d'établir une procé expérimentale basée SSVEP-dure en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, le logiciel central ainsi que de programmes développés utilisateur écrites en C ++ et MATLAB, afin de permettre l'étude de l'interaction cerveau-robot avec des robots humanoïdes ^11. La figure 1 montre la structure du système. L'ordinateur de la présentation du stimulus dédié (CPS) affiche l'interface utilisateur pour fournir le sujet avec des stimuli visuels, des instructions et des évaluations environnementales. L'ordinateur de traitement de données dédié (DPC) exécute l'enregistreur de données et l'analyseur de données hors ligne dans le processus de formation en ligne, et exécute le processeur de signal en ligne et la commande du robot pour le contrôle en ligne du robot humanoïde. Comparé à d'autres systèmes de contrôle basés SSVEP, notre système est plus fiable, plus souple, et surtout plus pratique pour être réutilisés et mis à jour comme il est développé en intégrant un certain nombre de logiciels normalisés, tels que OpenViBE, Chorégraphe, le logiciel central, et modules écrits en C ++et MATLAB.

La procédure suivante a été examiné et approuvé par l'université médicale comité d'éthique de l'hôpital général de Tianjin, et tous les sujets ont donné leur consentement par écrit.

Protocole

1. Acquisition de signaux EEG

1. Expliquer la procédure expérimentale pour le sujet et obtenir le consentement éclairé écrit de participer à des expériences.
2. Mesurer la circonférence de la tête du sujet en utilisant un ruban à mesurer et sélectionnez la taille de bonnet EEG qui est proche de la mesure. L'arrangement d'électrodes est basé sur le «système 10-20 international" ^12.
3. Mesurez la distance entre le nasion et inion. Utilisez un crayon de marquage de la peau à l'occasion de 10% de la distance de référence pour aligner le capuchon, et marquer le point médian de la distance que le sommet sur le cuir chevelu du sujet.
4. Placez le bouchon EEG sur le sujet en alignant la barre des 10% avec le milieu des électrodes PF1 et PF2. Électrode de position Cz de la capsule sur le sommet.
5. Assurez-vous que le Fz, Cz, Pz et Oz sont sur la ligne médiane de la tête, et que chaque paire d'électrodes situées de chaque côté de la ligne médiane sont sur une ligne horizontale.
6. Enduire les électrodes REF1 et REF2 avec gel conducteur. Placer les électrodes de référence sur les mastoïdes gauche et droite à l'aide de ruban adhésif médical. Serrez la jugulaire.
7. Placez une seringue pointe arrondie dans les porte-électrodes et injecter un gel conducteur dans chaque électrode dans l'ordre suivant: d'abord, le «terrain» électrode sur le front et le deuxième, les cinq électrodes utilisées dans l'expérience, O2, O1, Oz, Pz et Cz.
8. Seat l'objet dans un confortable fauteuil 60 cm en face d'un moniteur de relance. Demandez au sujet de garder ses / ses yeux dans le même plan horizontal avec le centre de l'écran.
9. Connecter les fils d'électrodes au système d'acquisition de données EEG. Configurez le taux d'échantillonnage de 1 kHz.
10. Examiner la qualité du signal EEG sur le DPC dédié. Si il ya un problème avec une électrode particulière, gel réinjecter pour régler l'impédance du canal.
11. Utilisez le CPS dédié à clignoter quatre images de robots à des fréquences de 4.615, 12, 15 et 20Hz comme stimuli visuels sur l'interface utilisateur comme le montre la figure 2.

2. Hors Analyser SSVEP Caractéristiques

1. Mener des 32 essais d'expériences de formation hors ligne pour chaque sujet et enregistrer leurs signaux cérébraux acquis du système EEG long de ce processus.
   Remarque: Ce processus est mené uniquement par des sujets pour la première fois de l'expérience pour établir leurs vecteurs caractéristiques de SSVEP et de former le classificateur.
2. Quand un procès commence, sélectionnez un stimulus comme cible au hasard et afficher une flèche jaune au-dessus.
3. 1 secondes plus tard, scintiller les quatre stimuli visuels à des fréquences différentes sur l'interface utilisateur pendant 5 sec.
4. Demander le sujet pour se concentrer sur l'objectif de relance sélectionnée tout en gardant son / sa mouvement du corps à un minimum.
5. Après chaque essai, donner le sujet 3 sec pour se détendre, et ensuite commencer à l'essai suivant.
6. Lorsque tous les essais sont terminés, lire les données enregistrées. Extrait d'une époque données 3-sec être entre 2 et 5 secondes après le déclenchement qui sélectionne un stimulus comme la cible dans chaque procès.
7. Calculer la densité spectrale de puissance (PSD) des époques de données en utilisant l'analyseur de données hors ligne dans les scripts MATLAB. Utiliser l'algorithme de traitement décrit en détail ci-dessous:
   1. Calculer les coefficients analyse de corrélation canonique (CCA) des données multicanal de l'EEG avec des données de référence. CCA est une méthode statistique multivariée utilisée pour deux ensembles de données pour trouver leur corrélation sous-jacent ^13. Considérant le segment 3s de données multicanal EEG X et les données de référence Y de la même longueur, utiliser CCA pour trouver les vecteurs de poids, W _x et _W y, afin de maximiser le coefficient de corrélation ρ entre x = X ^T W _x et y = Y ^T W _y. Définissez les données de référence pour être les signaux périodiques à certaines fréquences de stimulation.
      /ftp_upload/53558/53558eq1.jpg "/>
      où _f 1, f _2, f _3, f _{4 sont} les fréquences de caractéristiques des quatre stimuli visuels.
   2. Filtrer spatialement les données multicanal EEG X en utilisant les coefficients DPA calculée W _x pour obtenir une seule dimension filtrés données x, qui a la corrélation la plus évidente avec la combinaison linéaire des données de référence.
   3. Calculer le PSD des données x filtré spatialement en utilisant la transformée de Fourier rapide (FFT).
      
      où N est la taille _{de FFT} de l'échantillon de données x, et FFT (x, N _FFT) renvoie transformée de Fourier discrète _FFT -point de N x.
   4. Normaliser le PSD par rapport à sa valeur moyenne entre 3 et 30 Hz.
      
      où60; désigne la moyenne du spectre de puissance comprise entre 3 et 30 Hz.
8. Calibrer les paramètres de classification pour les quatre fréquences de stimulation. Tout d'abord, observer le spectre PSD normalisée qui correspond à son objectif de relance, et de configurer manuellement la fréquence avec la plus forte amplitude PSD que la fréquence de fonction. Basé sur la fréquence caractéristique, diviser les données PSD normalisées en deux ensembles: l'un est acquise lorsque le stimulus correspondant est sélectionné comme cible, et l'autre est acquise lorsque les stimuli non-cibles sont sélectionnés. Calculer la valeur moyenne de chaque série, respectivement. Déterminer le seuil de la médiane des deux valeurs moyennes de classer la cible et non-cible fixe ^14.

3. Traitement des signaux du cerveau en ligne

1. Ouvrir le processeur de signal en ligne comme le montre la figure 3, qui est développé belon sur l'environnement OpenViBE et les scripts MATLAB, sur le DPC pour traiter les signaux du cerveau en ligne.
2. Double-cliquez sur la boîte de Signal acquisition et de traitement, qui est marqué avec un cycle rouge dans la figure 3, pour ouvrir la fenêtre de réglage OpenViBE. Configurer les paramètres de classification pour le sujet:. Définir le taux d'échantillonnage de 1 kHz, régler la longueur de temps pour FFT que 3 sec, et régler les fréquences de longs selon les résultats de l'analyse en ligne, par exemple, 4.667, 24, 15 et 20 Hz .
3. Cliquez sur le bouton commence à courir le processeur de signaux en ligne, qui traite les données en temps réel en utilisant l'algorithme suivant en trois étapes.
4. Tout d'abord, l'algorithme acquiert des données provenant des canaux EEG Oz, O1, O2, Pz et CPZ du système EEG toutes les 0.5s, et extrait le segment de données de la dernière ligne de traitement 3s.
5. Deuxièmement, l'algorithme traite le segment de données 3-sec en utilisant les algorithmes décrits à l'étape 2.7, et calcule en temps réel le PSD pour Classification.
6. Troisièmement, l'algorithme classe les schémas des ondes cérébrales en fonction des amplitudes PSD dans les quatre fréquences de fonction. Lorsque l'amplitude de fréquence d'une caractéristique est supérieur à un seuil donné, classifier le stimulus scintillement correspondant à la fréquence en tant que cible de SSVEP.

4. Connecter le Robot Humanoïde

1. Appuyez sur le bouton de la poitrine du robot humanoïde et attendez qu'il démarre.
   Remarque: Ce processus prend environ 1 min et est terminée lorsque le robot dit "OGNAK GNOUK", tandis que le bouton de la poitrine devient blanc.
2. Établir sa WiFi (Wireless Fidelity) connexion à la DPC ^15.
3. Ouvrez le contrôleur robot programmé en C ++ scripts Visual sur le DPC. Le contrôleur reçoit les résultats de la classification de la Signal Processor ligne par l'intermédiaire de réalité virtuelle périphérique réseau (VRPN) interface, les traduit en commandes de robots, et contrôle les comportements correspondants du humanoid robot via une connexion sans fil.
4. Configurez le contrôleur de robot en entrant l'adresse IP du robot en fonction de sa connexion WiFi, définissant trois séries de comportements du robot qui peut facilement être modifiée pour effectuer les trois tâches différentes, et en définissant les paramètres d'exécution de ces comportements (par exemple., La vitesse de marche ou distance) pour adapter l'exigence de tâche.
   NOTE: Plus de détails de ces comportements sont décrits dans les étapes 5.2.1, 5.3.1, 5.4.1 et.
5. Cliquez sur le bouton Générer de la plateforme Visual Studio pour exécuter le Contrôleur de Robot.
6. Ouvrez le programme Chorégraphe sur la CPS. Cliquez sur «Se connecter à" bouton pour faire apparaître un widget de connexion. Sélectionnez le robot doit être contrôlée en fonction de son adresse IP, et double-cliquez sur son icône pour s'y connecter.
7. Ouvrez l'écran vidéo dans le menu d'affichage dans la barre de menu Chorégraphe, et déplacer le moniteur à l'avant de l'interface utilisateur pour afficher des commentaires de la vidéo en direct depuis la caméra du robot.

5. Mener des expériences de contrôle en boucle fermée

1. Demander le sujet pour effectuer trois tâches de contrôle en boucle fermée spécifiques au sein des environnements différents afin d'évaluer la performance de l'interaction cerveau-robots.
   REMARQUE: ces tâches, qui sont importants dans les applications robotiques, car ils sont utiles pour aider les personnes handicapées et les personnes âgées dans leur vie quotidienne, besoin d'activer différents comportements du robot.
2. Effectuer la première tâche de contrôle en boucle fermée à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher à travers les obstacles et pousser un interrupteur pour allumer la lumière, comme le montre la figure 4.
   1. Pour accomplir la première tâche, contrôler les comportements des robots qui sont codées par les quatre stimuli SSVEP comme: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et en poussant le commutateur à l'aide de sa main droite.
      REMARQUE: la configuraprocessus d'est décrite dans l'étape 4.4.
   2. Informer le sujet de l'objectif de la tâche et les quatre comportements à être contrôlé.
   3. Exécutez le Robot Controller comme dans les étapes 4.5-4.7, et commencer l'expérience. Donnez le sujet de la liberté de percevoir l'environnement et de prendre des décisions basées sur les commentaires de la vidéo en direct, et pour activer les comportements du robot en regardant fixement les stimuli correspondants.
      REMARQUE: aucune instruction ou de l'aide devrait être accordée à l'objet, sauf dans les situations d'urgence, par exemple, le robot est sur ​​le point d'entrer en collision avec un obstacle..
3. Effectuer la deuxième tâche à la téléprésence contrôler le robot humanoïde via des signaux du cerveau à marcher vers l'escalier suivant le panneau de sortie, comme le montre la Figure 5. Lorsque confrontant passants, demandez au sujet de contrôler le robot à-dire "excusez-moi" et attendre que le passants à céder.
   1. Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: marche en avant continuously à une vitesse de 0,05 m / s, en tournant à gauche en continu à une vitesse de 0,1 rad / s, en tournant à droite en continu à une vitesse de 0,1 rad / s, et l'arrêt de tous les comportements de marche.
   2. Mettez le Robot Controller à la fonction de commande posture dépendante ^16.
      REMARQUE: lorsque le robot marche, cette fonction utilise la quatrième relance que la commande d'arrêter les comportements de marche; lorsque le robot ne marche pas, il utilise la quatrième relance de contrôler le robot à-dire "excusez-moi". La fonction est implémentée dans les scripts C de par la détection de l'état de marche du robot.
   3. Informer le sujet de l'objectif de la tâche et les cinq comportements à être contrôlé.
   4. Exécutez le contrôleur de robot et commencer l'expérience, comme décrit à l'étape 5.2.3.
4. Mener la troisième tâche de téléprésence contrôler le robot humanoïde à marcher vers une cible de ballon, de le ramasser et de le livrer à la main de l'objet, comme le montre la Figure 6.
   1. Contrôler les comportements du robot codées par les quatre stimuli SSVEP que: un pas en avant avec une distance fixe de 0,15 m, tourner à gauche avec un radian fixe de 0,3 rad, en tournant à droite avec un radian fixe de 0,3 rad, et ramasser des objets.
   2. Activez la fonction de contrôle posture dépendant dans le Contrôleur de Robot de réutiliser la quatrième relance que la commande de débarquer l'objet quand il a déjà été ramassé.
   3. Informer le sujet de l'objectif de la tâche et les cinq comportements à être contrôlé.
   4. Exécutez le contrôleur de robot et commencer l'expérience, comme décrit à l'étape 5.2.3.

Résultats

Les résultats présentés ici ont été obtenus à partir d'un sujet mâle ayant corrigé à la normale la version. La figure 7 représente la procédure de traitement des données EEG, y compris l'extraction d'une époque de données multicanal (figure 7A), en filtrant spatialement les données à l'aide des coefficients de DPA (figure 7B) , et le calcul du PSD normalisée (figure 7C).

Discussion

Cet article présente une procédure expérimentale basée SSVEP à établir le système d'interaction cerveau-robot avec des robots humanoïdes en intégrant plusieurs programmes logiciels. Étant donné que l'intention humaine est perçue par l'interprétation des signaux d'EEG en temps réel, il est essentiel de vérifier les connexions d'électrodes EEG et des qualités de signal avant d'effectuer l'expérience. Si les signaux acquis de toutes les électrodes sont de mauvaises qualités, il est nécessaire de...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Système d’acquisition de données EEG Cerebus	Blackrock Microsystems	4176-9967
Robot humanoïde NAO	Aldebaran Robotics	H25
Casque EEG	Neuroscan	8732
Ten20 Gel conducteur	Weaver et compagnie	10-20-8