Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots

Published: November 24, 2015 doi: 10.3791/53558
Automatic Translation
1, 1,2, 1, 1
1School of Electrical Engineering and Automation, Tianjin University, 2Department of Computer & Electrical Engineering and Computer Science, California State University

Introduction

Cerebro-Robot Interaction (BRI), que proporciona una innovadora vía de comunicación entre el ser humano y un dispositivo robótico a través de las señales del cerebro, es posible en ayudar a las personas con discapacidad en su vida diaria 1,2. Una variedad de métodos son capaces de adquirir las señales del cerebro, ya sea invasiva o no invasiva, como electrocorticografía (ECoG), electroencefalograma (EEG), la resonancia magnética funcional (fMRI), etc. El método no invasivo más utilizado para la construcción de la sistema BRI es adquirir señales EEG de electrodos colocados en el cuero cabelludo. Este método es barato, fácil de usar, y proporciona una resolución temporal aceptable 3. Entre una variedad de dispositivos robóticos, los robots humanoides son avanzados, ya que se crean para imitar algunas de las mismas tareas físicas y mentales que los seres humanos se someten a diario. BRI con un robot humanoide jugará un papel importante en la asistencia a los enfermos y ancianos, así como la realización de trabajos insalubres o peligrosos. Pero el controlde un robot humanoide a través del sistema BRI es muy difícil, ya que se desarrolla el robot humanoide con el movimiento de todo el cuerpo para realizar tareas complejas, tales como la asistencia personal 4, 5.

Steady-State potencial evocado visual (SSVEP) es un tipo de señal cerebral evocada por la modulación del estímulo visual a una frecuencia dada 6. Contiene sinusoides a las frecuencias fundamentales y armónicas de estímulo parpadeo, y destacada aparece en toda la corteza visual en la región occipital del cuero cabelludo 7. La razón para elegir las señales SSVEP es que el sistema BRI basado en SSVEP rendimientos relativamente alta tasa de transferencia de información y requiere menos formación 8. Otros tipos de ondas cerebrales, como los potenciales evocados (ERPs) 9 o motor imaginería (MI) Potenciales 10, también puede ser embebido en este procedimiento experimental.

Nuestro procedimiento para la interacción cerebro-robot con humanoiderobots se basa en Cerebot - una plataforma robot humanoide con control mental - que consiste en un sistema de adquisición de datos de EEG y un robot humanoide 11. El sistema EEG es capaz de registrar, pre-proceso y señales bio-potencial de visualización adquiridos por varios tipos de electrodos. Proporciona analógico múltiples E / S y E / S digitales y es capaz de grabar hasta 128 canales de señal simultáneamente a una velocidad de muestreo de 30 kHz con una resolución de 16 bits. Sus kits de desarrollo de software en C ++ y MATLAB son fáciles para los usuarios diseñar los procedimientos experimentales. El robot humanoide tiene 25 grados de libertad y está equipado con varios sensores, incluyendo 2 cámaras, 4 micrófonos, 2 telémetros de sonar, 2 IR emisores y receptores, 1 tablero inercial, 9 sensores táctiles, y 8 sensores de presión. Proporciona chorégraphe y C ++ SDK para la creación y edición de los movimientos y comportamientos de robots interactivos.

El objetivo general de este método es establecer un proce experimental basada en SSVEPmiento mediante la integración de múltiples programas de software, como OpenViBE, Choregraph, software Central, así como los programas desarrollados por el usuario escritas en C ++ y MATLAB, para que el estudio de la interacción cerebro-robot con robots humanoides 11. La figura 1 muestra la estructura del sistema. El ordenador presentación del estímulo específico (SPC) muestra la interfaz de usuario para proporcionar al sujeto con estímulos visuales, instrucciones y evaluaciones ambientales. El equipo de procesamiento de datos dedicada (DPC) corre el Registrador de Datos y el analizador de datos sin conexión en el proceso de capacitación fuera de línea, y ejecuta el procesador de señal en línea y el controlador del robot para el control en línea del robot humanoide. En comparación con otros sistemas de control basados ​​en SSVEP, nuestro sistema es más confiable, más flexible, y sobre todo más conveniente para ser reutilizado y actualizado a medida que se desarrolla mediante la integración de una serie de paquetes de software estandarizados, como OpenViBE, Choregraph, software central, y módulos escritos en C ++y MATLAB.

El siguiente procedimiento fue revisado y aprobado por Tianjin universidad médica comité de ética del hospital general y todos los sujetos dieron su consentimiento por escrito.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. Adquisición de señales de EEG

  1. Explicar el procedimiento experimental para el tema y obtener el consentimiento informado por escrito para participar en experimentos.
  2. Medir la circunferencia de la cabeza del sujeto utilizando una cinta métrica y seleccionar el tamaño del casquillo EEG que está cerca de la medición. La disposición de electrodos se basa en el "Sistema de 10 hasta 20 Internacional" 12.
  3. Mida la distancia entre el nasión y inion. Use un lápiz marcador para marcar la piel 10% de la distancia como una referencia para la alineación de la tapa, y marcar el punto medio de la distancia que el vértice en el cuero cabelludo del sujeto.
  4. Coloque la tapa de EEG en la materia mediante la alineación de la marca de 10% con el punto medio de los electrodos FP1 y FP2. Posición electrodo Cz de la tapa en el vértice.
  5. Asegúrese de que el Fz, Cz, Pz y Oz se encuentran en la línea media de la cabeza, y que cada par de electrodos situados a ambos lados de la línea media se encuentran en una línea horizontal.
  6. Unte los electrodos REF1 y REF2 con gel conductor. Coloque los electrodos de referencia en los mastoides izquierda y derecha utilizando cinta médica. Apriete el barbijo.
  7. Coloque una jeringa de punta roma en los soportes de electrodos e inyectar gel conductor en cada electrodo en el orden siguiente: primero, el electrodo de "tierra" en la frente y segundo, los cinco electrodos utilizados en el experimento, O2, O1, Oz, Pz y Cz.
  8. Sentar al sujeto en una cómoda silla de 60 cm delante de un monitor de estímulo. Instruya al sujeto para mantener su / sus ojos en el mismo nivel horizontal con el centro de la pantalla.
  9. Conectar los hilos de los electrodos para el sistema de adquisición de datos EEG. Configure la velocidad de muestreo de 1 kHz.
  10. Examine la calidad de la señal EEG en la dedicada DPC. Si hay un problema con un electrodo particular, gel reinyectar para ajustar la impedancia de la canal.
  11. Utilice el SPC dedicado a parpadear cuatro imágenes robot en las frecuencias de 4.615, 12, 15 y 20Hz como estímulos visuales en la interfaz de usuario, como se muestra en la Figura 2.

2. Desconectado SSVEP Analizar Características

  1. Llevar a cabo 32 ensayos de experimentos de formación fuera de línea para cada sujeto y registrar sus señales cerebrales adquiridas del sistema EEG durante todo este proceso.
    NOTA: este proceso sólo se lleva a cabo por los sujetos de primera vez del experimento para establecer sus vectores de características SSVEP y entrenar el clasificador.
  2. Cuando se inicia un juicio, seleccione un estímulo como el objetivo al azar y mostrar una flecha amarilla por encima de ella.
  3. 1 segundo después, parpadear los cuatro estímulos visuales en diferentes frecuencias en la interfaz de usuario durante 5 segundos.
  4. Solicitar el objeto de centrarse en el objetivo de estímulo seleccionado, manteniendo su / su movimiento corporal al mínimo.
  5. Después de cada ensayo, dar el sec tema 3 para relajarse, y luego empezar la siguiente prueba.
  6. Cuando hayan terminado todos los ensayos, leer los datos guardados. Extracto de una época de datos 3-sec ser entre 2 y 5 segundos después del disparo que selecciona un estímulo como el objetivo en cada ensayo.
  7. Calcular la densidad espectral de potencia (PSD) de las épocas de datos utilizando el analizador de datos sin conexión en los scripts de MATLAB. Utilice el algoritmo de procesamiento se describe en detalles a continuación:
    1. Calcular los coeficientes de análisis de correlación canónica (CCA) de los datos de EEG multicanal con unos datos de referencia. CCA es un método estadístico multivariable utilizado para dos conjuntos de datos para encontrar su correlación subyacente 13. Teniendo en cuenta el segmento 3s de EEG multicanal X de datos y datos de referencia Y de la misma longitud, utilice CCA para encontrar los vectores de ponderación, W x y W y, para maximizar el coeficiente de correlación ρ entre x = X T W x e y = Y T W y. Establecer los datos de referencia para ser las señales periódicas en ciertas frecuencias de estímulo.
      /ftp_upload/53558/53558eq1.jpg "/>
      donde f 1, f 2, 3 f, f 4 son las frecuencias características de los cuatro estímulos visuales.
    2. Filtrado espacialmente los datos de EEG multicanal X utilizando los coeficientes calculados CCA W x para obtener una sola dimensión x de datos filtrados, que tiene la correlación más prominente con la combinación lineal de los datos de referencia.
    3. Calcular la PSD de los datos x filtrados espacialmente utilizando Transformada Rápida de Fourier (FFT).
      Ecuación 2
      donde N FFT es el tamaño de la muestra de datos x, y FFT (x, N FFT) devuelve el -point Fourier discreta N FFT transformada de x.
    4. Normalizar el PSD con respecto a su valor medio entre 3 y 30 Hz.
      Ecuación 3
      dónde60; Ecuación 3 Denominador denota la media del espectro de potencia entre 3 y 30Hz.
  8. Calibrar los parámetros de clasificación de las cuatro frecuencias de estímulo. En primer lugar, observar el espectro PSD normalizado que corresponde a su objetivo de estímulo, y configurar manualmente la frecuencia con la amplitud PSD fuerte como la frecuencia característica. En base a la frecuencia característica, dividir los datos PSD normalizados en dos grupos: uno se adquiere cuando el estímulo correspondiente se selecciona como destino, y el otro se adquiere cuando se seleccionan los estímulos no objetivo. Calcular el valor medio de cada conjunto respectivamente. Determinar el umbral de la mediana de los dos valores medios para clasificar el objetivo y no objetivo establece 14.

3. Procesamiento Online señales cerebrales

  1. Abra el procesador de señal en línea como se muestra en la Figura 3, que se desarrolla basándose sobre el medio ambiente OpenViBE y las secuencias de comandos de MATLAB, en la DPC para las señales cerebrales de procesamiento en línea.
  2. Haga doble clic en el cuadro de la señal Adquirir y Proceso, que está marcado con un círculo rojo en la figura 3, para abrir la ventana de configuración OpenViBE. Configure los parámetros de clasificación para el sujeto:. Establecer la velocidad de muestreo de 1 kHz, ajuste la longitud de tiempo para la FFT como 3 seg, y establecer las frecuencias características de acuerdo a los resultados de análisis fuera de línea, por ejemplo, 4.667, 24, 15 y 20 Hz .
  3. Haga clic en el botón Empieza a funcionar el procesador de señal en línea, que procesa los datos en tiempo real utilizando el siguiente algoritmo en tres pasos.
  4. En primer lugar, el algoritmo adquiere datos de EEG de los canales de Oz, O1, O2, Pz y CPZ del sistema de EEG cada 0,5 s, y extrae el segmento de datos de los últimos 3s para el procesamiento en línea.
  5. En segundo lugar, el algoritmo procesa el segmento de datos 3-sec usando los algoritmos descritos en el paso 2.7, y calcula el tiempo real PSD para CLASIFICACción.
  6. En tercer lugar, el algoritmo clasifica los patrones de ondas cerebrales de acuerdo con las amplitudes de PSD en las cuatro frecuencias de características. Cuando la amplitud de una frecuencia característica está por encima de un umbral dado, clasificar el estímulo parpadeo a la frecuencia correspondiente como el objetivo SSVEP.

4. Conexión del robot humanoide

  1. Pulse el botón en el pecho del robot humanoide y esperar a que se inicie.
    NOTA: este proceso dura aproximadamente 1 min y se completa cuando el robot dice "OGNAK GNOUK", mientras que en su botón en el pecho se convierte en blanco.
  2. Establezca su conexión Wireless Fidelity (WiFi) a la DPC 15.
  3. Abra el controlador del robot programado en C ++ guiones visuales en la DPC. El controlador recibe los resultados de la clasificación del procesador de señal en línea a través de Virtual-realidad periférica Red de interfaz (VRPN), que se traduce en los comandos del robot, y controla los comportamientos correspondientes del humanoid robot a través de conexión inalámbrica.
  4. Configure el controlador del robot introduciendo la dirección IP del robot de acuerdo con su conexión Wi-Fi, que define tres conjuntos de comportamientos del robot que se puede cambiar fácilmente para realizar las tres tareas diferentes, y el establecimiento de los parámetros de ejecución de estos comportamientos (por ejemplo., La velocidad al caminar o distancia) para adaptarse a la exigencia de tareas.
    NOTA: más detalles de estos comportamientos se describen en los pasos 5.2.1, 5.3.1, y 5.4.1.
  5. Haga clic en el botón Generar de la plataforma Visual Studio para ejecutar el controlador del robot.
  6. Abra el programa chorégraphe en el SPC. Haga clic en "Conectar a" botón para que aparezca un widget de conexión. Seleccione el robot para ser controlado en función de su dirección IP y, haga doble clic en su icono para conectarse a él.
  7. Abra el monitor de video en el menú Ver en la barra de menú chorégraphe y mueva el monitor a la parte frontal de la interfaz de usuario para mostrar información de vídeo en directo desde la cámara del robot.
<p class = "jove_title"> 5. La realización de experimentos de control y regulación

  1. Solicitar el sujeto para llevar a cabo tres tareas de control en lazo cerrado específicos dentro de diferentes entornos con el fin de evaluar el desempeño interacción cerebro-robot.
    NOTA: estas tareas, que son importantes en aplicaciones robóticas, ya que son útiles en la asistencia a las personas con discapacidad y de edad avanzada en su vida diaria, la necesidad de activar diferentes comportamientos del robot.
  2. Llevar a cabo la primera tarea de control de circuito cerrado de telepresencia controlar el robot humanoide mediante señales cerebrales para caminar a través de los obstáculos y apretar un interruptor de la luz para encender la luz, como se muestra en la Figura 4.
    1. Para llevar a cabo la primera tarea, controlar las conductas de robots que son codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y empujando el interruptor utilizando su mano derecha.
      NOTA: la CONFIGURACIÓNproceso de se describe en el paso 4.4.
    2. Informar al tema de la tarea objetivo y los cuatro comportamientos para ser controlado.
    3. Ejecute el controlador del robot como en los pasos 4.5-4.7, y comenzar el experimento. Dar el tema de la libertad de percibir el entorno y tomar decisiones basadas en la retroalimentación de video en vivo, y para activar los comportamientos del robot por mirando a los estímulos correspondientes.
      NOTA: no Instrucción o la ayuda se debe dar al sujeto a no ser en situaciones de emergencia, por ejemplo, el robot está a punto de chocar con un obstáculo..
  3. Llevar a cabo la segunda tarea de telepresencia controlar el robot humanoide a través de las señales del cerebro a caminar hacia la escalera siguiendo la señal de salida, como se muestra en la Figura 5. Cuando confrontar los transeúntes, pida al sujeto para controlar el robot que decir "perdón" y esperar a que el transeúntes que dan paso.
    1. Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: caminar hacia adelante continuously a una velocidad de 0,05 m / seg, girando a la izquierda de forma continua a una velocidad de 0,1 rad / seg, girando a la derecha de forma continua a una velocidad de 0,1 rad / seg, y detener todos los comportamientos para caminar.
    2. Cambie el controlador del robot a la función de control de la postura dependiente 16.
      NOTA: cuando el robot está caminando, esta función utiliza el cuarto de estímulo como el comando de detener los comportamientos para caminar; cuando el robot no es caminar, usa el cuarto de estímulo para controlar el robot que decir "perdón". La función se implementa en los scripts C ++ mediante la detección de estado de pie del robot.
    3. Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado.
    4. Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3.
  4. Llevar a cabo la tercera tarea de telepresencia controlar el robot humanoide a caminar hacia un objetivo globo, para recogerlo y entregarlo a la mano del sujeto, como se muestra en la Figura 6.
    1. Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y recoger objetos.
    2. Active la función de control de la postura dependiente en el controlador del robot volver a utilizar el cuarto de estímulo como el mando de sofocar el objeto cuando ya ha sido recogido.
    3. Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado.
    4. Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Los resultados aquí presentados se obtuvieron a partir de un sujeto masculino que tiene corregida a la versión normal. La Figura 7 muestra el procedimiento de procesamiento de datos de EEG, incluyendo la extracción de una época de datos multicanal (Figura 7A), filtrando espacialmente los datos utilizando coeficientes de CCA (Figura 7B) , y calculando el PSD normalizado (Figura 7C).

La figura 8 muestra la normalizada PSD obtuvo utilizando ensayos individuales en las que el sujeto se quedó mirando las metas que oscilan a frecuencias diferentes. El pico prominente aparece en la frecuencia fundamental o armónica del estímulo parpadeo. El sistema BRI mapea estos patrones de respuestas SSVEP en comandos para el control de diferentes comportamientos del robot.

Las figuras 4-6 muestran el cont tres bucle cerradotareas de rol a cabo para evaluar el rendimiento de la interacción cerebro-robot. Estas tareas son populares en la investigación robótica y son útiles en la asistencia a las personas con discapacidad y de edad avanzada en su vida cotidiana. La figura 4 muestra el experimento de control de telepresencia de caminar a través de obstáculos y empujando un interruptor para encender la luz a través de las ondas cerebrales. Figura 5 muestra el control de telepresencia experimento de caminar hacia la caja de la escalera siguiendo la señal de salida. Figura 6 muestra el experimento de control de telepresencia de recoger un globo y la entrega a la mano del sujeto.

Figura 1
Figura 1. Estructura del sistema para la interacción cerebro-robot con un robot humanoide. Las señales cerebrales se miden a través del sistema de adquisición de datos de EEG. La interfaz de usuario provoca respuestas SSVEP y exhibiciones viven retroalimentación vídeo en el experimentos de control en lazo cerrado. Para los sujetos por primera vez, la grabadora de datos y el analizador de datos sin conexión se utilizan en el proceso de capacitación en línea para analizar su SSVEP cuenta fuera de línea y para entrenar el clasificador para cada sujeto. A continuación, el procesador de señal en línea y el controlador del robot están configurados para el control en línea de un robot humanoide. Por favor haga clic aquí para ver una versión más grande de esta figura.

Figura 2
Figura 2. Interfaz de usuario para el sistema BRI basadas en SSVEP. Las pantallas de la interfaz de usuario en vivo retroalimentación de vídeo en la ventana del medio y parpadea cuatro imágenes en la periferia que representa comportamientos de robots humanoides en cuatro frecuencias. La representación 3D en el panel de la derecha indica la posición actual del robot humanoide. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> Haga clic aquí para ver una versión más grande de esta figura.

Figura 3
Figura 3. Procesador de señal en línea implementado en el entorno de programación OpenViBE. El cuadro de adquirir y procesar señales marcadas con el ciclo rojo invoca el algoritmo de procesamiento escrita en scripts de MATLAB. El botón se inicia en el panel del menú se inicia el programa. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4
Figura 4. Experimento de Control de Telepresencia de Caminar a través de obstáculos y Empujar un interruptor de la luz.en / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> Haga clic aquí para ver una versión más grande de esta figura.

Figura 5
Figura 5. Experimento de Control de Telepresencia de caminar hacia la escalera Tras la muestra de la salida. Haga clic aquí para ver una versión más grande de esta figura.

Figura 6
Figura 6. Experimento de Control de Telepresencia de Entrega de un globo con el tema. Haga clic aquí para ver una versión más grande de esta figura.

Figura 7 Figura 7. Procedimiento de Procesamiento de Datos multicanal EEG (A) época de datos multicanal extraída del juicio en el que el sujeto está mirando fijamente el estímulo a 4.615 Hz.; (B) los datos filtrados espacialmente utilizando coeficientes de CCA; (C) PSD normalizada de los datos filtrados espacialmente. Haga clic aquí para ver una versión más grande de esta figura.

Figura 8
Figura 8. PSD normalizados obtenidos en los ensayos individuales en que el sujeto está mirando a estímulos parpadeo a diferentes frecuencias. Haga clic aquí para ver una versión más grande de esta figura.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Este trabajo presenta un procedimiento experimental basado en SSVEP para establecer el sistema de interacción cerebro-robot con robots humanoides mediante la integración de múltiples programas de software. Debido a que la intención humana se percibe mediante la interpretación de las señales de EEG en tiempo real, es crítico para verificar las conexiones de electrodo y cualidades señal del EEG antes de realizar el experimento. Si las señales adquiridas de todos los electrodos son de cualidades pobres, es necesario comprobar la conexión de los electrodos de masa y de referencia primero. Si hay problemas con partes de los electrodos, re-inyectar gel conductor para ajustar la impedancia de esos canales.

Otro tema común, mientras que la adquisición de señales de EEG es la interferencia de artefactos y ruidos 17. Como la señal EEG tiene pequeña señal a ruido (SNR), artefactos y el ruido pueden los cambios fácilmente oscuros en PSD de las respuestas SSVEP. Es importante mantener el amplificador de la señal del sistema de EEG lejos de la powsuministros er y otras fuentes de ruido. Durante el experimento, parpadeo y el movimiento del cuerpo deben mantenerse al mínimo para reducir los artefactos. Para mejorar aún más la robustez contra tales interferencias, nuestro método utiliza una técnica basada en CCA para interpretar los datos de EEG multicanal. Los resultados muestran que esta técnica es eficaz en la extracción de características a partir de señales de EEG que contienen ruidos y artefactos.

Para comenzar una nueva tarea de control en lazo cerrado de robots humanoides, tenemos que configurar manualmente la definición y parámetros de cada comportamiento del robot para adaptarse a la nueva exigencia de tareas. Esto es debido al número limitado de comandos de control disponibles en el actual sistema BRI, y por lo tanto se puede mejorar mediante la evocación más tipos de patrones de ondas cerebrales. Hwang et al. 18 propuso un método de estimulación de doble frecuencia para producir los estímulos visuales más. Wang et al. 19, Allison et al. 20, Pan et al 21., Y Li <em> et al. 22 propusieron varios métodos híbridos que combinan el modelo basado en SSVEP con otros patrones de ondas cerebrales, incluyendo ERP y MI. También es factible adoptar técnicas de conmutación basada en el aprendizaje de la máquina o arquitectura jerárquica para controlar el movimiento de todo el cuerpo del robot humanoide utilizando patrones de ondas cerebrales limitadas 23.

Teniendo en cuenta las frecuencias intermitentes disponibles del monitor LCD 24 y la influencia entre los componentes armónicos de SSVEPs 25, escaneamos todas las posibles frecuencias intermitentes de 1 a 60 Hz y se encontró con los cuatro frecuencias, es decir., 4.615, 12, 15 y 20 Hz, probablemente la mejor opción, ya que lograron la tasa de precisión promedio más alto para nuestros temas. Por lo tanto, hemos utilizado los cuatro estímulos en la interfaz para controlar los comportamientos de robots humanoides, incluyendo caminar hacia adelante, girar a la izquierda, girar a la derecha, y parar de caminar / presionando el interruptor / recoger objetos, que son factibles enOugh para controlar un robot humanoide para cumplir las tareas que se presentan en este manuscrito.

Las ventajas del sistema BRI son su fiabilidad y flexibilidad, ya que se desarrolla mediante la integración de múltiples programas de software, como OpenViBE, Choregraph, software Central y programas desarrollados por el usuario en C ++ y MATLAB. Es eficiente y confiable para el diseño de diferentes procedimientos experimentales utilizando el software estandarizado. Nuestro sistema es una herramienta poderosa para investigar nuevos algoritmos y técnicas para la interacción cerebro-robot con un robot humanoide. Se puede actualizar fácilmente para explorar aplicaciones BRI en la asistencia a los puestos de trabajo insalubres o peligrosos enfermos y ancianos, y escénicas.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Los autores desean expresar su agradecimiento al Sr. Hong Hu por su ayuda en la realización de los experimentos reportados en este trabajo. Esta obra fue financiada en parte por la Fundación Nacional de Ciencias Naturales de China (N ° 61473207).

Materials

Name Company Catalog Number Comments
Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

DOWNLOAD MATERIALS LIST

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Tags

Ingeniería Número 105 Neurociencia la interacción cerebro-robot (BRI) robot humanoide Cerebot electroencefalograma (EEG) el control de bucle cerrado en estado estacionario potencial evocado visual (SSVEP) integración de software múltiple análisis de correlación canónica (CCA) control de telepresencia
SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, J., Li, W., Mao, X., Li, M.… More

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter