SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots

Resumen

El objetivo general de este método es establecer un procedimiento experimental basado en SSVEP mediante la integración de múltiples programas de software para permitir el estudio de la interacción cerebro-robot con robots humanoides, que es prospectiva para ayudar a los enfermos y ancianos, así como para realizar trabajos insalubres o peligrosos.

Resumen

La Interacción Cerebro-Robot (BRI), que proporciona una innovadora vía de comunicación entre un humano y un dispositivo robótico a través de señales cerebrales, es prospectiva para ayudar a los discapacitados en su vida diaria. El objetivo general de nuestro método es establecer un procedimiento experimental basado en SSVEP mediante la integración de múltiples programas de software, como OpenViBE, Choregraph y software Central, así como programas desarrollados por el usuario escritos en C++ y MATLAB, para permitir el estudio de la interacción cerebro-robot con robots humanoides.

Esto se logra colocando primero electrodos de EEG en un sujeto humano para medir las respuestas cerebrales a través de un sistema de adquisición de datos de EEG. Se utiliza una interfaz de usuario para obtener respuestas SSVEP y para mostrar comentarios de vídeo en los experimentos de control de bucle cerrado. El segundo paso es registrar las señales de EEG de los sujetos por primera vez, analizar sus características de SSVEP fuera de línea y entrenar el clasificador para cada sujeto. A continuación, el procesador de señal en línea y el controlador de robot están configurados para el control en línea de un robot humanoide. Como paso final, el sujeto completa tres experimentos específicos de control de circuito cerrado dentro de diferentes entornos para evaluar el rendimiento de la interacción cerebro-robot.

La ventaja de este enfoque es su fiabilidad y flexibilidad, ya que se desarrolla integrando múltiples programas de software. Los resultados muestran que usando este enfoque, el sujeto es capaz de interactuar con el robot humanoide a través de señales cerebrales. Esto permite que el robot humanoide controlado mentalmente realice tareas típicas que son populares en la investigación robótica y son útiles para ayudar a los discapacitados.

Introducción

Cerebro-Robot Interaction (BRI), que proporciona una innovadora vía de comunicación entre el ser humano y un dispositivo robótico a través de las señales del cerebro, es posible en ayudar a las personas con discapacidad en su vida diaria ^1,2. Una variedad de métodos son capaces de adquirir las señales del cerebro, ya sea invasiva o no invasiva, como electrocorticografía (ECoG), electroencefalograma (EEG), la resonancia magnética funcional (fMRI), etc. El método no invasivo más utilizado para la construcción de la sistema BRI es adquirir señales EEG de electrodos colocados en el cuero cabelludo. Este método es barato, fácil de usar, y proporciona una resolución temporal aceptable ^3. Entre una variedad de dispositivos robóticos, los robots humanoides son avanzados, ya que se crean para imitar algunas de las mismas tareas físicas y mentales que los seres humanos se someten a diario. BRI con un robot humanoide jugará un papel importante en la asistencia a los enfermos y ancianos, así como la realización de trabajos insalubres o peligrosos. Pero el controlde un robot humanoide a través del sistema BRI es muy difícil, ya que se desarrolla el robot humanoide con el movimiento de todo el cuerpo para realizar tareas complejas, tales como la asistencia personal ^{4, 5.}

Steady-State potencial evocado visual (SSVEP) es un tipo de señal cerebral evocada por la modulación del estímulo visual a una frecuencia dada ^6. Contiene sinusoides a las frecuencias fundamentales y armónicas de estímulo parpadeo, y destacada aparece en toda la corteza visual en la región occipital del cuero cabelludo ^7. La razón para elegir las señales SSVEP es que el sistema BRI basado en SSVEP rendimientos relativamente alta tasa de transferencia de información y requiere menos formación ^8. Otros tipos de ondas cerebrales, como los potenciales evocados (ERPs) ⁹ o motor imaginería (MI) Potenciales ^10, también puede ser embebido en este procedimiento experimental.

Nuestro procedimiento para la interacción cerebro-robot con humanoiderobots se basa en Cerebot - una plataforma robot humanoide con control mental - que consiste en un sistema de adquisición de datos de EEG y un robot humanoide ^11. El sistema EEG es capaz de registrar, pre-proceso y señales bio-potencial de visualización adquiridos por varios tipos de electrodos. Proporciona analógico múltiples E / S y E / S digitales y es capaz de grabar hasta 128 canales de señal simultáneamente a una velocidad de muestreo de 30 kHz con una resolución de 16 bits. Sus kits de desarrollo de software en C ++ y MATLAB son fáciles para los usuarios diseñar los procedimientos experimentales. El robot humanoide tiene 25 grados de libertad y está equipado con varios sensores, incluyendo 2 cámaras, 4 micrófonos, 2 telémetros de sonar, 2 IR emisores y receptores, 1 tablero inercial, 9 sensores táctiles, y 8 sensores de presión. Proporciona chorégraphe y C ++ SDK para la creación y edición de los movimientos y comportamientos de robots interactivos.

El objetivo general de este método es establecer un proce experimental basada en SSVEPmiento mediante la integración de múltiples programas de software, como OpenViBE, Choregraph, software Central, así como los programas desarrollados por el usuario escritas en C ++ y MATLAB, para que el estudio de la interacción cerebro-robot con robots humanoides ^11. La figura 1 muestra la estructura del sistema. El ordenador presentación del estímulo específico (SPC) muestra la interfaz de usuario para proporcionar al sujeto con estímulos visuales, instrucciones y evaluaciones ambientales. El equipo de procesamiento de datos dedicada (DPC) corre el Registrador de Datos y el analizador de datos sin conexión en el proceso de capacitación fuera de línea, y ejecuta el procesador de señal en línea y el controlador del robot para el control en línea del robot humanoide. En comparación con otros sistemas de control basados ​​en SSVEP, nuestro sistema es más confiable, más flexible, y sobre todo más conveniente para ser reutilizado y actualizado a medida que se desarrolla mediante la integración de una serie de paquetes de software estandarizados, como OpenViBE, Choregraph, software central, y módulos escritos en C ++y MATLAB.

El siguiente procedimiento fue revisado y aprobado por Tianjin universidad médica comité de ética del hospital general y todos los sujetos dieron su consentimiento por escrito.

Protocolo

1. Adquisición de señales de EEG

1. Explicar el procedimiento experimental para el tema y obtener el consentimiento informado por escrito para participar en experimentos.
2. Medir la circunferencia de la cabeza del sujeto utilizando una cinta métrica y seleccionar el tamaño del casquillo EEG que está cerca de la medición. La disposición de electrodos se basa en el "Sistema de 10 hasta 20 Internacional" ^12.
3. Mida la distancia entre el nasión y inion. Use un lápiz marcador para marcar la piel 10% de la distancia como una referencia para la alineación de la tapa, y marcar el punto medio de la distancia que el vértice en el cuero cabelludo del sujeto.
4. Coloque la tapa de EEG en la materia mediante la alineación de la marca de 10% con el punto medio de los electrodos FP1 y FP2. Posición electrodo Cz de la tapa en el vértice.
5. Asegúrese de que el Fz, Cz, Pz y Oz se encuentran en la línea media de la cabeza, y que cada par de electrodos situados a ambos lados de la línea media se encuentran en una línea horizontal.
6. Unte los electrodos REF1 y REF2 con gel conductor. Coloque los electrodos de referencia en los mastoides izquierda y derecha utilizando cinta médica. Apriete el barbijo.
7. Coloque una jeringa de punta roma en los soportes de electrodos e inyectar gel conductor en cada electrodo en el orden siguiente: primero, el electrodo de "tierra" en la frente y segundo, los cinco electrodos utilizados en el experimento, O2, O1, Oz, Pz y Cz.
8. Sentar al sujeto en una cómoda silla de 60 cm delante de un monitor de estímulo. Instruya al sujeto para mantener su / sus ojos en el mismo nivel horizontal con el centro de la pantalla.
9. Conectar los hilos de los electrodos para el sistema de adquisición de datos EEG. Configure la velocidad de muestreo de 1 kHz.
10. Examine la calidad de la señal EEG en la dedicada DPC. Si hay un problema con un electrodo particular, gel reinyectar para ajustar la impedancia de la canal.
11. Utilice el SPC dedicado a parpadear cuatro imágenes robot en las frecuencias de 4.615, 12, 15 y 20Hz como estímulos visuales en la interfaz de usuario, como se muestra en la Figura 2.

2. Desconectado SSVEP Analizar Características

1. Llevar a cabo 32 ensayos de experimentos de formación fuera de línea para cada sujeto y registrar sus señales cerebrales adquiridas del sistema EEG durante todo este proceso.
   NOTA: este proceso sólo se lleva a cabo por los sujetos de primera vez del experimento para establecer sus vectores de características SSVEP y entrenar el clasificador.
2. Cuando se inicia un juicio, seleccione un estímulo como el objetivo al azar y mostrar una flecha amarilla por encima de ella.
3. 1 segundo después, parpadear los cuatro estímulos visuales en diferentes frecuencias en la interfaz de usuario durante 5 segundos.
4. Solicitar el objeto de centrarse en el objetivo de estímulo seleccionado, manteniendo su / su movimiento corporal al mínimo.
5. Después de cada ensayo, dar el sec tema 3 para relajarse, y luego empezar la siguiente prueba.
6. Cuando hayan terminado todos los ensayos, leer los datos guardados. Extracto de una época de datos 3-sec ser entre 2 y 5 segundos después del disparo que selecciona un estímulo como el objetivo en cada ensayo.
7. Calcular la densidad espectral de potencia (PSD) de las épocas de datos utilizando el analizador de datos sin conexión en los scripts de MATLAB. Utilice el algoritmo de procesamiento se describe en detalles a continuación:
   1. Calcular los coeficientes de análisis de correlación canónica (CCA) de los datos de EEG multicanal con unos datos de referencia. CCA es un método estadístico multivariable utilizado para dos conjuntos de datos para encontrar su correlación subyacente ^13. Teniendo en cuenta el segmento 3s de EEG multicanal X de datos y datos de referencia Y de la misma longitud, utilice CCA para encontrar los vectores de ponderación, W _x y W _y, para maximizar el coeficiente de correlación ρ entre x = X ^T W _x e y = Y ^T W _y. Establecer los datos de referencia para ser las señales periódicas en ciertas frecuencias de estímulo.
      /ftp_upload/53558/53558eq1.jpg "/>
      donde f _1, f _{2, 3} f, f ₄ son las frecuencias características de los cuatro estímulos visuales.
   2. Filtrado espacialmente los datos de EEG multicanal X utilizando los coeficientes calculados CCA W _x para obtener una sola dimensión x de datos filtrados, que tiene la correlación más prominente con la combinación lineal de los datos de referencia.
   3. Calcular la PSD de los datos x filtrados espacialmente utilizando Transformada Rápida de Fourier (FFT).
      
      donde N _FFT es el tamaño de la muestra de datos x, y FFT (x, N _FFT) devuelve el -point Fourier discreta N _FFT transformada de x.
   4. Normalizar el PSD con respecto a su valor medio entre 3 y 30 Hz.
      
      dónde60; denota la media del espectro de potencia entre 3 y 30Hz.
8. Calibrar los parámetros de clasificación de las cuatro frecuencias de estímulo. En primer lugar, observar el espectro PSD normalizado que corresponde a su objetivo de estímulo, y configurar manualmente la frecuencia con la amplitud PSD fuerte como la frecuencia característica. En base a la frecuencia característica, dividir los datos PSD normalizados en dos grupos: uno se adquiere cuando el estímulo correspondiente se selecciona como destino, y el otro se adquiere cuando se seleccionan los estímulos no objetivo. Calcular el valor medio de cada conjunto respectivamente. Determinar el umbral de la mediana de los dos valores medios para clasificar el objetivo y no objetivo establece ^14.

3. Procesamiento Online señales cerebrales

1. Abra el procesador de señal en línea como se muestra en la Figura 3, que se desarrolla basándose sobre el medio ambiente OpenViBE y las secuencias de comandos de MATLAB, en la DPC para las señales cerebrales de procesamiento en línea.
2. Haga doble clic en el cuadro de la señal Adquirir y Proceso, que está marcado con un círculo rojo en la figura 3, para abrir la ventana de configuración OpenViBE. Configure los parámetros de clasificación para el sujeto:. Establecer la velocidad de muestreo de 1 kHz, ajuste la longitud de tiempo para la FFT como 3 seg, y establecer las frecuencias características de acuerdo a los resultados de análisis fuera de línea, por ejemplo, 4.667, 24, 15 y 20 Hz .
3. Haga clic en el botón Empieza a funcionar el procesador de señal en línea, que procesa los datos en tiempo real utilizando el siguiente algoritmo en tres pasos.
4. En primer lugar, el algoritmo adquiere datos de EEG de los canales de Oz, O1, O2, Pz y CPZ del sistema de EEG cada 0,5 s, y extrae el segmento de datos de los últimos 3s para el procesamiento en línea.
5. En segundo lugar, el algoritmo procesa el segmento de datos 3-sec usando los algoritmos descritos en el paso 2.7, y calcula el tiempo real PSD para CLASIFICACción.
6. En tercer lugar, el algoritmo clasifica los patrones de ondas cerebrales de acuerdo con las amplitudes de PSD en las cuatro frecuencias de características. Cuando la amplitud de una frecuencia característica está por encima de un umbral dado, clasificar el estímulo parpadeo a la frecuencia correspondiente como el objetivo SSVEP.

4. Conexión del robot humanoide

1. Pulse el botón en el pecho del robot humanoide y esperar a que se inicie.
   NOTA: este proceso dura aproximadamente 1 min y se completa cuando el robot dice "OGNAK GNOUK", mientras que en su botón en el pecho se convierte en blanco.
2. Establezca su conexión Wireless Fidelity (WiFi) a la DPC ^15.
3. Abra el controlador del robot programado en C ++ guiones visuales en la DPC. El controlador recibe los resultados de la clasificación del procesador de señal en línea a través de Virtual-realidad periférica Red de interfaz (VRPN), que se traduce en los comandos del robot, y controla los comportamientos correspondientes del humanoid robot a través de conexión inalámbrica.
4. Configure el controlador del robot introduciendo la dirección IP del robot de acuerdo con su conexión Wi-Fi, que define tres conjuntos de comportamientos del robot que se puede cambiar fácilmente para realizar las tres tareas diferentes, y el establecimiento de los parámetros de ejecución de estos comportamientos (por ejemplo., La velocidad al caminar o distancia) para adaptarse a la exigencia de tareas.
   NOTA: más detalles de estos comportamientos se describen en los pasos 5.2.1, 5.3.1, y 5.4.1.
5. Haga clic en el botón Generar de la plataforma Visual Studio para ejecutar el controlador del robot.
6. Abra el programa chorégraphe en el SPC. Haga clic en "Conectar a" botón para que aparezca un widget de conexión. Seleccione el robot para ser controlado en función de su dirección IP y, haga doble clic en su icono para conectarse a él.
7. Abra el monitor de video en el menú Ver en la barra de menú chorégraphe y mueva el monitor a la parte frontal de la interfaz de usuario para mostrar información de vídeo en directo desde la cámara del robot.

5. La realización de experimentos de control y regulación

1. Solicitar el sujeto para llevar a cabo tres tareas de control en lazo cerrado específicos dentro de diferentes entornos con el fin de evaluar el desempeño interacción cerebro-robot.
   NOTA: estas tareas, que son importantes en aplicaciones robóticas, ya que son útiles en la asistencia a las personas con discapacidad y de edad avanzada en su vida diaria, la necesidad de activar diferentes comportamientos del robot.
2. Llevar a cabo la primera tarea de control de circuito cerrado de telepresencia controlar el robot humanoide mediante señales cerebrales para caminar a través de los obstáculos y apretar un interruptor de la luz para encender la luz, como se muestra en la Figura 4.
   1. Para llevar a cabo la primera tarea, controlar las conductas de robots que son codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y empujando el interruptor utilizando su mano derecha.
      NOTA: la CONFIGURACIÓNproceso de se describe en el paso 4.4.
   2. Informar al tema de la tarea objetivo y los cuatro comportamientos para ser controlado.
   3. Ejecute el controlador del robot como en los pasos 4.5-4.7, y comenzar el experimento. Dar el tema de la libertad de percibir el entorno y tomar decisiones basadas en la retroalimentación de video en vivo, y para activar los comportamientos del robot por mirando a los estímulos correspondientes.
      NOTA: no Instrucción o la ayuda se debe dar al sujeto a no ser en situaciones de emergencia, por ejemplo, el robot está a punto de chocar con un obstáculo..
3. Llevar a cabo la segunda tarea de telepresencia controlar el robot humanoide a través de las señales del cerebro a caminar hacia la escalera siguiendo la señal de salida, como se muestra en la Figura 5. Cuando confrontar los transeúntes, pida al sujeto para controlar el robot que decir "perdón" y esperar a que el transeúntes que dan paso.
   1. Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: caminar hacia adelante continuously a una velocidad de 0,05 m / seg, girando a la izquierda de forma continua a una velocidad de 0,1 rad / seg, girando a la derecha de forma continua a una velocidad de 0,1 rad / seg, y detener todos los comportamientos para caminar.
   2. Cambie el controlador del robot a la función de control de la postura dependiente ^16.
      NOTA: cuando el robot está caminando, esta función utiliza el cuarto de estímulo como el comando de detener los comportamientos para caminar; cuando el robot no es caminar, usa el cuarto de estímulo para controlar el robot que decir "perdón". La función se implementa en los scripts C ++ mediante la detección de estado de pie del robot.
   3. Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado.
   4. Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3.
4. Llevar a cabo la tercera tarea de telepresencia controlar el robot humanoide a caminar hacia un objetivo globo, para recogerlo y entregarlo a la mano del sujeto, como se muestra en la Figura 6.
   1. Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y recoger objetos.
   2. Active la función de control de la postura dependiente en el controlador del robot volver a utilizar el cuarto de estímulo como el mando de sofocar el objeto cuando ya ha sido recogido.
   3. Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado.
   4. Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3.

Resultados

Los resultados aquí presentados se obtuvieron a partir de un sujeto masculino que tiene corregida a la versión normal. La Figura 7 muestra el procedimiento de procesamiento de datos de EEG, incluyendo la extracción de una época de datos multicanal (Figura 7A), filtrando espacialmente los datos utilizando coeficientes de CCA (Figura 7B) , y calculando el PSD normalizado (Figura 7C).

Discusión

Este trabajo presenta un procedimiento experimental basado en SSVEP para establecer el sistema de interacción cerebro-robot con robots humanoides mediante la integración de múltiples programas de software. Debido a que la intención humana se percibe mediante la interpretación de las señales de EEG en tiempo real, es crítico para verificar las conexiones de electrodo y cualidades señal del EEG antes de realizar el experimento. Si las señales adquiridas de todos los electrodos son de cualidades pobres, es necesario compro...

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Sistema de adquisición de datos EEG Cerebus	Blackrock Microsystems	4176-9967
Robot humanoide NAO	Aldebaran Robotics	H25
Gorro de EEG	Neuroscan	8732
Ten20 Gel conductor	Weaver and company	10-20-8