Name: SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots (Video) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: Aprende el procedimiento experimental basado en SSVEP para la interacción cerebro-robot con robots humanoides usando señales EEG. Este método permite controlar robots en tiempo real para asistir personas mayores.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Los autores desean expresar su agradecimiento al Sr. Hong Hu por su ayuda en la realización de los experimentos reportados en este trabajo. Esta obra fue financiada en parte por la Fundación Nacional de Ciencias Naturales de China (N ° 61473207).

1. Adquisición de señales de EEG <ol><li> Explicar el procedimiento experimental para el tema y obtener el consentimiento informado por escrito para participar en experimentos. </li><li> Medir la circunferencia de la cabeza del sujeto utilizando una cinta métrica y seleccionar el tamaño del casquillo EEG que está cerca de la medición. La disposición de electrodos se basa en el &quot;Sistema de 10 hasta 20 Internacional&quot; 12. </li><li> Mida la distancia entre el nasión y inion. Use un lápiz marcador para marcar la piel 10% de la distancia como una referencia para la alineación de la tapa, y marcar el punto medio de la distancia que el vértice en el cuero cabelludo del sujeto. </li><li> Coloque la tapa de EEG en la materia mediante la alineación de la marca de 10% con el punto medio de los electrodos FP1 y FP2. Posición electrodo Cz de la tapa en el vértice. </li><li> Asegúrese de que el Fz, Cz, Pz y Oz se encuentran en la línea media de la cabeza, y que cada par de electrodos situados a ambos lados de la línea media se encuentran en una línea horizontal. </li><li>Unte los electrodos REF1 y REF2 con gel conductor. Coloque los electrodos de referencia en los mastoides izquierda y derecha utilizando cinta médica. Apriete el barbijo. </li><li> Coloque una jeringa de punta roma en los soportes de electrodos e inyectar gel conductor en cada electrodo en el orden siguiente: primero, el electrodo de &quot;tierra&quot; en la frente y segundo, los cinco electrodos utilizados en el experimento, O2, O1, Oz, Pz y Cz. </li><li> Sentar al sujeto en una cómoda silla de 60 cm delante de un monitor de estímulo. Instruya al sujeto para mantener su / sus ojos en el mismo nivel horizontal con el centro de la pantalla. </li><li> Conectar los hilos de los electrodos para el sistema de adquisición de datos EEG. Configure la velocidad de muestreo de 1 kHz. </li><li> Examine la calidad de la señal EEG en la dedicada DPC. Si hay un problema con un electrodo particular, gel reinyectar para ajustar la impedancia de la canal. </li><li> Utilice el SPC dedicado a parpadear cuatro imágenes robot en las frecuencias de 4.615, 12, 15 y 20Hz como estímulos visuales en la interfaz de usuario, como se muestra en la Figura 2. </li></ol> 2. Desconectado SSVEP Analizar Características <ol><li> Llevar a cabo 32 ensayos de experimentos de formación fuera de línea para cada sujeto y registrar sus señales cerebrales adquiridas del sistema EEG durante todo este proceso. NOTA: este proceso sólo se lleva a cabo por los sujetos de primera vez del experimento para establecer sus vectores de características SSVEP y entrenar el clasificador. </li><li> Cuando se inicia un juicio, seleccione un estímulo como el objetivo al azar y mostrar una flecha amarilla por encima de ella. </li><li> 1 segundo después, parpadear los cuatro estímulos visuales en diferentes frecuencias en la interfaz de usuario durante 5 segundos. </li><li> Solicitar el objeto de centrarse en el objetivo de estímulo seleccionado, manteniendo su / su movimiento corporal al mínimo. </li><li> Después de cada ensayo, dar el sec tema 3 para relajarse, y luego empezar la siguiente prueba. </li><li> Cuando hayan terminado todos los ensayos, leer los datos guardados. Extracto de una época de datos 3-sec ser<html> entre 2 y 5 segundos después del disparo que selecciona un estímulo como el objetivo en cada ensayo. </li><li> Calcular la densidad espectral de potencia (PSD) de las épocas de datos utilizando el analizador de datos sin conexión en los scripts de MATLAB. Utilice el algoritmo de procesamiento se describe en detalles a continuación: <ol><li> Calcular los coeficientes de análisis de correlación canónica (CCA) de los datos de EEG multicanal con unos datos de referencia. CCA es un método estadístico multivariable utilizado para dos conjuntos de datos para encontrar su correlación subyacente 13. Teniendo en cuenta el segmento 3s de EEG multicanal X de datos y datos de referencia Y de la misma longitud, utilice CCA para encontrar los vectores de ponderación, W x y W y, para maximizar el coeficiente de correlación ρ entre x = X T W x e y = Y T W y. Establecer los datos de referencia para ser las señales periódicas en ciertas frecuencias de estímulo. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; donde f 1, f 2, 3 f, f 4 son las frecuencias características de los cuatro estímulos visuales. </li><li> Filtrado espacialmente los datos de EEG multicanal X utilizando los coeficientes calculados CCA W x para obtener una sola dimensión x de datos filtrados, que tiene la correlación más prominente con la combinación lineal de los datos de referencia. </li><li> Calcular la PSD de los datos x filtrados espacialmente utilizando Transformada Rápida de Fourier (FFT). <img alt="Ecuación 2" src="/files/ftp_upload/53558/53558eq2.jpg" /> donde N FFT es el tamaño de la muestra de datos x, y FFT (x, N FFT) devuelve el -point Fourier discreta N FFT transformada de x. </li><li> Normalizar el PSD con respecto a su valor medio entre 3 y 30 Hz. <img alt="Ecuación 3" src="/files/ftp_upload/53558/53558eq3.jpg" /> dónde60; <img alt="Ecuación 3 Denominador" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> denota la media del espectro de potencia entre 3 y 30Hz. </li></ol></li><li> Calibrar los parámetros de clasificación de las cuatro frecuencias de estímulo. En primer lugar, observar el espectro PSD normalizado que corresponde a su objetivo de estímulo, y configurar manualmente la frecuencia con la amplitud PSD fuerte como la frecuencia característica. En base a la frecuencia característica, dividir los datos PSD normalizados en dos grupos: uno se adquiere cuando el estímulo correspondiente se selecciona como destino, y el otro se adquiere cuando se seleccionan los estímulos no objetivo. Calcular el valor medio de cada conjunto respectivamente. Determinar el umbral de la mediana de los dos valores medios para clasificar el objetivo y no objetivo establece 14. </li></ol> 3. Procesamiento Online señales cerebrales <ol><li> Abra el procesador de señal en línea como se muestra en la Figura 3, que se desarrolla basándose sobre el medio ambiente OpenViBE y las secuencias de comandos de MATLAB, en la DPC para las señales cerebrales de procesamiento en línea. </li><li> Haga doble clic en el cuadro de la señal Adquirir y Proceso, que está marcado con un círculo rojo en la figura 3, para abrir la ventana de configuración OpenViBE. Configure los parámetros de clasificación para el sujeto:. Establecer la velocidad de muestreo de 1 kHz, ajuste la longitud de tiempo para la FFT como 3 seg, y establecer las frecuencias características de acuerdo a los resultados de análisis fuera de línea, por ejemplo, 4.667, 24, 15 y 20 Hz . </li><li> Haga clic en el botón Empieza a funcionar el procesador de señal en línea, que procesa los datos en tiempo real utilizando el siguiente algoritmo en tres pasos. </li><li> En primer lugar, el algoritmo adquiere datos de EEG de los canales de Oz, O1, O2, Pz y CPZ del sistema de EEG cada 0,5 s, y extrae el segmento de datos de los últimos 3s para el procesamiento en línea. </li><li> En segundo lugar, el algoritmo procesa el segmento de datos 3-sec usando los algoritmos descritos en el paso 2.7, y calcula el tiempo real PSD para CLASIFICACción. </li><li> En tercer lugar, el algoritmo clasifica los patrones de ondas cerebrales de acuerdo con las amplitudes de PSD en las cuatro frecuencias de características. Cuando la amplitud de una frecuencia característica está por encima de un umbral dado, clasificar el estímulo parpadeo a la frecuencia correspondiente como el objetivo SSVEP. </li></ol> 4. Conexión del robot humanoide <ol><li> Pulse el botón en el pecho del robot humanoide y esperar a que se inicie. NOTA: este proceso dura aproximadamente 1 min y se completa cuando el robot dice &quot;OGNAK GNOUK&quot;, mientras que en su botón en el pecho se convierte en blanco. </li><li> Establezca su conexión Wireless Fidelity (WiFi) a la DPC 15. </li><li> Abra el controlador del robot programado en C ++ guiones visuales en la DPC. El controlador recibe los resultados de la clasificación del procesador de señal en línea a través de Virtual-realidad periférica Red de interfaz (VRPN), que se traduce en los comandos del robot, y controla los comportamientos correspondientes del humanoid robot a través de conexión inalámbrica. </li><li> Configure el controlador del robot introduciendo la dirección IP del robot de acuerdo con su conexión Wi-Fi, que define tres conjuntos de comportamientos del robot que se puede cambiar fácilmente para realizar las tres tareas diferentes, y el establecimiento de los parámetros de ejecución de estos comportamientos (por ejemplo., La velocidad al caminar o distancia) para adaptarse a la exigencia de tareas. NOTA: más detalles de estos comportamientos se describen en los pasos 5.2.1, 5.3.1, y 5.4.1. </li><li> Haga clic en el botón Generar de la plataforma Visual Studio para ejecutar el controlador del robot. </li><li> Abra el programa chorégraphe en el SPC. Haga clic en &quot;Conectar a&quot; botón para que aparezca un widget de conexión. Seleccione el robot para ser controlado en función de su dirección IP y, haga doble clic en su icono para conectarse a él. </li><li> Abra el monitor de video en el menú Ver en la barra de menú chorégraphe y mueva el monitor a la parte frontal de la interfaz de usuario para mostrar información de vídeo en directo desde la cámara del robot. </li></ol> &lt;p class = &quot;jove_title&quot;&gt; 5. La realización de experimentos de control y regulación <ol><li> Solicitar el sujeto para llevar a cabo tres tareas de control en lazo cerrado específicos dentro de diferentes entornos con el fin de evaluar el desempeño interacción cerebro-robot. NOTA: estas tareas, que son importantes en aplicaciones robóticas, ya que son útiles en la asistencia a las personas con discapacidad y de edad avanzada en su vida diaria, la necesidad de activar diferentes comportamientos del robot. </li><li> Llevar a cabo la primera tarea de control de circuito cerrado de telepresencia controlar el robot humanoide mediante señales cerebrales para caminar a través de los obstáculos y apretar un interruptor de la luz para encender la luz, como se muestra en la Figura 4. <ol><li> Para llevar a cabo la primera tarea, controlar las conductas de robots que son codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y empujando el interruptor utilizando su mano derecha. NOTA: la CONFIGURACIÓNproceso de se describe en el paso 4.4. </li><li> Informar al tema de la tarea objetivo y los cuatro comportamientos para ser controlado. </li><li> Ejecute el controlador del robot como en los pasos 4.5-4.7, y comenzar el experimento. Dar el tema de la libertad de percibir el entorno y tomar decisiones basadas en la retroalimentación de video en vivo, y para activar los comportamientos del robot por mirando a los estímulos correspondientes. NOTA: no Instrucción o la ayuda se debe dar al sujeto a no ser en situaciones de emergencia, por ejemplo, el robot está a punto de chocar con un obstáculo.. </li></ol></li><li> Llevar a cabo la segunda tarea de telepresencia controlar el robot humanoide a través de las señales del cerebro a caminar hacia la escalera siguiendo la señal de salida, como se muestra en la Figura 5. Cuando confrontar los transeúntes, pida al sujeto para controlar el robot que decir &quot;perdón&quot; y esperar a que el transeúntes que dan paso. <ol><li> Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: caminar hacia adelante continuously a una velocidad de 0,05 m / seg, girando a la izquierda de forma continua a una velocidad de 0,1 rad / seg, girando a la derecha de forma continua a una velocidad de 0,1 rad / seg, y detener todos los comportamientos para caminar. </li><li> Cambie el controlador del robot a la función de control de la postura dependiente 16. NOTA: cuando el robot está caminando, esta función utiliza el cuarto de estímulo como el comando de detener los comportamientos para caminar; cuando el robot no es caminar, usa el cuarto de estímulo para controlar el robot que decir &quot;perdón&quot;. La función se implementa en los scripts C ++ mediante la detección de estado de pie del robot. </li><li> Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado. </li><li> Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3. </li></ol></li><li> Llevar a cabo la tercera tarea de telepresencia controlar el robot humanoide a caminar hacia un objetivo globo, para recogerlo y entregarlo a la mano del sujeto, como se muestra en la Figura 6. <ol><li> Controla los comportamientos del robot codificadas por los cuatro estímulos SSVEP como: dando un paso adelante con una distancia fija de 0,15 m, girar a la izquierda con un radian fijo de 0,3 rad, girando a la derecha con un radian fijo de 0,3 rad, y recoger objetos. </li><li> Active la función de control de la postura dependiente en el controlador del robot volver a utilizar el cuarto de estímulo como el mando de sofocar el objeto cuando ya ha sido recogido. </li><li> Informar al tema de la tarea objetivo y los cinco comportamientos para ser controlado. </li><li> Ejecute el controlador del robot y empezar el experimento, como se describe en el paso 5.2.3. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

Los autores no tienen nada que revelar.

Este trabajo presenta un procedimiento experimental basado en SSVEP para establecer el sistema de interacción cerebro-robot con robots humanoides mediante la integración de múltiples programas de software. Debido a que la intención humana se percibe mediante la interpretación de las señales de EEG en tiempo real, es crítico para verificar las conexiones de electrodo y cualidades señal del EEG antes de realizar el experimento. Si las señales adquiridas de todos los electrodos son de cualidades pobres, es necesario compro...

Cerebro-Robot Interaction (BRI), que proporciona una innovadora vía de comunicación entre el ser humano y un dispositivo robótico a través de las señales del cerebro, es posible en ayudar a las personas con discapacidad en su vida diaria 1,2. Una variedad de métodos son capaces de adquirir las señales del cerebro, ya sea invasiva o no invasiva, como electrocorticografía (ECoG), electroencefalograma (EEG), la resonancia magnética funcional (fMRI), etc. El método no invasivo más utilizado para la construcción de la sistema BRI es adquirir señales EEG de electrodos colocados en el cuero cabelludo. Este método es barato, fácil de usar, y proporciona una resolución temporal aceptable 3. Entre una variedad de dispositivos robóticos, los robots humanoides son avanzados, ya que se crean para imitar algunas de las mismas tareas físicas y mentales que los seres humanos se someten a diario. BRI con un robot humanoide jugará un papel importante en la asistencia a los enfermos y ancianos, así como la realización de trabajos insalubres o peligrosos. Pero el controlde un robot humanoide a través del sistema BRI es muy difícil, ya que se desarrolla el robot humanoide con el movimiento de todo el cuerpo para realizar tareas complejas, tales como la asistencia personal 4, 5. Steady-State potencial evocado visual (SSVEP) es un tipo de señal cerebral evocada por la modulación del estímulo visual a una frecuencia dada 6. Contiene sinusoides a las frecuencias fundamentales y armónicas de estímulo parpadeo, y destacada aparece en toda la corteza visual en la región occipital del cuero cabelludo 7. La razón para elegir las señales SSVEP es que el sistema BRI basado en SSVEP rendimientos relativamente alta tasa de transferencia de información y requiere menos formación 8. Otros tipos de ondas cerebrales, como los potenciales evocados (ERPs) 9 o motor imaginería (MI) Potenciales 10, también puede ser embebido en este procedimiento experimental. Nuestro procedimiento para la interacción cerebro-robot con humanoiderobots se basa en Cerebot - una plataforma robot humanoide con control mental - que consiste en un sistema de adquisición de datos de EEG y un robot humanoide 11. El sistema EEG es capaz de registrar, pre-proceso y señales bio-potencial de visualización adquiridos por varios tipos de electrodos. Proporciona analógico múltiples E / S y E / S digitales y es capaz de grabar hasta 128 canales de señal simultáneamente a una velocidad de muestreo de 30 kHz con una resolución de 16 bits. Sus kits de desarrollo de software en C ++ y MATLAB son fáciles para los usuarios diseñar los procedimientos experimentales. El robot humanoide tiene 25 grados de libertad y está equipado con varios sensores, incluyendo 2 cámaras, 4 micrófonos, 2 telémetros de sonar, 2 IR emisores y receptores, 1 tablero inercial, 9 sensores táctiles, y 8 sensores de presión. Proporciona chorégraphe y C ++ SDK para la creación y edición de los movimientos y comportamientos de robots interactivos. El objetivo general de este método es establecer un proce experimental basada en SSVEPmiento mediante la integración de múltiples programas de software, como OpenViBE, Choregraph, software Central, así como los programas desarrollados por el usuario escritas en C ++ y MATLAB, para que el estudio de la interacción cerebro-robot con robots humanoides 11. La figura 1 muestra la estructura del sistema. El ordenador presentación del estímulo específico (SPC) muestra la interfaz de usuario para proporcionar al sujeto con estímulos visuales, instrucciones y evaluaciones ambientales. El equipo de procesamiento de datos dedicada (DPC) corre el Registrador de Datos y el analizador de datos sin conexión en el proceso de capacitación fuera de línea, y ejecuta el procesador de señal en línea y el controlador del robot para el control en línea del robot humanoide. En comparación con otros sistemas de control basados ​​en SSVEP, nuestro sistema es más confiable, más flexible, y sobre todo más conveniente para ser reutilizado y actualizado a medida que se desarrolla mediante la integración de una serie de paquetes de software estandarizados, como OpenViBE, Choregraph, software central, y módulos escritos en C ++y MATLAB. El siguiente procedimiento fue revisado y aprobado por Tianjin universidad médica comité de ética del hospital general y todos los sujetos dieron su consentimiento por escrito.

<table><tbody><tr><td>Sistema de adquisición de datos EEG Cerebus</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>Robot humanoide NAO</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>Gorro de EEG</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 Gel conductor</td><td>Weaver and company</td><td>10-20-8</td><td></td></tr></tbody></table>

ssvep basada procedimiento experimental para la interacción cerebro-robot con humanoid robots

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

La Interacción Cerebro-Robot (BRI), que proporciona una innovadora vía de comunicación entre un humano y un dispositivo robótico a través de señales cerebrales, es prospectiva para ayudar a los discapacitados en su vida diaria. El objetivo general de nuestro método es establecer un procedimiento experimental basado en SSVEP mediante la integración de múltiples programas de software, como OpenViBE, Choregraph y software Central, así como programas desarrollados por el usuario escritos en C++ y MATLAB, para permitir el estudio de la interacción cerebro-robot con robots humanoides.
Esto se logra colocando primero electrodos de EEG en un sujeto humano para medir las respuestas cerebrales a través de un sistema de adquisición de datos de EEG. Se utiliza una interfaz de usuario para obtener respuestas SSVEP y para mostrar comentarios de vídeo en los experimentos de control de bucle cerrado. El segundo paso es registrar las señales de EEG de los sujetos por primera vez, analizar sus características de SSVEP fuera de línea y entrenar el clasificador para cada sujeto. A continuación, el procesador de señal en línea y el controlador de robot están configurados para el control en línea de un robot humanoide. Como paso final, el sujeto completa tres experimentos específicos de control de circuito cerrado dentro de diferentes entornos para evaluar el rendimiento de la interacción cerebro-robot.
La ventaja de este enfoque es su fiabilidad y flexibilidad, ya que se desarrolla integrando múltiples programas de software. Los resultados muestran que usando este enfoque, el sujeto es capaz de interactuar con el robot humanoide a través de señales cerebrales. Esto permite que el robot humanoide controlado mentalmente realice tareas típicas que son populares en la investigación robótica y son útiles para ayudar a los discapacitados.

Los resultados aquí presentados se obtuvieron a partir de un sujeto masculino que tiene corregida a la versión normal. La Figura 7 muestra el procedimiento de procesamiento de datos de EEG, incluyendo la extracción de una época de datos multicanal (Figura 7A), filtrando espacialmente los datos utilizando coeficientes de CCA (Figura 7B) , y calculando el PSD normalizado (Figura 7C). <p class="jove_content" fo:keep-tog...

El objetivo general de este método es establecer un procedimiento experimental basado en SSVEP mediante la integración de múltiples programas de software para permitir el estudio de la interacción cerebro-robot con robots humanoides, que es prospectiva para ayudar a los enfermos y ancianos, así como para realizar trabajos insalubres o peligrosos.

SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

El objetivo general de este método es establecer un procedimiento experimental basado en P-E-V-E-S-S integrando múltiples programas informáticos para permitir el estudio de la interacción cerebro-robot con robots humanoides. Esto se logra colocando primero electrodos EEG en un sujeto humano para medir las respuestas cerebrales mediante un sistema de adquisición de datos EEG. Se utiliza una interfaz de usuario para provocar respuestas P-E-V-E-S-S y para mostrar retroalimentación en video en los experimentos de control en lazo cerrado.El segundo paso consiste en registrar las señales EEG de los sujetos por primera vez para analizar la característica S-S-V-E-P fuera de línea y entrenar el clasificador para cada sujeto. A continuación, se configuran el procesador de señales en línea y el controlador del robot para el control en línea de un robot humanoide Robert. Como paso final, el sujeto completa tres experimentos específicos de control en bucle cerrado en entornos diferentes.Con el fin de evaluar el rendimiento de la interacción cerebro-Robert, los resultados muestran la densidad espectral de potencia normalizada de las señales cerebrales generadas mientras se observan estímulos que parpadean a diferentes frecuencias. Nuestro sistema traduce estos patrones de ondas cerebrales en comandos para controlar los comportamientos de Robert. Mediante este enfoque, el sujeto es capaz de interactuar con el humanoide Robert mediante señales cerebrales.Esto permite al humanoide Robert realizar tareas típicas que son populares en la investigación robótica y que son útiles para ayudar a personas con discapacidades. La ventaja de este enfoque radica en su fiabilidad y flexibilidad, ya que fue desarrollado integrando múltiples programas informáticos como open wide graph y software central, así como programas desarrollados por usuarios relacionados en c plus plus y match lab. Este método posibilita estudiar el cerebro robótico en acción mediante el robot humanoide.Este estudio tiene un enfoque prospectivo en asistir a personas enfermas y ancianas, así como en realizar trabajos insalubres o peligrosos. Mis compañeros de equipo, Lim y Han, demostrarán ahora la colocación de los sensores de EEG y mostrarán respectivamente el método de conexión al ser humano y al robot. Explique el experimento y el procedimiento al sujeto.Obtenga consentimiento para participar en los experimentos. Mida la circunferencia del sujeto y seleccione el tamaño del casco EEG que más se aproxime a la medición. Mida la distancia entre la marca NAS, correspondiente al 10 % de la distancia, como referencia para alinear el casco.Marque el punto medio de la distancia en el vértice en la posición del sujeto cul. El electrodo Cz del casco de EEG en el vértice debe alinear la marca del 10 % con el punto medio entre los electrodos Fp1 y Fp2. Asegúrese de que los electrodos Fz, Cz, Pz y Oz se encuentren sobre la línea media de la cabeza.Extender el gel conductor sobre los electrodos de referencia. Colocar los electrodos de referencia en los OID izquierdo y derecho utilizando cinta médica. Apretar la correa de la cadena.Coloque la jeringa de punta roma en los porta-electrodos e inyecte geles conductores en cada electrodo en el siguiente orden: primero, el electrodo de tierra, y segundo, los cinco electrodos utilizados en el experimento O 2 0 1 OZ.PZ y cz. Coloque al sujeto en una silla cómoda, a 60 centímetros frente a un monitor de estímulos.Conecte los cables del electrodo al sistema de adquisición de datos de EEG. Configure la frecuencia de muestreo a un kilohercio. Examine la calidad de la señal de EEG en la computadora dedicada al procesamiento de datos.Si hay un problema con el electrodo específico, vuelva a inyectar geles para ajustar la impedancia del canal. Muestre parpadeando cuatro imágenes de robots con diferentes frecuencias como estímulos visuales en la interfaz de usuario.Para el primer sujeto, realice el experimento de entrenamiento fuera de línea para establecer sus vectores de características S-S-V-E-P y entrenar el clasificador. Realice 32 ensayos para cada sujeto y registre la señal cerebral durante todo este proceso. Cuando comience un ensayo, seleccione aleatoriamente un estímulo como objetivo y muestre una flecha amarilla encima de él.Un segundo. Posteriormente, parpadee los cuatro estímulos visuales a diferentes frecuencias en la interfaz de usuario durante cinco segundos, y solicite al sujeto que se enfoque en el estímulo objetivo seleccionado mientras mantiene el movimiento corporal al mínimo. Después de cada ensayo, otorgue al sujeto tres segundos para relajarse y luego inicie el siguiente ensayo.Una vez finalizados todos los ensayos, lea los datos guardados. Las barras verticales naranjas indican los disparadores para seleccionar un estímulo como objetivo, mientras los estímulos parpadean durante el período de cinco segundos. En cada ensayo, extraiga un segmento de datos de tres segundos comprendido entre los dos y cinco segundos posteriores al disparador.Calcule el coeficiente de CCA de los datos de EEG multicanal con una señal de referencia y, que se establece como la señal periódica del estímulo a ciertas frecuencias. El método de CCA encuentra los vectores de combinación lineal para maximizar el coeficiente de correlación entre las señales combinadas. Filtre espacialmente los datos de EEG multicanal utilizando los coeficientes de CCA calculados.Calcule la densidad espectral de potencia de los datos del filtro utilizando la transformada rápida de Fourier. Normalice la densidad espectral de potencia con respecto a su valor medio entre tres hertz y 40 hertz. Luego, calibre los parámetros de clasificación para cada frecuencia del estímulo.Configure los parámetros de clasificación para el sujeto mediante una ventana de configuración abierta. Inicie el procesador de señales en línea en la computadora de procesamiento de datos. Adquiera datos de EEG de los canales O2, 01, OZ, PZ y CZ del sistema de EEG cada 0,5 segundos y extraiga el segmento de datos de los últimos tres segundos para su procesamiento en línea.Procese el segmento de datos utilizando los algoritmos descritos en el proceso fuera de línea. Calcule la densidad espectral de potencia en tiempo real para la clasificación. Cuando la amplitud de una frecuencia característica supera un umbral determinado, se clasifica el estímulo que parpadea a la frecuencia correspondiente.Como objetivo del EEP del SSV, encienda el robot humanoide Noro y establezca su conexión wifi con la computadora de procesamiento de datos. Configure y ejecute el controlador del robot, que recibe los resultados de clasificación del procesador de señales en línea y controla los comportamientos correspondientes del humanoide Robert mediante conexión inalámbrica. Ejecute el programa de coreografía en la computadora dedicada para presentación de estímulos para mostrar retroalimentación en video en vivo proveniente de la cámara del Robert en la interfaz de usuario.Solicite al sujeto que realice tres pruebas específicas de control de lazo cerrado en entornos diferentes para evaluar el rendimiento de la interacción cerebro-Robert. Estas pruebas son populares en la investigación robótica y resultan útiles para ayudar a personas con discapacidades y ancianos en su vida diaria. Antes de una nueva tarea, informe al sujeto sobre el objetivo de la tarea y los comportamientos disponibles para el control.Estos resultados muestran el procedimiento de procesamiento de datos de EEG, incluyendo la extracción de la época de datos multicanal, el filtrado espacial de los datos utilizando coeficientes de CCA y el cálculo de la densidad espectral de potencia normalizada. Aquí se muestran las densidades espectrales de potencia normalizadas obtenidas en ensayos individuales en los que el sujeto mira fijamente diferentes objetivos parpadeantes. En los primeros experimentos de control en bucle cerrado, el ser humano Noah Robert fue controlado mediante señales cerebrales para caminar entre obstáculos y pulsar un interruptor de luz en la pared.Las señales cerebrales se procesaron en tiempo real. Para clasificar la intención de control del sujeto, este observó la retroalimentación de video en vivo y controló el comportamiento de Robert al mirar fijamente los estímulos correspondientes. Tras alcanzar el interruptor, el sujeto controló a Robert para encender la luz.En el segundo experimento, el robot humano fue guiado continuamente hacia la escalera siguiendo la señal de salida basándose en retroalimentación por video. Al encontrarse con un transeúnte, el sujeto controló al Robert para decir: «disculpe» y esperar a que el transeúnte cediera el paso. Luego, se controló al Robert para que caminara hacia la escalera.En el tercer experimento, el humanoide Robert fue controlado con movimientos completos del cuerpo para alcanzar y recoger el globo objetivo y entregárselo a la mano del sujeto, basándose en la retroalimentación de video en vivo. Dado que la intención humana se percibe mediante la interpretación de las señales EEG del tiempo LU, es fundamental verificar las conexiones eléctricas y la calidad de las señales EEG antes de realizar los experimentos. Otra cuestión común durante la adquisición de señales EEG es la interferencia o la presencia de artefactos y ruidos.Los lomos, en nuestro caso, dicha interferencia se mejora al reducir el movimiento corporal del sujeto y al utilizar la técnica multicanal basada en CCA. Nuestro método es eficaz para diseñar una variedad de procedimientos experimentales y es flexible para investigar algoritmos y técnicas para la interacción cerebro-robot, especialmente porque puede utilizarse fácilmente para explorar nuevas aplicaciones de BRI.

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

Investigación

JoVE Journal

Engineering

Ingeniería

Usamos un circuito cerrado volar-máquina para investigar los principios generales de control neuronal.

Una plataforma experimental para estudiar el comportamiento de circuito cerrado de interfaces cerebro-máquina

Recientemente, una gran cantidad de perspectivas han llegado disponible para el consumo humano-robot de sistemas interactivos. En este trabajo resumimos la integración de un nuevo dispositivo robótico con software de código abierto, que rápidamente se puede hacer posible una biblioteca de funciones interactivas. A continuación, esbozar una aplicación clínica para una aplicación de la neurorrehabilitación.

Haptic / Graphic Rehabilitación: La integración de un robot en un entorno virtual Biblioteca y su aplicación a la terapia de Carrera

La adaptación y el uso de un robot háptico en una fMRI 3T se describe.

Adaptación de un Robot Haptic en un fMRI 3T

En este artículo, se presenta un marco experimental para realizar experimentos de bucle cerrado, en el que se estudia el procesamiento de información (es decir, codificación y decodificación) y el aprendizaje de ensamblajes neuronales durante la interacción continua con un cuerpo robótico.

Experimentos Neuro-robótica de circuito cerrado para comprobar propiedades computacionales de Redes Neuronales

En este artículo se presenta una novedosa interfaz hombre-máquina de bajo costo para un sistema interactivo de rehabilitación del equilibrio después de un accidente cerebrovascular. El sistema integra sensores de bajo costo listos para usar hacia el paradigma de electroterapia impulsado por la voluntad. La interfaz de software de prueba de concepto se muestra en voluntarios sanos.

A-máquina humana integración de sensores de bajo coste con un sistema de estimulación eléctrica neuromuscular para la Rehabilitación de Balance post-accidente cerebrovascular

A continuación, describimos virtual mano y paradigmas ilusión de cara virtual que se pueden utilizar para estudiar relacionado con el cuerpo autopercepción / -representacion. Ya se han utilizado en varios estudios para demostrar que, en condiciones específicas, una mano o la cara virtual se pueden incorporar en la representación del cuerpo de uno, lo que sugiere que las representaciones del cuerpo son más bien flexible.

Creando ilusiones virtual a mano y Virtual-cara de investigar las auto-representación

Presentamos protocolos y métodos de análisis para construir interfaces coa adaptativas que transmiten, parametrizan, analizan y modifican las señales del cuerpo humano y del corazón en bucle cercano. Esta configuración interfaces señales derivadas de los sistemas nerviosos periféricos y centrales de la persona con entradas sensoriales externas para ayudar a realizar un seguimiento del cambio biofísico.

Control de proxy en tiempo real de señales periféricas re-parametrizadas utilizando una interfaz de bucle cercano

Se estima que 1 de cada 6 personas en todo el mundo sufrirá un accidente cerebrovascular a lo largo de su vida, lo que le causará una discapacidad a largo plazo, cuyos mecanismos de rehabilitación aún no se conocen bien. Este estudio propone un protocolo para evaluar la activación cerebral mediante espectroscopia funcional de infrarrojo cercano (fNIRS) durante una sesión de terapia robótica de miembros inferiores.

Un experimento que utiliza espectroscopía funcional de infrarrojo cercano y movimientos de apuntamiento multiarticular asistidos por robots de la extremidad inferior

Las imágenes motoras en un entorno de realidad virtual tienen amplias aplicaciones en los sistemas de interfaz cerebro-computadora. Este manuscrito describe el uso de avatares digitales personalizados que se asemejan a los participantes realizando movimientos imaginados por el participante en un entorno de realidad virtual para mejorar la inmersión y el sentido de propiedad del cuerpo.

Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

Este estudio presenta un sistema de interfaz cerebro-computadora (BCI) para pacientes con accidente cerebrovascular, que combina señales de electroencefalografía y electrooculografía para controlar una mano robótica de la extremidad superior, mejorando las actividades diarias. En la evaluación se utilizó el Test Bimanual de Berlín para el Ictus (BeBiTS).

Sistema robótico de extremidades superiores controlado por interfaz cerebro-computadora para mejorar las actividades diarias en pacientes con accidente cerebrovascular

Aprende el procedimiento experimental basado en SSVEP para la interacción cerebro-robot con robots humanoides usando señales EEG. Este método permite controlar robots en tiempo real para asistir personas mayores.

SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots

Explorar más videos