Name: Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual (Video) | JoVE Journal
Uploaded: 2024-05-10T15:00:00.000+00:00
Duration: 10 min 14 s
Description: Aprende a integrar EEG, imagen motora y realidad virtual para rehabilitación de miembros superiores. Este método utiliza avatares digitales personalizados para mejorar la inmersión y propiedad corporal en interfaces cerebro-computadora.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Los autores quieren agradecer a todos los participantes por su tiempo e implicación.

El presente estudio tiene como objetivo investigar la viabilidad de controlar un avatar 3D en tiempo real dentro de un entorno de realidad virtual utilizando señales de IM registradas a través de EEG. El estudio se centra en mejorar la inmersión y el sentido de propiedad del cuerpo mediante la personalización del avatar para que se parezca mucho al sujeto. El protocolo recibió la aprobación de la Junta de Revisión del Instituto de Tecnología de Vellore. Los participantes dieron su consentimiento informado por escrito después de revisar el propósito, los procedimientos y los riesgos potenciales del estudio.
1. Configuración experimental
NOTA: Asegúrese de que el sistema incorpore todos los componentes como se muestra en el diagrama de la configuración experimental en la Figura 1 (consulte la Tabla de Materiales para el equipo utilizado).
<ol><li>Desarrollo de avatares 3D<ol><li>Modelando el avatar<ol><li>El día antes de la recolección de datos, recopile múltiples fotografías faciales desde varios ángulos y medidas corporales precisas de cada participante.</li>
			<li>Haga clic en Software de modelado para abrirlo. Inmediatamente después de abrir, busque el control deslizante para Género. Ajuste este control deslizante para que coincida con el género del modelo que desea crear.</li>
			<li>Navega a la pestaña Modelado en la parte superior de la pantalla y haz clic en la pestaña para acceder a las opciones de personalización del cuerpo.</li>
			<li>Use los controles deslizantes debajo de varias secciones, como Torso, Brazos, Piernas, etc., para modelar el cuerpo. Concéntrese en las siguientes medidas básicas: altura, pecho/busto, cintura, caderas, longitud de las piernas y longitud de los brazos.</li>
			<li>Haga clic en la pestaña Pose/Animar y seleccione el esqueleto predeterminado para las animaciones básicas. Vaya al menú Archivos en la parte superior, seleccione Exportar y, a continuación, elija el. Formato MHX2 para compatibilidad con el software de animación. Asegúrese de seleccionar la opción Exportar con equipo para incluir el esqueleto. Elija una carpeta de destino, asigne un nombre al archivo y haga clic en Exportar.</li>
			<li>Abre el software de animación. Vaya a Importar &gt; de archivos y seleccione .mhx2 o el formato que desee. Navega hasta el archivo guardado, selecciónalo e impórtalo en el software.</li>
			<li>Ve al menú Editar, selecciona Preferencias &gt; Complementos y asegúrate de que el plugin adecuado para crear caras esté activado.</li>
			<li>En la ventana gráfica 3D, cambie al ajuste preestablecido de diseño proporcionado por el complemento o vaya al panel del complemento, generalmente ubicado en el estante de herramientas en el lado izquierdo.</li>
			<li>Haga clic en Crear una nueva cabeza en el panel del complemento para iniciar el modelo de cabeza. Utilice el botón Agregar foto para importar fotos del participante. Utilice los perfiles frontales y laterales para un modelado preciso.</li>
			<li>Siga las indicaciones para alinear los puntos de las fotos con los puntos correspondientes del modelo 3D. A continuación, el plugin ajustará el modelo de cabeza para que coincida con las características del participante. Una vez satisfecho con la semejanza, finalice el modelo de cabeza.</li>
			<li>Coloque manualmente el modelo de cabeza para alinearlo con el cuello del modelo de cuerpo. Ajusta la escala y la rotación de la cabeza para un ajuste perfecto.</li>
			<li>Utilice la herramienta Ajustar (Mayús+Tabulador) para alinear con precisión los vértices del cuello de la cabeza con los del cuerpo.</li>
			<li>Una vez alineados, une la cabeza y el cuerpo seleccionando ambas mallas, pulsando Ctrl+J para unirlas en un solo objeto.</li>
			<li>Importa o modela un par de bongos y colócalos frente al modelo a una altura adecuada.</li>
		</ol></li>
		<li>Animación del avatar<ol><li>Cambie al modo de pose para el modelo manipulado. En el fotograma 1, seleccione todos los huesos e inserte un fotograma clave (utilice la tecla I) para que LocRotScale registre sus posiciones iniciales.</li>
			<li>Avanza la línea de tiempo hasta el fotograma 30 para colocar la mano izquierda para golpear el bongó.</li>
			<li>Mueve y gira la armadura de la mano izquierda para simular golpear el bongó. Inserte un fotograma clave para estos huesos. Repita este proceso para devolver la manecilla a su posición inicial en el fotograma 60, insertando otro fotograma clave para completar la acción.</li>
			<li>Mueva la línea de tiempo al fotograma 90, donde la mano derecha comienza su acción. Al igual que con la mano izquierda, ajusta la posición y la rotación de la mano derecha para simular cómo golpear el otro bongó e insertar un fotograma clave.</li>
			<li>Vuelva a colocar la manecilla en su posición inicial e inserte un fotograma clave para finalizar el movimiento en el fotograma 150.</li>
			<li>Desplázate por la línea de tiempo para revisar la animación. Ajústelo según sea necesario para un movimiento más suave o una mejor sincronización entre las caladas del bongó. Guarde el archivo.</li>
		</ol></li>
	</ol></li>
	<li>Configuración del equipo<ol><li>Ensamble el sistema de adquisición de datos de EEG de 16 canales conectando el módulo Daisy con 8 canales de EEG en la parte superior de la placa con 8 canales de EEG.</li>
		<li>Conecte el electrodo de referencia a través de un cable divisor en Y al pin de referencia inferior de la placa Daisy y al pin de referencia inferior de la placa en la parte inferior, que están etiquetados como SRB.</li>
		<li>Conecte el electrodo de tierra al pin BIAS en la placa inferior.</li>
		<li>Conecte los 16 electrodos de EEG a las clavijas de la placa inferior etiquetadas como N1P-N8P y a las clavijas inferiores etiquetadas como N1P-N8P.</li>
		<li>Inserte los electrodos en la tapa sin gel en las ubicaciones etiquetadas que se adhieren al sistema internacional 10-20 para la colocación de electrodos con electrodos etiquetados como FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 y T4.</li>
		<li>Remoje las 18 esponjas provistas para los electrodos de EEG en una solución salina con 5 g de cloruro de sodio mezclados con 200 ml de agua del grifo durante 15 minutos.</li>
		<li>Inserte las esponjas empapadas en la parte inferior de cada electrodo para establecer contacto entre el cuero cabelludo y el electrodo.</li>
		<li>Haga que los participantes se sienten cómodamente en una habitación tranquila. Coloque el gorro de EEG sin gel en el cuero cabelludo del participante, asegurándose de que el gorro esté alineado correctamente para que se ajuste a las orejas del participante.</li>
		<li>Conecte el dongle USB a la computadora portátil. Abra la GUI de EEG, haga clic en el sistema de EEG, en la opción Fuente de datos, seleccione Serie (de Dongle), 16 canales y AUTO-CONNECT.</li>
		<li>Dentro de la pantalla de adquisición de datos, seleccione el widget de señal para comprobar la calidad de la señal de los electrodos conectados verificando un nivel de impedancia óptimo de &lt;10 kΩ en cada sitio de electrodo26.</li>
		<li>Si la impedancia es superior a 10 kΩ, agregue unas gotas de solución salina a la esponja debajo del electrodo. Después de la verificación de impedancia, cierre la GUI.</li>
		<li>Abra el software del servidor de adquisición, seleccione la placa de EEG adecuada en Controlador y haga clic en Conectar &gt; reproducir para establecer una conexión con el sistema de EEG.</li>
		<li>Prepare el casco de realidad virtual desinfectándolo con toallitas y colocándolo en la cabeza del participante sobre el gorro de EEG para facilitar una interacción inmersiva mientras captura los datos del EEG.</li>
	</ol></li>
	<li>Configuración del juego NOTA: Las siguientes instrucciones describen la configuración de dos escenarios de motor de juego mediante Open Sound Control (OSC): uno para el entrenamiento de imágenes motoras (feedforward) y otro para probar imágenes motoras (retroalimentación). El escenario de avance entrena a los usuarios en imágenes motoras a través de animaciones observadas desencadenadas por mensajes OSC. El escenario de retroalimentación prueba la eficacia de las imágenes motoras mediante la animación de movimientos imaginados por el usuario en función de las entradas OSC.<ol><li>Abra el software del motor del juego y seleccione Proyecto de entrenamiento de imágenes motoras. Habilite la compatibilidad con realidad virtual: vaya a Editar &gt; configuración del proyecto &gt; Configuración del reproductor &gt; XR, marque Compatible con realidad virtual y asegúrese de que el casco de realidad virtual aparezca en SDK de realidad virtual.</li>
		<li>Elimine la cámara predeterminada y arrastre la cámara de realidad virtual a la escena desde el paquete de integración de realidad virtual.</li>
		<li>Coloque el archivo de animación importado en la escena. Ajuste la escala y la orientación según sea necesario. Asegúrese de que el GameObject OSCListener con scripts preescritos esté configurado para desencadenar animaciones de modelos para movimientos de la mano izquierda y derecha basados en mensajes OSC, simulando la acción de golpear el bongó para el entrenamiento de imágenes motoras.</li>
		<li>Abra Configuración de archivos &gt; compilación en el software del motor del juego. Seleccione PC, Mac y Linux independiente, seleccione Windows de destino y, a continuación, haga clic en Compilar y ejecutar.</li>
		<li>Para el proyecto de pruebas de imágenes motoras, realice pasos similares a los del proyecto de entrenamiento de imágenes motoras. Utilice el GameObject OSCListener configurado con scripts diseñados para recibir señales OSC indicativas de los movimientos imaginarios de la mano del participante, activando las animaciones correspondientes para el proyecto de prueba.</li>
	</ol></li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66859/66859fig01.jpg"> Figura 1: Configuración de VR-BCI. Toda la configuración de VR-BCI muestra al participante con el casco de realidad virtual y el gorro de EEG. Los participantes vieron el avatar 3D personalizado en el entorno virtual y controlaron su acción utilizando señales cerebrales transmitidas a la computadora de forma inalámbrica. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig01large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
2. Diseño experimental
<ol><li>Etapa de verificación de la señal<ol><li>Abra la herramienta de software para diseñar y ejecutar escenarios de imágenes de motor, vaya a Archivo y cargue los seis escenarios de Motor-Imagery-BCI etiquetados como Verificación de señal, Adquisición, Capacitación de CSP, Capacitación de clasificador, Pruebas y Matriz de confusión.</li>
		<li>Navegue hasta el escenario de verificación de señal. Aplique un filtro de paso de banda entre 1 y 40 Hz con un orden de filtro de 4 a las señales sin procesar utilizando cajas de diseño para un procesamiento de señal optimizado.</li>
	</ol></li>
	<li>Etapa de formación<ol><li>Guíe e instruya a los participantes para que se sometan a tareas de imágenes motoras, imaginando los movimientos de las manos en respuesta a señales visuales.</li>
		<li>Abra el archivo para el entrenamiento de imágenes motoras y muestre el avatar 3D preparado de pie sobre un conjunto de bongos a través del casco de realidad virtual.</li>
		<li>Navegue hasta el escenario de adquisición y haga doble clic en el estimulador de imágenes de motor de Graz para configurar el cuadro.</li>
		<li>Configure 50 ensayos de 5 s (cue-1,25 s y MI-3,75 s) para los movimientos de la mano izquierda y derecha, incorporando un período de referencia de 20 s seguido de intervalos de descanso de 10 s después de cada 10 intentos para evitar la fatiga mental.</li>
		<li>Configure las pruebas de la mano izquierda y derecha para que sean aleatorias y tenga una señal antes de la prueba que indique la mano que se va a imaginar.</li>
		<li>Conecte una caja OSC con la dirección IP y el puerto para transmitir la señal de la mano que se va a imaginar al programa del motor del juego de entrenamiento de imágenes motoras.</li>
		<li>Pida a los participantes que imaginen ejecutando el movimiento de su mano junto con el avatar 3D siguiendo el mismo ritmo que el avatar mientras golpea el bongó con la mano correspondiente, siguiendo una señal de texto que muestra qué mano se debe imaginar.</li>
	</ol></li>
	<li>Capacitación en CSP y LDA<ol><li>Después de la adquisición, ejecute el escenario de entrenamiento de CSP para analizar los datos de EEG de la etapa de adquisición y calcular patrones espaciales comunes (CSP), creando filtros para distinguir entre imágenes de la izquierda y de la derecha.</li>
		<li>Después del entrenamiento de CSP, navegue hasta el escenario de entrenamiento del clasificador y ejecútelo para utilizar el análisis discriminante lineal (LDA) mediante los filtros de CSP para una clasificación de tareas eficiente, preparando el sistema para el control de avatares en tiempo real.</li>
	</ol></li>
	<li>Etapa de prueba<ol><li>Navegue hasta el escenario de prueba para que los participantes controlen sus avatares 3D en tiempo real utilizando la tecnología de interfaz cerebro-computadora (BCI).</li>
		<li>Cargue en las casillas correspondientes los clasificadores entrenados durante el escenario anterior con los datos de EEG capturados mientras los participantes imaginaban los movimientos de las manos para interpretar estas acciones imaginadas en tiempo real.</li>
		<li>Asegúrese de que el sistema de EEG y la configuración de VR estén operativos y configurados correctamente según la configuración de la etapa de entrenamiento.</li>
		<li>Informar a los participantes sobre el procedimiento de prueba, enfatizando la necesidad de imaginar claramente los movimientos de la mano (golpear el bongo con la mano izquierda o derecha) según lo indiquen las señales de texto.</li>
		<li>Al igual que en la etapa de entrenamiento, se realizan 20 ensayos para cada participante, divididos a partes iguales entre imaginar movimientos de la mano izquierda y derecha y aleatorios.</li>
		<li>Conecte y configure una caja OSC para transmitir la información de la señal que se mostrará como texto que indica qué mano se visualizará en el programa del motor del juego.</li>
		<li>Conéctese a otra caja OSC para transmitir el valor previsto para los movimientos de la mano izquierda y derecha para que el programa del motor del juego reproduzca la animación correspondiente basada en la mano imaginada por el participante.</li>
		<li>Ejecute el escenario de prueba. Ejecute el programa del motor del juego Motor Imagery Testing.</li>
	</ol></li>
</ol>3. Recopilación y análisis de datos
<ol><li>Registre continuamente los datos de EEG y las salidas del clasificador durante las etapas de adquisición y prueba del experimento, con datos muestreados a 125 Hz.</li>
	<li>Navegue hasta el escenario de Matriz de confusión y cargue el archivo de EEG adquirido en el cuadro etiquetado como Lector de flujo genérico para cada participante y para las etapas de adquisición y entrenamiento.</li>
	<li>Ejecute el escenario para obtener la matriz de confusión y evaluar la precisión con la que el sistema BCI interpreta las señales de imágenes motoras.</li>
	<li>Recopile comentarios de los participantes sobre su experiencia con la facilidad de uso, las capacidades de control, el nivel de inmersión y la comodidad del avatar mientras usa el gorro de EEG y el auricular de realidad virtual.</li>
</ol>

Imágenes motoras utilizando avatares digitales VR en un sistema de interfaz cerebro-computadora

<ol><li>Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Separability+of+motor+imagery+of+the+self+from+interpretation+of+motor+intentions+of+others+at+the+single+trial+level%3A+An+eeg+study%5BTitle%5D)+AND+%22J.+NeuroEng.+Rehabil%22%5BJournal%5D)">Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study.</a> J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).</li>
<li>Lorey, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+simulation+of+actions%3A+Effector-versus+action-specific+motor+maps+within+the+human+premotor+and+posterior+parietal+area%5BTitle%5D)+AND+%22Hum.+Brain+Mapp%22%5BJournal%5D)">Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area.</a> Hum. Brain Mapp. 35 (4), 1212-1225 (2014).</li>
<li>Ehrsson, H. H., Geyer, S., Naito, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagery+of+voluntary+movement+of+fingers%2C+toes%2C+and+tongue+activates+corresponding+body-part-specific+motor+representations%5BTitle%5D)+AND+%22J+Neurophysiol%22%5BJournal%5D)">Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations.</a> J Neurophysiol. 90 (5), 3304-3316 (2003).</li>
<li>Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain+areas+involved+in+the+control+of+speed+during+a+motor+sequence+of+the+foot%3A+Real+movement+versus+mental+imagery%5BTitle%5D)+AND+%22J+Neuroradiol%22%5BJournal%5D)">Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery.</a> J Neuroradiol. 40 (4), 267-280 (2013).</li>
<li>Pfurtscheller, G., Neuper, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Motor+imagery+activates+primary+sensorimotor+area+in+humans%5BTitle%5D)+AND+%22Neurosci+Lett%22%5BJournal%5D)">Motor imagery activates primary sensorimotor area in humans.</a> Neurosci Lett. 239 (2-3), 65-68 (1997).</li>
<li>Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+%28de%29synchronization+%28erd%2Fers%29+during+motor+imagery+tasks%3A+Implications+for+brain-computer+interfaces%5BTitle%5D)+AND+%22Int.+J.+Ind.+Ergon%22%5BJournal%5D)">Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces.</a> Int. J. Ind. Ergon. 41 (5), 428-436 (2011).</li>
<li>Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu+and+beta+rhythm+topographies+during+motor+imagery+and+actual+movements%5BTitle%5D)+AND+%22Brain+Topogr%22%5BJournal%5D)">Mu and beta rhythm topographies during motor imagery and actual movements.</a> Brain Topogr. 12 (3), 177-186 (2000).</li>
<li>Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+motor+events%3A+A+neurophysiological+study%5BTitle%5D)+AND+%22Exp+Brain+Res%22%5BJournal%5D)">Understanding motor events: A neurophysiological study.</a> Exp Brain Res. 91 (1), 176-180 (1992).</li>
<li>Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+mirror+neuron+system+and+its+function+in+humans%5BTitle%5D)+AND+%22Anat+Embryol+%28Berl%29%22%5BJournal%5D)">The mirror neuron system and its function in humans.</a> Anat Embryol (Berl). 210 (5-6), 419-421 (2005).</li>
<li>Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+cerebral+reorganization+following+motor+sequence+learning+through+mental+practice+with+motor+imagery%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery.</a> Neuroimage. 20 (2), 1171-1180 (2003).</li>
<li>Cramer, S. C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+neuroplasticity+for+clinical+applications%5BTitle%5D)+AND+%22Brain%22%5BJournal%5D)">Harnessing neuroplasticity for clinical applications.</a> Brain. 134, Pt 6 1591-1609 (2011).</li>
<li>Nojima, I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+motor+plasticity+induced+by+mirror+visual+feedback%29%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Human motor plasticity induced by mirror visual feedback).</a> J Neurosci. 32 (4), 1293-1300 (2012).</li>
<li>Slater, M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSlater%2C+M+%22Implicit+learning+through+embodiment+in+immersive+virtual+reality%22">Implicit learning through embodiment in immersive virtual reality</a>. , Springer. (2017).</li>
<li>Tham, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+virtual+reality%3A+Presence%2C+embodiment%2C+and+professional+practice%5BTitle%5D)+AND+%22IEEE+Trans.+Prof.+Commun%22%5BJournal%5D)">Understanding virtual reality: Presence, embodiment, and professional practice.</a> IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).</li>
<li>Choi, J. W., Kim, B. H., Huh, S., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observing+actions+through+immersive+virtual+reality+enhances+motor+imagery+training%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">Observing actions through immersive virtual reality enhances motor imagery training.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).</li>
<li>Lakshminarayanan, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effect+of+combining+action+observation+in+virtual+reality+with+kinesthetic+motor+imagery+on+cortical+activity%5BTitle%5D)+AND+%22Front+Neurosci%22%5BJournal%5D)">The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity.</a> Front Neurosci. 17, 1201865(2023).</li>
<li>Juliano, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Embodiment+is+related+to+better+performance+on+a+brain-computer+interface+in+immersive+virtual+reality%3A+A+pilot+study%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study.</a> Sensors. 20 (4), 1204(2020).</li>
<li>Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effects+of+subthreshold+vibratory+noise+on+cortical+activity+during+motor+imagery%5BTitle%5D)+AND+%22Motor+Control%22%5BJournal%5D)">The effects of subthreshold vibratory noise on cortical activity during motor imagery.</a> Motor Control. 27 (3), 559-572 (2023).</li>
<li>Cole, S. W., Yoo, D. J., Knutson, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactivity+and+reward-related+neural+activation+during+a+serious+videogame%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Interactivity and reward-related neural activation during a serious videogame.</a> PLoS One. 7 (3), e33909(2012).</li>
<li>Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+combined+impact+of+virtual+reality+neurorehabilitation+and+its+interfaces+on+upper+extremity+functional+recovery+in+patients+with+chronic+stroke%5BTitle%5D)+AND+%22Stroke%22%5BJournal%5D)">The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke.</a> Stroke. 43 (10), 2720-2728 (2012).</li>
<li>Turolla, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+the+rehabilitation+of+the+upper+limb+motor+function+after+stroke%3A+A+prospective+controlled+trial%5BTitle%5D)+AND+%22J+Neuroeng+Rehabil%22%5BJournal%5D)">Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial.</a> J Neuroeng Rehabil. 10, 85(2013).</li>
<li>Isaacson, B. M., Swanson, T. M., Pasquina, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+use+of+a+computer-assisted+rehabilitation+environment+%28caren%29+for+enhancing+wounded+warrior+rehabilitation+regimens%5BTitle%5D)+AND+%22J+Spinal+Cord+Med%22%5BJournal%5D)">The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens.</a> J Spinal Cord Med. 36 (4), 296-299 (2013).</li>
<li>Alchalabi, B., Faubert, J., Labbe, D. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EEG+can+be+used+to+measure+embodiment+when+controlling+a+walking+self-avatar%5BTitle%5D)+AND+%22IEEE+Conf.+on+Virtual+Reality+and+3D+User+Interfaces+%28VR%29%22%5BJournal%5D)">EEG can be used to measure embodiment when controlling a walking self-avatar.</a> IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).</li>
<li>Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+eeg-based+brain-computer+interface+to+a+virtual+avatar+enhances+cortical+involvement+in+human+treadmill+walking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking.</a> Sci Rep. 7 (1), 8895(2017).</li>
<li>Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+brain-computer+interface+to+control+an+avatar+in+a+virtual+reality+environment%5BTitle%5D)+AND+%225th+ISSNIP-IEEE+Biosignals+and+Biorobotics+Conf.+%28BRC%29%22%5BJournal%5D)">Using brain-computer interface to control an avatar in a virtual reality environment.</a> 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).</li>
<li>Hinrichs, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+between+a+wireless+dry+electrode+eeg+system+with+a+conventional+wired+wet+electrode+eeg+system+for+clinical+applications%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications.</a> Scientific reports. 10 (1), 5218(2020).</li>
<li>Škola, F., Tinková, S., Liarokapis, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Progressive+training+for+motor+imagery+brain-computer+interfaces+using+gamification+and+virtual+reality+embodiment%5BTitle%5D)+AND+%22Front+Human+Neurosci%22%5BJournal%5D)">Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment.</a> Front Human Neurosci. 13, 329(2019).</li>
</ol>

Los autores no tienen ningún conflicto de intereses que revelar.

La aplicación de la IM junto con la tecnología de realidad virtual ofrece una vía prometedora para la rehabilitación al aprovechar los mecanismos naturales del cerebro para la planificación y ejecución motora. La capacidad de la IM para inducir la desincronización relacionada con eventos en bandas de frecuencia cerebrales específicas, reflejando la actividad neuronal del movimiento físico 2,3,4, proporciona un marco sólido para involucrar y fortalecer las redes neuronales involucradas en el control motor8. Este proceso se ve reforzado por la calidad inmersiva de la realidad virtual, que no solo amplifica la sensación de presencia y propiedad del cuerpo, sino que también facilita la visualización de movimientos, enriqueciendo así la experiencia de IM16.
El desarrollo de avatares 3D personalizados que se asemejan mucho a los sujetos que representan marca una innovación notable en este campo 13,14,15. El enfoque está conceptualmente alineado con el trabajo de Skola et al.27 sobre el entrenamiento co-adaptativo MI-BCI utilizando tareas gamificadas en un entorno de realidad virtual. Sin embargo, este protocolo introduce una diferenciación significativa al emplear un avatar 3D completo, que refleja fielmente la apariencia del participante, a diferencia de la perspectiva de punto de vista centrada en las manos empleada por Skola et al. Al proporcionar una representación visual de los movimientos imaginarios del usuario en tiempo real, estos avatares profundizan la inmersión y refuerzan la conexión entre los movimientos imaginados y los reales18. Se espera que el enfoque detallado en este manuscrito fomente patrones de ERD más pronunciados, lo que conducirá a una adaptación y recuperación neuronal más efectivas.
Sin embargo, la transición de las metodologías de BCI fuera de línea al control en tiempo real de los avatares presenta desafíos, particularmente para garantizar la precisión y la capacidad de respuesta del sistema a los movimientos imaginados del usuario. El sistema garantiza la computación en tiempo real a través de una configuración que involucra el sistema de adquisición de datos EEG conectado a una computadora portátil, que luego interactúa con un auricular Oculus Rift-S VR. Esta configuración permite la integración perfecta de la captura de datos de EEG con la inmersión en realidad virtual, facilitada por el servidor de adquisición y el motor de juego para la retroalimentación visual y la interacción a través de un avatar 3D desarrollado a medida.
La latencia general del sistema se puede minimizar de manera eficiente en un escenario de integración BCI-VR aprovechando una computadora portátil para juegos equipada con una tarjeta gráfica de gama alta y empleando mensajes livianos a través de OSC para señales y valores de predicción de manos. El uso de una computadora portátil para juegos garantiza un procesamiento rápido de los datos de EEG adquiridos a través de la placa de EEG, con una digitalización inicial y una latencia de transmisión mantenida por debajo de 5 ms. Se puede esperar que el procesamiento y la clasificación posteriores de la señal contribuyan con una latencia adicional de aproximadamente 20-40 ms, teniendo en cuenta tanto el filtrado de señales como la ejecución de algoritmos como CSP para la extracción de características. La comunicación entre el diseñador de escenarios y el motor del juego, facilitada por OSC, que transmite señales numéricas simples para los movimientos de la mano izquierda y la derecha, está diseñada para una sobrecarga mínima, probablemente no agregue más de 5-10 ms de latencia. El procesamiento de estos comandos por parte del motor del juego, gracias a la eficiencia computacional de la tarjeta gráfica, sería rápido, contribuyendo con otro retraso de menos de 10 ms antes de renderizar la retroalimentación visual en el entorno de realidad virtual proporcionada por el casco de realidad virtual, que tiene como objetivo mantener la latencia por debajo de los 20 ms. En conjunto, estos componentes se sinergizan para mantener la latencia total del sistema dentro de un rango deseable de 45 a 75 ms, lo que garantiza una capacidad de respuesta en tiempo real crucial para las experiencias de realidad virtual inmersivas y las aplicaciones BCI efectivas.
Además, los participantes recibieron suficientes pruebas de práctica como una forma de módulo tutorial para familiarizarse con la configuración y el ritmo de realidad virtual del avatar durante la etapa de entrenamiento y usar sus pensamientos para controlar el avatar 3D en la etapa de prueba. El énfasis en la verificación de la calidad de la señal, el uso de CSP y LDA para la clasificación de tareas y la fase de prueba detallada son fundamentales para el éxito del control de avatar en tiempo real.
Se prevé que los resultados de este estudio contribuyan al campo al demostrar la viabilidad y la eficacia del uso del control BCI en tiempo real de avatares 3D personalizados para la rehabilitación. Al comparar la precisión de la detección de la intención motora entre la fase de entrenamiento de imágenes motoras y las pruebas en tiempo real, el estudio proporcionará información valiosa sobre el potencial de esta tecnología para mejorar los resultados de la rehabilitación. Además, los comentarios de los participantes sobre la facilidad de control y el nivel de inmersión experimentado informarán los desarrollos futuros en las tecnologías BCI y VR, con el objetivo de crear interfaces de rehabilitación más atractivas y efectivas.
Los avances en las tecnologías BCI y VR abren nuevas posibilidades para protocolos de rehabilitación que sean más personalizados, atractivos y efectivos. Las investigaciones futuras deberían centrarse en refinar la tecnología para el control en tiempo real de avatares, explorar el uso de algoritmos de aprendizaje automático más sofisticados para la clasificación de señales y ampliar la aplicación de este enfoque a una gama más amplia de afecciones neurológicas. Además, se necesitan estudios longitudinales para evaluar el impacto a largo plazo de este método de rehabilitación en la recuperación funcional y la calidad de vida de las personas con deficiencias neurológicas.
Si bien la integración de la IM con la tecnología de realidad virtual en la rehabilitación es muy prometedora, hay varias limitaciones que merecen atención. Existe un rango significativo en la capacidad de los individuos para generar señales claras de IM y sus respuestas neuronales a las intervenciones de IM y RV. Esta variabilidad significa que la eficacia del proceso de rehabilitación puede diferir ampliamente entre los pacientes, lo que hace que la personalización de la terapia para adaptarse a las diferencias individuales sea un desafío sustancial. Además, lograr una alta precisión y capacidad de respuesta en el control en tiempo real de los avatares es una tarea compleja. Los retrasos o errores en la interpretación de las señales de IM pueden interrumpir la experiencia inmersiva, lo que puede reducir la eficacia del proceso de rehabilitación. Si bien la tecnología de realidad virtual puede mejorar la inmersión y el compromiso, también puede provocar molestias o mareos para algunos usuarios, lo que afecta su capacidad para participar en sesiones prolongadas y, en consecuencia, el éxito general de la terapia.
En conclusión, la integración de BCI y VR, ejemplificada por el control en tiempo real de avatares 3D personalizados utilizando señales de IM, representa un enfoque de vanguardia para la rehabilitación neurológica. El protocolo actual no solo subraya la viabilidad técnica de dicha integración, sino que también prepara el escenario para una nueva era de rehabilitación en la que la tecnología y la neurociencia convergen para desbloquear todo el potencial de la capacidad de recuperación y adaptación del cerebro humano.

Los paradigmas de rehabilitación para pacientes con discapacidades neurológicas están experimentando un cambio transformador con la integración de tecnologías avanzadas como las interfaces cerebro-computadora (BCI) y la realidad virtual inmersiva (VR), que ofrecen un método más matizado y efectivo para fomentar la recuperación. Las imágenes motoras (IM), la técnica central de la rehabilitación basada en la BCI, implican el ensayo mental de movimientos físicos sin una ejecución motora real1. El infarto de miocardio explota un mecanismo neuronal en el que imaginar un movimiento desencadena un patrón de actividad cerebral que se asemeja mucho al de la propia acción física 2,3,4. Específicamente, la participación en el IM conduce a un fenómeno conocido como desincronización relacionada con eventos (ERD) en las bandas de frecuencia alfa (8-13 Hz) y beta (13-25 Hz) de la actividad eléctrica del cerebro 5,6,7. La ERD es indicativa de una supresión de los ritmos cerebrales basales, un patrón que también se observa durante el movimiento real, proporcionando así un sustrato neural para el uso de la IM dentro de los marcos de rehabilitación asistida por BCI7. Tal similitud en la activación cortical entre el IM y el movimiento físico sugiere que el IM puede estimular eficazmente las redes neuronales involucradas en el control motor, lo que lo convierte en una herramienta valiosa para los pacientes con déficits motores8. Además, la práctica de la IM se ha extendido más allá del mero ensayo mental para incluir estrategias de observación de la acción9. Observar el movimiento de las partes del cuerpo relacionadas con la tarea o las acciones de los demás puede activar la red de neuronas espejo (MNN), un grupo de neuronas que responden tanto a la observación como ala ejecución de la acción. Se ha demostrado que la activación de la MNN a través de la observación induce plasticidad cortical, como lo demuestran varias modalidades de neuroimagen, incluida la resonancia magnética funcional10, la tomografía por emisión de positrones11 y la estimulación magnética transcraneal12. La evidencia apoya la idea de que el entrenamiento de la IM, mejorado por la observación de la acción, puede conducir a una adaptación y recuperación neuronal significativas en los individuos afectados.
La tecnología de realidad virtual ha revolucionado el ámbito de la rehabilitación basada en el IM al ofrecer un entorno inmersivo que mejora el sentido de propiedad del cuerpo y difumina las distinciones entre el mundo real y el virtual 13,14,15. La calidad inmersiva de la RV la convierte en una herramienta eficaz para la observación de la acción y la práctica de la imaginación motora, ya que permite a los participantes percibir el entorno virtual como real15. Las investigaciones han demostrado que los dispositivos de realidad virtual tienen un efecto más pronunciado en el entrenamiento de IM en comparación con las pantallas de monitor 2D tradicionales15,16. Tales hallazgos se evidencian por una mayor actividad neuronal, como el aumento de las relaciones de amplitud de ERD en la corteza sensoriomotora, destacando los beneficios de niveles de inmersión más altos en la estimulación de la actividad cerebral durante los ejercicios de IM guiados visualmente16. El sistema ayuda a mejorar el rendimiento del IM para tareas que involucran movimientos de brazos o extremidades al proporcionar retroalimentación directa, mejorando así el proceso de rehabilitación16,17. La sinergia entre la IM y la RV hace hincapié en la integración de las actividades sensoriales, perceptivas, cognitivas y motoras18,19. La combinación ha sido particularmente beneficiosa para los sobrevivientes de accidentes cerebrovasculares20,21 y los veteranos de guerra22, ya que los estudios han demostrado que la integración de la RV en los protocolos de rehabilitación basados en el IM puede reducir significativamente el tiempo de rehabilitación y mejorar los resultados de recuperación. La característica única de la RV en la rehabilitación radica en su capacidad para crear una sensación de presencia dentro de un entorno virtual específicamente diseñado, mejorando la experiencia de rehabilitación que se incrementa aún más con la inclusión de avatares virtuales que representan el cuerpo del usuario, que se ha utilizado cada vez más en los estudios de rehabilitación motora23. Estos avatares ofrecen una representación tridimensional realista de los movimientos de las extremidades, lo que ayuda en el infarto de miocardio e impacta significativamente en la activación de la corteza motora. Al permitir que los participantes visualicen a su yo virtual realizando tareas específicas, la realidad virtual no solo enriquece la experiencia de IM, sino que también fomentaun proceso de reorganización y recuperación neuronal más rápido y efectivo. La implementación de avatares virtuales y entornos simulados en el entrenamiento de IM enfatiza el uso natural e integrado de cuerpos virtuales dentro de mundos virtuales inmersivos.
A pesar de las notables ventajas del control basado en BCI de avatares 3D en IM para la rehabilitación, sigue existiendo una limitación significativa en el uso predominante de metodologías fuera de línea. En la actualidad, la mayoría de las aplicaciones de BCI implican la captura de datos de electroencefalografía (EEG) pregrabados que posteriormente se utilizan para manipular un avatar24,25. Incluso en escenarios en los que se logra el control de avatares en tiempo real, estos avatares suelen ser genéricos y no se parecen a los participantes que representan23. Este enfoque genérico pierde una oportunidad crítica para profundizar la inmersión y el sentido de propiedad del cuerpo, que es crucial para una rehabilitación efectiva24. La creación de un avatar 3D que refleje la semejanza exacta del sujeto podría mejorar significativamente la experiencia inmersiva de la experiencia16. Al visualizarse a sí mismos en el mundo virtual, los participantes podrían fomentar una conexión más fuerte entre sus movimientos imaginarios y reales, lo que podría conducir a patrones de ERD más pronunciados y, por lo tanto, a una adaptacióny recuperación neuronal más efectivas. Al avanzar hacia el control en tiempo real de avatares 3D personalizados, el campo de BCI y VR puede mejorar significativamente los paradigmas de rehabilitación, ofreciendo un método más matizado, atractivo y eficaz para la recuperación del paciente.
El presente manuscrito presenta la creación, el diseño y los aspectos tecnológicos tanto del hardware como del software del control BCI en tiempo real basado en RV de avatares 3D, destacando sus resultados innovadores que apoyan su integración en entornos de rehabilitación motora. El sistema propuesto utilizará electroencefalografía (EEG) para capturar señales de imágenes motoras generadas por el sujeto, que luego se utilizarán para controlar los movimientos y acciones del avatar en tiempo real. El enfoque actual combinará las capacidades avanzadas de la tecnología de realidad virtual con la precisión del EEG en el reconocimiento e interpretación de la actividad cerebral relacionada con los movimientos imaginarios, con el objetivo de crear una interfaz más atractiva y efectiva para que los usuarios interactúen con los entornos digitales a través del poder de sus pensamientos.

<table><tbody><tr><td>Portátil Alienware Portátil</td> para juegos <td>Dell</td><td></td><td>de gama alta con tarjeta gráfica GTX1070</td></tr><tr><td>Oculus Rift-S Auriculares VR</td><td>Meta</td><td></td><td>Auriculares</td></tr><tr><td>OpenBCI Cyton Daisy</td> Sistema <td>de EEG</td><td>OpenBCI</td><td></td></tr><tr><td>OpenBCI Gorra sin gel</td><td>OpenBCI OpenBCI</td><td></td><td>Gorro sin gel para colocar los electrodos de EEG sobre el cuero cabelludo del participante</td></tr></tbody></table>

rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

Motor Imagery Performance Through Embodied Digital Twins in a Virtual Reality-Enabled Brain-Computer Interface Environment

Este estudio presenta un marco innovador para la rehabilitación neurológica mediante la integración de interfaces cerebro-computadora (BCI) y tecnologías de realidad virtual (VR) con la personalización de avatares tridimensionales (3D). Los enfoques tradicionales de la rehabilitación a menudo no logran involucrar completamente a los pacientes, principalmente debido a su incapacidad para brindar una experiencia profundamente inmersiva e interactiva. Esta investigación se esfuerza por llenar este vacío mediante la utilización de técnicas de imágenes motoras (MI), donde los participantes visualizan movimientos físicos sin una ejecución real. Este método aprovecha los mecanismos neuronales del cerebro, activando las áreas involucradas en la ejecución del movimiento al imaginar movimientos, facilitando así el proceso de recuperación. La integración de las capacidades inmersivas de la realidad virtual con la precisión de la electroencefalografía (EEG) para capturar e interpretar la actividad cerebral asociada con movimientos imaginarios forma el núcleo de este sistema. Los gemelos digitales en forma de avatares 3D personalizados se emplean para mejorar significativamente la sensación de inmersión en el entorno virtual. Este mayor sentido de encarnación es crucial para una rehabilitación eficaz, con el objetivo de reforzar la conexión entre el paciente y su contraparte virtual. Al hacerlo, el sistema no solo tiene como objetivo mejorar el rendimiento de las imágenes motoras, sino que también busca brindar una experiencia de rehabilitación más atractiva y eficaz. A través de la aplicación en tiempo real de BCI, el sistema permite la traducción directa de los movimientos imaginados en acciones virtuales realizadas por el avatar 3D, ofreciendo una retroalimentación inmediata al usuario. Este bucle de retroalimentación es esencial para reforzar las vías neuronales implicadas en el control motor y la recuperación. El objetivo final del sistema desarrollado es mejorar significativamente la eficacia de los ejercicios de imágenes motoras haciéndolos más interactivos y sensibles a los procesos cognitivos del usuario, allanando así un nuevo camino en el campo de la rehabilitación neurológica.

Los resultados mostrados son de 5 individuos que siguieron el protocolo descrito anteriormente. Un total de 5 adultos sanos (3 mujeres) con edades comprendidas entre los 21 y los 38 años participaron en el estudio.
En la Figura 2 se muestra el rendimiento de la clasificación individual para cada participante tanto en el entrenamiento de imágenes motoras como en las condiciones de prueba. Se calculó una matriz de confusión promedio para todos los sujetos para evaluar la precisión del clasificador en la distinción entre señales de IM izquierda y derecha durante las sesiones de entrenamiento y prueba (ver Figura 3).
Los pesos de CSP calculados para las imágenes motoras izquierda y derecha durante la sesión de entrenamiento se proyectaron como un patrón topográfico para un participante representativo en la Figura 4A. Además, se realizó un análisis de tiempo-frecuencia para el mismo participante sobre los datos de EEG recogidos del electrodo C4, que se colocó sobre el área sensoriomotora derecha contralateral correspondiente a la mano izquierda, y el electrodo C3, ubicado sobre el área sensoriomotora izquierda para la mano derecha. Los gráficos de tiempo-frecuencia para identificar perturbaciones espectrales relacionadas con eventos (ERSP), que revelan cómo la amplitud de las frecuencias que van de 8 a 30 Hz cambia dinámicamente con el tiempo durante una época, se muestran en la Figura 4B en la sesión de entrenamiento de imágenes motoras. Centrándose en las bandas alfa (8-12 Hz) y beta (13-30 Hz), los ERSP para cada época se normalizaron dividiéndolos por sus espectros de referencia, y se calculó un ERSP promedio a partir de estos valores normalizados.
Además, los comentarios de los participantes fueron en gran medida positivos sobre la comodidad y la facilidad de uso del gorro de EEG y los auriculares de realidad virtual. Los participantes estaban especialmente entusiasmados con el control en tiempo real de sus avatares 3D. Sin embargo, los participantes sintieron que la acción de golpear el bongó podría ir acompañada de una retroalimentación sonora para una mejor inmersión.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66859/66859fig02.jpg"> Figura 2: Porcentajes de precisión para cada participante durante las sesiones de entrenamiento y prueba de imágenes motoras. La tasa de verdaderos positivos (TP) muestra la proporción de señales de imágenes motoras (MI) que el modelo clasificador identificó correctamente como señales de MI. La tasa de falsos positivos (FP) indica la frecuencia con la que las señales de IM izquierda se clasificaron erróneamente como señales de IM derechas. La tasa de falsos negativos (FN) revela la proporción de señales reales de IM izquierdo que el modelo no pudo detectar. Por último, la tasa negativa verdadera (TN) indica la proporción de señales de IM derecha que el modelo reconoció con precisión como tales. S1, S2, S3, S4 y S5 denota los cinco participantes. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig02large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66859/66859fig03.jpg"> Figura 3: Matrices de confusión promedio del rendimiento de la clasificación durante las sesiones de entrenamiento y prueba de imágenes motoras. La precisión promedio general refleja la capacidad del modelo para clasificar correctamente las señales de IM izquierda y derecha. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig03large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66859/66859fig04.jpg"> Figura 4: Filtros CSP, patrones y gráficos de tiempo-frecuencia para ambas manos durante la sesión de entrenamiento de imágenes motoras para un participante representativo. (A) La figura muestra los filtros CSP para S1 que diferencian al máximo entre las dos clases (izquierda y derecha) en función de la varianza. (B) El gráfico de tiempo-frecuencia para S1. Las regiones azules muestran la desincronización relacionada con el evento. A los 0 ms, se mostró la señal para imaginar la mano izquierda o derecha durante una duración de 1250 ms. Siguiendo la señal, el participante imaginó el movimiento de golpeo del bongó con la mano correspondiente. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig04large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>

Las imágenes motoras en un entorno de realidad virtual tienen amplias aplicaciones en los sistemas de interfaz cerebro-computadora. Este manuscrito describe el uso de avatares digitales personalizados que se asemejan a los participantes realizando movimientos imaginados por el participante en un entorno de realidad virtual para mejorar la inmersión y el sentido de propiedad del cuerpo.

Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

This study introduces an innovative framework for neurological rehabilitation by integrating brain-computer interfaces (BCI) and virtual reality (VR) ...

motor-imagery-performance-through-embodied-digital-twins-virtual

Research

Investigación

JoVE Journal

Bioengineering

Bioingeniería

En este vídeo, que muestran los pasos necesarios para realizar una prueba de interfaz cerebro-ordenador, incluyendo la creación de la tapa del EEG, la calibración del sistema, y ​​la capacitación del usuario para mover un cursor en dos dimensiones con movimientos imaginarios.

El uso de un EEG basado en interfaz cerebro-ordenador para el movimiento del cursor virtual con BCI2000

En este artículo se muestra un diseño experimental en el que todo el cuerpo los personajes animados se utilizan en combinación con la resonancia magnética funcional (fMRI) para investigar los correlatos neurales de la observación de las interacciones sociales virtuales.

La investigación del cerebro imágenes de los correlatos neurales de Observación de las interacciones sociales virtuales

Recientemente, una gran cantidad de perspectivas han llegado disponible para el consumo humano-robot de sistemas interactivos. En este trabajo resumimos la integración de un nuevo dispositivo robótico con software de código abierto, que rápidamente se puede hacer posible una biblioteca de funciones interactivas. A continuación, esbozar una aplicación clínica para una aplicación de la neurorrehabilitación.

Haptic / Graphic Rehabilitación: La integración de un robot en un entorno virtual Biblioteca y su aplicación a la terapia de Carrera

La estimulación magnética transcraneal, la electromiografía y la captura de movimiento en 3D son técnicas no invasivas comúnmente utilizadas para investigar la función neuromuscular en humanos. En este artículo, describimos un protocolo que muestrea sincrónicamente los datos generados por estas tres herramientas junto con la adición única de la presentación y retroalimentación de estímulos de realidad virtual.

Configuración de múltiples funciones para el estudio de control de motores Humano Usando estimulación magnética transcraneal, electromiografía, Captura de movimiento, y Realidad Virtual

En este artículo se describe un nuevo método para estimar la deriva propioceptiva en un plano 2D usando la ilusión espejo y la combinación de un procedimiento psicofísico con un análisis utilizando la máquina de aprendizaje.

Método de visualización para la deriva propioceptiva en un plano 2D que usa la máquina de vectores de soporte

A continuación, describimos virtual mano y paradigmas ilusión de cara virtual que se pueden utilizar para estudiar relacionado con el cuerpo autopercepción / -representacion. Ya se han utilizado en varios estudios para demostrar que, en condiciones específicas, una mano o la cara virtual se pueden incorporar en la representación del cuerpo de uno, lo que sugiere que las representaciones del cuerpo son más bien flexible.

Creando ilusiones virtual a mano y Virtual-cara de investigar las auto-representación

Se describe una configuración basada en novela de realidad virtual que aprovecha el control voluntario de la mano para mejorar el rendimiento del motor-habilidad en otra parte (no entrenados). Esto se logra proporcionando retroalimentación sensorial basada en el movimiento en tiempo real como si la mano no entrenado se está moviendo. Este nuevo enfoque puede ser utilizado para mejorar la rehabilitación de pacientes con hemiparesia unilateral.

Uso de realidad Virtual para transferir Motor habilidad conocimiento de un lado a otro

Aquí presentamos un protocolo que caracteriza el sentido de agencia desarrollada el control del sensate manos protésicas virtuales o robóticas. Cuestionarios psicofísicos se emplean para capturar la experiencia explícita de la agencia, y estimaciones de intervalo de tiempo (Unión intencional) se emplean para medir implícitamente el sentido de agencia.

Caracterización del sentido de la agencia sobre las acciones de prótesis funciona de interfaz Neural máquina

Presentamos una novela combinado conductual y neuroimaging protocolo empleando proyección de video en tiempo real con el fin de caracterizar los correlatos neuronales asociados con la terapia del espejo dentro del entorno de escáner de resonancia magnética en pierna sujetos con dolor del miembro fantasma en amputados.

Proyección de Video en tiempo real en una resonancia magnética para la caracterización de correlatos neuronales asociados con la terapia de espejo para el dolor de miembro fantasma

Presentamos protocolos y métodos de análisis para construir interfaces coa adaptativas que transmiten, parametrizan, analizan y modifican las señales del cuerpo humano y del corazón en bucle cercano. Esta configuración interfaces señales derivadas de los sistemas nerviosos periféricos y centrales de la persona con entradas sensoriales externas para ayudar a realizar un seguimiento del cambio biofísico.

Control de proxy en tiempo real de señales periféricas re-parametrizadas utilizando una interfaz de bucle cercano

El propósito de este estudio es proporcionar una referencia importante para el funcionamiento clínico estándar de la interfaz cerebro-computadora de imágenes motoras (MI-BCI) para la disfunción motora de las extremidades superiores después de un accidente cerebrovascular.

Interfaz cerebro-computadora de imágenes motoras en la rehabilitación de la disfunción motora de las extremidades superiores después de un accidente cerebrovascular

Aprende a integrar EEG, imagen motora y realidad virtual para rehabilitación de miembros superiores. Este método utiliza avatares digitales personalizados para mejorar la inmersión y propiedad corporal en interfaces cerebro-computadora.

Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual (Video) | JoVE Journal

Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

Explorar más videos