Rendimiento de imágenes motoras a través de gemelos digitales incorporados en un entorno de interfaz cerebro-computadora habilitado para realidad virtual

Resumen

Las imágenes motoras en un entorno de realidad virtual tienen amplias aplicaciones en los sistemas de interfaz cerebro-computadora. Este manuscrito describe el uso de avatares digitales personalizados que se asemejan a los participantes realizando movimientos imaginados por el participante en un entorno de realidad virtual para mejorar la inmersión y el sentido de propiedad del cuerpo.

Resumen

Este estudio presenta un marco innovador para la rehabilitación neurológica mediante la integración de interfaces cerebro-computadora (BCI) y tecnologías de realidad virtual (VR) con la personalización de avatares tridimensionales (3D). Los enfoques tradicionales de la rehabilitación a menudo no logran involucrar completamente a los pacientes, principalmente debido a su incapacidad para brindar una experiencia profundamente inmersiva e interactiva. Esta investigación se esfuerza por llenar este vacío mediante la utilización de técnicas de imágenes motoras (MI), donde los participantes visualizan movimientos físicos sin una ejecución real. Este método aprovecha los mecanismos neuronales del cerebro, activando las áreas involucradas en la ejecución del movimiento al imaginar movimientos, facilitando así el proceso de recuperación. La integración de las capacidades inmersivas de la realidad virtual con la precisión de la electroencefalografía (EEG) para capturar e interpretar la actividad cerebral asociada con movimientos imaginarios forma el núcleo de este sistema. Los gemelos digitales en forma de avatares 3D personalizados se emplean para mejorar significativamente la sensación de inmersión en el entorno virtual. Este mayor sentido de encarnación es crucial para una rehabilitación eficaz, con el objetivo de reforzar la conexión entre el paciente y su contraparte virtual. Al hacerlo, el sistema no solo tiene como objetivo mejorar el rendimiento de las imágenes motoras, sino que también busca brindar una experiencia de rehabilitación más atractiva y eficaz. A través de la aplicación en tiempo real de BCI, el sistema permite la traducción directa de los movimientos imaginados en acciones virtuales realizadas por el avatar 3D, ofreciendo una retroalimentación inmediata al usuario. Este bucle de retroalimentación es esencial para reforzar las vías neuronales implicadas en el control motor y la recuperación. El objetivo final del sistema desarrollado es mejorar significativamente la eficacia de los ejercicios de imágenes motoras haciéndolos más interactivos y sensibles a los procesos cognitivos del usuario, allanando así un nuevo camino en el campo de la rehabilitación neurológica.

Introducción

Los paradigmas de rehabilitación para pacientes con discapacidades neurológicas están experimentando un cambio transformador con la integración de tecnologías avanzadas como las interfaces cerebro-computadora (BCI) y la realidad virtual inmersiva (VR), que ofrecen un método más matizado y efectivo para fomentar la recuperación. Las imágenes motoras (IM), la técnica central de la rehabilitación basada en la BCI, implican el ensayo mental de movimientos físicos sin una ejecución motora real¹. El infarto de miocardio explota un mecanismo neuronal en el que imaginar un movimiento desencadena un patrón de actividad cerebral que se asemeja mucho al de la propia acción física ^2,3,4. Específicamente, la participación en el IM conduce a un fenómeno conocido como desincronización relacionada con eventos (ERD) en las bandas de frecuencia alfa (8-13 Hz) y beta (13-25 Hz) de la actividad eléctrica del cerebro ^5,6,7. La ERD es indicativa de una supresión de los ritmos cerebrales basales, un patrón que también se observa durante el movimiento real, proporcionando así un sustrato neural para el uso de la IM dentro de los marcos de rehabilitación asistida por BCI⁷. Tal similitud en la activación cortical entre el IM y el movimiento físico sugiere que el IM puede estimular eficazmente las redes neuronales involucradas en el control motor, lo que lo convierte en una herramienta valiosa para los pacientes con déficits motores⁸. Además, la práctica de la IM se ha extendido más allá del mero ensayo mental para incluir estrategias de observación de la acción⁹. Observar el movimiento de las partes del cuerpo relacionadas con la tarea o las acciones de los demás puede activar la red de neuronas espejo (MNN), un grupo de neuronas que responden tanto a la observación como a^{la ejecución de} la acción. Se ha demostrado que la activación de la MNN a través de la observación induce plasticidad cortical, como lo demuestran varias modalidades de neuroimagen, incluida la resonancia magnética funcional¹⁰, la tomografía por emisión de positrones¹¹ y la estimulación magnética transcraneal¹². La evidencia apoya la idea de que el entrenamiento de la IM, mejorado por la observación de la acción, puede conducir a una adaptación y recuperación neuronal significativas en los individuos afectados.

La tecnología de realidad virtual ha revolucionado el ámbito de la rehabilitación basada en el IM al ofrecer un entorno inmersivo que mejora el sentido de propiedad del cuerpo y difumina las distinciones entre el mundo real y el virtual 13,14,15. La calidad inmersiva de la RV la convierte en una herramienta eficaz para la observación de la acción y la práctica de la imaginación motora, ya que permite a los participantes percibir el entorno virtual como real¹⁵. Las investigaciones han demostrado que los dispositivos de realidad virtual tienen un efecto más pronunciado en el entrenamiento de IM en comparación con las pantallas de monitor 2D tradicionales^15,16. Tales hallazgos se evidencian por una mayor actividad neuronal, como el aumento de las relaciones de amplitud de ERD en la corteza sensoriomotora, destacando los beneficios de niveles de inmersión más altos en la estimulación de la actividad cerebral durante los ejercicios de IM guiados visualmente¹⁶. El sistema ayuda a mejorar el rendimiento del IM para tareas que involucran movimientos de brazos o extremidades al proporcionar retroalimentación directa, mejorando así el proceso de rehabilitación^16,17. La sinergia entre la IM y la RV hace hincapié en la integración de las actividades sensoriales, perceptivas, cognitivas y motoras^18,19. La combinación ha sido particularmente beneficiosa para los sobrevivientes de accidentes cerebrovasculares^20,21 y los veteranos de guerra²², ya que los estudios han demostrado que la integración de la RV en los protocolos de rehabilitación basados en el IM puede reducir significativamente el tiempo de rehabilitación y mejorar los resultados de recuperación. La característica única de la RV en la rehabilitación radica en su capacidad para crear una sensación de presencia dentro de un entorno virtual específicamente diseñado, mejorando la experiencia de rehabilitación que se incrementa aún más con la inclusión de avatares virtuales que representan el cuerpo del usuario, que se ha utilizado cada vez más en los estudios de rehabilitación motora²³. Estos avatares ofrecen una representación tridimensional realista de los movimientos de las extremidades, lo que ayuda en el infarto de miocardio e impacta significativamente en la activación de la corteza motora. Al permitir que los participantes visualicen a su yo virtual realizando tareas específicas, la realidad virtual no solo enriquece la experiencia de IM, sino que también fomenta^{un proceso de} reorganización y recuperación neuronal más rápido y efectivo. La implementación de avatares virtuales y entornos simulados en el entrenamiento de IM enfatiza el uso natural e integrado de cuerpos virtuales dentro de mundos virtuales inmersivos.

A pesar de las notables ventajas del control basado en BCI de avatares 3D en IM para la rehabilitación, sigue existiendo una limitación significativa en el uso predominante de metodologías fuera de línea. En la actualidad, la mayoría de las aplicaciones de BCI implican la captura de datos de electroencefalografía (EEG) pregrabados que posteriormente se utilizan para manipular un avatar^24,25. Incluso en escenarios en los que se logra el control de avatares en tiempo real, estos avatares suelen ser genéricos y no se parecen a los participantes que representan²³. Este enfoque genérico pierde una oportunidad crítica para profundizar la inmersión y el sentido de propiedad del cuerpo, que es crucial para una rehabilitación efectiva²⁴. La creación de un avatar 3D que refleje la semejanza exacta del sujeto podría mejorar significativamente la experiencia inmersiva de la experiencia¹⁶. Al visualizarse a sí mismos en el mundo virtual, los participantes podrían fomentar una conexión más fuerte entre sus movimientos imaginarios y reales, lo que podría conducir a patrones de ERD más pronunciados y, por lo tanto, a una adaptación^{y recuperación} neuronal más efectivas. Al avanzar hacia el control en tiempo real de avatares 3D personalizados, el campo de BCI y VR puede mejorar significativamente los paradigmas de rehabilitación, ofreciendo un método más matizado, atractivo y eficaz para la recuperación del paciente.

El presente manuscrito presenta la creación, el diseño y los aspectos tecnológicos tanto del hardware como del software del control BCI en tiempo real basado en RV de avatares 3D, destacando sus resultados innovadores que apoyan su integración en entornos de rehabilitación motora. El sistema propuesto utilizará electroencefalografía (EEG) para capturar señales de imágenes motoras generadas por el sujeto, que luego se utilizarán para controlar los movimientos y acciones del avatar en tiempo real. El enfoque actual combinará las capacidades avanzadas de la tecnología de realidad virtual con la precisión del EEG en el reconocimiento e interpretación de la actividad cerebral relacionada con los movimientos imaginarios, con el objetivo de crear una interfaz más atractiva y efectiva para que los usuarios interactúen con los entornos digitales a través del poder de sus pensamientos.

Protocolo

El presente estudio tiene como objetivo investigar la viabilidad de controlar un avatar 3D en tiempo real dentro de un entorno de realidad virtual utilizando señales de IM registradas a través de EEG. El estudio se centra en mejorar la inmersión y el sentido de propiedad del cuerpo mediante la personalización del avatar para que se parezca mucho al sujeto. El protocolo recibió la aprobación de la Junta de Revisión del Instituto de Tecnología de Vellore. Los participantes dieron su consentimiento informado por escrito después de revisar el propósito, los procedimientos y los riesgos potenciales del estudio.

1. Configuración experimental

NOTA: Asegúrese de que el sistema incorpore todos los componentes como se muestra en el diagrama de la configuración experimental en la Figura 1 (consulte la Tabla de Materiales para el equipo utilizado).

1. Desarrollo de avatares 3D
   1. Modelando el avatar
      1. El día antes de la recolección de datos, recopile múltiples fotografías faciales desde varios ángulos y medidas corporales precisas de cada participante.
      2. Haga clic en Software de modelado para abrirlo. Inmediatamente después de abrir, busque el control deslizante para Género. Ajuste este control deslizante para que coincida con el género del modelo que desea crear.
      3. Navega a la pestaña Modelado en la parte superior de la pantalla y haz clic en la pestaña para acceder a las opciones de personalización del cuerpo.
      4. Use los controles deslizantes debajo de varias secciones, como Torso, Brazos, Piernas, etc., para modelar el cuerpo. Concéntrese en las siguientes medidas básicas: altura, pecho/busto, cintura, caderas, longitud de las piernas y longitud de los brazos.
      5. Haga clic en la pestaña Pose/Animar y seleccione el esqueleto predeterminado para las animaciones básicas. Vaya al menú Archivos en la parte superior, seleccione Exportar y, a continuación, elija el. Formato MHX2 para compatibilidad con el software de animación. Asegúrese de seleccionar la opción Exportar con equipo para incluir el esqueleto. Elija una carpeta de destino, asigne un nombre al archivo y haga clic en Exportar.
      6. Abre el software de animación. Vaya a Importar > de archivos y seleccione .mhx2 o el formato que desee. Navega hasta el archivo guardado, selecciónalo e impórtalo en el software.
      7. Ve al menú Editar, selecciona Preferencias > Complementos y asegúrate de que el plugin adecuado para crear caras esté activado.
      8. En la ventana gráfica 3D, cambie al ajuste preestablecido de diseño proporcionado por el complemento o vaya al panel del complemento, generalmente ubicado en el estante de herramientas en el lado izquierdo.
      9. Haga clic en Crear una nueva cabeza en el panel del complemento para iniciar el modelo de cabeza. Utilice el botón Agregar foto para importar fotos del participante. Utilice los perfiles frontales y laterales para un modelado preciso.
      10. Siga las indicaciones para alinear los puntos de las fotos con los puntos correspondientes del modelo 3D. A continuación, el plugin ajustará el modelo de cabeza para que coincida con las características del participante. Una vez satisfecho con la semejanza, finalice el modelo de cabeza.
      11. Coloque manualmente el modelo de cabeza para alinearlo con el cuello del modelo de cuerpo. Ajusta la escala y la rotación de la cabeza para un ajuste perfecto.
      12. Utilice la herramienta Ajustar (Mayús+Tabulador) para alinear con precisión los vértices del cuello de la cabeza con los del cuerpo.
      13. Una vez alineados, une la cabeza y el cuerpo seleccionando ambas mallas, pulsando Ctrl+J para unirlas en un solo objeto.
      14. Importa o modela un par de bongos y colócalos frente al modelo a una altura adecuada.
   2. Animación del avatar
      1. Cambie al modo de pose para el modelo manipulado. En el fotograma 1, seleccione todos los huesos e inserte un fotograma clave (utilice la tecla I) para que LocRotScale registre sus posiciones iniciales.
      2. Avanza la línea de tiempo hasta el fotograma 30 para colocar la mano izquierda para golpear el bongó.
      3. Mueve y gira la armadura de la mano izquierda para simular golpear el bongó. Inserte un fotograma clave para estos huesos. Repita este proceso para devolver la manecilla a su posición inicial en el fotograma 60, insertando otro fotograma clave para completar la acción.
      4. Mueva la línea de tiempo al fotograma 90, donde la mano derecha comienza su acción. Al igual que con la mano izquierda, ajusta la posición y la rotación de la mano derecha para simular cómo golpear el otro bongó e insertar un fotograma clave.
      5. Vuelva a colocar la manecilla en su posición inicial e inserte un fotograma clave para finalizar el movimiento en el fotograma 150.
      6. Desplázate por la línea de tiempo para revisar la animación. Ajústelo según sea necesario para un movimiento más suave o una mejor sincronización entre las caladas del bongó. Guarde el archivo.
2. Configuración del equipo
   1. Ensamble el sistema de adquisición de datos de EEG de 16 canales conectando el módulo Daisy con 8 canales de EEG en la parte superior de la placa con 8 canales de EEG.
   2. Conecte el electrodo de referencia a través de un cable divisor en Y al pin de referencia inferior de la placa Daisy y al pin de referencia inferior de la placa en la parte inferior, que están etiquetados como SRB.
   3. Conecte el electrodo de tierra al pin BIAS en la placa inferior.
   4. Conecte los 16 electrodos de EEG a las clavijas de la placa inferior etiquetadas como N1P-N8P y a las clavijas inferiores etiquetadas como N1P-N8P.
   5. Inserte los electrodos en la tapa sin gel en las ubicaciones etiquetadas que se adhieren al sistema internacional 10-20 para la colocación de electrodos con electrodos etiquetados como FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 y T4.
   6. Remoje las 18 esponjas provistas para los electrodos de EEG en una solución salina con 5 g de cloruro de sodio mezclados con 200 ml de agua del grifo durante 15 minutos.
   7. Inserte las esponjas empapadas en la parte inferior de cada electrodo para establecer contacto entre el cuero cabelludo y el electrodo.
   8. Haga que los participantes se sienten cómodamente en una habitación tranquila. Coloque el gorro de EEG sin gel en el cuero cabelludo del participante, asegurándose de que el gorro esté alineado correctamente para que se ajuste a las orejas del participante.
   9. Conecte el dongle USB a la computadora portátil. Abra la GUI de EEG, haga clic en el sistema de EEG, en la opción Fuente de datos, seleccione Serie (de Dongle), 16 canales y AUTO-CONNECT.
   10. Dentro de la pantalla de adquisición de datos, seleccione el widget de señal para comprobar la calidad de la señal de los electrodos conectados verificando un nivel de impedancia óptimo de <10 kΩ en cada sitio de electrodo²⁶.
   11. Si la impedancia es superior a 10 kΩ, agregue unas gotas de solución salina a la esponja debajo del electrodo. Después de la verificación de impedancia, cierre la GUI.
   12. Abra el software del servidor de adquisición, seleccione la placa de EEG adecuada en Controlador y haga clic en Conectar > reproducir para establecer una conexión con el sistema de EEG.
   13. Prepare el casco de realidad virtual desinfectándolo con toallitas y colocándolo en la cabeza del participante sobre el gorro de EEG para facilitar una interacción inmersiva mientras captura los datos del EEG.
3. Configuración del juego
   NOTA: Las siguientes instrucciones describen la configuración de dos escenarios de motor de juego mediante Open Sound Control (OSC): uno para el entrenamiento de imágenes motoras (feedforward) y otro para probar imágenes motoras (retroalimentación). El escenario de avance entrena a los usuarios en imágenes motoras a través de animaciones observadas desencadenadas por mensajes OSC. El escenario de retroalimentación prueba la eficacia de las imágenes motoras mediante la animación de movimientos imaginados por el usuario en función de las entradas OSC.
   1. Abra el software del motor del juego y seleccione Proyecto de entrenamiento de imágenes motoras. Habilite la compatibilidad con realidad virtual: vaya a Editar > configuración del proyecto > Configuración del reproductor > XR, marque Compatible con realidad virtual y asegúrese de que el casco de realidad virtual aparezca en SDK de realidad virtual.
   2. Elimine la cámara predeterminada y arrastre la cámara de realidad virtual a la escena desde el paquete de integración de realidad virtual.
   3. Coloque el archivo de animación importado en la escena. Ajuste la escala y la orientación según sea necesario. Asegúrese de que el GameObject OSCListener con scripts preescritos esté configurado para desencadenar animaciones de modelos para movimientos de la mano izquierda y derecha basados en mensajes OSC, simulando la acción de golpear el bongó para el entrenamiento de imágenes motoras.
   4. Abra Configuración de archivos > compilación en el software del motor del juego. Seleccione PC, Mac y Linux independiente, seleccione Windows de destino y, a continuación, haga clic en Compilar y ejecutar.
   5. Para el proyecto de pruebas de imágenes motoras, realice pasos similares a los del proyecto de entrenamiento de imágenes motoras. Utilice el GameObject OSCListener configurado con scripts diseñados para recibir señales OSC indicativas de los movimientos imaginarios de la mano del participante, activando las animaciones correspondientes para el proyecto de prueba.

Figura 1: Configuración de VR-BCI. Toda la configuración de VR-BCI muestra al participante con el casco de realidad virtual y el gorro de EEG. Los participantes vieron el avatar 3D personalizado en el entorno virtual y controlaron su acción utilizando señales cerebrales transmitidas a la computadora de forma inalámbrica. Haga clic aquí para ver una versión más grande de esta figura.

2. Diseño experimental

1. Etapa de verificación de la señal
   1. Abra la herramienta de software para diseñar y ejecutar escenarios de imágenes de motor, vaya a Archivo y cargue los seis escenarios de Motor-Imagery-BCI etiquetados como Verificación de señal, Adquisición, Capacitación de CSP, Capacitación de clasificador, Pruebas y Matriz de confusión.
   2. Navegue hasta el escenario de verificación de señal. Aplique un filtro de paso de banda entre 1 y 40 Hz con un orden de filtro de 4 a las señales sin procesar utilizando cajas de diseño para un procesamiento de señal optimizado.
2. Etapa de formación
   1. Guíe e instruya a los participantes para que se sometan a tareas de imágenes motoras, imaginando los movimientos de las manos en respuesta a señales visuales.
   2. Abra el archivo para el entrenamiento de imágenes motoras y muestre el avatar 3D preparado de pie sobre un conjunto de bongos a través del casco de realidad virtual.
   3. Navegue hasta el escenario de adquisición y haga doble clic en el estimulador de imágenes de motor de Graz para configurar el cuadro.
   4. Configure 50 ensayos de 5 s (cue-1,25 s y MI-3,75 s) para los movimientos de la mano izquierda y derecha, incorporando un período de referencia de 20 s seguido de intervalos de descanso de 10 s después de cada 10 intentos para evitar la fatiga mental.
   5. Configure las pruebas de la mano izquierda y derecha para que sean aleatorias y tenga una señal antes de la prueba que indique la mano que se va a imaginar.
   6. Conecte una caja OSC con la dirección IP y el puerto para transmitir la señal de la mano que se va a imaginar al programa del motor del juego de entrenamiento de imágenes motoras.
   7. Pida a los participantes que imaginen ejecutando el movimiento de su mano junto con el avatar 3D siguiendo el mismo ritmo que el avatar mientras golpea el bongó con la mano correspondiente, siguiendo una señal de texto que muestra qué mano se debe imaginar.
3. Capacitación en CSP y LDA
   1. Después de la adquisición, ejecute el escenario de entrenamiento de CSP para analizar los datos de EEG de la etapa de adquisición y calcular patrones espaciales comunes (CSP), creando filtros para distinguir entre imágenes de la izquierda y de la derecha.
   2. Después del entrenamiento de CSP, navegue hasta el escenario de entrenamiento del clasificador y ejecútelo para utilizar el análisis discriminante lineal (LDA) mediante los filtros de CSP para una clasificación de tareas eficiente, preparando el sistema para el control de avatares en tiempo real.
4. Etapa de prueba
   1. Navegue hasta el escenario de prueba para que los participantes controlen sus avatares 3D en tiempo real utilizando la tecnología de interfaz cerebro-computadora (BCI).
   2. Cargue en las casillas correspondientes los clasificadores entrenados durante el escenario anterior con los datos de EEG capturados mientras los participantes imaginaban los movimientos de las manos para interpretar estas acciones imaginadas en tiempo real.
   3. Asegúrese de que el sistema de EEG y la configuración de VR estén operativos y configurados correctamente según la configuración de la etapa de entrenamiento.
   4. Informar a los participantes sobre el procedimiento de prueba, enfatizando la necesidad de imaginar claramente los movimientos de la mano (golpear el bongo con la mano izquierda o derecha) según lo indiquen las señales de texto.
   5. Al igual que en la etapa de entrenamiento, se realizan 20 ensayos para cada participante, divididos a partes iguales entre imaginar movimientos de la mano izquierda y derecha y aleatorios.
   6. Conecte y configure una caja OSC para transmitir la información de la señal que se mostrará como texto que indica qué mano se visualizará en el programa del motor del juego.
   7. Conéctese a otra caja OSC para transmitir el valor previsto para los movimientos de la mano izquierda y derecha para que el programa del motor del juego reproduzca la animación correspondiente basada en la mano imaginada por el participante.
   8. Ejecute el escenario de prueba. Ejecute el programa del motor del juego Motor Imagery Testing.

3. Recopilación y análisis de datos

1. Registre continuamente los datos de EEG y las salidas del clasificador durante las etapas de adquisición y prueba del experimento, con datos muestreados a 125 Hz.
2. Navegue hasta el escenario de Matriz de confusión y cargue el archivo de EEG adquirido en el cuadro etiquetado como Lector de flujo genérico para cada participante y para las etapas de adquisición y entrenamiento.
3. Ejecute el escenario para obtener la matriz de confusión y evaluar la precisión con la que el sistema BCI interpreta las señales de imágenes motoras.
4. Recopile comentarios de los participantes sobre su experiencia con la facilidad de uso, las capacidades de control, el nivel de inmersión y la comodidad del avatar mientras usa el gorro de EEG y el auricular de realidad virtual.

Resultados

Los resultados mostrados son de 5 individuos que siguieron el protocolo descrito anteriormente. Un total de 5 adultos sanos (3 mujeres) con edades comprendidas entre los 21 y los 38 años participaron en el estudio.

En la Figura 2 se muestra el rendimiento de la clasificación individual para cada participante tanto en el entrenamiento de imágenes motoras como en las condiciones de prueba. Se calculó una matriz de confusión promedio para todos los sujetos para evaluar la precisión del clasificador en la distinción entre señales de IM izquierda y derecha durante las sesiones de entrenamiento y prueba (ver Figura 3).

Los pesos de CSP calculados para las imágenes motoras izquierda y derecha durante la sesión de entrenamiento se proyectaron como un patrón topográfico para un participante representativo en la Figura 4A. Además, se realizó un análisis de tiempo-frecuencia para el mismo participante sobre los datos de EEG recogidos del electrodo C4, que se colocó sobre el área sensoriomotora derecha contralateral correspondiente a la mano izquierda, y el electrodo C3, ubicado sobre el área sensoriomotora izquierda para la mano derecha. Los gráficos de tiempo-frecuencia para identificar perturbaciones espectrales relacionadas con eventos (ERSP), que revelan cómo la amplitud de las frecuencias que van de 8 a 30 Hz cambia dinámicamente con el tiempo durante una época, se muestran en la Figura 4B en la sesión de entrenamiento de imágenes motoras. Centrándose en las bandas alfa (8-12 Hz) y beta (13-30 Hz), los ERSP para cada época se normalizaron dividiéndolos por sus espectros de referencia, y se calculó un ERSP promedio a partir de estos valores normalizados.

Además, los comentarios de los participantes fueron en gran medida positivos sobre la comodidad y la facilidad de uso del gorro de EEG y los auriculares de realidad virtual. Los participantes estaban especialmente entusiasmados con el control en tiempo real de sus avatares 3D. Sin embargo, los participantes sintieron que la acción de golpear el bongó podría ir acompañada de una retroalimentación sonora para una mejor inmersión.

Figura 2: Porcentajes de precisión para cada participante durante las sesiones de entrenamiento y prueba de imágenes motoras. La tasa de verdaderos positivos (TP) muestra la proporción de señales de imágenes motoras (MI) que el modelo clasificador identificó correctamente como señales de MI. La tasa de falsos positivos (FP) indica la frecuencia con la que las señales de IM izquierda se clasificaron erróneamente como señales de IM derechas. La tasa de falsos negativos (FN) revela la proporción de señales reales de IM izquierdo que el modelo no pudo detectar. Por último, la tasa negativa verdadera (TN) indica la proporción de señales de IM derecha que el modelo reconoció con precisión como tales. S1, S2, S3, S4 y S5 denota los cinco participantes. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Matrices de confusión promedio del rendimiento de la clasificación durante las sesiones de entrenamiento y prueba de imágenes motoras. La precisión promedio general refleja la capacidad del modelo para clasificar correctamente las señales de IM izquierda y derecha. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Filtros CSP, patrones y gráficos de tiempo-frecuencia para ambas manos durante la sesión de entrenamiento de imágenes motoras para un participante representativo. (A) La figura muestra los filtros CSP para S1 que diferencian al máximo entre las dos clases (izquierda y derecha) en función de la varianza. (B) El gráfico de tiempo-frecuencia para S1. Las regiones azules muestran la desincronización relacionada con el evento. A los 0 ms, se mostró la señal para imaginar la mano izquierda o derecha durante una duración de 1250 ms. Siguiendo la señal, el participante imaginó el movimiento de golpeo del bongó con la mano correspondiente. Haga clic aquí para ver una versión más grande de esta figura.

Discusión

La aplicación de la IM junto con la tecnología de realidad virtual ofrece una vía prometedora para la rehabilitación al aprovechar los mecanismos naturales del cerebro para la planificación y ejecución motora. La capacidad de la IM para inducir la desincronización relacionada con eventos en bandas de frecuencia cerebrales específicas, reflejando la actividad neuronal del movimiento físico ^2,3,4, proporciona un marco sólido para involucrar y fortalecer las redes neuronales involucradas en el control motor⁸. Este proceso se ve reforzado por la calidad inmersiva de la realidad virtual, que no solo amplifica la sensación de presencia y propiedad del cuerpo, sino que también facilita la visualización de movimientos, enriqueciendo así la experiencia de IM¹⁶.

El desarrollo de avatares 3D personalizados que se asemejan mucho a los sujetos que representan marca una innovación notable en este campo 13,14,15. El enfoque está conceptualmente alineado con el trabajo de Skola et ^al.27 sobre el entrenamiento co-adaptativo MI-BCI utilizando tareas gamificadas en un entorno de realidad virtual. Sin embargo, este protocolo introduce una diferenciación significativa al emplear un avatar 3D completo, que refleja fielmente la apariencia del participante, a diferencia de la perspectiva de punto de vista centrada en las manos empleada por Skola et al. Al proporcionar una representación visual de los movimientos imaginarios del usuario en tiempo real, estos avatares profundizan la inmersión y refuerzan la conexión entre los movimientos imaginados y los reales¹⁸. Se espera que el enfoque detallado en este manuscrito fomente patrones de ERD más pronunciados, lo que conducirá a una adaptación y recuperación neuronal más efectivas.

Sin embargo, la transición de las metodologías de BCI fuera de línea al control en tiempo real de los avatares presenta desafíos, particularmente para garantizar la precisión y la capacidad de respuesta del sistema a los movimientos imaginados del usuario. El sistema garantiza la computación en tiempo real a través de una configuración que involucra el sistema de adquisición de datos EEG conectado a una computadora portátil, que luego interactúa con un auricular Oculus Rift-S VR. Esta configuración permite la integración perfecta de la captura de datos de EEG con la inmersión en realidad virtual, facilitada por el servidor de adquisición y el motor de juego para la retroalimentación visual y la interacción a través de un avatar 3D desarrollado a medida.

La latencia general del sistema se puede minimizar de manera eficiente en un escenario de integración BCI-VR aprovechando una computadora portátil para juegos equipada con una tarjeta gráfica de gama alta y empleando mensajes livianos a través de OSC para señales y valores de predicción de manos. El uso de una computadora portátil para juegos garantiza un procesamiento rápido de los datos de EEG adquiridos a través de la placa de EEG, con una digitalización inicial y una latencia de transmisión mantenida por debajo de 5 ms. Se puede esperar que el procesamiento y la clasificación posteriores de la señal contribuyan con una latencia adicional de aproximadamente 20-40 ms, teniendo en cuenta tanto el filtrado de señales como la ejecución de algoritmos como CSP para la extracción de características. La comunicación entre el diseñador de escenarios y el motor del juego, facilitada por OSC, que transmite señales numéricas simples para los movimientos de la mano izquierda y la derecha, está diseñada para una sobrecarga mínima, probablemente no agregue más de 5-10 ms de latencia. El procesamiento de estos comandos por parte del motor del juego, gracias a la eficiencia computacional de la tarjeta gráfica, sería rápido, contribuyendo con otro retraso de menos de 10 ms antes de renderizar la retroalimentación visual en el entorno de realidad virtual proporcionada por el casco de realidad virtual, que tiene como objetivo mantener la latencia por debajo de los 20 ms. En conjunto, estos componentes se sinergizan para mantener la latencia total del sistema dentro de un rango deseable de 45 a 75 ms, lo que garantiza una capacidad de respuesta en tiempo real crucial para las experiencias de realidad virtual inmersivas y las aplicaciones BCI efectivas.

Además, los participantes recibieron suficientes pruebas de práctica como una forma de módulo tutorial para familiarizarse con la configuración y el ritmo de realidad virtual del avatar durante la etapa de entrenamiento y usar sus pensamientos para controlar el avatar 3D en la etapa de prueba. El énfasis en la verificación de la calidad de la señal, el uso de CSP y LDA para la clasificación de tareas y la fase de prueba detallada son fundamentales para el éxito del control de avatar en tiempo real.

Se prevé que los resultados de este estudio contribuyan al campo al demostrar la viabilidad y la eficacia del uso del control BCI en tiempo real de avatares 3D personalizados para la rehabilitación. Al comparar la precisión de la detección de la intención motora entre la fase de entrenamiento de imágenes motoras y las pruebas en tiempo real, el estudio proporcionará información valiosa sobre el potencial de esta tecnología para mejorar los resultados de la rehabilitación. Además, los comentarios de los participantes sobre la facilidad de control y el nivel de inmersión experimentado informarán los desarrollos futuros en las tecnologías BCI y VR, con el objetivo de crear interfaces de rehabilitación más atractivas y efectivas.

Los avances en las tecnologías BCI y VR abren nuevas posibilidades para protocolos de rehabilitación que sean más personalizados, atractivos y efectivos. Las investigaciones futuras deberían centrarse en refinar la tecnología para el control en tiempo real de avatares, explorar el uso de algoritmos de aprendizaje automático más sofisticados para la clasificación de señales y ampliar la aplicación de este enfoque a una gama más amplia de afecciones neurológicas. Además, se necesitan estudios longitudinales para evaluar el impacto a largo plazo de este método de rehabilitación en la recuperación funcional y la calidad de vida de las personas con deficiencias neurológicas.

Si bien la integración de la IM con la tecnología de realidad virtual en la rehabilitación es muy prometedora, hay varias limitaciones que merecen atención. Existe un rango significativo en la capacidad de los individuos para generar señales claras de IM y sus respuestas neuronales a las intervenciones de IM y RV. Esta variabilidad significa que la eficacia del proceso de rehabilitación puede diferir ampliamente entre los pacientes, lo que hace que la personalización de la terapia para adaptarse a las diferencias individuales sea un desafío sustancial. Además, lograr una alta precisión y capacidad de respuesta en el control en tiempo real de los avatares es una tarea compleja. Los retrasos o errores en la interpretación de las señales de IM pueden interrumpir la experiencia inmersiva, lo que puede reducir la eficacia del proceso de rehabilitación. Si bien la tecnología de realidad virtual puede mejorar la inmersión y el compromiso, también puede provocar molestias o mareos para algunos usuarios, lo que afecta su capacidad para participar en sesiones prolongadas y, en consecuencia, el éxito general de la terapia.

En conclusión, la integración de BCI y VR, ejemplificada por el control en tiempo real de avatares 3D personalizados utilizando señales de IM, representa un enfoque de vanguardia para la rehabilitación neurológica. El protocolo actual no solo subraya la viabilidad técnica de dicha integración, sino que también prepara el escenario para una nueva era de rehabilitación en la que la tecnología y la neurociencia convergen para desbloquear todo el potencial de la capacidad de recuperación y adaptación del cerebro humano.

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Portátil Alienware Portátil	Dell		de gama alta con tarjeta gráfica GTX1070
Oculus Rift-S Auriculares VR	Meta		Auriculares
OpenBCI Cyton Daisy	de EEG	OpenBCI
OpenBCI Gorra sin gel	OpenBCI OpenBCI		Gorro sin gel para colocar los electrodos de EEG sobre el cuero cabelludo del participante