Summary

Performance d’imagerie motrice à travers des jumeaux numériques incarnés dans un environnement d’interface cerveau-ordinateur basé sur la réalité virtuelle

Published: May 10, 2024
doi:

Summary

L’imagerie motrice dans un environnement de réalité virtuelle a de nombreuses applications dans les systèmes d’interface cerveau-ordinateur. Ce manuscrit décrit l’utilisation d’avatars numériques personnalisés qui ressemblent aux participants exécutant des mouvements imaginés par le participant dans un environnement de réalité virtuelle afin de renforcer l’immersion et le sentiment d’appartenance corporelle.

Abstract

Cette étude introduit un cadre innovant pour la réadaptation neurologique en intégrant les technologies d’interfaces cerveau-ordinateur (ICM) et de réalité virtuelle (RV) avec la personnalisation d’avatars tridimensionnels (3D). Les approches traditionnelles de la réadaptation ne parviennent souvent pas à impliquer pleinement les patients, principalement en raison de leur incapacité à offrir une expérience profondément immersive et interactive. Cette recherche s’efforce de combler cette lacune en utilisant des techniques d’imagerie motrice (IM), où les participants visualisent des mouvements physiques sans exécution réelle. Cette méthode capitalise sur les mécanismes neuronaux du cerveau, activant les zones impliquées dans l’exécution du mouvement lors de l’imagination des mouvements, facilitant ainsi le processus de récupération. L’intégration des capacités immersives de la RV avec la précision de l’électroencéphalographie (EEG) pour capturer et interpréter l’activité cérébrale associée à des mouvements imaginaires constitue le cœur de ce système. Les jumeaux numériques sous la forme d’avatars 3D personnalisés sont utilisés pour améliorer considérablement le sentiment d’immersion dans l’environnement virtuel. Ce sentiment accru d’incarnation est crucial pour une réadaptation efficace, visant à renforcer le lien entre le patient et son homologue virtuel. Ce faisant, le système vise non seulement à améliorer les performances de l’imagerie motrice, mais aussi à offrir une expérience de réadaptation plus attrayante et plus efficace. Grâce à l’application en temps réel de BCI, le système permet de traduire directement des mouvements imaginés en actions virtuelles effectuées par l’avatar 3D, offrant un retour immédiat à l’utilisateur. Cette boucle de rétroaction est essentielle pour renforcer les voies neuronales impliquées dans le contrôle moteur et la récupération. L’objectif ultime du système développé est d’améliorer considérablement l’efficacité des exercices d’imagerie motrice en les rendant plus interactifs et réactifs aux processus cognitifs de l’utilisateur, ouvrant ainsi une nouvelle voie dans le domaine de la réadaptation neurologique.

Introduction

Les paradigmes de réadaptation des patients atteints de troubles neurologiques subissent un changement transformateur grâce à l’intégration de technologies avancées telles que les interfaces cerveau-ordinateur (BCI) et la réalité virtuelle immersive (VR), offrant une méthode plus nuancée et plus efficace pour favoriser le rétablissement. L’imagerie motrice (IM), la technique au cœur de la réadaptation basée sur l’ICM, implique la répétition mentale de mouvements physiques sans exécution motrice réelle1. L’IM exploite un mécanisme neuronal où l’imagination d’un mouvement déclenche un modèle d’activité cérébrale qui reflète étroitement celui de l’exécution de l’action physique elle-même 2,3,4. Plus précisément, l’engagement dans l’IM conduit à un phénomène connu sous le nom de désynchronisation liée aux événements (ERD) dans les bandes de fréquences alpha (8-13 Hz) et bêta (13-25 Hz) de l’activité électrique du cerveau 5,6,7. L’ERD est indicative d’une suppression des rythmes cérébraux de base, un modèle également observé lors du mouvement réel, fournissant ainsi un substrat neuronal pour l’utilisation de l’IM dans les cadres de réadaptation assistée par BCI7. Une telle similitude dans l’activation corticale entre l’IM et le mouvement physique suggère que l’IM peut stimuler efficacement les réseaux neuronaux impliqués dans le contrôle moteur, ce qui en fait un outil précieux pour les patients atteints de déficits moteurs8. De plus, la pratique de l’EM a été étendue au-delà de la simple répétition mentale pour inclure des stratégies d’observation de l’action9. L’observation du mouvement des parties du corps liées à la tâche ou des actions chez les autres peut activer le réseau de neurones miroirs (MNN), un groupe de neurones qui répondent à la fois à l’observation et à l’exécution d’actions9. Il a été démontré que l’activation du MNN par l’observation induit la plasticité corticale, comme en témoignent diverses modalités de neuroimagerie, notamment l’IRM fonctionnelle10, la tomographie par émission de positons11 et la stimulation magnétique transcrânienne12. Les preuves soutiennent l’idée que l’entraînement à l’EM, amélioré par l’observation de l’action, peut conduire à une adaptation neuronale et à une récupération significatives chez les personnes touchées.

La technologie de réalité virtuelle a révolutionné le domaine de la réadaptation basée sur l’EM en offrant un environnement immersif qui renforce le sentiment d’appartenance au corps et brouille les distinctions entre les mondes réel et virtuel 13,14,15. La qualité immersive de la VR en fait un outil efficace pour l’observation de l’action et la pratique de l’imagerie motrice, car elle permet aux participants de percevoir l’environnement virtuel comme réel15. Des recherches ont montré que les appareils VR ont un effet plus prononcé sur l’entraînement à l’IM que les écrans 2D traditionnels15,16. De tels résultats sont mis en évidence par une activité neuronale améliorée, telle que l’augmentation des rapports d’amplitude ERD dans le cortex sensorimoteur, mettant en évidence les avantages de niveaux d’immersion plus élevés dans la stimulation de l’activité cérébrale lors d’exercices d’IM guidésvisuellement16. Le système aide à améliorer les performances de l’IM pour les tâches impliquant des mouvements du bras ou des membres en fournissant une rétroaction directe, améliorant ainsi le processus de réadaptation16,17. La synergie entre l’EM et la RV met l’accent sur l’intégration des activités sensorielles, perceptuelles, cognitives et motrices18,19. La combinaison a été particulièrement bénéfique pour les survivants d’un AVC20,21 et les anciens combattants22, car des études ont montré que l’intégration de la RV dans les protocoles de réadaptation basés sur l’EM peut réduire considérablement le temps de réadaptation et améliorer les résultats de rétablissement. La caractéristique unique de la RV dans la réadaptation réside dans sa capacité à créer un sentiment de présence dans un environnement virtuel spécialement conçu, améliorant ainsi l’expérience de réadaptation qui est encore augmentée par l’inclusion d’avatars virtuels représentant le corps de l’utilisateur, qui a été de plus en plus utilisé dans les études de réadaptation motrice23. Ces avatars offrent une représentation tridimensionnelle réaliste des mouvements des membres, ce qui aide à l’IM et a un impact significatif sur l’activation du cortex moteur. En permettant aux participants de visualiser leur moi virtuel en train d’effectuer des tâches spécifiques, la RV enrichit non seulement l’expérience de l’IM, mais favorise également un processus de réorganisation et de récupération neuronale plus rapide et plus efficace24. La mise en œuvre d’avatars virtuels et d’environnements simulés dans la formation en MI met l’accent sur l’utilisation naturelle et intégrée des corps virtuels dans des mondes virtuels immersifs.

Malgré les avantages remarquables du contrôle des avatars 3D basé sur l’ICM dans l’IM pour la réhabilitation, une limitation significative subsiste dans l’utilisation prédominante des méthodologies hors ligne. À l’heure actuelle, la plupart des applications BCI impliquent la capture de données d’électroencéphalographie (EEG) préenregistrées qui sont ensuite utilisées pour manipuler un avatar24,25. Même dans les scénarios où le contrôle de l’avatar en temps réel est réalisé, ces avatars sont souvent génériques et ne ressemblent pas aux participants qu’ils représentent23. Cette approche générique rate une occasion cruciale d’approfondir l’immersion et le sentiment d’appartenance corporelle, ce qui est crucial pour une réadaptation efficace24. La création d’un avatar 3D qui reflète la ressemblance exacte du sujet pourrait améliorer considérablement l’expérience immersive de l’expérience16. En se visualisant dans le monde virtuel, les participants pouvaient favoriser une connexion plus forte entre leurs mouvements imaginaires et réels, ce qui pouvait conduire à des modèles ERD plus prononcés et, par conséquent, à une adaptation et une récupération neuronales plus efficaces16. En progressant vers le contrôle en temps réel d’avatars 3D personnalisés, le domaine de la BCI et de la RV peut améliorer considérablement les paradigmes de réadaptation, en offrant une méthode plus nuancée, engageante et efficace pour le rétablissement des patients.

Le manuscrit actuel présente la création, la conception et les aspects technologiques du matériel et du logiciel du contrôle BCI en temps réel des avatars 3D basé sur la RV, en mettant en évidence ses résultats innovants qui soutiennent son intégration dans les paramètres de réadaptation motrice. Le système proposé utilisera l’électroencéphalographie (EEG) pour capturer les signaux d’imagerie motrice générés par le sujet, qui seront ensuite utilisés pour contrôler les mouvements et les actions de l’avatar en temps réel. L’approche actuelle combinera les capacités avancées de la technologie VR avec la précision de l’EEG dans la reconnaissance et l’interprétation de l’activité cérébrale liée à des mouvements imaginaires, dans le but de créer une interface plus attrayante et plus efficace permettant aux utilisateurs d’interagir avec les environnements numériques grâce à la puissance de leurs pensées.

Protocol

L’étude actuelle vise à étudier la faisabilité de contrôler un avatar 3D en temps réel dans un environnement VR à l’aide de signaux MI enregistrés via EEG. L’étude se concentre sur l’amélioration de l’immersion et du sentiment de propriété corporelle en personnalisant l’avatar pour qu’il ressemble de près au sujet. Le protocole a reçu l’approbation du Conseil d’examen du Vellore Institute of Technology. Les participants ont fourni un consentement éclairé écrit après avoir examiné l’…

Representative Results

Les résultats présentés proviennent de 5 personnes qui ont suivi le protocole décrit ci-dessus. Au total, 5 adultes en bonne santé (3 femmes) âgés de 21 à 38 ans ont participé à l’étude. La figure 2 montre les performances de classification individuelles de chaque participant dans des conditions d’entraînement et de test d’imagerie motrice. Une matrice de confusion moyenne pour tous les sujets a été calculée afin d’évaluer la précision du …

Discussion

L’application de l’EM en conjonction avec la technologie VR offre une voie prometteuse pour la réadaptation en exploitant les mécanismes naturels du cerveau pour la planification et l’exécution motrices. La capacité de l’IM à induire une désynchronisation liée à un événement dans des bandes de fréquences cérébrales spécifiques, reflétant l’activité neuronale du mouvement physique 2,3,4, fournit un cadre…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Les auteurs tiennent à remercier tous les participants pour leur temps et leur implication.

Materials

Alienware Laptop Dell High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset Meta VR headset
OpenBCI Cyton Daisy OpenBCI EEG system
OpenBCI Gel-free cap OpenBCI Gel-free cap for placing the EEG electrodes over the participant's scalp

References

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. . Implicit learning through embodiment in immersive virtual reality. , (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865 (2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204 (2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909 (2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85 (2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895 (2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218 (2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329 (2019).

Play Video

Cite This Article
Lakshminarayanan, K., Shah, R., Ramu, V., Madathil, D., Yao, Y., Wang, I., Brahmi, B., Rahman, M. H. Motor Imagery Performance Through Embodied Digital Twins in a Virtual Reality-Enabled Brain-Computer Interface Environment. J. Vis. Exp. (207), e66859, doi:10.3791/66859 (2024).

View Video