在虚拟现实环境中,运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身,这些化身在虚拟现实环境中模拟参与者所想象执行的动作,以增强沉浸感和身体所有权感知。
方法文章
在虚拟现实环境中,运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身,这些化身在虚拟现实环境中模拟参与者所想象执行的动作,以增强沉浸感和身体所有权感知。
本研究通过整合脑机接口(BCI)与虚拟现实(VR)技术,并结合三维(3D)虚拟形象的个性化定制,提出了一种神经康复领域的创新框架。传统的康复方法往往难以充分调动患者的参与度,主要原因是无法提供深度沉浸式和高度互动的体验。本研究致力于通过运动想象(MI)技术填补这一空白,即让参与者在不实际执行动作的情况下在脑海中模拟身体运动。该方法利用大脑的神经机制,在想象运动时激活与实际运动执行相关的脑区,从而促进康复进程。该系统的核心在于将虚拟现实的沉浸式能力与脑电图(EEG)的精确性相结合,以捕捉并解析与运动想象相关的脑电活动。系统采用以个性化3D虚拟形象形式呈现的“数字孪生”技术,显著增强用户在虚拟环境中的沉浸感。这种增强的具身感对于实现有效的康复至关重要,旨在加强患者与其虚拟化身之间的连接。通过这种方式,该系统不仅旨在提升运动想象的表现,还力求提供更具参与感和疗效的康复体验。借助脑机接口的实时应用,系统可将用户想象中的动作直接转化为3D虚拟形象在虚拟空间中的实际行为,从而向用户提供即时反馈。这一反馈回路对于强化与运动控制及康复相关的神经通路至关重要。该系统的最终目标是通过提升运动想象训练的互动性和对用户认知过程的响应能力,显著增强其有效性,从而为神经康复领域开辟一条全新的路径。
随着脑机接口(BCI)和沉浸式虚拟现实(VR)等先进技术的引入,神经系统功能障碍患者的康复范式正在经历变革性转变,为促进功能恢复提供了更精细且有效的手段。运动想象(MI)是基于BCI的康复技术的核心方法,指在不实际执行动作的情况下,在心理上排演身体运动过程1。MI利用了一种神经机制:想象某一动作会引发与实际执行该动作时高度相似的大脑活动模式2,3,4。具体而言,进行运动想象会导致大脑电活动的α频段(8–13 Hz)和β频段(13–25 Hz)出现一种称为事件相关去同步化(ERD)的现象5,6,7。ERD反映了基础脑节律的抑制状态,这种模式在实际运动过程中同样存在,因而为在BCI辅助康复框架中应用MI提供了神经基础7。MI与实际运动在皮层激活模式上的相似性表明,MI能够有效刺激参与运动控制的神经网络,使其成为运动功能障碍患者的重要康复工具8。此外,MI的实践已不仅限于单纯的心理排演,还扩展至动作观察策略的应用9。观察他人执行与任务相关的身体部位运动或行为,可激活镜像神经元网络(MNN),这是一类在动作观察和动作执行时均会响应的神经元群9。研究表明,通过观察激活MNN可诱导皮层可塑性,这一结论已通过多种神经影像技术得到证实,包括功能磁共振成像(fMRI)10、正电子发射断层扫描(PET)11和经颅磁刺激(TMS)12。这些证据支持如下观点:结合动作观察的MI训练可促使受损个体产生显著的神经适应与功能恢复。
虚拟现实技术通过提供一种沉浸式环境,增强了身体所有权感知,并模糊了现实世界与虚拟世界之间的界限,从而彻底改变了基于运动想象(MI)的康复领域13,14,15。虚拟现实的沉浸特性使其成为动作观察和运动想象训练的有效工具,因为它使参与者能够将虚拟环境感知为真实环境15。研究表明,与传统的二维显示器相比,虚拟现实设备对运动想象训练具有更显著的效果15,16。此类发现的证据包括增强的神经活动,例如感觉运动皮层中事件相关去同步(ERD)振幅比的增加,突显了更高沉浸水平在视觉引导的运动想象训练中刺激脑活动的优势16。该系统通过提供直接反馈,有助于提高涉及手臂或肢体运动任务的运动想象表现,从而增强康复过程16,17。运动想象与虚拟现实的协同作用强调了感觉、知觉、认知和运动活动的整合18,19。这种结合对中风幸存者20,21和战争退伍军人22尤其有益;研究显示,将虚拟现实整合到基于运动想象的康复方案中,可显著缩短康复时间并改善恢复效果。虚拟现实在康复中的独特之处在于其能够在专门设计的虚拟环境中营造“在场感”,并通过引入代表用户身体的虚拟化身进一步增强康复体验,这一方法在运动康复研究中日益得到应用23。这些虚拟化身提供了肢体运动的真实三维呈现,有助于运动想象,并显著影响运动皮层的激活。通过让参与者可视化自己的虚拟形象执行特定任务,虚拟现实不仅丰富了运动想象体验,还促进了更快速、更有效的神经重组与恢复过程24。在运动想象训练中应用虚拟化身和模拟环境,突出了虚拟身体在沉浸式虚拟世界中自然且整合性的使用。
尽管基于脑机接口(BCI)的三维虚拟形象在运动想象(MI)康复中具有显著优势,但目前仍存在一个重大局限,即主要依赖离线方法。当前大多数BCI应用均采用预先记录的脑电图(EEG)数据,随后用于操控虚拟形象24,25。即使在实现虚拟形象实时控制的场景中,这些虚拟形象通常也是通用化的,无法真实反映其所代表的参与者外貌23。这种通用化的方法错失了增强沉浸感和身体所有权感知的关键机会,而后者对于有效的康复至关重要24。创建一个与受试者外貌完全一致的三维虚拟形象,可显著提升沉浸式体验16。通过在虚拟世界中看到自身的形象,参与者可能在想象动作与实际动作之间建立更强的联系,从而可能产生更显著的事件相关去同步化(ERD)模式,进而促进更有效的神经适应与功能恢复16。通过向个性化三维虚拟形象的实时控制方向推进,脑机接口与虚拟现实领域有望显著改善现有的康复范式,为患者康复提供一种更精细、更具参与感且更高效的方法。
本文介绍了基于虚拟现实(VR)的实时脑机接口(BCI)控制三维虚拟形象的硬件与软件系统的构建、设计及技术细节,突出了支持其在运动康复环境中应用的创新性成果。该系统将利用脑电图(EEG)采集受试者产生的运动想象信号,并以此实时控制虚拟形象的动作与行为。本方法结合了虚拟现实技术的先进能力与脑电图在识别和解析与想象运动相关的脑活动方面的精确性,旨在创建一种更具参与感和高效性的交互界面,使用户能够通过思维力量与数字环境进行互动。
本研究旨在探讨利用通过脑电图(EEG)记录的运动想象(MI)信号,在虚拟现实(VR)环境中实时控制三维虚拟化身的可行性。研究重点是通过个性化虚拟化身以使其高度相似于受试者本人,从而增强沉浸感和身体所有权感。该研究方案已获得Vellore理工大学伦理审查委员会的批准。参与者在了解研究目的、操作流程及潜在风险后,均签署了书面知情同意书。
1. 实验设置
注意:确保系统包含所有组件,如 图1 所示的实验装置示意图中所示(所用设备见材料表)。

图1:虚拟现实脑机接口(VR-BCI)设置。 整个VR-BCI系统显示受试者佩戴着VR头显和脑电帽。受试者在虚拟环境中观察个性化的3D虚拟形象,并通过无线传输到计算机的脑电信号控制其动作。请点击此处查看此图的放大版本。
2. 实验设计
3. 数据收集与分析
结果显示来自遵循上述方案的5名个体。共有5名健康成人(3名女性)参与了本研究,年龄范围为21至38岁。
每位参与者在运动想象训练和测试条件下的个体分类性能如图2所示。为评估分类器在训练和测试阶段区分左、右运动想象信号的准确性,计算了所有受试者的平均混淆矩阵(见图3)。
训练期间针对左侧和右侧运动想象计算得到的CSP权重被投影为一名代表性受试者的地形图模式,如图4A所示。此外,对同一名受试者在C4电极(位于对侧右侧感觉运动区,对应左手)和C3电极(位于左侧感觉运动区,对应右手)采集的脑电数据进行了时频分析。用于识别事件相关频谱扰动(ERSP)的时频图显示了在一次任务周期中8至30 Hz频率段振幅随时间动态变化的情况,如图4B中运动想象训练阶段所示。重点关注α频段(8–12 Hz)和β频段(13–30 Hz),将每个周期的ERSP除以其基线频谱进行归一化处理,并基于这些归一化值计算出平均ERSP。
此外,参与者对脑电帽和虚拟现实头显的舒适性和易用性反馈普遍积极。参与者尤其对3D虚拟形象的实时控制表现出浓厚兴趣。然而,参与者认为邦戈鼓击打动作应伴随声音反馈,以增强沉浸感。

图2:每位参与者在运动想象训练和测试阶段的准确率百分比。 真阳性(TP)率表示分类模型正确识别为运动想象(MI)信号的MI信号所占比例。假阳性(FP)率表示左侧MI信号被错误分类为右侧MI信号的频率。假阴性(FN)率反映实际存在的左侧MI信号中模型未能检测到的比例。最后,真阴性(TN)率表示模型正确识别为右侧MI信号的右侧MI信号所占比例。S1、S2、S3、S4和S5代表五位参与者。 请点击此处查看该图的放大版本。

图3:运动想象训练和测试阶段分类性能的平均混淆矩阵。 总体平均准确率反映了模型对左、右运动想象信号进行正确分类的能力。请点击此处查看该图的放大版本。

图 4:一名代表性受试者在运动想象训练过程中双手对应的 CSP 滤波器、模式及时频图。 (A)该图展示了受试者 S1 的 CSP 滤波器,其基于方差最大程度地区分两类(左手与右手)。(B)S1 的时频图。蓝色区域表示事件相关去同步化。在 0 ms 时,呈现提示以指示想象左手或右手动作,持续时间为 1250 ms。提示出现后,受试者想象用相应手执行敲击邦戈鼓的动作。请点击此处查看该图的放大版本。
将运动想象(MI)与虚拟现实(VR)技术结合应用于康复,有望利用大脑固有的运动规划与执行机制,为康复治疗提供一条颇具前景的途径。MI 能够在特定脑电频段诱导出与实际运动神经活动相似的事件相关去同步化现象2,3,4,从而为参与运动控制的神经网络的激活与强化提供坚实的基础8。这一过程因 VR 技术的沉浸性而进一步增强:VR 不仅可显著提升个体的临场感与身体归属感,还有助于运动过程的可视化,从而丰富运动想象的体验16。
开发高度逼真、与所代表个体外貌相近的个性化三维虚拟形象,是该领域的一项重要创新13,14,15。该方法在概念上与Skola等人27在虚拟现实环境中利用游戏化任务进行共适应运动想象脑机接口(MI-BCI)训练的研究相一致。然而,本方案通过采用完整三维虚拟形象、高度还原参与者的外观,与Skola等人所使用的仅聚焦于手部的视角方法形成了显著区别。通过实时呈现用户想象动作的视觉反馈,这些虚拟形象增强了沉浸感,并强化了想象动作与实际动作之间的关联18。本文所述方法有望诱发更显著的事件相关去同步(ERD)模式,从而促进更有效的神经适应与功能恢复。
然而,从离线脑机接口方法过渡到对虚拟形象的实时控制仍面临挑战,尤其是在确保系统对用户想象动作的准确性和响应性方面。该系统通过连接脑电图(EEG)数据采集系统与笔记本电脑的配置实现实时计算,笔记本电脑进一步与 Oculus Rift-S 虚拟现实(VR)头显进行交互。此配置实现了脑电数据采集与虚拟现实沉浸体验的无缝集成,借助采集服务器和游戏引擎,通过自主开发的三维虚拟形象提供视觉反馈和交互功能。
在脑机接口与虚拟现实(BCI-VR)集成场景中,通过使用配备高端显卡的游戏笔记本电脑,并通过OSC传输轻量级消息以传递提示信息和手部运动预测值,可有效最小化系统的整体延迟。采用游戏笔记本电脑可确保通过脑电图(EEG)设备采集的EEG数据得到快速处理,初始数字化和传输延迟可控制在5 ms以内。后续的信号处理与分类过程预计会引入约20–40 ms的额外延迟,该延迟包括信号滤波以及共空间模式(CSP)等特征提取算法的执行时间。场景设计模块与游戏引擎之间通过OSC进行通信,传输用于左、右手运动的简单数值提示,该通信机制设计为极低开销,预计增加的延迟不超过5–10 ms。得益于显卡的高效计算能力,游戏引擎对这些指令的处理速度极快,仅引入低于10 ms的延迟,随后在由VR头显提供的虚拟现实环境中渲染视觉反馈,而VR头显本身的设计目标是将延迟控制在20 ms以下。上述各组件协同工作,使系统总延迟保持在45–75 ms的理想范围内,从而确保系统具备沉浸式虚拟现实体验和高效脑机接口应用所必需的实时响应能力。
此外,参与者在训练阶段接受了足够次数的练习试验,作为一种教程模块,以熟悉虚拟现实(VR)设置以及虚拟化身的运动节奏,并在测试阶段利用思维控制三维虚拟化身。信号质量验证、使用共空间模式(CSP)和线性判别分析(LDA)进行任务分类,以及详细的测试阶段,对于实现实时虚拟化身控制的成功至关重要。
本研究的结果有望通过展示利用实时脑机接口(BCI)控制个性化三维虚拟形象进行康复训练的可行性和有效性,从而推动该领域的发展。通过比较运动想象训练阶段与实时测试阶段中运动意图检测的准确性,本研究将为该技术改善康复效果的潜力提供有价值的见解。此外,参与者关于控制难易程度和沉浸感水平的反馈将为脑机接口与虚拟现实技术的未来发展提供参考,旨在构建更具参与性和更高效的康复交互界面。
脑机接口(BCI)与虚拟现实(VR)技术的进步为康复治疗方案带来了更具个性化、参与性和有效性的新可能。未来的研究应致力于优化虚拟化身实时控制的技术,探索采用更复杂的机器学习算法进行信号分类,并将该方法的应用扩展至更广泛的神经系统疾病。此外,还需开展纵向研究,以评估这种康复方法对神经系统功能障碍个体在功能恢复及生活质量方面的长期影响。
尽管在康复治疗中将运动想象(MI)与虚拟现实(VR)技术相结合展现出巨大潜力,但仍存在若干局限性需要关注。个体在生成清晰的运动想象信号以及对运动想象和虚拟现实干预的神经反应方面存在显著差异。这种变异性意味着康复过程的有效性在不同患者之间可能差异较大,从而使得根据个体差异个性化定制治疗方案成为一项重大挑战。此外,实现对虚拟化身实时控制的高准确性和高响应性也是一项复杂任务。对运动想象信号的解读若出现延迟或错误,可能会中断沉浸式体验,进而可能降低康复治疗的效果。尽管虚拟现实技术能够增强沉浸感和参与度,但对部分使用者而言也可能引发不适或运动病,影响其参与长时间训练的能力,从而影响治疗的整体成效。
综上所述,脑机接口(BCI)与虚拟现实(VR)的结合,以利用运动想象信号实时控制个性化的三维虚拟形象为例,代表了神经康复领域的一种前沿方法。本方案不仅强调了此类技术整合在技术上的可行性,而且为康复医学的新时代奠定了基础,使技术与神经科学相融合,充分释放人脑在恢复与适应方面的能力潜力。
作者无任何利益冲突需要披露。
作者谨此感谢所有参与者所付出的时间与积极参与。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Alienware 笔记本电脑 | Dell | 配备 GTX1070 显卡的高端游戏笔记本电脑 | |
| Oculus Rift-S 虚拟现实头盔 | Meta | 虚拟现实头盔 | |
| OpenBCI Cyton Daisy | OpenBCI | 脑电图系统 | |
| OpenBCI 无凝胶帽 | OpenBCI | 用于在受试者头皮上放置脑电电极的无凝胶帽 |
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可