基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

摘要

在虚拟现实环境中，运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身，这些化身在虚拟现实环境中模拟参与者所想象执行的动作，以增强沉浸感和身体所有权感知。

摘要

本研究通过整合脑机接口（BCI）与虚拟现实（VR）技术，并结合三维（3D）虚拟形象的个性化定制，提出了一种神经康复领域的创新框架。传统的康复方法往往难以充分调动患者的参与度，主要原因是无法提供深度沉浸式和高度互动的体验。本研究致力于通过运动想象（MI）技术填补这一空白，即让参与者在不实际执行动作的情况下在脑海中模拟身体运动。该方法利用大脑的神经机制，在想象运动时激活与实际运动执行相关的脑区，从而促进康复进程。该系统的核心在于将虚拟现实的沉浸式能力与脑电图（EEG）的精确性相结合，以捕捉并解析与运动想象相关的脑电活动。系统采用以个性化3D虚拟形象形式呈现的“数字孪生”技术，显著增强用户在虚拟环境中的沉浸感。这种增强的具身感对于实现有效的康复至关重要，旨在加强患者与其虚拟化身之间的连接。通过这种方式，该系统不仅旨在提升运动想象的表现，还力求提供更具参与感和疗效的康复体验。借助脑机接口的实时应用，系统可将用户想象中的动作直接转化为3D虚拟形象在虚拟空间中的实际行为，从而向用户提供即时反馈。这一反馈回路对于强化与运动控制及康复相关的神经通路至关重要。该系统的最终目标是通过提升运动想象训练的互动性和对用户认知过程的响应能力，显著增强其有效性，从而为神经康复领域开辟一条全新的路径。

引言

随着脑机接口（BCI）和沉浸式虚拟现实（VR）等先进技术的引入，神经系统功能障碍患者的康复范式正在经历变革性转变，为促进功能恢复提供了更精细且有效的手段。运动想象（MI）是基于BCI的康复技术的核心方法，指在不实际执行动作的情况下，在心理上排演身体运动过程¹。MI利用了一种神经机制：想象某一动作会引发与实际执行该动作时高度相似的大脑活动模式^2,3,4。具体而言，进行运动想象会导致大脑电活动的α频段（8–13 Hz）和β频段（13–25 Hz）出现一种称为事件相关去同步化（ERD）的现象^5,6,7。ERD反映了基础脑节律的抑制状态，这种模式在实际运动过程中同样存在，因而为在BCI辅助康复框架中应用MI提供了神经基础⁷。MI与实际运动在皮层激活模式上的相似性表明，MI能够有效刺激参与运动控制的神经网络，使其成为运动功能障碍患者的重要康复工具⁸。此外，MI的实践已不仅限于单纯的心理排演，还扩展至动作观察策略的应用⁹。观察他人执行与任务相关的身体部位运动或行为，可激活镜像神经元网络（MNN），这是一类在动作观察和动作执行时均会响应的神经元群⁹。研究表明，通过观察激活MNN可诱导皮层可塑性，这一结论已通过多种神经影像技术得到证实，包括功能磁共振成像（fMRI）¹⁰、正电子发射断层扫描（PET）¹¹和经颅磁刺激（TMS）¹²。这些证据支持如下观点：结合动作观察的MI训练可促使受损个体产生显著的神经适应与功能恢复。

虚拟现实技术通过提供一种沉浸式环境，增强了身体所有权感知，并模糊了现实世界与虚拟世界之间的界限，从而彻底改变了基于运动想象（MI）的康复领域^13,14,15。虚拟现实的沉浸特性使其成为动作观察和运动想象训练的有效工具，因为它使参与者能够将虚拟环境感知为真实环境¹⁵。研究表明，与传统的二维显示器相比，虚拟现实设备对运动想象训练具有更显著的效果^15,16。此类发现的证据包括增强的神经活动，例如感觉运动皮层中事件相关去同步（ERD）振幅比的增加，突显了更高沉浸水平在视觉引导的运动想象训练中刺激脑活动的优势¹⁶。该系统通过提供直接反馈，有助于提高涉及手臂或肢体运动任务的运动想象表现，从而增强康复过程^16,17。运动想象与虚拟现实的协同作用强调了感觉、知觉、认知和运动活动的整合^18,19。这种结合对中风幸存者^20,21和战争退伍军人²²尤其有益；研究显示，将虚拟现实整合到基于运动想象的康复方案中，可显著缩短康复时间并改善恢复效果。虚拟现实在康复中的独特之处在于其能够在专门设计的虚拟环境中营造“在场感”，并通过引入代表用户身体的虚拟化身进一步增强康复体验，这一方法在运动康复研究中日益得到应用²³。这些虚拟化身提供了肢体运动的真实三维呈现，有助于运动想象，并显著影响运动皮层的激活。通过让参与者可视化自己的虚拟形象执行特定任务，虚拟现实不仅丰富了运动想象体验，还促进了更快速、更有效的神经重组与恢复过程²⁴。在运动想象训练中应用虚拟化身和模拟环境，突出了虚拟身体在沉浸式虚拟世界中自然且整合性的使用。

尽管基于脑机接口（BCI）的三维虚拟形象在运动想象（MI）康复中具有显著优势，但目前仍存在一个重大局限，即主要依赖离线方法。当前大多数BCI应用均采用预先记录的脑电图（EEG）数据，随后用于操控虚拟形象^24,25。即使在实现虚拟形象实时控制的场景中，这些虚拟形象通常也是通用化的，无法真实反映其所代表的参与者外貌²³。这种通用化的方法错失了增强沉浸感和身体所有权感知的关键机会，而后者对于有效的康复至关重要²⁴。创建一个与受试者外貌完全一致的三维虚拟形象，可显著提升沉浸式体验¹⁶。通过在虚拟世界中看到自身的形象，参与者可能在想象动作与实际动作之间建立更强的联系，从而可能产生更显著的事件相关去同步化（ERD）模式，进而促进更有效的神经适应与功能恢复¹⁶。通过向个性化三维虚拟形象的实时控制方向推进，脑机接口与虚拟现实领域有望显著改善现有的康复范式，为患者康复提供一种更精细、更具参与感且更高效的方法。

本文介绍了基于虚拟现实（VR）的实时脑机接口（BCI）控制三维虚拟形象的硬件与软件系统的构建、设计及技术细节，突出了支持其在运动康复环境中应用的创新性成果。该系统将利用脑电图（EEG）采集受试者产生的运动想象信号，并以此实时控制虚拟形象的动作与行为。本方法结合了虚拟现实技术的先进能力与脑电图在识别和解析与想象运动相关的脑活动方面的精确性，旨在创建一种更具参与感和高效性的交互界面，使用户能够通过思维力量与数字环境进行互动。

方案

本研究旨在探讨利用通过脑电图（EEG）记录的运动想象（MI）信号，在虚拟现实（VR）环境中实时控制三维虚拟化身的可行性。研究重点是通过个性化虚拟化身以使其与受试者外貌高度相似，从而增强沉浸感和身体所有权感。该实验方案已获得Vellore理工学院伦理审查委员会的批准。参与者在了解研究目的、实验流程及潜在风险后，均签署了书面知情同意书。

1. 实验设置

注意：确保系统包含所有组件，如图1所示的实验装置示意图中所示（所用设备见材料表）。

1. 3D虚拟形象开发
   1. 虚拟形象建模
      1. 在数据采集前一天，从各个角度采集每位参与者的多张面部照片，并进行精确的身体测量。
      2. 点击 建模软件 打开后，立即找到性别滑块。将此滑块调整为与拟创建模型的性别一致。
      3. 导航至屏幕顶部的“建模”选项卡，点击该选项卡以访问身体自定义选项。
      4. 使用躯干、手臂、腿部等各个部分下方的滑块来调整身体模型。重点关注以下基本测量数据：身高、胸围/ bust、腰围、臀围、腿长和臂长。
      5. 点击 姿态/动画 标签，然后选择基础动画的默认骨骼。前往顶部的“文件”菜单，选择 导出，然后选择.mhx2 选择与动画软件兼容的格式，并确保选中相关选项 导出 使用 Rig 并包含骨骼。选择目标文件夹，命名文件，然后点击导出。
      6. 打开动画软件。前往 文件 > 导入 并选择 .mhx2 或预期的格式。导航至已保存的文件，选择该文件，并将其导入软件中。
      7. 转到“编辑”菜单，选择 偏好设置 > 附加组件，并确保已启用用于构建面的适当插件。
      8. 在3D视口中，切换到插件提供的布局预设，或转至插件面板，该面板通常位于左侧工具架上。
      9. 点击 创建新头部 在插件面板中启动头模型。使用 添加照片 点击按钮导入参与者的照片。请使用正面和侧面轮廓照片以实现精确建模。
      10. 根据提示，将照片上的点与3D模型上对应的点对齐。插件将据此调整头部模型以匹配参与者的特征。当对相似度满意后，确认完成头部模型的构建。
      11. 手动调整头部模型的位置，使其与身体模型的颈部对齐。调节头部的大小和旋转角度，以实现无缝贴合。
      12. 使用 Snap 工具（Shift+Tab) 精确对齐头部与身体上颈部的顶点。
      13. 对齐后，通过选中头和身体两个网格并按下 Ctrl+J 将它们合并为一个单一对象。
      14. 导入或建模一对邦戈鼓，并将其置于模型前方适当高度处。
   2. 为虚拟形象制作动画
      1. 切换到已绑定模型的姿态模式。在第1帧，选择所有骨骼，并插入一个关键帧（使用 I 键），记录其初始的位移、旋转和缩放（LocRotScale）。
      2. 将时间轴向前移动至第30帧，以定位左手击打邦戈鼓的位置。
      3. 移动并旋转左手的骨骼装置以模拟敲击邦戈鼓的动作。为这些骨骼插入关键帧。重复此过程，在第60帧处将手部返回至起始位置，并插入另一个关键帧以完成该动作。
      4. 将时间轴移至第90帧，此时右手开始动作。与左手类似，调整右手的位置和旋转角度，以模拟敲击另一个邦戈鼓，并插入关键帧。
      5. 将手部返回至起始位置，并在第150帧插入关键帧以结束该动作。
      6. 通过时间轴进行 scrub 操作以查看动画效果。根据需要调整，使动作更流畅，或优化康加鼓击之间的节奏。保存文件。
2. 设备设置
   1. 通过将带有8个脑电通道的Daisy模块连接到另一块带有8个脑电通道的电路板顶部，组装成一个16通道脑电数据采集系统。
   2. 通过Y型分线电缆将参考电极连接至 Daisy Board 上标记为 SRB 的底部参考引脚，以及底部电路板上标记为 SRB 的底部参考引脚。
   3. 将接地电极连接到底板上的 BIAS 引脚。
   4. 将16个脑电图（EEG）电极连接到底板上标有N1P-N8P的引脚以及菊花链底板上标有N1P-N8P的引脚。
   5. 将电极插入无凝胶帽上标有位置的电极插孔，按照国际10-20系统定位，电极标签分别为 FP1、FP2、C3、C4、CZ、P3、P4、PZ、O1、O2、F7、F8、F3、F4、T3 和 T4。
   6. 将18个用于脑电图电极的海绵浸泡在生理盐水中15分钟，生理盐水的配制方法为：将5 g氯化钠溶解于200 mL自来水中。
   7. 将浸泡过的海绵插入每个电极的下方，以建立头皮与电极之间的接触。
   8. 让受试者在安静的房间内舒适地坐下。将无凝胶脑电图帽戴在受试者头皮上，确保帽位正确对齐，以贴合受试者的双耳。
   9. 将USB接收器连接到笔记本电脑。打开EEG图形用户界面，点击 脑电图系统在“数据源”选项下选择 串行（来自加密狗）、16 通道、自动连接.
   10. 在数据采集界面内，选择信号控件，通过检查连接电极的阻抗水平是否处于最佳状态来验证信号质量 <每个电极位置 10 kΩ²⁶.
   11. 如果阻抗高于 10 kΩ，则在电极下方的海绵中加入几滴生理盐水溶液。阻抗检测完成后，关闭图形用户界面。
   12. 打开采集服务器软件，选择 合适的EEG板 在驱动程序下点击 连接 > 播放 与脑电图系统建立连接。
   13. 使用消毒湿巾清洁VR头戴设备，并将其放置在受试者头部的EEG帽之上，以便在采集EEG数据的同时实现沉浸式交互。
3. 游戏设置
   注意：以下说明概述了使用开放声音控制（Open Sound Control, OSC）设置两个游戏引擎场景的步骤：一个用于运动想象训练（前馈），另一个用于测试运动想象（反馈）。前馈场景通过由OSC消息触发的观察性动画，对用户进行运动想象训练。反馈场景则基于OSC输入，将用户想象的运动进行动画呈现，以测试运动想象的效果。
   1. 打开游戏引擎软件并选择 运动想象训练项目启用VR支持：前往 编辑 > 项目设置 > 播放器 > XR 设置，检查 虚拟现实支持，并确保虚拟现实头显列在虚拟现实 SDK 下。
   2. 删除默认相机，并从VR集成包中将VR相机拖入场景。
   3. 将导入的动画文件放置到场景中。根据需要调整其比例和方向。确保带有预编写脚本的OSCListener游戏对象能够根据OSC消息触发模型的左手和右手动作动画，以模拟邦戈鼓击打动作，用于运动想象训练。
   4. 开放 文件 > 构建设置 在游戏引擎软件中。选择 PC，Mac & Linux 独立运行，目标为 Windows，然后点击 构建与运行.
   5. 对于运动想象测试项目，执行与运动想象训练项目类似的步骤。使用已配置脚本的OSCListener游戏对象，该脚本用于接收反映参与者想象手部运动的OSC信号，并触发测试项目中相应的动画。

图1：VR-BCI实验装置。 完整的VR-BCI装置显示受试者佩戴VR头显和脑电帽。受试者在虚拟环境中观察个性化的3D虚拟形象，并通过无线传输至计算机的脑电信号控制其动作。请点击此处查看此图的放大版本。

2. 实验设计

1. 信号验证阶段
   1. 打开用于设计和运行运动想象实验范式的软件工具，进入“文件”菜单并加载六个标注为“信号验证”、“数据采集”、“CSP训练”、“分类器训练”、“测试”和“混淆矩阵”的运动想象-脑机接口（BCI）实验范式。
   2. 切换至信号验证实验范式。使用设计模块对原始信号施加1至40 Hz的带通滤波器，滤波器阶数设为4，以实现优化的信号处理。
2. 训练阶段
   1. 指导并告知参与者执行运动想象任务，根据视觉提示想象手部运动。
   2. 打开运动想象训练文件，并通过VR头显显示一个预先准备好的3D虚拟形象，该形象站立在一组邦戈鼓上方。
   3. 进入“数据采集”实验范式，双击Graz Motor Imagery Stimulator模块以进行配置。
   4. 为左手和右手运动分别设置50次、每次5秒的试验（提示阶段1.25秒，运动想象阶段3.75秒），在试验开始前加入20秒基线期，并且每完成10次试验后安排10秒休息时间，以避免心理疲劳。
   5. 设置左手和右手试验顺序随机化，并在每次试验前显示提示，指示应想象哪只手的运动。
   6. 连接一个OSC模块，设置其IP地址和端口，将待想象手部的提示信息发送至运动想象训练游戏引擎程序。
   7. 指导参与者在看到文本提示后，想象自己以与3D虚拟形象相同的节奏移动手部，当虚拟形象用对应的手击打邦戈鼓时，参与者应同步进行相应的运动想象。
3. CSP与LDA训练
   1. 完成数据采集后，运行“CSP训练”实验范式，分析采集阶段获取的脑电图（EEG）数据，计算共空间模式（Common Spatial Patterns, CSP），生成用于区分左手与右手运动想象的滤波器。
   2. CSP训练完成后，进入“分类器训练”实验范式并运行，利用线性判别分析（Linear Discriminant Analysis, LDA）结合CSP滤波器实现高效的运动任务分类，为实时控制虚拟形象做准备。
4. 测试阶段
   1. 进入测试实验范式，使参与者通过脑机接口（BCI）技术实时控制其3D虚拟形象。
   2. 在相应模块中加载此前基于参与者想象手部运动时采集的EEG数据所训练得到的分类器，用于实时解读这些想象动作。
   3. 确保脑电系统和虚拟现实（VR）设备正常运行，并按照训练阶段的设置正确配置。
   4. 向参与者简要说明测试流程，强调需根据文本提示清晰地想象手部运动（即用左手或右手击打邦戈鼓）。
   5. 与训练阶段类似，每位参与者进行20次试验，左右手运动想象各占10次，试验顺序随机化。
   6. 连接并配置一个OSC模块，将提示信息发送至游戏引擎程序，以文本形式显示当前应想象的手。
   7. 连接另一个OSC模块，将预测的左手和右手运动结果传输至游戏引擎程序，以便根据参与者想象的手部动作播放相应的动画。
   8. 运行测试实验范式，并启动“运动想象测试”游戏引擎程序。

3. 数据收集与分析

1. 在实验的采集和测试阶段，以 125 Hz 的采样频率持续记录脑电图（EEG）数据和分类器输出。
2. 进入混淆矩阵场景，针对每位参与者以及采集和训练阶段，将获取的 EEG 文件加载到标记为“通用流读取器”的输入框中。
3. 运行该场景以生成混淆矩阵，用于评估脑机接口（BCI）系统解析运动想象信号的准确性。
4. 收集参与者关于使用虚拟化身时的易用性、控制能力、沉浸感，以及佩戴 EEG 帽和 VR 头显时舒适度的反馈意见。

结果

结果显示来自5名遵循上述方案的个体。共有5名健康成人（3名女性）参与了本研究，年龄范围为21至38岁。

每位参与者在运动想象训练和测试条件下的个体分类表现如图2所示。为评估分类器在训练和测试阶段区分左、右运动想象信号的准确性，计算了所有受试者的平均混淆矩阵（见图3）。

训练期间针对左侧和右侧运动想象计算得到的CSP权重被投影为一名代表性受试者的地形图模式，如图4A所示。此外，对同一名受试者在C4电极（位于对应左手的对侧右侧感觉运动区）和C3电极（位于对应右手的左侧感觉运动区）采集的脑电数据进行了时频分析。用于识别事件相关谱扰动（ERSP）的时频图显示了在一次试验过程中8至30 Hz频率段振幅随时间动态变化的情况，如图4B中运动想象训练阶段所示。重点关注α频段（8–12 Hz）和β频段（13–...

讨论

将运动想象（MI）与虚拟现实（VR）技术结合应用于康复，有望利用大脑固有的运动规划与执行机制，为康复治疗提供一条颇具前景的途径。MI 能够在特定脑电频段诱导出与实际运动神经活动相似的事件相关去同步化现象^2,3,4，从而为参与运动控制的神经网络的激活与强化提供坚实的基础⁸。这一过程因 VR 技术的沉浸性而进一步增强：VR 不仅可显著提升个体的临场感与身体归属感，还有助于运动过程的可视化，从而丰富运动想象的体验¹⁶。

开发高度逼真、与所代表个体外貌相近的个性化三维虚拟形象，是该领域的一项重要创新^13,14,15。该方法在概...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Alienware 笔记本电脑	Dell		配备 GTX1070 显卡的高端游戏笔记本电脑
Oculus Rift-S 虚拟现实头盔	Meta		虚拟现实头盔
OpenBCI Cyton Daisy	OpenBCI		脑电图系统
OpenBCI 无凝胶帽	OpenBCI		用于在受试者头皮上放置脑电电极的无凝胶帽