方法文章

基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

2.6K 次观看

DOI:

10.3791/66859

2024年5月10日

本文内容

摘要

在虚拟现实环境中,运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身,这些化身在虚拟现实环境中模拟参与者所想象执行的动作,以增强沉浸感和身体所有权感知。

摘要

本研究通过整合脑机接口(BCI)与虚拟现实(VR)技术,并结合三维(3D)虚拟形象的个性化定制,提出了一种神经康复领域的创新框架。传统的康复方法往往难以充分调动患者的参与度,主要原因是无法提供深度沉浸式和高度互动的体验。本研究致力于通过运动想象(MI)技术填补这一空白,即让参与者在不实际执行动作的情况下在脑海中模拟身体运动。该方法利用大脑的神经机制,在想象运动时激活与实际运动执行相关的脑区,从而促进康复进程。该系统的核心在于将虚拟现实的沉浸式能力与脑电图(EEG)的精确性相结合,以捕捉并解析与运动想象相关的脑电活动。系统采用以个性化3D虚拟形象形式呈现的“数字孪生”技术,显著增强用户在虚拟环境中的沉浸感。这种增强的具身感对于实现有效的康复至关重要,旨在加强患者与其虚拟化身之间的连接。通过这种方式,该系统不仅旨在提升运动想象的表现,还力求提供更具参与感和疗效的康复体验。借助脑机接口的实时应用,系统可将用户想象中的动作直接转化为3D虚拟形象在虚拟空间中的实际行为,从而向用户提供即时反馈。这一反馈回路对于强化与运动控制及康复相关的神经通路至关重要。该系统的最终目标是通过提升运动想象训练的互动性和对用户认知过程的响应能力,显著增强其有效性,从而为神经康复领域开辟一条全新的路径。

引言

随着脑机接口(BCI)和沉浸式虚拟现实(VR)等先进技术的引入,神经系统功能障碍患者的康复范式正在经历变革性转变,为促进功能恢复提供了更精细且有效的手段。运动想象(MI)是基于BCI的康复技术的核心方法,指在不实际执行动作的情况下,在心理上排演身体运动过程1。MI利用了一种神经机制:想象某一动作会引发与实际执行该动作时高度相似的大脑活动模式2,3,4。具体而言,进行运动想象会导致大脑电活动的α频段(8–13 Hz)和β频段(13–25 Hz)出现一种称为事件相关去同步化(ERD)的现象5,6,7。ERD反映了基础脑节律的抑制状态,这种模式在实际运动过程中同样存在,因而为在BCI辅助康复框架中应用MI提供了神经基础7。MI与实际运动在皮层激活模式上的相似性表明,MI能够有效刺激参与运动控制的神经网络,使其成为运动功能障碍患者的重要康复工具8。此外,MI的实践已不仅限于单纯的心理排演,还扩展至动作观察策略的应用9。观察他人执行与任务相关的身体部位运动或行为,可激活镜像神经元网络(MNN),这是一类在动作观察和动作执行时均会响应的神经元群9。研究表明,通过观察激活MNN可诱导皮层可塑性,这一结论已通过多种神经影像技术得到证实,包括功能磁共振成像(fMRI)10、正电子发射断层扫描(PET)11和经颅磁刺激(TMS)12。这些证据支持如下观点:结合动作观察的MI训练可促使受损个体产生显著的神经适应与功能恢复。

虚拟现实技术通过提供一种沉浸式环境,增强了身体所有权感知,并模糊了现实世界与虚拟世界之间的界限,从而彻底改变了基于运动想象(MI)的康复领域13,14,15。虚拟现实的沉浸特性使其成为动作观察和运动想象训练的有效工具,因为它使参与者能够将虚拟环境感知为真实环境15。研究表明,与传统的二维显示器相比,虚拟现实设备对运动想象训练具有更显著的效果15,16。此类发现的证据包括增强的神经活动,例如感觉运动皮层中事件相关去同步(ERD)振幅比的增加,突显了更高沉浸水平在视觉引导的运动想象训练中刺激脑活动的优势16。该系统通过提供直接反馈,有助于提高涉及手臂或肢体运动任务的运动想象表现,从而增强康复过程16,17。运动想象与虚拟现实的协同作用强调了感觉、知觉、认知和运动活动的整合18,19。这种结合对中风幸存者20,21和战争退伍军人22尤其有益;研究显示,将虚拟现实整合到基于运动想象的康复方案中,可显著缩短康复时间并改善恢复效果。虚拟现实在康复中的独特之处在于其能够在专门设计的虚拟环境中营造“在场感”,并通过引入代表用户身体的虚拟化身进一步增强康复体验,这一方法在运动康复研究中日益得到应用23。这些虚拟化身提供了肢体运动的真实三维呈现,有助于运动想象,并显著影响运动皮层的激活。通过让参与者可视化自己的虚拟形象执行特定任务,虚拟现实不仅丰富了运动想象体验,还促进了更快速、更有效的神经重组与恢复过程24。在运动想象训练中应用虚拟化身和模拟环境,突出了虚拟身体在沉浸式虚拟世界中自然且整合性的使用。

尽管基于脑机接口(BCI)的三维虚拟形象在运动想象(MI)康复中具有显著优势,但目前仍存在一个重大局限,即主要依赖离线方法。当前大多数BCI应用均采用预先记录的脑电图(EEG)数据,随后用于操控虚拟形象24,25。即使在实现虚拟形象实时控制的场景中,这些虚拟形象通常也是通用化的,无法真实反映其所代表的参与者外貌23。这种通用化的方法错失了增强沉浸感和身体所有权感知的关键机会,而后者对于有效的康复至关重要24。创建一个与受试者外貌完全一致的三维虚拟形象,可显著提升沉浸式体验16。通过在虚拟世界中看到自身的形象,参与者可能在想象动作与实际动作之间建立更强的联系,从而可能产生更显著的事件相关去同步化(ERD)模式,进而促进更有效的神经适应与功能恢复16。通过向个性化三维虚拟形象的实时控制方向推进,脑机接口与虚拟现实领域有望显著改善现有的康复范式,为患者康复提供一种更精细、更具参与感且更高效的方法。

本文介绍了基于虚拟现实(VR)的实时脑机接口(BCI)控制三维虚拟形象的硬件与软件系统的构建、设计及技术细节,突出了支持其在运动康复环境中应用的创新性成果。该系统将利用脑电图(EEG)采集受试者产生的运动想象信号,并以此实时控制虚拟形象的动作与行为。本方法结合了虚拟现实技术的先进能力与脑电图在识别和解析与想象运动相关的脑活动方面的精确性,旨在创建一种更具参与感和高效性的交互界面,使用户能够通过思维力量与数字环境进行互动。

方案

本研究旨在探讨利用通过脑电图(EEG)记录的运动想象(MI)信号,在虚拟现实(VR)环境中实时控制三维虚拟化身的可行性。研究重点是通过个性化虚拟化身以使其与受试者外貌高度相似,从而增强沉浸感和身体所有权感。该实验方案已获得Vellore理工学院伦理审查委员会的批准。参与者在了解研究目的、实验流程及潜在风险后,均签署了书面知情同意书。

1. 实验设置

注意:确保系统包含所有组件,如图1所示的实验装置示意图中所示(所用设备见材料表)。

  1. 3D虚拟形象开发
    1. 虚拟形象建模
      1. 在数据采集前一天,从各个角度采集每位参与者的多张面部照片,并进行精确的身体测量。
      2. 点击 建模软件 打开后,立即找到性别滑块。将此滑块调整为与拟创建模型的性别一致。
      3. 导航至屏幕顶部的“建模”选项卡,点击该选项卡以访问身体自定义选项。
      4. 使用躯干、手臂、腿部等各个部分下方的滑块来调整身体模型。重点关注以下基本测量数据:身高、胸围/ bust、腰围、臀围、腿长和臂长。
      5. 点击 姿态/动画 标签,然后选择基础动画的默认骨骼。前往顶部的“文件”菜单,选择 导出,然后选择.mhx2 选择与动画软件兼容的格式,并确保选中相关选项 导出 使用 Rig 并包含骨骼。选择目标文件夹,命名文件,然后点击导出。
      6. 打开动画软件。前往 文件 > 导入 并选择 .mhx2 或预期的格式。导航至已保存的文件,选择该文件,并将其导入软件中。
      7. 转到“编辑”菜单,选择 偏好设置 > 附加组件,并确保已启用用于构建面的适当插件。
      8. 在3D视口中,切换到插件提供的布局预设,或转至插件面板,该面板通常位于左侧工具架上。
      9. 点击 创建新头部 在插件面板中启动头模型。使用 添加照片 点击按钮导入参与者的照片。请使用正面和侧面轮廓照片以实现精确建模。
      10. 根据提示,将照片上的点与3D模型上对应的点对齐。插件将据此调整头部模型以匹配参与者的特征。当对相似度满意后,确认完成头部模型的构建。
      11. 手动调整头部模型的位置,使其与身体模型的颈部对齐。调节头部的大小和旋转角度,以实现无缝贴合。
      12. 使用 Snap 工具(Shift+Tab) 精确对齐头部与身体上颈部的顶点。
      13. 对齐后,通过选中头和身体两个网格并按下 Ctrl+J 将它们合并为一个单一对象。
      14. 导入或建模一对邦戈鼓,并将其置于模型前方适当高度处。
    2. 为虚拟形象制作动画
      1. 切换到已绑定模型的姿态模式。在第1帧,选择所有骨骼,并插入一个关键帧(使用 I 键),记录其初始的位移、旋转和缩放(LocRotScale)。
      2. 将时间轴向前移动至第30帧,以定位左手击打邦戈鼓的位置。
      3. 移动并旋转左手的骨骼装置以模拟敲击邦戈鼓的动作。为这些骨骼插入关键帧。重复此过程,在第60帧处将手部返回至起始位置,并插入另一个关键帧以完成该动作。
      4. 将时间轴移至第90帧,此时右手开始动作。与左手类似,调整右手的位置和旋转角度,以模拟敲击另一个邦戈鼓,并插入关键帧。
      5. 将手部返回至起始位置,并在第150帧插入关键帧以结束该动作。
      6. 通过时间轴进行 scrub 操作以查看动画效果。根据需要调整,使动作更流畅,或优化康加鼓击之间的节奏。保存文件。
  2. 设备设置
    1. 通过将带有8个脑电通道的Daisy模块连接到另一块带有8个脑电通道的电路板顶部,组装成一个16通道脑电数据采集系统。
    2. 通过Y型分线电缆将参考电极连接至 Daisy Board 上标记为 SRB 的底部参考引脚,以及底部电路板上标记为 SRB 的底部参考引脚。
    3. 将接地电极连接到底板上的 BIAS 引脚。
    4. 将16个脑电图(EEG)电极连接到底板上标有N1P-N8P的引脚以及菊花链底板上标有N1P-N8P的引脚。
    5. 将电极插入无凝胶帽上标有位置的电极插孔,按照国际10-20系统定位,电极标签分别为 FP1、FP2、C3、C4、CZ、P3、P4、PZ、O1、O2、F7、F8、F3、F4、T3 和 T4。
    6. 将18个用于脑电图电极的海绵浸泡在生理盐水中15分钟,生理盐水的配制方法为:将5 g氯化钠溶解于200 mL自来水中。
    7. 将浸泡过的海绵插入每个电极的下方,以建立头皮与电极之间的接触。
    8. 让受试者在安静的房间内舒适地坐下。将无凝胶脑电图帽戴在受试者头皮上,确保帽位正确对齐,以贴合受试者的双耳。
    9. 将USB接收器连接到笔记本电脑。打开EEG图形用户界面,点击 脑电图系统在“数据源”选项下选择 串行(来自加密狗)、16 通道、自动连接.
    10. 在数据采集界面内,选择信号控件,通过检查连接电极的阻抗水平是否处于最佳状态来验证信号质量 <每个电极位置 10 kΩ26.
    11. 如果阻抗高于 10 kΩ,则在电极下方的海绵中加入几滴生理盐水溶液。阻抗检测完成后,关闭图形用户界面。
    12. 打开采集服务器软件,选择 合适的EEG板 在驱动程序下点击 连接 > 播放 与脑电图系统建立连接。
    13. 使用消毒湿巾清洁VR头戴设备,并将其放置在受试者头部的EEG帽之上,以便在采集EEG数据的同时实现沉浸式交互。
  3. 游戏设置
    注意:以下说明概述了使用开放声音控制(Open Sound Control, OSC)设置两个游戏引擎场景的步骤:一个用于运动想象训练(前馈),另一个用于测试运动想象(反馈)。前馈场景通过由OSC消息触发的观察性动画,对用户进行运动想象训练。反馈场景则基于OSC输入,将用户想象的运动进行动画呈现,以测试运动想象的效果。
    1. 打开游戏引擎软件并选择 运动想象训练项目启用VR支持:前往 编辑 > 项目设置 > 播放器 > XR 设置,检查 虚拟现实支持,并确保虚拟现实头显列在虚拟现实 SDK 下。
    2. 删除默认相机,并从VR集成包中将VR相机拖入场景。
    3. 将导入的动画文件放置到场景中。根据需要调整其比例和方向。确保带有预编写脚本的OSCListener游戏对象能够根据OSC消息触发模型的左手和右手动作动画,以模拟邦戈鼓击打动作,用于运动想象训练。
    4. 开放 文件 > 构建设置 在游戏引擎软件中。选择 PC,Mac & Linux 独立运行,目标为 Windows,然后点击 构建与运行.
    5. 对于运动想象测试项目,执行与运动想象训练项目类似的步骤。使用已配置脚本的OSCListener游戏对象,该脚本用于接收反映参与者想象手部运动的OSC信号,并触发测试项目中相应的动画。

虚拟现实脑电实验示意图;VR头显、脑电帽、笔记本电脑上的数据分析;脑电波研究。
图1:VR-BCI实验装置。 完整的VR-BCI装置显示受试者佩戴VR头显和脑电帽。受试者在虚拟环境中观察个性化的3D虚拟形象,并通过无线传输至计算机的脑电信号控制其动作。请点击此处查看此图的放大版本。

2. 实验设计

  1. 信号验证阶段
    1. 打开用于设计和运行运动想象实验范式的软件工具,进入“文件”菜单并加载六个标注为“信号验证”、“数据采集”、“CSP训练”、“分类器训练”、“测试”和“混淆矩阵”的运动想象-脑机接口(BCI)实验范式。
    2. 切换至信号验证实验范式。使用设计模块对原始信号施加1至40 Hz的带通滤波器,滤波器阶数设为4,以实现优化的信号处理。
  2. 训练阶段
    1. 指导并告知参与者执行运动想象任务,根据视觉提示想象手部运动。
    2. 打开运动想象训练文件,并通过VR头显显示一个预先准备好的3D虚拟形象,该形象站立在一组邦戈鼓上方。
    3. 进入“数据采集”实验范式,双击Graz Motor Imagery Stimulator模块以进行配置。
    4. 为左手和右手运动分别设置50次、每次5秒的试验(提示阶段1.25秒,运动想象阶段3.75秒),在试验开始前加入20秒基线期,并且每完成10次试验后安排10秒休息时间,以避免心理疲劳。
    5. 设置左手和右手试验顺序随机化,并在每次试验前显示提示,指示应想象哪只手的运动。
    6. 连接一个OSC模块,设置其IP地址和端口,将待想象手部的提示信息发送至运动想象训练游戏引擎程序。
    7. 指导参与者在看到文本提示后,想象自己以与3D虚拟形象相同的节奏移动手部,当虚拟形象用对应的手击打邦戈鼓时,参与者应同步进行相应的运动想象。
  3. CSP与LDA训练
    1. 完成数据采集后,运行“CSP训练”实验范式,分析采集阶段获取的脑电图(EEG)数据,计算共空间模式(Common Spatial Patterns, CSP),生成用于区分左手与右手运动想象的滤波器。
    2. CSP训练完成后,进入“分类器训练”实验范式并运行,利用线性判别分析(Linear Discriminant Analysis, LDA)结合CSP滤波器实现高效的运动任务分类,为实时控制虚拟形象做准备。
  4. 测试阶段
    1. 进入测试实验范式,使参与者通过脑机接口(BCI)技术实时控制其3D虚拟形象。
    2. 在相应模块中加载此前基于参与者想象手部运动时采集的EEG数据所训练得到的分类器,用于实时解读这些想象动作。
    3. 确保脑电系统和虚拟现实(VR)设备正常运行,并按照训练阶段的设置正确配置。
    4. 向参与者简要说明测试流程,强调需根据文本提示清晰地想象手部运动(即用左手或右手击打邦戈鼓)。
    5. 与训练阶段类似,每位参与者进行20次试验,左右手运动想象各占10次,试验顺序随机化。
    6. 连接并配置一个OSC模块,将提示信息发送至游戏引擎程序,以文本形式显示当前应想象的手。
    7. 连接另一个OSC模块,将预测的左手和右手运动结果传输至游戏引擎程序,以便根据参与者想象的手部动作播放相应的动画。
    8. 运行测试实验范式,并启动“运动想象测试”游戏引擎程序。

3. 数据收集与分析

  1. 在实验的采集和测试阶段,以 125 Hz 的采样频率持续记录脑电图(EEG)数据和分类器输出。
  2. 进入混淆矩阵场景,针对每位参与者以及采集和训练阶段,将获取的 EEG 文件加载到标记为“通用流读取器”的输入框中。
  3. 运行该场景以生成混淆矩阵,用于评估脑机接口(BCI)系统解析运动想象信号的准确性。
  4. 收集参与者关于使用虚拟化身时的易用性、控制能力、沉浸感,以及佩戴 EEG 帽和 VR 头显时舒适度的反馈意见。

结果

结果显示来自5名遵循上述方案的个体。共有5名健康成人(3名女性)参与了本研究,年龄范围为21至38岁。

每位参与者在运动想象训练和测试条件下的个体分类表现如图2所示。为评估分类器在训练和测试阶段区分左、右运动想象信号的准确性,计算了所有受试者的平均混淆矩阵(见图3)。

训练期间针对左侧和右侧运动想象计算得到的CSP权重被投影为一名代表性受试者的地形图模式,如图4A所示。此外,对同一名受试者在C4电极(位于对应左手的对侧右侧感觉运动区)和C3电极(位于对应右手的左侧感觉运动区)采集的脑电数据进行了时频分析。用于识别事件相关谱扰动(ERSP)的时频图显示了在一次试验过程中8至30 Hz频率段振幅随时间动态变化的情况,如图4B中运动想象训练阶段所示。重点关注α频段(8–12 Hz)和β频段(13–30 Hz),将每个试验的ERSP通过其基线谱进行归一化处理,并基于这些归一化值计算出平均ERSP。

此外,参与者对脑电帽和虚拟现实头戴设备的舒适性和易用性反馈普遍积极。参与者尤其对3D虚拟形象的实时控制表现出浓厚兴趣。然而,参与者认为邦戈鼓击打动作应伴随声音反馈,以增强沉浸感。

运动想象雷达图,比较训练和测试结果;LDA准确率、TP、FP、TN、FN指标。
图2:每位参与者在运动想象训练和测试阶段的准确率百分比。 真阳性(TP)率表示分类模型正确识别为运动想象(MI)信号的MI信号所占比例。假阳性(FP)率表示左侧MI信号被错误分类为右侧MI信号的频率。假阴性(FN)率反映实际左侧MI信号中模型未能检测到的比例。最后,真阴性(TN)率表示模型准确识别为右侧MI信号的信号所占比例。S1、S2、S3、S4和S5代表五位参与者。 请点击此处查看该图的放大版本。

运动想象评估;混淆矩阵;训练与测试;精确率、召回率、准确率分析。
图3:运动想象训练和测试阶段分类性能的平均混淆矩阵。 总体平均准确率反映了模型对左、右运动想象信号进行正确分类的能力。请点击此处查看该图的放大版本。

使用CSP滤波器进行脑电图分析、时频谱图;脑电波模式、事件相关电位研究、神经数据。
图4:一位代表性受试者在运动想象训练过程中双手对应的CSP滤波器、空间模式及时频图。A)该图展示了受试者S1的CSP滤波器,该滤波器基于方差最大程度地区分两类(左手与右手)。(B)受试者S1的时频图。蓝色区域表示事件相关去同步化。在0 ms时刻,呈现提示以指示想象左手或右手运动,提示持续时间为1250 ms。提示出现后,受试者想象用相应手执行敲击邦戈鼓的动作。 请点击此处查看该图的放大版本。

讨论

将运动想象(MI)与虚拟现实(VR)技术结合应用于康复,有望利用大脑固有的运动规划与执行机制,为康复治疗提供一条颇具前景的途径。MI 能够在特定脑电频段诱导出与实际运动神经活动相似的事件相关去同步化现象2,3,4,从而为参与运动控制的神经网络的激活与强化提供坚实的基础8。这一过程因 VR 技术的沉浸性而进一步增强:VR 不仅可显著提升个体的临场感与身体归属感,还有助于运动过程的可视化,从而丰富运动想象的体验16

开发高度逼真、与所代表个体外貌相近的个性化三维虚拟形象,是该领域的一项重要创新13,14,15。该方法在概念上与Skola等人27在虚拟现实环境中利用游戏化任务进行共适应运动想象脑机接口(MI-BCI)训练的研究相一致。然而,本方案通过采用完整三维虚拟形象、高度还原参与者的外观,与Skola等人所使用的仅聚焦于手部的视角方法形成了显著区别。通过实时呈现用户想象动作的视觉反馈,这些虚拟形象增强了沉浸感,并强化了想象动作与实际动作之间的关联18。本文所述方法有望诱发更显著的事件相关去同步(ERD)模式,从而促进更有效的神经适应与功能恢复。

然而,从离线脑机接口方法过渡到对虚拟形象的实时控制仍面临挑战,尤其是在确保系统对用户想象动作的准确性和响应性方面。该系统通过连接脑电图(EEG)数据采集系统与笔记本电脑的配置实现实时计算,笔记本电脑进一步与 Oculus Rift-S 虚拟现实(VR)头显进行交互。此配置实现了脑电数据采集与虚拟现实沉浸体验的无缝集成,借助采集服务器和游戏引擎,通过自主开发的三维虚拟形象提供视觉反馈和交互功能。

在脑机接口与虚拟现实(BCI-VR)集成场景中,通过使用配备高端显卡的游戏笔记本电脑,并通过OSC传输轻量级消息以传递提示信息和手部运动预测值,可有效最小化系统的整体延迟。采用游戏笔记本电脑可确保通过脑电图(EEG)设备采集的EEG数据得到快速处理,初始数字化和传输延迟可控制在5 ms以内。后续的信号处理与分类过程预计会引入约20–40 ms的额外延迟,该延迟包括信号滤波以及共空间模式(CSP)等特征提取算法的执行时间。场景设计模块与游戏引擎之间通过OSC进行通信,传输用于左、右手运动的简单数值提示,该通信机制设计为极低开销,预计增加的延迟不超过5–10 ms。得益于显卡的高效计算能力,游戏引擎对这些指令的处理速度极快,仅引入低于10 ms的延迟,随后在由VR头显提供的虚拟现实环境中渲染视觉反馈,而VR头显本身的设计目标是将延迟控制在20 ms以下。上述各组件协同工作,使系统总延迟保持在45–75 ms的理想范围内,从而确保系统具备沉浸式虚拟现实体验和高效脑机接口应用所必需的实时响应能力。

此外,参与者在训练阶段接受了足够次数的练习试验,作为一种教程模块,以熟悉虚拟现实(VR)设置以及虚拟化身的运动节奏,并在测试阶段利用思维控制三维虚拟化身。信号质量验证、使用共空间模式(CSP)和线性判别分析(LDA)进行任务分类,以及详细的测试阶段,对于实现实时虚拟化身控制的成功至关重要。

本研究的结果有望通过展示利用实时脑机接口(BCI)控制个性化三维虚拟形象进行康复训练的可行性和有效性,从而推动该领域的发展。通过比较运动想象训练阶段与实时测试阶段中运动意图检测的准确性,本研究将为该技术改善康复效果的潜力提供有价值的见解。此外,参与者关于控制难易程度和沉浸感水平的反馈将为脑机接口与虚拟现实技术的未来发展提供参考,旨在构建更具参与性和更高效的康复交互界面。

脑机接口(BCI)与虚拟现实(VR)技术的进步为康复治疗方案带来了更具个性化、参与性和有效性的新可能。未来的研究应致力于优化虚拟化身实时控制的技术,探索采用更复杂的机器学习算法进行信号分类,并将该方法的应用扩展至更广泛的神经系统疾病。此外,还需开展纵向研究,以评估这种康复方法对神经系统功能障碍个体在功能恢复及生活质量方面的长期影响。

尽管在康复治疗中将运动想象(MI)与虚拟现实(VR)技术相结合展现出巨大潜力,但仍存在若干局限性需要关注。个体在生成清晰的运动想象信号以及对运动想象和虚拟现实干预的神经反应方面存在显著差异。这种变异性意味着康复过程的有效性在不同患者之间可能差异较大,从而使得根据个体差异个性化定制治疗方案成为一项重大挑战。此外,实现对虚拟化身实时控制的高准确性和高响应性也是一项复杂任务。对运动想象信号的解读若出现延迟或错误,可能会中断沉浸式体验,进而可能降低康复治疗的效果。尽管虚拟现实技术能够增强沉浸感和参与度,但对部分使用者而言也可能引发不适或运动病,影响其参与长时间训练的能力,从而影响治疗的整体成效。

综上所述,脑机接口(BCI)与虚拟现实(VR)的结合,以利用运动想象信号实时控制个性化的三维虚拟形象为例,代表了神经康复领域的一种前沿方法。本方案不仅强调了此类技术整合在技术上的可行性,而且为康复医学的新时代奠定了基础,使技术与神经科学相融合,充分释放人脑在恢复与适应方面的能力潜力。

披露

作者无任何利益冲突需要披露。

致谢

作者谨此感谢所有参与者所付出的时间与积极参与。

材料

本文使用的材料清单
姓名公司目录编号评论
Alienware 笔记本电脑Dell配备 GTX1070 显卡的高端游戏笔记本电脑
Oculus Rift-S 虚拟现实头盔Meta虚拟现实头盔
OpenBCI Cyton DaisyOpenBCI脑电图系统
OpenBCI 无凝胶帽OpenBCI用于在受试者头皮上放置脑电电极的无凝胶帽

参考文献

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

重印与许可

标签

脑电图采集三维虚拟形象运动技能康复CSP训练实时虚拟形象控制事件相关谱扰动