方法文章

基于虚拟现实脑机接口环境中具身化数字孪生的运动想象表现

DOI:

10.3791/66859

2024年5月10日

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在虚拟现实环境中,运动想象在脑机接口系统中具有广泛的应用。本文阐述了使用个性化的数字化身,这些化身在虚拟现实环境中模拟参与者所想象执行的动作,以增强沉浸感和身体所有权感知。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究通过整合脑机接口(BCI)与虚拟现实(VR)技术,并结合三维(3D)虚拟形象的个性化定制,提出了一种神经康复领域的创新框架。传统的康复方法往往难以充分调动患者的参与度,主要原因是无法提供深度沉浸式和高度互动的体验。本研究致力于通过运动想象(MI)技术填补这一空白,即让参与者在不实际执行动作的情况下在脑海中模拟身体运动。该方法利用大脑的神经机制,在想象运动时激活与实际运动执行相关的脑区,从而促进康复进程。该系统的核心在于将虚拟现实的沉浸式能力与脑电图(EEG)的精确性相结合,以捕捉并解析与运动想象相关的脑电活动。系统采用以个性化3D虚拟形象形式呈现的“数字孪生”技术,显著增强用户在虚拟环境中的沉浸感。这种增强的具身感对于实现有效的康复至关重要,旨在加强患者与其虚拟化身之间的连接。通过这种方式,该系统不仅旨在提升运动想象的表现,还力求提供更具参与感和疗效的康复体验。借助脑机接口的实时应用,系统可将用户想象中的动作直接转化为3D虚拟形象在虚拟空间中的实际行为,从而向用户提供即时反馈。这一反馈回路对于强化与运动控制及康复相关的神经通路至关重要。该系统的最终目标是通过提升运动想象训练的互动性和对用户认知过程的响应能力,显著增强其有效性,从而为神经康复领域开辟一条全新的路径。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

随着脑机接口(BCI)和沉浸式虚拟现实(VR)等先进技术的引入,神经系统功能障碍患者的康复范式正在经历变革性转变,为促进功能恢复提供了更精细且有效的手段。运动想象(MI)是基于BCI的康复技术的核心方法,指在不实际执行动作的情况下,在心理上排演身体运动过程1。MI利用了一种神经机制:想象某一动作会引发与实际执行该动作时高度相似的大脑活动模式2,3,4。具体而言,进行运动想象会导致大脑电活动的α频段(8–13 Hz)和β频段(13–25 Hz)出现一种称为事件相关去同步化(ERD)的现象5,6,7。ERD反映了基础脑节律的抑制状态,这种模式在实际运动过程中同样存在,因而为在BCI辅助康复框架中应用MI提供了神经基础7。MI与实际运动在皮层激活模式上的相似性表明,MI能够有效刺激参与运动控制的神经网络,使其成为运动功能障碍患者的重要康复工具8。此外,MI的实践已不仅限于单纯的心理排演,还扩展至动作观察策略的应用9。观察他人执行与任务相关的身体部位运动或行为,可激活镜像神经元网络(MNN),这是一类在动作观察和动作执行时均会响应的神经元群9。研究表明,通过观察激活MNN可诱导皮层可塑性,这一结论已通过多种神经影像技术得到证实,包括功能磁共振成像(fMRI)10、正电子发射断层扫描(PET)11和经颅磁刺激(TMS)12。这些证据支持如下观点:结合动作观察的MI训练可促使受损个体产生显著的神经适应与功能恢复。

虚拟现实技术通过提供一种沉浸式环境,增强了身体所有权感知,并模糊了现实世界与虚拟世界之间的界限,从而彻底改变了基于运动想象(MI)的康复领域13,14,15。虚拟现实的沉浸特性使其成为动作观察和运动想象训练的有效工具,因为它使参与者能够将虚拟环境感知为真实环境15。研究表明,与传统的二维显示器相比,虚拟现实设备对运动想象训练具有更显著的效果15,16。此类发现的证据包括增强的神经活动,例如感觉运动皮层中事件相关去同步(ERD)振幅比的增加,突显了更高沉浸水平在视觉引导的运动想象训练中刺激脑活动的优势16。该系统通过提供直接反馈,有助于提高涉及手臂或肢体运动任务的运动想象表现,从而增强康复过程16,17。运动想象与虚拟现实的协同作用强调了感觉、知觉、认知和运动活动的整合18,19。这种结合对中风幸存者20,21和战争退伍军人22尤其有益;研究显示,将虚拟现实整合到基于运动想象的康复方案中,可显著缩短康复时间并改善恢复效果。虚拟现实在康复中的独特之处在于其能够在专门设计的虚拟环境中营造“在场感”,并通过引入代表用户身体的虚拟化身进一步增强康复体验,这一方法在运动康复研究中日益得到应用23。这些虚拟化身提供了肢体运动的真实三维呈现,有助于运动想象,并显著影响运动皮层的激活。通过让参与者可视化自己的虚拟形象执行特定任务,虚拟现实不仅丰富了运动想象体验,还促进了更快速、更有效的神经重组与恢复过程24。在运动想象训练中应用虚拟化身和模拟环境,突出了虚拟身体在沉浸式虚拟世界中自然且整合性的使用。

尽管基于脑机接口(BCI)的三维虚拟形象在运动想象(MI)康复中具有显著优势,但目前仍存在一个重大局限,即主要依赖离线方法。当前大多数BCI应用均采用预先记录的脑电图(EEG)数据,随后用于操控虚拟形象24,25。即使在实现虚拟形象实时控制的场景中,这些虚拟形象通常也是通用化的,无法真实反映其所代表的参与者外貌23。这种通用化的方法错失了增强沉浸感和身体所有权感知的关键机会,而后者对于有效的康复至关重要24。创建一个与受试者外貌完全一致的三维虚拟形象,可显著提升沉浸式体验16。通过在虚拟世界中看到自身的形象,参与者可能在想象动作与实际动作之间建立更强的联系,从而可能产生更显著的事件相关去同步化(ERD)模式,进而促进更有效的神经适应与功能恢复16。通过向个性化三维虚拟形象的实时控制方向推进,脑机接口与虚拟现实领域有望显著改善现有的康复范式,为患者康复提供一种更精细、更具参与感且更高效的方法。

本文介绍了基于虚拟现实(VR)的实时脑机接口(BCI)控制三维虚拟形象的硬件与软件系统的构建、设计及技术细节,突出了支持其在运动康复环境中应用的创新性成果。该系统将利用脑电图(EEG)采集受试者产生的运动想象信号,并以此实时控制虚拟形象的动作与行为。本方法结合了虚拟现实技术的先进能力与脑电图在识别和解析与想象运动相关的脑活动方面的精确性,旨在创建一种更具参与感和高效性的交互界面,使用户能够通过思维力量与数字环境进行互动。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究旨在探讨利用通过脑电图(EEG)记录的运动想象(MI)信号,在虚拟现实(VR)环境中实时控制三维虚拟化身的可行性。研究重点是通过个性化虚拟化身以使其高度相似于受试者本人,从而增强沉浸感和身体所有权感。该研究方案已获得Vellore理工大学伦理审查委员会的批准。参与者在了解研究目的、操作流程及潜在风险后,均签署了书面知情同意书。

1. 实验设置

注意:确保系统包含所有组件,如 图1 所示的实验装置示意图中所示(所用设备见材料表)。

  1. 3D虚拟形象开发
    1. 虚拟形象建模
      1. 在数据采集前一天,从不同角度采集每位参与者的多张面部照片,并获取精确的身体测量数据。
      2. 点击建模软件以打开该程序。打开后立即找到性别滑块,调整该滑块以匹配拟创建模型的性别。
      3. 导航至屏幕顶部的“建模”选项卡,点击该选项卡以访问身体自定义选项。
      4. 使用躯干、手臂、腿部等不同部分下的滑块对身体进行建模。重点关注以下基本测量值:身高、胸围/ bust、腰围、臀围、腿长和臂长。
      5. 点击姿态/动画选项卡,选择默认骨骼以进行基础动画。进入顶部的“文件”菜单,选择导出,然后选择.mhx2格式以确保与动画软件兼容。务必选择导出带骨骼的选项以包含骨骼结构。选择目标文件夹,命名文件,然后点击导出。
      6. 打开动画软件。进入文件 > 导入,选择.mhx2或预期格式。导航至已保存的文件,选择并将其导入软件中。
      7. 进入“编辑”菜单,选择偏好设置 > 插件,并确保启用用于构建面部的适当插件。
      8. 在3D视口中,切换到插件提供的布局预设,或转至插件面板(通常位于左侧工具栏)。
      9. 在插件面板中点击创建新头部以开始头部建模。使用添加照片按钮导入参与者的照片。使用正面和侧面轮廓照片以实现精确建模。
      10. 根据提示将照片上的点与3D模型上的对应点对齐。插件将据此调整头部模型以匹配参与者的面部特征。当对相似度满意后,完成头部模型的最终化。
      11. 手动定位头部模型,使其与身体模型的颈部对齐。调整头部的比例和旋转角度,以实现无缝贴合。
      12. 使用吸附工具(Shift+Tab)精确对齐头部颈部顶点与身体颈部顶点。
      13. 对齐后,选中头部和身体网格,按Ctrl+J将其合并为单一对象。
      14. 导入或建模一对邦戈鼓,并将其置于模型前方适当高度处。
    2. 虚拟形象动画制作
      1. 切换至带骨骼模型的“姿态模式”。在第1帧,选中所有骨骼,插入关键帧(使用I键)记录其初始位置(选择位置、旋转、缩放)。
      2. 将时间轴向前移动至第30帧,准备让左手击打邦戈鼓。
      3. 移动并旋转左手的骨骼结构,模拟击打邦戈鼓的动作,并为这些骨骼插入关键帧。重复此过程,在第60帧将手返回起始位置,并插入另一个关键帧以完成该动作。
      4. 将时间轴移至第90帧,此时右手开始动作。类似于左手操作,调整右手的位置和旋转以模拟击打另一只邦戈鼓,并插入关键帧。
      5. 将手返回起始位置,并在第150帧插入关键帧以结束该动作。
      6. 拖动时间轴预览动画。根据需要调整动作流畅性或邦戈鼓击打之间的节奏。保存文件。
  2. 设备设置
    1. 通过将带有8个EEG通道的Daisy模块安装在另一块8通道主板顶部,组装16通道EEG数据采集系统。
    2. 通过Y型分线电缆将参考电极连接至Daisy板底部的参考引脚和底层板的底部参考引脚,两者均标记为SRB。
    3. 将接地电极连接至底层板的BIAS引脚。
    4. 将16个EEG电极连接至底层板上标记为N1P-N8P的引脚以及Daisy模块底部标记为N1P-N8P的引脚。
    5. 将电极插入无凝胶帽的对应位置,遵循国际10-20电极放置系统,电极标记为FP1、FP2、C3、C4、CZ、P3、P4、PZ、O1、O2、F7、F8、F3、F4、T3和T4。
    6. 将提供的18个用于EEG电极的海绵浸泡于生理盐水中15分钟,该溶液由5 g氯化钠溶于200 mL自来水中制成。
    7. 将浸泡后的海绵插入每个电极的底面,以建立头皮与电极之间的接触。
    8. 让参与者在安静房间内舒适就座。将无凝胶EEG帽戴在参与者头皮上,确保帽子正确对齐并覆盖其双耳。
    9. 将USB接收器插入笔记本电脑。打开EEG图形用户界面(GUI),点击EEG系统,在“数据源”选项下选择串行(来自接收器)、16通道、自动连接
    10. 在数据采集界面中,选择信号控件,通过验证每个电极位置的阻抗水平是否低于<10 kΩ来检查已连接电极的信号质量26
    11. 如果阻抗高于10 kΩ,则向电极下方的海绵滴加几滴生理盐水。完成阻抗检测后,关闭GUI。
    12. 打开采集服务器软件,在“驱动程序”下选择适当的EEG板,然后点击连接 > 播放,以建立与EEG系统的连接。
    13. 使用擦拭布对VR头显进行消毒,并将其戴在参与者头部,覆盖在EEG帽之上,以便在采集EEG数据的同时实现沉浸式交互。
  3. 游戏设置
    ​注:以下说明概述了使用开放声音控制(OSC)设置两个游戏引擎场景的步骤:一个用于运动想象训练(前馈),另一个用于测试运动想象(反馈)。前馈场景通过OSC消息触发的观察动画对用户进行运动想象训练;反馈场景则通过基于OSC输入的动画来测试用户想象动作的有效性。
    1. 打开游戏引擎软件,选择运动想象训练项目。启用VR支持:进入编辑 > 项目设置 > 播放器 > XR设置,勾选支持虚拟现实,并确保VR头显列于虚拟现实SDK列表中。
    2. 删除默认摄像机,并从VR集成包中将VR摄像机拖入场景。
    3. 将导入的动画文件放置于场景中。根据需要调整其比例和方向。确保带有预编写脚本的OSCListener游戏对象能够根据OSC消息触发左右手动作的模型动画,以模拟邦戈鼓击打动作,用于运动想象训练。
    4. 在游戏引擎软件中打开文件 > 构建设置。选择PC、Mac & Linux 独立平台,目标系统为Windows,然后点击构建并运行
    5. 对于运动想象测试项目,执行与运动想象训练项目类似的步骤。使用配置了脚本的OSCListener游戏对象,该对象设计用于接收指示参与者想象手部动作的OSC信号,并触发测试项目中的相应动画。

虚拟现实脑电图设置示意图,包含VR头显、脑电帽、笔记本电脑和用于神经反馈的显示器。
图1:虚拟现实脑机接口(VR-BCI)设置。 整个VR-BCI系统显示受试者佩戴着VR头显和脑电帽。受试者在虚拟环境中观察个性化的3D虚拟形象,并通过无线传输到计算机的脑电信号控制其动作。请点击此处查看此图的放大版本。

2. 实验设计

  1. 信号验证阶段
    1. 打开用于设计和运行运动想象实验范式的软件工具,进入文件菜单并加载六个标注为信号验证、数据采集、CSP训练、分类器训练、测试和混淆矩阵的运动想象脑-机接口(BCI)实验范式。
    2. 切换至信号验证实验范式。使用设计模块对原始信号施加1至40 Hz的带通滤波器,滤波器阶数设为4,以实现优化的信号处理。
  2. 训练阶段
    1. 指导参与者执行运动想象任务,根据视觉提示想象手部运动。
    2. 打开运动想象训练文件,并通过VR头显显示一个预先准备好的3D虚拟形象,该形象站立在一组邦戈鼓上方。
    3. 切换至数据采集实验范式,双击Graz Motor Imagery Stimulator模块以进行配置。
    4. 为左手和右手运动分别设置50次、每次5秒的试验(提示阶段1.25秒,运动想象阶段3.75秒),在试验开始前加入20秒基线期,并且每完成10次试验后安排10秒休息时间,以避免心理疲劳。
    5. 设置左手和右手试验顺序随机化,并在每次试验前提供提示,指示应想象哪一侧的手。
    6. 连接一个OSC模块,设置其IP地址和端口,将待想象手部的提示信息传输至运动想象训练游戏引擎程序。
    7. 指导参与者想象自己跟随3D虚拟形象以相同节奏用手击打邦戈鼓,其想象动作需与屏幕上显示的文字提示所指定的手一致。
  3. CSP与LDA训练
    1. 完成数据采集后,运行CSP训练实验范式,分析采集阶段获取的脑电图(EEG)数据,计算共空间模式(Common Spatial Patterns, CSP),生成用于区分左手与右手运动想象的滤波器。
    2. 完成CSP训练后,切换至分类器训练实验范式并运行,利用线性判别分析(Linear Discriminant Analysis, LDA)结合CSP滤波器实现高效的任务分类,为实时控制虚拟形象做好准备。
  4. 测试阶段
    1. 进入测试实验范式,使参与者通过脑-机接口(BCI)技术实时控制其3D虚拟形象。
    2. 在相应模块中加载此前基于参与者想象手部运动时采集的EEG数据所训练得到的分类器,以实现实时解读这些想象动作。
    3. 确保脑电系统和虚拟现实(VR)设备正常运行,并按照训练阶段的设置正确配置。
    4. 向参与者简要说明测试流程,强调需根据文字提示清晰地想象手部动作(即用左手或右手击打邦戈鼓)。
    5. 与训练阶段类似,每位参与者进行20次试验,其中左手和右手运动想象各占10次,试验顺序随机化。
    6. 连接并配置一个OSC模块,将提示信息传输至游戏引擎程序,以文本形式显示当前应想象的手。
    7. 连接另一个OSC模块,将预测的左手和右手运动结果传输至游戏引擎程序,以便根据参与者想象的手驱动相应的动画播放。
    8. 运行测试实验范式,并启动运动想象测试游戏引擎程序。

3. 数据收集与分析

  1. 在实验的采集和测试阶段,以 125 Hz 的采样频率持续记录脑电图(EEG)数据和分类器输出。
  2. 进入混淆矩阵场景,针对每位参与者在采集和训练阶段,将获取的 EEG 文件加载到标记为“通用流读取器”(Generic stream reader)的框中。
  3. 运行该场景以生成混淆矩阵,用于评估脑机接口(BCI)系统解析运动想象信号的准确性。
  4. 收集参与者关于使用虚拟化身时的易用性、控制能力、沉浸感,以及佩戴 EEG 帽和 VR 头显时舒适度的反馈意见。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

结果显示来自遵循上述方案的5名个体。共有5名健康成人(3名女性)参与了本研究,年龄范围为21至38岁。

每位参与者在运动想象训练和测试条件下的个体分类性能如图2所示。为评估分类器在训练和测试阶段区分左、右运动想象信号的准确性,计算了所有受试者的平均混淆矩阵(见图3)。

训练期间针对左侧和右侧运动想象计算得到的CSP权重被投影为一名代表性受试者的地形图模式,如图4A所示。此外,对同一名受试者在C4电极(位于对侧右侧感觉运动区,对应左手)和C3电极(位于左侧感觉运动区,对应右手)采集的脑电数据进行了时频分析。用于识别事件相关频谱扰动(ERSP)的时频图显示了在一次任务周期中8至30 Hz频率段振幅随时间动态变化的情况,如图4B中运动想象训练阶段所示。重点关注α频段(8–12 Hz)和β频段(13–30 Hz),将每个周期的ERSP除以其基线频谱进行归一化处理,并基于这些归一化值计算出平均ERSP。

此外,参与者对脑电帽和虚拟现实头显的舒适性和易用性反馈普遍积极。参与者尤其对3D虚拟形象的实时控制表现出浓厚兴趣。然而,参与者认为邦戈鼓击打动作应伴随声音反馈,以增强沉浸感。

运动想象雷达图,LDA准确率;比较训练与测试、真阳性/假阳性/真阴性/假阴性。
图2:每位参与者在运动想象训练和测试阶段的准确率百分比。 真阳性(TP)率表示分类模型正确识别为运动想象(MI)信号的MI信号所占比例。假阳性(FP)率表示左侧MI信号被错误分类为右侧MI信号的频率。假阴性(FN)率反映实际存在的左侧MI信号中模型未能检测到的比例。最后,真阴性(TN)率表示模型正确识别为右侧MI信号的右侧MI信号所占比例。S1、S2、S3、S4和S5代表五位参与者。 请点击此处查看该图的放大版本。

运动想象分类的混淆矩阵,展示训练和测试准确率。
图3:运动想象训练和测试阶段分类性能的平均混淆矩阵。 总体平均准确率反映了模型对左、右运动想象信号进行正确分类的能力。请点击此处查看该图的放大版本。

CSP 滤波器脑图和时频 ERSP 图、EEG 分析、频率响应比较
图 4:一名代表性受试者在运动想象训练过程中双手对应的 CSP 滤波器、模式及时频图。A)该图展示了受试者 S1 的 CSP 滤波器,其基于方差最大程度地区分两类(左手与右手)。(B)S1 的时频图。蓝色区域表示事件相关去同步化。在 0 ms 时,呈现提示以指示想象左手或右手动作,持续时间为 1250 ms。提示出现后,受试者想象用相应手执行敲击邦戈鼓的动作。请点击此处查看该图的放大版本。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

将运动想象(MI)与虚拟现实(VR)技术结合应用于康复,有望利用大脑固有的运动规划与执行机制,为康复治疗提供一条颇具前景的途径。MI 能够在特定脑电频段诱导出与实际运动神经活动相似的事件相关去同步化现象2,3,4,从而为参与运动控制的神经网络的激活与强化提供坚实的基础8。这一过程因 VR 技术的沉浸性而进一步增强:VR 不仅可显著提升个体的临场感与身体归属感,还有助于运动过程的可视化,从而丰富运动想象的体验16

开发高度逼真、与所代表个体外貌相近的个性化三维虚拟形象,是该领域的一项重要创新13,14,15。该方法在概念上与Skola等人27在虚拟现实环境中利用游戏化任务进行共适应运动想象脑机接口(MI-BCI)训练的研究相一致。然而,本方案通过采用完整三维虚拟形象、高度还原参与者的外观,与Skola等人所使用的仅聚焦于手部的视角方法形成了显著区别。通过实时呈现用户想象动作的视觉反馈,这些虚拟形象增强了沉浸感,并强化了想象动作与实际动作之间的关联18。本文所述方法有望诱发更显著的事件相关去同步(ERD)模式,从而促进更有效的神经适应与功能恢复。

然而,从离线脑机接口方法过渡到对虚拟形象的实时控制仍面临挑战,尤其是在确保系统对用户想象动作的准确性和响应性方面。该系统通过连接脑电图(EEG)数据采集系统与笔记本电脑的配置实现实时计算,笔记本电脑进一步与 Oculus Rift-S 虚拟现实(VR)头显进行交互。此配置实现了脑电数据采集与虚拟现实沉浸体验的无缝集成,借助采集服务器和游戏引擎,通过自主开发的三维虚拟形象提供视觉反馈和交互功能。

在脑机接口与虚拟现实(BCI-VR)集成场景中,通过使用配备高端显卡的游戏笔记本电脑,并通过OSC传输轻量级消息以传递提示信息和手部运动预测值,可有效最小化系统的整体延迟。采用游戏笔记本电脑可确保通过脑电图(EEG)设备采集的EEG数据得到快速处理,初始数字化和传输延迟可控制在5 ms以内。后续的信号处理与分类过程预计会引入约20–40 ms的额外延迟,该延迟包括信号滤波以及共空间模式(CSP)等特征提取算法的执行时间。场景设计模块与游戏引擎之间通过OSC进行通信,传输用于左、右手运动的简单数值提示,该通信机制设计为极低开销,预计增加的延迟不超过5–10 ms。得益于显卡的高效计算能力,游戏引擎对这些指令的处理速度极快,仅引入低于10 ms的延迟,随后在由VR头显提供的虚拟现实环境中渲染视觉反馈,而VR头显本身的设计目标是将延迟控制在20 ms以下。上述各组件协同工作,使系统总延迟保持在45–75 ms的理想范围内,从而确保系统具备沉浸式虚拟现实体验和高效脑机接口应用所必需的实时响应能力。

此外,参与者在训练阶段接受了足够次数的练习试验,作为一种教程模块,以熟悉虚拟现实(VR)设置以及虚拟化身的运动节奏,并在测试阶段利用思维控制三维虚拟化身。信号质量验证、使用共空间模式(CSP)和线性判别分析(LDA)进行任务分类,以及详细的测试阶段,对于实现实时虚拟化身控制的成功至关重要。

本研究的结果有望通过展示利用实时脑机接口(BCI)控制个性化三维虚拟形象进行康复训练的可行性和有效性,从而推动该领域的发展。通过比较运动想象训练阶段与实时测试阶段中运动意图检测的准确性,本研究将为该技术改善康复效果的潜力提供有价值的见解。此外,参与者关于控制难易程度和沉浸感水平的反馈将为脑机接口与虚拟现实技术的未来发展提供参考,旨在构建更具参与性和更高效的康复交互界面。

脑机接口(BCI)与虚拟现实(VR)技术的进步为康复治疗方案带来了更具个性化、参与性和有效性的新可能。未来的研究应致力于优化虚拟化身实时控制的技术,探索采用更复杂的机器学习算法进行信号分类,并将该方法的应用扩展至更广泛的神经系统疾病。此外,还需开展纵向研究,以评估这种康复方法对神经系统功能障碍个体在功能恢复及生活质量方面的长期影响。

尽管在康复治疗中将运动想象(MI)与虚拟现实(VR)技术相结合展现出巨大潜力,但仍存在若干局限性需要关注。个体在生成清晰的运动想象信号以及对运动想象和虚拟现实干预的神经反应方面存在显著差异。这种变异性意味着康复过程的有效性在不同患者之间可能差异较大,从而使得根据个体差异个性化定制治疗方案成为一项重大挑战。此外,实现对虚拟化身实时控制的高准确性和高响应性也是一项复杂任务。对运动想象信号的解读若出现延迟或错误,可能会中断沉浸式体验,进而可能降低康复治疗的效果。尽管虚拟现实技术能够增强沉浸感和参与度,但对部分使用者而言也可能引发不适或运动病,影响其参与长时间训练的能力,从而影响治疗的整体成效。

综上所述,脑机接口(BCI)与虚拟现实(VR)的结合,以利用运动想象信号实时控制个性化的三维虚拟形象为例,代表了神经康复领域的一种前沿方法。本方案不仅强调了此类技术整合在技术上的可行性,而且为康复医学的新时代奠定了基础,使技术与神经科学相融合,充分释放人脑在恢复与适应方面的能力潜力。

披露

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者无任何利益冲突需要披露。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者谨此感谢所有参与者所付出的时间与积极参与。

材料

本文使用的材料清单
姓名公司目录编号评论
Alienware 笔记本电脑Dell配备 GTX1070 显卡的高端游戏笔记本电脑
Oculus Rift-S 虚拟现实头盔Meta虚拟现实头盔
OpenBCI Cyton DaisyOpenBCI脑电图系统
OpenBCI 无凝胶帽OpenBCI用于在受试者头皮上放置脑电电极的无凝胶帽

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

CSP

相关文章