利用虚拟现实将运动技能知识从一只手转移到另一只手

摘要

我们介绍一种基于虚拟现实的新颖实验装置，该装置通过主动控制一只手来提高另一只（未经训练的）手的运动技能表现。该方法通过提供实时的、基于运动的感官反馈，使未经训练的手产生正在运动的感知。这种新方法可用于增强单侧轻偏瘫患者的康复效果。

摘要

在运动技能习得方面，通过自主身体运动进行训练的效果优于其他所有训练形式（例如通过观察或由机器人装置被动移动受训者手部进行的训练）。这在偏瘫肢体的康复中显然构成了重大挑战，因为患者对身体运动的自主控制能力受限。在此，我们介绍一种新开发的训练方案，有望克服这一主要难题。我们利用受试者一只手的自主控制能力，并提供基于实时运动的、经过操控的感觉反馈，使另一只手产生仿佛在运动的感知。该方法结合了通过虚拟现实（VR）实现的视觉操控，以及一种将左手手指与右手手指自主运动同步联动的装置，使左手被动跟随右手的自主手指运动。在健康受试者中，我们证明了在没有进行自主身体训练的情况下，肢体在单次训练 session 内的表现仍能得到显著提升。健康受试者的结果表明，这种独特的虚拟现实训练系统也可能对上肢偏瘫患者有益，即通过利用其健康手的自主控制能力，促进患手的康复训练。

引言

身体练习是最高效的训练方式。尽管这一方法已被广泛确立¹，但在训练手的基本运动能力受限的情况下，该方法面临极大挑战²。为克服这一问题，大量且不断增长的文献研究了多种间接的运动训练方法。

一种此类间接训练方法是通过一只手的物理练习来提升另一只（未经练习的）手的运动表现。这种现象被称为交叉学习（CE）或双手间迁移，已被广泛研究^{3,4,5,6,7,8,9}，并被用于增强多种运动任务中的表现^10,11,12。例如，在运动技能训练中，已有研究表明，单手进行篮球运球训练可使未训练的另一只手的运球能力得到提升^13,14,15。

在另一种间接方法中，通过使用视觉或感觉反馈来促进运动学习。在观察学习中，已有研究表明，仅通过被动观察他人执行任务即可获得显著的性能提升^{16,17,18,19,20}。类似地，本体感觉训练（即肢体被被动移动）也被证明可改善运动任务中的表现^{12,21,22,23,24,25,26}。

综合这些研究方向表明，感觉输入在学习过程中起着重要作用。本文证明，在对一侧肢体进行实际训练时，调控在线感觉反馈（视觉和本体感觉）可增强对侧肢体的运动表现提升。我们描述了一种训练方案，可在无需目标手主动进行身体训练的情况下，实现其最佳的运动表现提升。该方法的概念新颖之处在于，它结合了三种不同的学习形式——即观察学习、共轭效应（CE）和被动运动。本文探讨了是否可以利用共轭效应，结合镜像视觉反馈和被动运动，在无需训练肢体主动运动的情况下，促进健康受试者的学习。

该实验设计的概念不同于直接对肢体进行物理训练的尝试。在方法学层面，我们引入了一种新颖的实验装置，结合了三维虚拟现实等先进技术，以及专门设计的设备，能够在自然环境条件下调控视觉和本体感觉输入。采用所提出的训练方法并取得更优效果，对现实世界中的学习具有重要意义。例如，儿童利用感觉反馈的方式与成人不同^27,28,29，为了优化运动学习，儿童可能需要更长时间的练习。结合使用交叉效应（CE）与调控后的感觉反馈，可能缩短训练所需时间。此外，此类精密训练方式可能有助于运动技能的习得。最后，这种方法有望为中风等单侧运动功能障碍患者的康复提供一种新的干预策略。

方案

以下实验方案均按照特拉维夫大学人类伦理委员会批准的指南进行。本研究包含两个实验——一个采用视觉操控，另一个结合视觉与本体感觉操控。受试者均为健康、右利手（根据爱丁堡利手问卷确定）、视力正常且无认知缺陷或神经系统问题报告的个体。受试者对研究目的不知情，并已签署书面知情同意书以参与本研究。

1. 设置虚拟现实环境

1. 让受试者坐在椅子上，双手前伸，掌心向下。
2. 佩戴虚拟现实（VR）头戴设备，并配备头戴式专用3D摄像头，以提供真实环境的实时视觉反馈。确保摄像头的视频画面呈现在VR头戴设备中。
   注意：视频由基于开源、跨平台3D渲染引擎开发的C#代码库定制软件呈现。
3. 佩戴支持运动感知且与磁共振兼容的手套，以实现对每只手各手指屈曲状态的实时监测。确保软件将虚拟手嵌入空间中的特定位置，使受试者仅在向下注视其真实手所在位置时才能看到虚拟手。
4. 在整个实验过程中，确保软件持续记录手套提供的手部姿态数据。
   注意：虚拟手的运动由同一软件控制，该软件通过基于C语言的应用程序接口（API）获取手套提供的校准后的原始数据及手势信息，包括手指关节间的角度数据。
5. 将受试者的手放入专用的运动控制装置中，并将左右手的手指分别固定在活塞上。确保受试者能够独立活动右手手指。
   注意：右手手指的活塞会根据其屈曲程度推动电位计上的推杆。这进而控制一个模块，该模块读取右手每个手指上电位计的位置，并驱动电机推动或拉动左手对应手指至相应位置。
6. 通过要求受试者在装置内尝试移动左手，确认其左手手指的自主运动受到限制。
   注意：由于仅主动手（右手）的手指运动可激活电机，因此在装置开启时，左手手指无法进行自主运动。

2. 实验操作

注意：实验阶段参见图1。每位受试者均接受了三次“指导-评估-训练-评估”的实验流程。指导阶段和评估阶段的具体细节详见代表性结果部分。

1. 将受试者的手从运动控制装置上解开。
2. 要求受试者使用非训练手尽可能准确且快速地重复执行一个五指手指序列动作，持续预设的时间（例如 30 秒）。每个单独的手指屈曲角度应至少达到 90 度。
   注意：手指编号从食指（1）到小指（4），指令包含一个特定的五指序列。如果序列为 4-1-3-2-4，则要求受试者按以下顺序移动手指：小指-食指-无名指-中指-小指。
3. 完成评估（步骤 2.2）后，将受试者的手固定在运动控制装置上。
4. 提示受试者即将开始训练阶段，要求其用主动手以自主节奏执行手指运动序列。
5. 再次重复评估步骤 2.1–2.2。

3. 分析行为数据并计算表现提升

1. 在用于读取实验过程中记录的手套数据文件的定制软件中，点击“加载左手数据”，并选择相应受试者目录下“左手采集”文件夹中创建的文件。
   注意：预评估和后评估没有分别存放于不同文件夹中。文件名中包含评估阶段的标识信息。
2. 点击“加载右手数据”，并选择相应受试者目录下“右手采集”文件夹中创建的文件。
3. 点击“运行”按钮，根据运动追踪手套传感器记录的数据，回放并可视化每次评估阶段中虚拟手的运动过程。
4. 针对每个评估阶段及每位受试者，分别统计非训练手完成的完整且正确的手指序列次数（P）。
   注意：只有当近节指骨与掌骨之间的角度达到90˚时，该手指动作为有效。只有当所有手指动作均有效时，一个五指序列才被视为完整且正确。
5. 根据以下公式计算表现提升指数（G）：
   
   其中，P_{post_training}/P_{pre_training} 分别对应受试者在训练后/训练前评估阶段的表现（完整手指序列的次数）。

结果

在两项实验中，36名受试者接受了快速执行右手手指运动序列的训练，同时对其感觉反馈（视觉/本体感觉）进行操控。手指按顺序编号，从食指（1）到小指（4），每位受试者被要求在三个连续的实验环节中学习三个不同的序列，例如：4-1-3-2-4、4-2-3-1-4 和 3-1-4-2-3。每个序列/环节均对应一种特定的训练类型，且序列与训练类型之间的对应关系在不同受试者间进行交叉平衡。每个环节开始时，受试者会看到一张指导幻灯片，其上显示两只手的示意图（右手和左手），手指标有数字，并在下方列出一个特定的五位数字序列，代表需要学习的手指运动顺序（见 图1）。指导幻灯片（12秒）之后是训练前评估阶段（30秒）。在此阶段，实时视觉反馈显示为一对虚拟手，其手指运动与受试者实际手指运动实时同步（虚拟手基于5DT手套工具箱中提供的模型）。因此，真实左手的运动伴随着左侧（一致的）虚拟手运动的视觉反馈。受试者被要求使用左手尽可能快速且准确地重复执行该序列。在随后的训练阶段，受试者以自我调节的节奏在特定实验条件下进行训练。训练阶段包含20个训练区块，每个训练区块持续15秒，随后是9秒的黄色空白屏幕，作为休息期的提示。本研究采用20个训练区块，在本实验条件下足以获得不同条件间的显著差异。最后，进行与训练前评估完全相同的训练后评估阶段。每位受试者完成三次“指导—评估—训练—评估”实验流程。每次实验流程对应一种独特的训练条件和手指序列。在实验1中，我们比较了以下训练条件下G指数值的变化：（1）观察训练——受试者被动观察虚拟左手执行序列动作，而其真实双手保持静止；（2）CE（一致性执行）——受试者使用右手进行实际训练，同时接收来自虚拟右手运动的一致性实时视觉反馈；（3）CE + 视觉操控（VM）——重要的是，该虚拟现实（VR）设置使我们能够创建一种独特的三维实验条件，即受试者使用右手进行实际训练，同时接收来自 左侧 （不协调）虚拟手部运动（CE + VM 条件）。左侧虚拟手的手指运动基于手套检测到的被试实际右手手指运动（步骤 1.4）。在所有条件下，被试手掌朝上。观察训练条件（条件 1）中虚拟手手指运动的速度，根据被试在先前主动右手任务条件（条件 2 和条件 3）中的平均运动速度设定。若因平衡顺序设计导致观察训练为首个条件，则其速度设定依据前一位被试的平均运动速度。所有 G 指数比较均在不同训练条件下以被试内配对方式进行。

在条件3（CE + 视觉操控）下进行训练后，左手性能的提升显著高于仅通过观察左手训练（条件1；p<0.01；双尾配对t检验）或通过右手训练并接受一致视觉反馈——即传统形式的CE（条件2；p<0.05；双尾配对t检验；图2 和 表1）所获得的提升。有趣的是，接受不一致视觉反馈的训练（CE + VM）所产生的性能提升甚至高于两种基本训练方式提升效果的总和：即右手的实际动作训练，以及在无实际运动情况下观察左手的训练。这种超加性效应表明，当右手训练结合由受试者控制的左手视觉反馈时，左手的性能提升会以非线性方式增强。这说明CE与观察学习是相互作用的过程，二者可结合形成一种新的学习范式。

我们还在另一组18名健康受试者中考察了增加被动左手运动是否能进一步增强左手的运动能力提升。为此，在研究2中，受试者采用类似的实验方案，进行了三种训练类型，其双手被放置于前述定制装置（步骤1.7）内，该装置可控制左手手指的运动。本实验中，受试者共完成10个训练组块。每个训练组块持续50秒，随后是10秒的黄色空白屏幕，作为休息阶段的提示。采用的三种训练类型如下：（1）CE + VM——交叉教育伴随操纵的视觉反馈（类似于研究1中的条件3）；（2）CE+PM——标准交叉教育（即右手主动运动+右手虚拟手运动的视觉反馈），同时伴随左手的同步被动运动（PM）；（3）CE+VM+PM——受试者用右手进行实际训练，同时视觉输入被操纵，以显示相应的左手虚拟手运动（类似于第一项研究中使用的条件3）。此外，通过该装置，右手的主动手指运动还会引发左手手指的同步被动运动。

在视觉操控基础上增加被动左手手指运动，获得了最高的左手性能提升（图3 和 表2），显著高于仅进行视觉操控后的性能提升（条件1；p<0.01；双尾配对t检验）。需要注意的是，尽管CE+VM训练条件与研究1相似，但绝对G值仅在同一项研究内的不同条件之间具有可比性。原因如下：（1）训练设计略有不同（研究2中由于设备限制手掌朝下而非朝上，训练时长/训练区块数量也不同）；（2）每项实验均在不同的受试者群体中进行。重要的是，在每项研究中，每位受试者均完成了全部三种训练类型，且各条件间的G指数以配对方式进行比较。

图1. 实验设计。 研究1中单次实验会话的示意图。每位受试者共完成3次此类会话。在每次会话中，系统呈现一个由五个数字组成的唯一序列，并同时显示对应手指的示意图。在接收指令后，受试者使用左手尽可能快速且准确地执行该序列，以初步评估其表现水平。随后，受试者以自定节奏的方式，采用其中一种训练类型（参见代表性结果）进行序列训练。训练结束后，受试者再次重复评估阶段，以重新评估其表现水平。研究2的整体设计与此相似，但训练区块的持续时间/次数有所不同（详见代表性结果部分）。图中所示的手部仅表示主动手（视觉反馈中始终包含两只虚拟手）。请点击此处查看该图的放大版本。

图 2. 研究 1 — 左手性能增益。 在接受在线视觉反馈（仿佛左手在运动）的同时用右手进行实际训练（CE + 视觉操控；VM；红色），相比其他训练条件，可使左手性能增益达到最高：即左手观察（黄色）和无视觉操控的交叉教育训练（即右手训练 + 右侧虚拟手运动的一致性视觉反馈；绿色）。误差条表示 18 名受试者的标准误（SEM）。请点击此处查看该图的放大版本。

图3. 研究2——左手性能提升。 当交叉教育结合视觉操控与设备诱导的左手被动手指运动时（CE+VM+PM；浅红色），获得的左手性能提升最大。该改善程度显著高于仅进行交叉教育结合视觉操控（CE+VM；红色）以及交叉教育结合本体感觉操控（CE+PM；绿色）的情况。误差线表示18名受试者的标准误（SEM）。请点击此处查看该图的放大版本。

表 1. 研究 1 的数据。 研究 1 中各受试者在训练前和训练后评估阶段的表现（P）。每个单元格表示在 30 秒内正确完成的 5 位数字序列的数量。S – 受试者编号。 请点击此处下载该表格。

表 2. 研究 2 数据。 与研究 2 的表 1 相同。请注意，本实验中的训练时长和手部朝向与实验 1 不同（见正文）。请点击此处下载该表格。

讨论

我们描述了一种新颖的训练装置，并展示了如何通过在真实环境中嵌入虚拟感觉反馈来优化非自主控制下手部的运动学习。我们对两种模态的反馈进行了操控：视觉和本体感觉。

本方案中存在几个关键步骤。首先，该系统由多个独立组件（手套、VR头显、摄像头和被动运动装置）组成，在搭建VR环境时应仔细连接这些组件。为此，实验人员应严格遵循本方案中描述的准确顺序，并确认受试者的舒适性。

训练期间结合视觉与本体感觉操控，相较于其他现有训练方式（如观察学习），可显著提高非训练手的运动表现提升幅度¹⁷和 CE³ 有无被动手部运动^24,25,26.

目前尚不清楚本演示中观察到的性能提升是否可推广至其他任务、训练时长、反馈方式或手部身份（如左手主动操作或双手协调运动）。本研究仅限于使用简单手指序列任务的右利手受试者。此外，当前实验设置中的本体感觉操控依赖于一个仅允许有限运动（如手指屈伸）且训练时间相对较短的系统。未来还需进一步研究，以验证该实验范式在其他类型行为中的普适性。

当前的实验设置可以通过多种方式进一步扩展。首先，可以添加新的模态类型，例如在序列任务中将不同的听觉声音与不同的手指运动相绑定。这可能会产生超加性效应，从而进一步优化非训练手的学习效果。其次，当前系统的设计允许轻松交换主动运动的手（在本描述中为右手）与被动联动的手（左手）。未来的研究可利用这种灵活性，探究在使用所述感觉操控方法时，不同手之间（优势手与非优势手³）的迁移方向性如何影响表现提升的程度。最后，我们开发的这一独特虚拟现实（VR）设置也可被调整用于更复杂的任务（相对于简单的手指序列任务而言）。诸如球体、销钉和面板等外部物体的虚拟仿真可被嵌入真实环境中，从而提供丰富且具有高度参与感的训练体验。

关于未来的应用，本研究中描述的效应可直接应用于临床人群，例如上肢偏瘫患者，方法是让患者使用健康手进行物理训练，并提供视觉反馈，使其感觉患手正在运动。鉴于此类患者对患肢的自主控制能力有限，这种训练方案有可能绕过对患手直接进行物理治疗所面临的挑战，从而可能提高康复率^30,31。该方法结合了交叉训练效应和镜像疗法现象，并可与已确立的康复任务相结合，此前尚未在临床患者中进行过测试，具有提供更高效康复方案的潜力。最后，由于该装置部分具备磁共振兼容性，因此可利用全脑功能磁共振成像（fMRI）来探究此类训练过程中所涉及的神经环路¹²。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Oculus Development Kit 1	Oculus VR		Oculus Rift DK1 是由 Oculus VR 开发和制造的一款虚拟现实头戴式显示器，包含开发工具包。
5DT Data Glove 14 MRI 右手型和左手型	Fifth Dimension Technologies	100-0009 和 100-0010	5DT Data Glove Ultra 专为满足现代动作捕捉与动画专业人士的严格要求而设计，具有佩戴舒适、操作简便、体积小巧以及支持多种应用驱动程序的特点。其高质量的数据输出、低串扰和高数据传输速率，使其成为实现逼真实时动画的理想选择。
PlayStation Eye 摄像头	Sony		PlayStation Eye（注册商标为 PLAYSTATION Eye）是一种数字摄像头设备，类似于网络摄像头，专用于 PlayStation 3。该技术利用计算机视觉和手势识别来处理摄像头所采集的图像。
REHABILITATION SYSTEM REHABIT-TEC	Rehabit-Tec	www.rehabit-tec.com	Rehabit-Tec 康复系统是一种康复训练系统，旨在基于镜像运动原理，帮助脑卒中（CVA）损伤个体进行自主进阶式康复训练。