Summary
我们描述了一种新的基于虚拟现实的设置, 它利用一方面的自愿控制来提高其他 (non-trained) 手的运动技能表现。这是通过提供 real-time 为主感觉反馈, 如果 non-trained 手移动。这种新的方法可用于加强单侧偏瘫患者的康复。
Abstract
就获得运动技能而言, 由自愿性身体运动进行的训练优于所有其他形式的训练 (例如通过观察或由机械装置对受训人员的被动运动进行训练)。这显然是在恢复患肢体方面的一个重大挑战, 因为对身体运动的自愿控制是有限的。在这里, 我们描述了一个新的培训计划, 我们已经发展, 有潜力, 以规避这一重大挑战。我们利用一只手的自愿控制, 并提供 real-time 为主操纵感官反馈, 如果另一只手移动。视觉操作通过虚拟现实 (VR) 与一个装置, 结合 left-hand 手指被动地跟随右手的自愿手指运动。在健康的课程中, 我们表现出在缺乏自愿的体能训练的情况下, 肢体的表现会有所提高。结果在健康的科目表明, 培训与独特的 VR 设置也可能有利于患者的上肢偏瘫通过利用自愿控制他们的健康手, 以改善其康复的手。
Introduction
物理练习是最有效的训练形式。虽然这种方法已经建立了1, 但在训练手的基本运动能力受限2的情况下, 这是非常具有挑战性的。为了绕过这个问题, 大量的和不断增长的文献研究了各种间接的运动训练方法。
一个这样的间接训练方法, 一方面使用物理练习, 另一方面在其他 (non-practiced) 手中引入性能增益。这种现象, 称为中 (CE) 或 intermanual 传输, 已被广泛研究3,4,5,6,7,8,9并用于增强各种马达任务的性能10、11、12。例如, 在运动技能的设置, 研究表明, 训练篮球运球在一只手转移到增加运球能力在另一方面, 未经训练的手13,14,15。
在另一种间接方法中, 通过使用视觉或感官反馈来促进运动学习。通过观察学习, 可以通过被动地观察其他人执行任务16、17、18、19 来获得显著的性能增益. ,20。同样地, 本体训练, 肢体被动地移动, 也被显示改善性能在马达任务12,21,22,23,24,25,26。
这些研究表明, 感官输入在学习中起着重要的作用。在这里, 我们证明, 操纵在线感官反馈 (视觉和本体) 在肢体训练的一肢导致增强性能增益在相反的肢体。我们描述了一个培训制度, 在缺乏自愿的体能训练的情况下, 一方面能产生最佳的绩效结果。该方法的概念新颖性在于它结合了三种不同的学习方式, 即通过观察、CE 和被动运动进行学习。在这里, 我们研究了 CE 的现象, 连同镜像的视觉反馈和被动的运动, 可以被利用, 以促进学习健康的科目, 在缺乏自愿身体运动的训练肢体。
这个设置的概念不同于直接尝试物理训练手。在方法论层面上, 我们引入了一个新的设置, 包括3D 虚拟现实的先进技术, 以及允许在自然环境环境中操控视觉和本体输入的定制设备。使用建议的培训演示改进的结果对现实世界的学习有重要的影响。例如, 儿童使用感官反馈的方式是不同于成人27,28,29为了优化运动学习, 孩子们可能需要更长的练习时间。使用 CE 和操作的感官反馈可能会缩短训练时间。此外, 利用这种先进的训练, 可以促进获得运动技能。最后, 这可以证明是有益的, 以发展一种新的方法, 恢复患者的单方面运动缺陷, 如中风。
Protocol
根据特拉维夫大学人类伦理委员会批准的指导方针进行了下列议定书. 该研究包括2实验和 #8211; 一个使用视觉操作, 另一个结合视觉用本体的感官操控主题是健康的, 右手 (根据爱丁堡惯用手的调查表), 与正常视力和没有报告的认知缺陷或神经问题。他们是 na 和 #239, 并在研究的目的, 并提供书面知情同意参加这项研究.
1. 设置虚拟现实环境
- 让受试者坐在椅子上, 双手向前, 手掌朝下。
- 将虚拟现实 (VR) 耳机与头部安装的专业3D 摄像头, 提供在线视觉反馈的真实环境。确保摄像机中的视频显示在 VR 耳机中.
注意: 该视频由 c# 基本代码自定义软件提供, 它基于开源的、跨平台的3D 渲染引擎构建. - 穿上运动感应 MR 兼容手套, 使每只手都能在线监测个人手指弯曲。确保软件将虚拟手嵌入到空间中的特定位置, 这样, 受试者只有在向下看他们真正手的位置时才能看到虚拟手.
- 在整个实验过程中, 确保软件记录手套提供的手动配置.
注: 嵌入式虚拟手移动由使用 c 应用程序接口 (API) 的相同软件控制, 用于从手套中访问校准的原始数据和手势信息, 包括手指和 #39 之间的角度; 关节. - 将主题和 #39 放置在一个专门的运动控制装置中, 并将左右手指分别固定在活塞上。确保受试者可以单独移动他们的右手手指.
注意: 右手手指活塞根据其屈曲程度在电位器上移动一个柱塞。这反过来控制一个模块, 读取每个电位器的位置, 每个手指的右手和权力的马达, 推动/拉动相应的左手手指到相应的位置. - 验证左手手指的自愿移动是否受到限制, 要求受试者在设备内移动其左侧的手.
注意: 由于只有主动 (右) 手指运动激活马达, 当设备打开时, 自愿的左手手指移动是不可能的.
2。进行实验
注意: 有关实验阶段, 请参见 图 1 。每个主题接受了三指示评估-火车评估实验性会议。说明和评估阶段的详细情况见代表性成果部分.
- 解开主题和 #39; 移动控制设备的指针.
- 让受试者在一个预定义的时间段 (例如三十年代) 中, 用非手反复精确和快速地执行 unimanual 5 位手指序列运动。每个手指屈曲应至少90度.
注意: 手指从索引 (1) 到小指 (4) 编号, 指令包括一个特定的5位序列。如果序列是 4-1-3-2-4, 让受试者按以下顺序移动他们的手指: 小索引环-中-小. - 在评估 (步骤 2.2) 之后, 将主体的指针绑在运动控制设备上.
- 提示病人到即将到来的训练阶段, 用主动手的方式执行手指动作顺序.
- 再次重复评估阶段 2.1-2.2.
3。分析行为数据并计算性能增益
- 在读取实验过程中记录的手套的数据文件的自定义软件中, 单击和 #39; 加载左手数据和 #39; 并选择在和 #39 中创建的文件; 左手捕获和 #39; 相关主题下的文件夹.
注意: 在前 post-evaluations 前没有不同的文件夹。文件名称包含评估步骤标识. - 单击和 #39; 加载右手数据和 #39; 并选择在和 #39 中创建的文件; 右手捕获和 #39; 文件夹在相关主题下.
- 单击和 #39; Go #39; 根据运动跟踪手套中传感器记录的数据, 在每个评估阶段重放和可视化虚拟手动作.
- 对于每个评估步骤和每个主题, 分别计算用 non-trained 手执行的完整和正确的手指序列数.
注意: 只有当近端指骨和掌骨之间的夹角达到90和 #730 时, 手指运动才被认为是有效的。只有当所有手指动作有效时, 才认为5位序列是完整和正确的. - 根据以下公式计算性能增益指数 (G):
, 其中 p post_training /p pre_training 对应于主题和 #39; 在后/前训练中的性能 (完整的手指序列数)评估阶段分别为
Representative Results
在两个实验中 , 36 受试者被训练来执行右手手指动作的快速序列 , 而感官 ( 视觉 / 本体 ) 反馈纵。手指被编号从索引 (1) 到小手指 (4), 并且每个主题被要求学习三不同的序列在三连续实验性会议例如: 4-1-3-2-4, 4-2-3-1-4, 和 3-1-4-2-3。每个序列/会话都与特定的培训类型相关联, 序列和培训类型之间的关联在各个主题之间被抵消。在每届会议开始时, 都有一张指令幻灯片, 其中描述了两个手插图 (右和左) 与编号的手指和一个特定的5编号序列下面, 代表的手指动作的序列要学习(请参见图 1)。指示幻灯片 (十二年代) 跟随了前评估阶段 (三十年代)。在这个阶段, 在线视觉反馈包括两个虚拟手的显示, 他们的手指动作被 real-time 到主体的实际手指动作 (虚拟手是基于5DT 手套工具箱中可用的模型)。因此, 真正的左手运动伴随着视觉反馈左 (全等) 虚拟手运动。受试者被指示在他们的左手上尽可能快和尽可能准确地重复执行序列。在下面的训练阶段, 受试者在一个特定的实验条件下以自己的自控方式训练。训练阶段包含20块, 每个训练块持续十五年代跟随了 9 s 黄色空白屏幕, 担当提示为休息的期间。我们使用了20训练块, 这在我们的情况下是足够的在情况之间获得重大区别。最后, 进行了与前评价相同的后评价阶段。每个主题接受了三这样指示评估-火车评估实验性会议。每个实验环节都与一个独特的训练条件和手指序列相关联。在实验1中, 我们比较了以下训练条件下的 G 指数值: (1) 观察者训练, 被动观察虚拟左手执行序列, 而他们的真正的手是静止的;(2) CE-在接受正确虚拟手运动的一致在线视觉反馈的情况下, 用右手进行体能训练的主体;(3) CE + 可视化操作 (VM)-重要的是, VR 设置允许我们创建一个独特的3d 实验条件, 其中的主体物理训练与他们的右手, 而接收在线视觉反馈的左(不) 虚拟手移动 (CE + VM 条件)。左手虚手手指运动是根据实际右手手指运动检测到的手套 (步骤 1.4)。在所有的条件下, 受试者的手掌都朝上。虚拟手手指运动的速度在训练由观察条件 (情况 1) 根据主题的平均步幅被设置了在早先活跃右手情况 (情况2和 3)。如果由于制衡的训练条件的顺序是第一次进行培训, 则根据前一主题的平均速度确定其速度。所有的 G 索引比较都是在不同的训练条件下进行的。
在条件 3 (CE + 视觉操作) 训练后的左手性能增益显著高于左手观察训练 (条件 1; p 和 #60; 0.01; 双尾配对 t 检验) 或以下右手训练与一致的视觉反馈-传统形式 CE (情况 2; p 和 #60; 0.05; 二尾配对 t 检验;图 2和表 1)。有趣的是, 与不视觉反馈 (CE + VM) 的培训取得了更高的性能增益比两个基本培训类型获得的收益总和: 右手的体能训练, 并通过观察 left-hand 无物理训练运动.这一超级添加剂的效果表明, 在左手的性能增益非线性增强, 当右手的训练, 辅以左手视觉反馈, 由主题控制。这意味着, CE 和观察学习是相互作用的过程, 可以结合到一个新的学习方案。
我们还研究了另一套18健康的主题, 是否增加被动左手移动可以进一步提高左手的性能增益。为此在研究 2, 受试者接受了一个相似的协议以3训练类型, 当他们的手被安置了在上述的 custom-built 设备 (步 1.7) 之内控制左手手指运动。在这个实验中, 受试者接受了10块的训练。每个训练块持续五十年代, 接着是十年代的黄色空白屏幕, 作为休息时间的线索。使用了以下三种培训类型 : ( 1 ) CE + VM - 交叉教育伴随着纵的视觉反馈 ( 类似于研究 1 中的条件 3 ) ;(2) CE + PM –标准中 (即右手主动运动 + 右虚手运动的视觉反馈), 以及左负轭的被动运动 (pm);( 3 ) CE + VM + PM - 物理训练与他们的右手 , 而视觉输入纵 , 以便相应的左虚拟手运动显示 ( 类似于第一次研究中使用的条件 3 ) 。然而, 右手主动手指运动导致了负轭的被动左手手指运动通过设备。
增加被动 left-hand 手指移动到视觉操作, 产生了最高的 left-hand 性能增益 (图 3和表 2), 这明显高于在视觉操作之后的性能增益单独 (情况 1; p 和 #60; 0.01; 双尾配对 t 检验)。应该注意的是, 尽管 CE + VM 训练条件与研究1中的相同, 但绝对 G 值在同一研究中的不同条件下只能是可比的。这是由于 (1) 培训设计略有不同 (在研究2的手掌面临下降, 而不是由于设备, 不同的持续时间/数量的训练块) 和 (2) 每一个实验是在不同的科目组进行。重要的是, 在每项研究中, 每个科目都执行了所有三种训练类型, 而 G 指数在不同的条件下以配对的方式进行比较。
图1。实验设计.在研究1的一个单一实验环节的示意图。每个主题都执行了3这样的会话。在每个会话中, 一个五位数的唯一序列与一个映射的手指的草图一起被提出。在指令之后, 受试者使用左手对性能水平进行初步评估, 从而尽可能快速和准确地执行序列。接下来, 由训练类型 (见代表性结果) 的一个培训方式训练的课程。训练后, 受试者重复评价阶段, 重新表现水平。在研究 2, 整体设计是相似的, 以不同的期限或数量训练块 (详细在代表性结果)。手在例证代表只有主动手 (视觉反馈总是包含两个虚拟手)。请单击此处查看此图的较大版本.
图2。研究 1-左手性能增益.在接受在线视觉反馈时, 用右手进行体能训练, 犹如左手在移动 (CE + 视觉操作;vm;红色) 结果与其他训练条件相比, 左手观察 (黄色) 和中没有视觉操作 (即右手训练 + 正确的虚拟手的一致视觉反馈运动;绿色)。误差线表示扫描电镜横跨18科目。请单击此处查看此图的较大版本.
图3。研究 2-左手性能增益.当交叉教育与视觉操作结合被动左手手指移动由设备 (CE + VM + PM; 淡红色) 时, 获得了最高的左手性能增益。这一改进明显高于在视觉操作 (ce + VM; 红色) 和交叉教育与本体操作 (ce + PM; 绿色) 后获得的效果。误差线表示扫描电镜横跨18科目。请单击此处查看此图的较大版本.
表1。研究1数据.在研究1的前后评估阶段, 个体主体的表现 (P)。每个单元格表示三十年代内正确执行的完整的5位数字序列的数量。请单击此处下载此表.
表2。研究2数据.与研究2的表1相同。请注意, 本实验的训练时间和手方向与实验1不同 (见课文)。请单击此处下载此表.
Discussion
我们描述了一个新的培训设置, 并演示了如何在现实环境中嵌入虚拟感官反馈优化电机学习的手, 没有在自愿控制下训练。我们用两种方式操作反馈: 视觉和本体。
在所提出的协议中, 很少有关键步骤。首先, 该系统由几个单独的组件 (手套, vr 耳机, 摄像头, 和被动移动设备), 应小心连接, 同时建立了 vr 环境。为此, 实验者应保持协议中描述的准确顺序, 并验证主体的方便性。
在训练过程中, 视觉和本体操作的结合显著提高了 non-trained 手相对于其他现有培训类型 (如通过观察17学习) 和 CE3的性能增益。并且没有被动手移动24,25,26。
在当前的演示中, 增强的性能增益是否推广到其他任务、培训工期、反馈模式或手动身份 (左主动手或双手动动作) 是一个公开的问题。目前的研究仅限于用右手的对象使用简单的手指序列任务。此外, 在当前设置的本体操作是基于一个系统, 允许非常有限的运动 (如手指屈曲/延长), 为一个相对短期的训练。需要进一步的工作来确定所呈现的设置在其他类型的行为中的普遍性。
可以通过多种方式扩展当前设置。首先, 可以添加新类型的模式, 例如, 在序列任务中将不同的听觉声音绑定到不同的手指动作。这可能会导致一个超加的效果, 这将进一步优化学习在未经训练的手。其次, 该系统的当前设计使自愿移动手 (在当前描述中的右手) 和被动的负轭手 (左手) 之间容易互换。未来的研究可以利用这种灵活性来研究在使用所提出的感官操作时, 转移的方向性 (在优势和非的手3之间) 可以如何修改性能增益的水平。最后, 我们开发的独特的 VR 设置可以适应更复杂的任务 (而不是简单的手指序列任务)。虚拟仿真的外部对象, 如球, 引脚, 和董事会可以嵌入到真实的环境提供丰富和参与性的培训经验。
至于将来的应用, 本研究中所描述的效果, 可以很容易地用于临床人群, 如上肢偏瘫患者, 通过引入身体训练与健康的手, 并提供视觉反馈, 如果受影响的手是移动.鉴于对受影响肢体的自愿控制在这类人群中是有限的, 这一培训计划有可能绕过受影响的手的直接理疗的挑战, 并可能导致更好的恢复率30 ,31。这种方法, 利用中和镜像疗法的现象, 连同行之有效的康复任务, 并没有在临床患者中进行过测试, 并有可能提供更有效的康复制度.最后, 由于这一设置是部分 MR 兼容, 它使使用全脑功能磁共振成像 (fMRI), 以探测相关的神经回路从事此类培训12。
Disclosures
作者声明他们没有竞争的金融利益。
Acknowledgments
这项研究得到了规划和预算委员会和以色列科学基金会 (51/11 号赠款) 和以色列科学基金会 (赠款1771/13 和 2043/13) (rm) 的核心方案的支持;Yosef Sagol 的神经科学研究奖学金, 以色列总统的神经科学研究名誉奖学金, 和 Sagol 神经科学奖学金 (以及)。资助者在研究设计、数据收集和分析、决定出版或准备原稿方面没有作用。作者感谢卡根和 a ·哈金帮助进行数据获取, Lihi Sadeh 和 Yuval Wilchfort 与拍摄和设置, 和 o. 利维和 y Siman-恭喜从 Rehabit-Tec 系统提供访问被动移动装置。
Materials
| Name | Company | Catalog Number | Comments |
| Oculus Development Kit 1 | Oculus VR | The Oculus Rift DK1 is a virtual reality headset developed and manufactured by Oculus VR, and contains development kit. | |
| 5DT Data Glove 14 MRI Right-handed and left handed | Fifth dimension Technologies | 100-0009 and 100-0010 | The 5DT Data Glove Ultra is designed to satisfy the stringent requirements of modern Motion Capture and Animation Professionals. It offers comfort, ease of use, a small form factor and multiple application drivers. The high data quality, low cross-correlation and high data rate make it ideal for realistic realtime animation. |
| PlayStation Eye Camera | Sony | The PlayStation Eye (trademarked PLAYSTATION Eye) is a digital camera device, similar to a webcam, for thePlayStation 3. The technology uses computer vision and gesture recognition to process images taken by the camera. | |
| REHABILITATION SYSTEM REHABIT-TEC | Rehabit-Tec | www.rehabit-tec.com | The Rehabit-Tec Rehabilitation system is a rehabilitation system intended to allow a CVA injured individual advance self rehabilitation on the basis of mirror movements |
References
- Coker, C. A. Motor learning and control for practitioners. , Routledge. (2017).
- Hoare, B. J., Wasiak, J., Imms, C., Carey, L. Constraint-induced movement therapy in the treatment of the upper limb in children with hemiplegic cerebral palsy. Cochrane Database Syst Rev. 18 (2), (2007).
- Sainburg, R. L., Wang, J. Interlimb transfer of visuomotor rotations: independence of direction and final position information. Exp Brain Res. 145 (4), 437-447 (2002).
- Malfait, N., Ostry, D. J. Is interlimb transfer of force-field adaptation a cognitive response to the sudden introduction of load? J Neurosci. 24 (37), 8084-8089 (2004).
- Perez, M. A., Wise, S. P., Willingham, D. T., Cohen, L. G. Neurophysiological mechanisms involved in transfer of procedural knowledge. J Neurosci. 27 (5), 1045-1053 (2007).
- Nozaki, D., Kurtzer, I., Scott, S. H. Limited transfer of learning between unimanual and bimanual skills within the same limb. Nat Neurosci. 9 (11), 1364-1366 (2006).
- Carroll, T. J., Herbert, R. D., Munn, J., Lee, M., Gandevia, S. C. Contralateral effects of unilateral strength training: evidence and possible mechanisms. J Appl Physiol. 101 (5), 1514-1522 (2006).
- Farthing, J. P., Borowsky, R., Chilibeck, P. D., Binsted, G., Sarty, G. E. Neuro-physiological adaptations associated with cross-education of strength. Brain Topogr. 20 (2), 77-88 (2007).
- Gabriel, D. A., Kamen, G., Frost, G. Neural adaptations to resistive exercise: mechanisms and recommendations for training practices. Sports Med. 36 (2), 133-149 (2006).
- Kirsch, W., Hoffmann, J. Asymmetrical intermanual transfer of learning in a sensorimotor task. Exp Brain Res. 202 (4), 927-934 (2010).
- Panzer, S., Krueger, M., Muehlbauer, T., Kovacs, A. J., Shea, C. H. Inter-manual transfer and practice: coding of simple motor sequences. Acta Psychol (Amst). 131 (2), 99-109 (2009).
- Ossmy, O., Mukamel, R. Neural Network Underlying Intermanual Skill Transfer in Humans. Cell Reports. 17 (11), 2891-2900 (2016).
- Stockel, T., Weigelt, M., Krug, J. Acquisition of a complex basketball-dribbling task in school children as a function of bilateral practice order. Res Q Exerc Sport. 82 (2), 188-197 (2011).
- Stockel, T., Weigelt, M. Brain lateralisation and motor learning: selective effects of dominant and non-dominant hand practice on the early acquisition of throwing skills. Laterality. 17 (1), 18-37 (2012).
- Steinberg, F., Pixa, N. H., Doppelmayr, M. Mirror Visual Feedback Training Improves Intermanual Transfer in a Sport-Specific Task: A Comparison between Different Skill Levels. Neural Plasticity. 2016, (2016).
- Kelly, S. W., Burton, A. M., Riedel, B., Lynch, E. Sequence learning by action and observation: evidence for separate mechanisms. Br J Psychol. 94 (Pt 3), 355-372 (2003).
- Mattar, A. A., Gribble, P. L.
- Bird, G., Osman, M., Saggerson, A., Heyes, C. Sequence learning by action, observation and action observation. Br J Psychol. 96 (Pt 3), 371-388 (2005).
- Nojima, I., Koganemaru, S., Kawamata, T., Fukuyama, H., Mima, T. Action observation with kinesthetic illusion can produce human motor plasticity. Eur J Neurosci. 41 (12), 1614-1623 (2015).
- Ossmy, O., Mukamel, R. Activity in superior parietal cortex during training by observation predicts asymmetric learning levels across hands. Scientific reports. , (2016).
- Darainy, M., Vahdat, S., Ostry, D. J.
- Wong, J. D., Kistemaker, D. A., Chin, A., Gribble, P. L. Can proprioceptive training improve motor learning? J Neurophysiol. 108 (12), 3313-3321 (2012).
- Vahdat, S., Darainy, M., Ostry, D. J. Structure of plasticity in human sensory and motor networks due to perceptual learning. J Neurosci. 34 (7), 2451-2463 (2014).
- Bao, S., Lei, Y., Wang, J. Experiencing a reaching task passively with one arm while adapting to a visuomotor rotation with the other can lead to substantial transfer of motor learning across the arms. Neurosci. Lett. 638, 109-113 (2017).
- Wang, J., Lei, Y. Direct-effects and after-effects of visuomotor adaptation with one arm on subsequent performance with the other arm. J Neurophysiol. 114 (1), 468-473 (2015).
- Lei, Y., Bao, S., Wang, J. The combined effects of action observation and passive proprioceptive training on adaptive motor learning. Neuroscience. 331, 91-98 (2016).
- Blank, R., Heizer, W., Von Voß, H. Externally guided control of static grip forces by visual feedback-age and task effects in 3-6-year old children and in adults. Neurosci. Lett. 271 (1), 41-44 (1999).
- Hay, L. Spatial-temporal analysis of movements in children: Motor programs versus feedback in the development of reaching. J Mot Behav. 11 (3), 189-200 (1979).
- Fayt, C., Minet, M., Schepens, N. Children's and adults' learning of a visuomanual coordination: role of ongoing visual feedback and of spatial errors as a function of age. Percept Mot Skills. 77 (2), 659-669 (1993).
- Grotta, J. C., et al.
- Taub, E., Uswatte, G., Pidikiti, R. Constraint-Induced Movement Therapy: a new family of techniques with broad application to physical rehabilitation--a clinical review. J Rehabil Res Dev. 36 (3), 237 (1999).
