Summary
本协议描述了如何使用帧的帧视频分析来量化人的特殊 reach-to-grasp 运动。通过对视力与看清健康成人接触的对比分析, 验证了该技术的有效性, 但该方法也可应用于发展和临床人群的研究。
Abstract
把握是人类体验的中心, 是达到目标的行为。我们用它来养活自己, 培养自己, 在我们的环境中操纵对象和工具。这种行为受到许多运动紊乱的影响, 但我们目前对其神经控制的理解还远未完成。目前调查人类 reach-to-grasp 运动的技术往往利用可能昂贵的运动跟踪系统, 要求将标记或传感器附着在手上, 阻碍自然运动和感官反馈, 并提供运动学可能难以解释的输出。虽然一般有效的研究健康视力成人的定型 reach-to-grasp 运动, 许多这些技术面临额外的限制时, 试图研究不可预知的和特殊的 reach-to-grasp 运动年轻的婴儿, 看清的成年人, 和神经紊乱患者。因此, 我们提出了一个新的, 廉价, 和高度可靠的灵活的协议, 量化的时间和运动学结构的特殊 reach-to-grasp 运动的人。高速摄像机捕捉 reach-to-grasp 运动的多个视图。然后使用帧的视频分析来记录预定义行为事件的时间和大小, 如动作开始、采集、最大高度、峰值光圈、第一次接触和最后的把握。通过记录每个事件的相对帧数来重建运动的时间结构, 同时用照片编辑软件中的标尺或测量函数量化手的运动学结构以校准2维线性两个身体部分或身体部分和目标之间的距离。帧-帧的视频分析可以提供一个定量和全面的描述特殊的 reach-to-grasp 运动, 将使研究人员扩大他们的调查领域, 包括更大范围的自然主义握在健康和临床人群中, 以更广泛的各种感官模式为指导的行为。
Introduction
把握, 达到掌握一个对象的行为, 是用于许多日常功能, 包括获取食物项目的饮食, 梳理, 操纵对象, 挥舞工具, 并通过手势和书面字沟通。最突出的理论关于神经行为控制把握, 双 Visuomotor 通道理论1,2,3,4, 建议把握由两个动作组成-一个到达将手传送到目标的位置, 并将手打开、形状和闭合, 以达到目标的大小和形状。这两个运动是介导的分离, 但互动神经通路从视觉到运动皮层通过顶叶1,2,3,4。对双 Visuomotor 通道理论的行为支持是不明确的, 这主要是由于 reach-to-grasp 运动作为一个单一的无缝行为出现, 并且很少有意识地展开。尽管如此, 把握几乎总是在视觉引导把握的背景下进行研究, 在这种环境中, 健康的参与者能够达到一个可见的目标对象。在这种情况下, 行动确实表现为一种以可预测和定型的方式展开的单一运动。在到达前, 眼睛注视着目标。当手臂将数字打开时, preshape 的尺寸就会缩小到对象的大小, 随后开始关闭。在目标触点之前, 眼睛脱离目标, 目标的最终抓取紧接在5之后。然而, 当视觉被移除, 运动的结构是根本地不同的。运动离解进入其组成成分, 使慷慨到达首先用于定位目标, 通过触摸它, 然后触觉提示相关的目标接触指南的塑造和关闭的手, 以掌握6。
reach-to-grasp 运动的量化通常是使用3维 (3D) 运动跟踪系统来实现的。这些可以包括红外跟踪系统、电磁跟踪系统或基于视频的跟踪系统。虽然这种系统是有效的, 以获取运动措施的把握在健康的成人参与者对有形的目标对象执行刻板的 reach-to-grasp 运动, 他们确实有许多缺点。除了非常昂贵之外, 这些系统还需要将传感器或标记附着在参与者的手臂、手和数字上。这些通常使用医疗胶带, 这可能会阻碍触觉反馈的手, 改变自然运动的行为, 并分散参与者7。由于这些系统通常会产生与不同的运动学变量 (如加速度、减速和速度) 有关的数值输出, 因此它们也不太适合于调查手与目标的接触情况。当使用这些系统时, 需要额外的传感器或设备来确定手的哪部分与目标接触, 在目标触点发生的位置, 以及手的配置如何改变以操纵目标。此外, 红外跟踪系统是最常用的, 它要求使用专用相机跟踪3D 空间6中的标记在手上的位置。这需要在相机和手上的传感器之间有一个直接的视线线。因此, 运动中的任何特质都可能掩盖这一视线, 导致关键运动学数据的丢失。然而, 有大量的事例表明, reach-to-grasp 运动中的特质实际上是规范的。这些包括早期发育时, 婴儿只是学习达到和掌握对象;当目标物体不可见时, 必须用触觉提示来引导到达和抓取;当目标对象为奇数形状或纹理时;当参与者与任何一种运动紊乱, 如中风, 亨廷顿氏症, 帕金森氏症, 脑瘫,等等在所有这些情况下, reach-to-grasp 运动是既不可预知也不刻板的, 也不一定是由视觉引导。因此, 3D 运动跟踪系统的能力, 以可靠地量化这些运动的时间和运动学结构可能会受到严重限制, 由于中断的感官反馈的手, 改变自然运动的行为, 丢失数据,和/或困难解释这些设备的特殊运动输出。
本文介绍了一种新的方法来量化的不同人群中的特殊 reach-to-grasp 运动, 是负担得起的, 不阻碍感官反馈的手或自然运动的行为, 是可靠的, 但可以灵活修改以适应各种实验范式。该技术涉及使用多台高速摄像机从多个角度记录 reach-to-grasp 运动。然后, 视频通过视频帧一次进行分析, 然后使用目视检查来记录关键的行为事件, 并同时提供对 reach-to-grasp 的时间和运动学组织的量化描述。运动.本文介绍了健康成人视觉与 nonvisually 引导 reach-to-grasp 运动的对比分析6,8,9,10 , 以演示效果的技术;然而, 修改后的技术版本也被用来量化人类婴儿的 reach-to-grasp 行为11和非人灵长类动物12。从这些研究中得到的帧-帧视频分析的综合结果, 是首次提供了支持把握双 Visuomotor 通道理论的行为证据。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
所有涉及人类参与的程序都得到了莱斯布里奇大学人类学科研究委员会和汤普森河大学研究人类学科委员会的伦理学的批准。
1. 与会者
- 获得有正常或 corrected-to-normal 视力的成年人的知情同意, 并且身体健康, 没有神经或运动疾病史 (除非目的是调查特定的临床人群)。
2. 实验装置
- 选择蓝莓, 甜甜圈球和橙色切片作为达到目标。在每个目标的最长轴上测量一个十的子集, 以确定每个对象的平均长度。
注意: 利用形状和大小一致的目标。蓝莓靶的平均大小为12.41 ±0.33 毫米, 圆环球目标的平均大小为28.82 ± 1.67 mm, 橙色切片目标的平均大小为60.53 ± 0.83 mm。 - 确定试验的数量和顺序。告知参加者, 他们将完成总共60到4块 (视觉条件中的2块和无视力中的2块) 的试验, 每个区块包括15个到达试验 (5 个目标对象中的每一个)。通知参与者, 对于每个块, 目标对象将按随机数发生器确定的随机顺序呈现。确保在参与者之间平衡块演示的顺序。
- 在一个安静的, 光线充足的房间里坐在一个静止的无椅子上, 远离分心。告诉参与者在椅子上坐直, 双脚搁在地板上, 两手放在地上, 双手在大腿上部的手心上休息。
- 调整独立、高度可调节基座的高度, 使其与所坐的参与者的躯干长度匹配, 使基座的顶部位于参与者臀部顶部和参与者胸骨的中间。将基座直接放在参与者中线的前面。
- 告诉参与者把他们的优势的手直接延伸到基座的顶端。调整基座的位置, 使其位于参与者的中线, 但与参与者的完全伸展的手臂和手的距离相等, 从而使参与者伸出的中指接触底座的远端。在定位基座后, 请参与者将他们伸出的手放回膝上。
- 位置1高速摄影机矢状到参加者, 在同一边作为参与者的非手在 1 m 距离从基座记录参与者的主导的手的伸手可及的角度。调整相机的位置和变焦, 直到参与者头部的顶端, 手在大腿上部的起始位置, 以及基座上的到达目标都清晰可见, 从这个摄像头角度。
- 将第二台摄像机放置在基座前1米处, 以捕获参与者的 front-on 视图。调整相机的位置和变焦, 直到参与者头部的顶端, 手在大腿上的起始位置, 以及基座上的到达目标都清晰可见, 从这个摄像头角度。
注: 额外的摄像机可以在所需的参与者和基座的上方、下方或前面放置。 - 设置每台摄像机以最高分辨率录制视频的速率为60、120或300帧, 每秒快门速度为 1/250th (如果移动将很快执行, 则最多1/1000 个th )。设置两个摄像头, 以存储每个视频文件, 无论是 AVI, MP4, 或影片文件。使用一盏装有凉爽 LED 灯的强光灯 (产生可忽略不计的热量) 来照亮参与者和测试区域。设置每台相机, 以集中在基座的中心。
注: 在这些高帧率和快门速度, 需要一个强大的灯照亮参与者和测试区。这将确保单独的视频帧是足够的照明和免费的运动工件。 - 指导参与者开始每一个到达的试验, 双手张开, 放松, 在他们的大腿背上休息手掌。
- 告诉参与者, 在每一个试验开始时, 实验者会在基座上放置一个目标对象--蓝莓、一个甜甜圈球或一个橙色切片--参与者要等到实验者提供一个口头的 "1、2、3, 去 ' 命令与他们的优势伸出手, 抓住目标对象, 然后把目标对象放在他们的嘴里, 好像他们要吃掉它一样。
- 告诉参与者, 他们应该尽可能自然地执行任务, 但他们实际上并不需要吃掉目标对象。指示参与者在将目标对象放入口中后, 应使用他们的非手从其口中检索目标, 并将其放置在位于与参与者的非手相邻的地板上的处置容器中。指示参与者在准备下一项试验时, 将双手回到大腿上的起始位置。
- 选择一个不繁琐的眼罩, 但咬合中心和周边视力的目标。在所有没有视力试验块开始的时候, 把这个眼罩提供给所有的参与者, 并确保他们在目标对象被放置在基座上之前戴上它。
注意: 当完成无视力试验块时, 参与者被蒙住眼睛之前第一个没有视力试验开始。因此, 他们被蒙上眼睛之前的目标对象是放置在基座上, 以确保参与者没有看到可能的目标对象是放置在基座上的任何给定的视觉试验。 - 在启动实验前, 在两台摄像机上按 "记录" 按钮, 并确保每个摄像机的位置和位置在实验任务的持续时间内不会更改给定参与者。
3. 数据收集
- 用食指快速敲击基座的顶部中央表面, 开始实验。
注意: 食指和基座之间的接触时刻将作为一个时间提示, 在所有的视频记录中都是可见的。 - 放置一个已知大小的校准对象, 例如一个1厘米的3塑料立方体, 在基座顶部的中心, 这样每个相机都有一个额-平行视图的立方体的一侧。将校准对象保留在基座上大约5秒, 这样每个摄像机就能捕捉到它的一个畅通无阻的视图, 然后在第一次到达试验前移除校准对象。
- 通知参加者, 实验即将开始, 确保参与者戴上眼罩, 如果他们要完成一个没有视力试验块, 并要求参与者口头确认, 如果他们准备开始。
- 将第一个目标对象放置在基座上, 并使用 "1、2、3、Go" 提示向参与者发出信号, 以执行到达的试验。
- 重复步骤3.4。直到参加者完成了总共60项试验。确保参赛者只为无视力试验块戴上眼罩。
- 在60到达的试验完成后, 停止录像摄像机。回答参与者可能有的最后问题, 并允许他们离开。
4. 为帧的视频分析准备视频
- 将视频文件从摄像机下载到装有视频编辑软件程序的安全计算机上。
- 打开视频编辑软件程序中的视频文件。在打开的开始窗口中, 单击新建项目按钮。对于视频显示格式选项, 请选择框架。对于捕获格式选项, 请选择DV。单击确定 |是。
- 单击媒体浏览器选项卡并导航以查找您的参与者的视频文件。单击并按住其中一个视频文件, 将其拖放到相邻的时间线中。这将导致视频记录出现在程序窗口中。使用键盘上的箭头键向前和/或向后通过视频记录前进。
- 使用键盘上的箭头键导航到视频帧, 它描述了实验者用食指敲击基座顶部的那一刻。暂停此帧上的视频记录, 使播放头 (在时间轴上) 定位在实验者手指首先与基座接触的精确帧上。
- 使用视频编辑软件中的修剪功能在当前帧之前修剪 (删除) 所有帧。为此, 请单击标记为 |文件 |出口 |媒体选项。在打开的导出设置窗口中, 选择 "预设" 选项的 "格式" 选项和匹配源的H. 264 。
- 单击输出名称并浏览以找到要保存新修剪的视频记录的文件夹。为正在创建的新剪裁的视频记录提供新的文件名, 然后单击保存按钮。这将返回到导出设置。单击导出选项。
- 对每个参与者的所有视频记录重复步骤 4.1-4.6, 以创建与每个原始视频文件相对应的新裁剪的视频文件。仅使用新裁剪的视频文件进行所有后续帧的视频分析。
注意: 在新裁剪的视频文件中, 每个视频文件的帧1将描述相同的行为事件 (例如, 在实验者的手指和基座之间第一次接触的时刻), 并在本质上是时间。这样就可以在单个参与者的单个测试会话中快速、方便地切换单个行为事件的不同视频视图。 - 关闭并重新打开视频编辑软件。重复步骤4.2。和4.3。为单个参与者选择并将所有新修剪的视频记录拖动到视频编辑软件中的单独时间线上, 以便进行帧的视频分析。这将允许您以时间的方式浏览每个参与者的多个视频视图。要更改在程序窗口中显示的视频记录 (e. g, 前端或侧面), 只需单击并拖动包含首选视频视图的视频时间线到其他视频时间表的顶部。
注: 步骤4.8。是使用视频编辑软件进行的, 用于暂时 time-synchronize 单个参与者的所有视频视图。
5. 帧-帧视频分析: 时态组织
- 对于每一个到达的试验, 用键盘上的箭头键来描述 reach-to-grasp 运动的时间组织, 通过时间视频记录帧。在电子表格 (补充表 1) 中记录在步骤 5.1 1-5. 1.6 中描述的每个关键行为事件的第一帧编号, 它们也在表 1中描述, 并在图 1中说明。
注意: 虽然所有6关键行为事件通常都存在于每个视力试验中, 但有些可能并不总是存在于视力试验中。- 确定运动开始, 这是定义为第一个可见的举起手掌离背部的上大腿。
- 确定集合, 定义为闭合的手姿势的形成, 其中数字最大地弯曲并且关闭。通常情况下, 收集发生在运动开始和峰值光圈之前。
- 确定最大高度, 这被定义为手伸向目标物体时食指最近的指节的最大高度。
- 确定峰值光圈, 它被定义为手的最大开口 (在食指的中央尖端和拇指的中央尖端之间测量), 在收集后, 在第一次接触之前发生。有时, 在第一次接触目标物体后, 数字会重新打开, 在这种情况下, 还要记录第二峰值孔径的帧数。
- 标识第一个联系人, 它被定义为手和目标对象之间的第一个接触点。
- 确定最终的抓取, 定义为目标对象的所有操作完成的时刻和参与者对目标对象的牢牢控制。
6. 帧-帧视频分析: 运动学标定刻度
- 为每个参与者创建一个校准刻度, 可用于将从视频记录中拍摄的距离度量值转换为像素到厘米。
- 将感兴趣的视频记录拖放到视频编辑软件程序的时间轴中, 如步骤4.2 所示。和4.3。将播放头移动到描述校准对象的帧, 然后单击导出框架。在打开的导出框架窗口中, 在名称选项框中输入静止帧图像的名称, 在格式选项框中输入TIFF , 然后单击路径选项框以浏览到您想将静止帧图像保存在中。
- 在照片编辑软件程序中打开此静止帧图像文件。单击图像 |分析 |设置测量比例 |自定义将鼠标指针转换为标尺工具。使用标尺工具单击 1 cm3校准多维数据集的一侧, 将标尺工具拖到校准多维数据集的另一侧, 使该行尽可能水平, 并在多维数据集的另一侧释放单击。
注意: 一旦步骤6.1.2。完成照片编辑软件程序将自动计算以像素为单位绘制的线条的长度, 并在打开的测量比例窗口中的像素长度选项中显示该值。 - 在测量比例窗口中, 将10输入逻辑长度选项框和毫米, 进入逻辑单元选项框。单击保存预设。在测量比例预设窗口中, 输入相关参与者的视频视图和代码/编号 (例如、 SideView-Participant1) 到预设名称选项框中, 然后单击确定。
- 在测量比例窗口中单击确定。
注意: 重复步骤6.1.1 到6.1.4。对于每个参与者的每个视频视图。
7. 帧-帧视频分析: 运动学结构
- 对于每一个到达的试验, 描述 reach-to-grasp 运动的运动学结构, 使用 "照片编辑软件" 程序中的标尺工具来记录步骤 7.4-7.9 和表 1中描述的相关距离度量。
- 使用视频编辑软件导出静止帧图像 (步骤 6.1.1), 它描述了以下每个行为事件: 集合、最大高度、峰值光圈、第一次接触和最终掌握 (对于每个试验)。
- 打开在照片编辑软件中描述感兴趣的关键行为事件的静止帧图像。单击图像 |分析 |设置测量比例并选择与您希望进行距离测量的图像中所描述的视频视图和参与者 (例如, SideView-Participant1) 相对应的预设校准刻度。
注意: 选择适当的预设校准刻度将确保用标尺工具测量的所有后续距离都能精确地从像素转换成毫米。预设校准刻度将保持为所有打开的后续图像文件自动选择。因此, 不需要重复步骤7.3。直到您从不同的视频视图或不同的参与者切换到分析静止帧图像。 - 打开在照片编辑软件中描述集合的关键行为事件的静止帧图像。选择标尺工具并使用它在拇指的中央尖端和食指的中央尖端之间绘制一条直线。
- 单击图像 |分析 |记录度量值, 这将导致测量日志打开。将此行的长度记录为电子表格中的收集距离(补充表 1)。
- 打开在照片编辑软件中描述最大高度的静止帧图像。使用标尺工具测量基座顶部与参与者的索引关节顶部之间的垂直距离。将此行的长度记录为电子表格中的最大高度距离。
- 打开在照片编辑软件中描述峰值光圈的静止帧图像。使用标尺工具测量拇指中央尖端和食指中央尖端之间的距离。将此行的长度记录为电子表格中的峰值光圈距离。
- 打开在照片编辑软件中描述第一个联系人的静止帧图像。使用标尺工具测量拇指中央尖端和食指中央尖端之间的距离。将此行的长度记录为电子表格中的第一个接触光圈距离。
- 打开在照片编辑软件中描述最终抓取的静止帧图像。使用标尺工具测量拇指中央尖端和食指中央尖端之间的距离。将此行的长度记录为电子表格中的最终抓取光圈距离。
8. 帧-帧视频分析: 地形测量
- 在执行上述帧的视频分析时, 还记录了 reach-to-grasp 运动的其他地形特征, 如手的一部分, 以使第一次接触, 接触点, 掌握点, 调整, 握杆类型, 掌握策略 (表 2)。
- 文档, 在电子表格中, 用手的哪一部分与每个试验的目标进行第一次接触。使用以下表示法: 1 = 拇指, 2 = 食指, 3 = 中指, 4 = 圆环手指, 5 = 小指, 6 = 棕榈, 7 = 手背。
- 通过导出目标的静止帧图像来确定第一个接触点, 在照片编辑软件中打开它, 并使用程序的 "画笔" 工具在目标位置上标记手与目标之间的第一次接触。审判.调整画笔工具的大小、不透明度和颜色以满足您的需要。重复此步骤, 直到您创建了单个地形图, 指示每个参与者在目标上的第一个联系点的位置。
注: 有关单个研究中所有参与者的第一个联系点的聚合示例, 请参见下面的代表性结果。 - 通过导出目标的静止帧图像来确定抓取点, 在照片编辑软件中打开它, 并使用程序的 "画笔" 工具来标记在每个试验最终抓取时手接触目标的目标位置。调整画笔工具的大小、不透明度和颜色以满足您的需要。重复此步骤, 直到您创建了一张地形图, 指示每个参与者在目标上的抓取点位置。
注: 有关单个研究中所有参与者的聚集抓取点的示例, 请参见下面的代表性结果。- 视觉上确定的平均掌握接触位置的拇指和对方数字的目标为视力参与者。将这两个联系地点表示为 "基线把握接触点"
- 使用 "画笔" 工具在地形图上标记 "基线抓取联系点", 该图说明了每个参与者的第一个接触点。然后使用标尺工具 (参见步骤 6.1. 6.1.4 和 7.5) 来测量每个第一接触点和各自的基线接触点之间的2D 线性距离。对每个参与者在视觉和无视觉条件下的每个第一个接触点重复此步骤。计算每个参与者的平均 "到基线接触点的距离", 这将表明参与者的第一次接触的位置与基线把握接触点的差异程度。
- 使用 "画笔" 工具标记地形图上的 "基线接触点", 该图显示了每个参与者的 "抓住触点"。然后使用标尺工具 (请参见步骤6.1 和6.1.4 和 7.5) 来测量每个抓取点和各自的基线接触点之间的2D 线性距离。对每个参与者在视觉和视觉条件下的每个抓取点重复此步骤。计算每个参与者的平均 "到基线接触点的距离", 这将表明参与者的掌握触点与基线把握接触点的差异有多大。
- 通过检查录像记录来确定每项试验的调整数, 并注意到在第一次接触的框架与最终抓取框架之间, 参与者释放和重新建立与目标接触的任何实例。记录电子表格中每个参与者每次试用的调整总数。
- 确定用于拾取每个试用目标的手柄类型, 并将其记录在电子表格中: (i) 钳子夹子: 特点是抓住目标之间的拇指垫和同一只手的另一个数字, (ii) 精确握持: 特点是抓住目标之间的拇指垫和至少两个其他数字的同一只手, 或 (iii) 电源握: 特点是抓取目标之间的手掌和数字的同一只手。
- 确定掌握策略 (型, 触摸-把握, 变化 1, 变体 2, 或变体3策略; 请参见下面的代表性结果) 用于每个试用并将其记录在电子表格中。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
本节提供的例子, 可以获得的结果, 当使用帧-帧的视频分析, 以调查特殊的 reach-to-grasp 运动下可视感官指导。主要的发现是, 当参与者可以使用视觉来先发制人确定目标对象的外部 (位置/方向) 和内在 (大小/形状) 属性时, 他们将 reach 和掌握整合到一个单一的无缝握行为在触摸它之前, 他们将手 preshape 到目标的大小和形状 (图 2A)。然而, 当视力不可用时, 他们会将两个动作分开, 这样触觉反馈就可以用来先把手与外在的关系直接联系起来, 然后再与目标的内在属性相关, 在被称为广义触控式抓取策略 (图 2B)。框架帧视频分析的结果与传统的运动跟踪系统相比, 不需要花费、麻烦, 也不需要将传感器附加到参与者手上的其他缺点。结果也为把握的双 Visuomotor 通道理论的假设提供了支持, 即到达和把握是在视觉引导下集成在一起时出现的可分离运动。
所有关键的行为事件通常都存在于视觉和视觉条件中。然而, 在没有视力的情况下, 有一个明显的变化, 这样就需要大量的时间从峰值光圈过渡到第一次接触, 再从第一次接触到最终的掌握 (图 3)。从框架帧的视频分析的运动学结果的回顾提供了一些解释, 这增加的运动持续时间在没有视力的情况。
手采取更高的方法对目标和因而, 达到更大的最大高度在没有视觉条件与视觉条件相比 (图 4)。这更大的最大高度是一个一致的特点, 没有远见 reach-to-grasp 运动, 即使经过50试验的实践。使用更高的到达的弹道, 在目标之上被上升的手并且然后降下从上面, 可能贡献增加的时间需要从峰值光圈过渡到第一联络在没有远景比较到视觉条件。
在没有视力的情况下, 手保持一个中性的姿势, 其中的数字保持开放, 并在运输过程中向目标延伸。这与数字的视觉条件不同, 在这种情况下, 位数将与目标的大小相匹配, 并接近该配置。因此, 在没有视力的情况下, 手的光圈不会 preshape 到目标的大小 (图 5, 顶部) 或第一次接触 (图 5, 中间)。在没有视觉状态的情况下, 缺乏型意味着需要额外的时间来修改手的配置, 以便与目标匹配。这有助于增加从第一次接触到最终掌握在无视力条件下所需的时间。尽管手孔径在与靶接触之前和最初有差异, 但最终掌握的手孔径在视觉和视觉条件上是相同的 (图 5, 底部)。
在没有视力的情况下, 拇指 (红色) 或食指 (蓝色) 与目标的第一次接触的位置是随机地在目标对象的背面上以一种随意的方式进行, 表明没有一个首选的数字拇指方向 (图 6, 左下角)。这与食指和拇指始终建立第一次接触目标的对立面的视觉条件不同, 表明在第一次接触前有一个首选的数字拇指方向 (图 6, 顶部左)。在没有视觉状态的第一次接触之前, 缺少一个首选的数字拇指方向意味着在第一次接触后需要额外的时间来重新调整位数的配置和位置, 以达到适当的抓取点有利于实际掌握目标。这最终是通过最终抓取的时间 (图 6, 右下角) 实现的, 其一致性与在视觉条件下所观察到的一致 (图 6, 右上角)。
在没有视力的情况下, 参与者通常在第一次接触目标 (图 7) 后至少进行一次调整, 通常是将数字重新到目标上更合适的抓取点。相比之下, 在视觉条件下, 参与者在第一次接触后不会调整 hand-to-target 接触。因此, 在没有视觉状态的参与者所做的调整可能会导致从第一次接触到最终掌握的过渡所需的时间增加。
图 8说明了用于在视觉条件 (图 8A, 左) 和无视觉状态 (图 8B, 左) 进行第一次接触的手部。在视觉状态下, 参与者通常使用食指和/或拇指与目标进行第一次接触。相反, 手的一部分, 使第一次接触的目标是更多的变数, 在没有视力的情况下, 与参与者往往使用任何数字或手掌, 使第一次接触。值得注意的是, 在视觉条件下, 与目标第一次接触的数字是同一个在最终抓取过程中进行接触的。相比之下, 在无视觉状态下进行第一次接触的手部通常与最终抓取过程中使用的手部不同 (图 8A &图 8B, 右)。
图 9说明了参与者使用钳子或精确抓取获取目标对象的试验比例。在没有视力的情况下, 参与者使用精确的抓地力, 而不是钳子手柄, 与视觉状态的参与者相比, 他们更喜欢钳子夹子。
在视觉状态下, 参与者一致地使用型策略, 在第一次接触之前, 手形状和方向指向目标, 以方便立即抓取目标。在没有视力的情况下, 手在第一次接触之前不会形成或定向到目标。相反, 在没有视力的情况下, 首选的抓握策略是一个触控式把握策略。这一战略的特点是与目标的初步接触, 然后释放的接触期间的手重塑和 re-orients, 导致改变 digit-to-target 接触地点, 最终有助于成功地掌握目标 (图 10A)。根据手在第一次接触时的配置, 可以观察到触碰策略的变化。在第一个变体 (图 10B) 中, 第一次接触时手是 semi-shaped 的, 第一次接触是用食指或拇指进行的, 但在不适当的接触位置, 导致在手形和接触位置的修改之前最终掌握姿势的建立。在第二个变体 (图 10C) 中, 在第一次接触之前, 手没有形状, 但第一次接触是用手的适当部位在目标上的适当位置进行的。因此, 一个简单的其余数字的屈曲, 可以成功地捕获目标之间的数字和拇指在一个有效的抓取姿势。在第三个变体 (图 10D) 中, 在第一次接触之前, 手没有形状, 第一次接触是在目标上不适当的位置进行的, 而是用手的适当部分。因此, 第一次接触的数字保持联系, 而相邻的数字操纵目标到一个位置, 更容易抓住目标之间的索引/中指和拇指。
图 1: 六行为事件.仍然帧说明6关键行为事件, 构成了一个刻板的视觉引导 reach-to-grasp 运动在健康的成人。白色箭头表示的手/行动的方面是最相关的, 以确定每个行为事件。参加者与他们的主导的手到达了。请单击此处查看此图的较大版本.
图 2: 成年人在视觉和视觉条件下所使用的抓取策略.静止帧说明型策略 (A), 它受视觉条件的参与者和一般的触控即用策略 (B) 的青睐, 这是在没有视觉条件的参与者所青睐的。参加者与他们的主导的手到达了。此图已从卡尔et al.中修改6和 Whishaw et al.11请单击此处查看此图的较大版本.
图 3: reach-to-grasp 运动的时间组织.时间 (平均±标准误差 (SE)) 到峰值光圈 (浅灰色), 第一接触 (中灰色), 并最终掌握 (黑色) 的 reach-to-grasp 运动的参与者 (n = 12) 在视觉 (顶部) 和没有视觉条件 (底部)。此图已从卡尔et al.中修改6请单击此处查看此图的较大版本.
图 4: 最大高度.最大高度 (平均± SE) 的 reach-to-grasp 轨道的前五与最后五试验的每个参与者 (n = 20) 在视觉和没有视觉条件 (A)。这些结果通过对方差 (方差分析) 的重复测量进行了验证, 发现了条件F(117) = 35.673 的主要效果, p < 0.001 但没有试验的主要效果F(9153) = 1.173, p > 0.05 (*** * = p< 0.001)。有代表性的手臂和手的帧在最大高度的时刻, 在第一次和最后的实验, 在视觉和无视力条件 (B)。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据8请单击此处查看此图的较大版本.
图 5: 光圈.峰值孔径 (平均± se; 顶部), 第一触点 (平均± se; 中间) 的光圈, 最后掌握的光圈 (平均± se; 底部) (n = 12) 到达视觉 (灰色), 没有视觉 (黑色) 条件。这些结果证实了重复的措施 ANOVAs 发现了一个重要的条件 X 目标相互作用的峰值孔径F(220) = 101.088, p < 0.001 和光圈在第一次接触F(220) = 114.779, p < 0.001, 但不为光圈在最后掌握F(220) = 0.457, p > 0.05 (*** = p < 0.001)。注意, 利用传统的3D 运动跟踪系统和帧-帧视频分析, 导出了图中所示的孔径测量方法。参加者与他们的主导的手到达了。B = 蓝莓, D = 甜甜圈球, O = 橙色切片。此图已被修改, 并呈现最初在卡尔et al.中发布的数据6请单击此处查看此图的较大版本.
图 6: 第一个接触点和抓住触点.接触点的位置, 在第一次接触目标 (左) 和最终掌握目标 (右)。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据6请单击此处查看此图的较大版本.
图 7: 调整.在没有视觉和视觉条件的情况下, 第一次接触和最终掌握对所有参与者 (n = 18) 的调整数 (平均± SE)。这些结果由重复的测量方差分析证实, 给出了条件F(117) = 55.987, p < 0.001 (*** = p < 0.001) 的显著效果。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据10请单击此处查看此图的较大版本.
图 8: 与目标进行接触的部分手.部分的手, 使第一次接触 (左) 和最终掌握接触 (右) 与目标对象上的前五和最后五试验中的视觉 (顶部) 和没有视力 (底部) 条件。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据8请单击此处查看此图的较大版本.
图 9: 手柄类型:试验的比例 (平均± SE), 参与者 (n = 12) 利用钳形或精密抓地力来获得视觉 (a) 中的目标, 而没有视觉 (B) 条件。这些结果证实了一个重复的措施方差分析发现了一个重要的影响条件 X 抓地力F(111) = 32.301, p < 0.001 (*** = p < 0.001)。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据6请单击此处查看此图的较大版本.
图 10: 抓取策略.有代表性的框架说明了一般的触摸-然后抓取策略 (A), 以及在无视觉条件下的参与者 (B-D) 的3变体。参加者与他们的主导的手到达了。此图已被修改, 并呈现最初在卡尔et al.中发布的数据6请单击此处查看此图的较大版本.
| 关键行为事件 | 描述 | 记录 |
| 1. 运动开始 | 定义为第一个可见的举起手掌远离上大腿背部 | > 帧数 |
| 2. 收集 | 定义为一个闭合的手姿势的形成, 其中数字最大地弯曲和关闭。收集可能是非常明显的或非常微妙的 | > 帧数 > 食指中央尖端与拇指中央尖端之间的距离 |
| 3. 最大高度 | 定义为食指最近的关节的最大高度 | > 帧数 > 基座顶部与食指顶端之间的垂直距离 |
| 4. 峰值孔径 | 定义为手的最大开口, 如测量两个数字之间用来确保最终的抓取对象, 通常是食指和拇指。在某些情况下, 数字将在目标接触后重新打开, 并且需要在目标接触后记录第二个峰值光圈 | > 帧数 > 食指中央尖端与拇指中央尖端之间的距离 |
| 5. 第一次接触 | 定义为手和目标之间第一次接触的时刻 | > 帧数 > 食指中央尖端与拇指中央尖端之间的距离 > 部分手与目标进行第一次接触 (图 8) > 第一个接触点 (图 6) |
| 6. 最终掌握 | 定义为目标的所有操作完成的时刻, 并且参与者建立一个对目标的牢牢控制 | > 帧数 > 食指中央尖端与拇指中央尖端之间的距离 > 掌握接触点 (图 6) > 手柄类型 > 部分手, 以最终掌握与目标接触 (图 8) |
表 1: 关键行为事件的描述.列出了6关键行为事件, 可以使用帧的视频分析 (第一列) 获取。每个行为事件都伴随有一个描述 (第二列), 以及一个应记录在每个 (第三列) 的时态和运动学信息的列表。
| 地形测量 | 描述 | 记录 |
| 手的一部分, 使第一次接触 | 描述手的哪一部分用于与目标进行第一次接触 (1 = 拇指, 2 = 食指, 3 = 中指, 4 = 无名指, 5 = 小指, 6 = 手掌, 7 = 手背) | > 用手的哪一部分与目标进行第一次接触 |
| 联络点 | 说明在目标第一次接触到手发生的位置 | > 参见步骤8.1.2。 |
| 抓点 | 在确定目标的最终把握时, 说明了手接触目标的位置 | > 参见步骤8.1.3。 |
| 调整 | reach-to-grasp 运动被认为包含一个调整, 如果, 在第一次接触和最终掌握, 参与者释放和重新接触的目标 | > 每项试验的调整数 |
| 手柄类型 | 描述用于获取目标对象的抓握配置 | > 参见步骤8.1.5。 |
| 把握策略 | 指在第一次接触后使用不同的 digit-to-target 操作, 以利于成功地掌握目标 | > 使用的抓取策略类型 (图 10) |
表 2: 地形测量的描述.列出了可通过帧-帧视频分析 (第一列) 获取的地形测量。每项措施都附有一份说明 (第二栏) 以及应为每一个 (第三栏) 记录的信息类型的列表。
补充表 1: 数据收集的电子表格一种用于组织时间、运动学和地形测量 (不包括接触点和抓取点) 的模板, 通过单帧视频分析在单个电子表格中收集。请单击此处下载此文件.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本文介绍了如何利用帧的视频分析来量化的时间组织, 运动学结构, 和一个子集的地形特征的人 reach-to-grasp 运动。该技术可用于研究典型的视觉引导 reach-to-grasp 运动, 也可用于特殊的 reach-to-grasp 运动。这种运动是很难研究使用传统的3D 运动跟踪系统, 但是常见的发展婴儿, 参与者与改变的感官处理, 和患者的运动障碍, 如失明, 帕金森病, 中风, 或脑瘫因此, 使用框架帧的视频分析将允许研究人员扩大他们的调查范围, 包括更广泛的握行为, 以更广的各种感官模式, 由健康和临床的人群。帧-帧视频分析的具体优点包括它的相对负担能力, 易于实施, 缺乏传感器或标记, 阻碍了手的感官和运动能力, 与其他运动跟踪系统的兼容性, 和能力描述 reach-to-grasp 运动中的细微变化, 通常很难从大多数传统的3D 运动跟踪系统提供的运动学输出中解释。这些特点的框架帧帧视频分析, 使我们有可能提高对神经行为控制把握的理论认识。
尽管在许多情况下, 帧-帧视频分析可能是分析特殊 reach-to-grasp 运动的唯一可靠选项, 但必须注意的是, 该技术确实面临一些限制。首先, 与传统的3D 运动跟踪系统相比, 采用帧-帧视频分析法获得的距离测量 (例如、峰值孔径) 是 2D, 且精度较低。不过, 如果有必要, 还可以将更多的摄像头集中在感兴趣的区域。这将允许实验者选择相机视图, 提供最清晰的额-平行视图的行为事件的兴趣, 从而提高精度的距离测量的特定事件。此外, 如果距离测量需要非常高的精度, 那么帧-帧视频分析可以很容易地与传统的3D 运动跟踪技术结合在一起 (参见图 4、 5和10), 因为它不妨碍数据从传统系统收集。其次, 该技术的最终成功与否, 关键取决于视频记录的完整性。选择拍摄视图, 充分捕捉的行为, 使用快门速度为 1/1000th的第二个与强光源, 并确保相机的焦点保持稳定的行动的兴趣将有助于确保视频记录中的单个帧是清脆的, 没有运动工件, 并且易于分析。最后, 在第一次学习实施这项技术时, 研究者们可能希望利用多个盲评分器来确保高评分的可靠性, 以保证各种行为事件的评分。然而, 一旦训练, 评分是高度可靠的, 间的可靠性可以很容易地建立只使用一个小子集的样本数据。
与传统的3D 运动跟踪系统相比, 帧-帧视频分析可以提供更 ethologically 的自然到达和抓取行为的有效描述, 因为它不需要将标记或传感器放置到参与者的手臂或手。此外, 许多3D 运动跟踪系统需要在相机和传感器/标记放置在手上的一个恒定的和直接的视线。为了确保这一点, 这项技术的大多数用户要求参与者开始 reach-to-grasp 运动与手形在一个不自然的配置与食指和拇指捏在一起。它们还指示参与者以预定义的方式 (通常是钳子柄) 以预先定义的方向抓住目标对象。这些指令是必须的, 以确保 reach-to-grasp 运动以可预测和定型的方式展开, 因为传统的记录系统在手臂的轨迹和手的配置不遵循可预知的课程, 保持在相机和传感器/标记之间的视线线。然而, 强加这些限制严重限制了任务的学有效性, 甚至可以改变运动的组织;例如, 当初始手动配置为拇指和食指1314之间的夹紧时, 无法观察 "集合" 的关键行为事件。这些限制在很大程度上克服了, 当使用帧的帧视频分析的变化, 在到达轨道和手配置更不太可能导致完全丢失的数据在视频记录, 所以没有必要强加这些不自然对 reach-to-grasp 运动的限制。
帧-帧的视频分析还可以观察到 reach-to-grasp 运动的细微修改超出了传统的3D 运动跟踪系统的一般可能, 特别是当修改不是一个具体的预测这项研究。一个例子将说明:图 5 (top) 显示了从参与者 reaching-to-grasp 三不同大小的对象中获得的峰值光圈的度量, 或者是有视觉的或没有视觉的。研究结果表明, 在视觉条件下, 参与者先发制人尺度峰值孔径与目标的大小相匹配, 而不是在无视觉状态下。在没有视力的情况下, 参与者使用一致的峰值孔径, 尽管达到了不同大小的目标。如果要考虑仅从传统的3D 运动跟踪系统中获得的数据类型, 类似于图 5 (左上) 所示, 则有两种可能的解释。首先, 它可能是在没有视觉状态的情况下, 参与者将手塑造成一个抓取姿势, 与三可能目标的 "平均" 或 "中间" 大小相匹配。二者择一地, 他们也许根本不形成掌握的姿态, 而是, 他们可能形成一个稍微更加开放的手在运输期间往目标, 增加与目标的触觉接触的机会, 巧合地匹配大小的 "中间"目标.为了区分这两种可能性, 有必要从帧的视频分析中查看数据, 在图 5 (右上方) 中给出了一个示例, 这清楚地表明参与者没有将他们的手塑造成在无视觉状态下, 抓取与 "中等" 尺寸物体相匹配的姿势;相反, 他们正在形成一个开放的, 但中立的手形, 可以通过触觉反馈定位目标和/或掌握目标。因此, 当传统的3D 运动捕捉系统中的数据不明确, 并且能够对结果进行更真实的解释时, 框架式帧视频分析可以提供澄清。
利用帧-帧视频分析研究看清成人的 reach-to-grasp 运动6,8910, 人类婴儿11, 非人灵长类动物12, 和啮齿类动物15已经极大地放大了我们对把握神经行为控制的理解。具体来说, 这些研究的结果一直表明, 在握的发展和进化的早期阶段,触摸-然后把握策略, 其中的伸手可及的把握被暂时分离, 以利用触觉线索,优先于型策略, 其中两个动作在可视化指导下集成到一个无缝行为中。这些结果为双 Visuomotor 通道理论提供了大量的行为支持, 并进一步表明, 这一理论应该被修改, 以考虑到分离的伸手可及的动作可能起源于触觉控制。它们在可视化指导1、2下集成在一起。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有竞争的财务利益透露。
Acknowledgments
作者想感谢亚历克西斯. 威尔逊和玛丽莎. Bertoli 为他们的协助拍摄和准备这份手稿的视频。这项研究得到了加拿大自然科学和工程研究理事会 (JMK、JRK、IQW)、艾伯塔省创新保健解决方案 (JMK) 和加拿大卫生研究所 (IQW) 的支持。
Materials
| Name | Company | Catalog Number | Comments |
| High Speed Video Cameras | Casio | http://www.casio-intl.com/asia-mea/en/dc/ex_f1/ or http://www.casio-intl.com/asia-mea/en/dc/ex_100/ | Casio EX-F1 High Speed Camera or Casio EX-100 High Speed Camera used to collect high speed video records |
| Adobe Photoshop | Adobe | http://www.adobe.com/ca/products/photoshop.html | Software used to calibrate and measure distances on individual video frames |
| Adobe Premiere Pro | Adobe | http://www.adobe.com/ca/products/premiere.html?sdid=KKQOM&mv=search&s_kwcid=AL!3085!3!193588412847!e!!g!!adobe%20premiere%20pro&ef_id=WDd17AAABAeTD6-D:20170606160204:s | Software used to perform Frame-by-Frame Video Analysis |
| Height-Adjustable Pedestal | Sanus | http://www.sanus.com/en_US/products/speaker-stands/htb3/ | A height adjustable speaker stand with a custom made 9 cm x 9 cm x 9 cm triangular top plate attached to the top with a screw is used as a reaching pedestal |
| 1 cm Calibration Cube | Learning Resources (Walmart) | https://www.walmart.com/ip/Learning-Resources-Centimeter-Cubes-Set-500/24886372 | A 1 cm plastic cube is used to transform distance measures from pixels to centimeters |
| Studio Light | Dot Line | https://www.bhphotovideo.com/c/product/1035910-REG/dot_line_rs_5620_1600w_led_light.html | Strong lamp with cool LED light used to illumate the participant and testing area |
| 3 Dimensional (3D) Sleep Mask | Kfine | https://www.amazon.com/Kfine-Sleeping-Contoured-lightweight-Comfortable/dp/B06W5CDY78?th=1 | Used as a blindfold to occlude vision in the No Vision condition |
| Orange Slices | N/A | N/A | Orange slices served as the large sized reaching targets |
| Donut Balls | Tim Hortons | http://www.timhortons.com/ca/en/menu/timbits.php | Old fashion plain timbits from Tim Hortons served as the medium sized reaching targets |
| Blueberries | N/A | N/A | Blueberries served as the small sized reaching targets |
References
- Karl, J. M., Whishaw, I. Q. Different evolutionary origins for the Reach and the Grasp: an explanation for dual visuomotor channels in primate parietofrontal cortex. Front Neurol. 4 (208), (2013).
- Whishaw, I. Q., Karl, J. M. The contribution of the reach and the grasp to shaping brain and behaviour. Can J Exp Psychol. 68 (4), 223-235 (2014).
- Jeannerod, M. Intersegmental coordination during reaching at natural visual objects. Attention and Performance IX. Long, J., Badeley, A. , Hillsdale: Lawrence Erlbaum Associates. 153-169 (1981).
- Arbib, M. A. Perceptual structures and distributed motor control. Handbook of Physiology. Brooks, V. B. 2, American Psychological Society. 1449-1480 (1981).
- De Bruin, N., Sacrey, L. A., Brown, L. A., Doan, J., Whishaw, I. Q. Visual guidance for hand advance but not hand withdrawal in a reach-to-eat task in adult humans: reaching is a composite movement. J Mot Behav. 40 (4), 337-346 (2008).
- Karl, J. M., Sacrey, L. A., Doan, J. B., Whishaw, I. Q. Hand shaping using hapsis resembles visually guided hand shaping. Exp Brain Res. 219 (1), 59-74 (2012).
- Domellöff, E., Hopkins, B., Francis, B., Rönnqvist, L. Effects of finger markers on the kinematics of reaching movements in young children and adults. J Appl Biomech. 23 (4), 315-321 (2007).
- Karl, J. M., Sacrey, L. A., Doan, J. B., Whishaw, I. Q. Oral hapsis guides accurate hand preshaping for grasping food targets in the mouth. Exp Brain Res. 221 (2), 223-240 (2012).
- Karl, J. M., Schneider, L. R., Whishaw, I. Q. Nonvisual learning of intrinsic object properties in a reaching task dissociates grasp from reach. Exp Brain Res. 225 (4), 465-477 (2013).
- Hall, L. A., Karl, J. M., Thomas, B. L., Whishaw, I. Q. Reach and Grasp reconfigurations reveal that proprioception assists reaching and hapsis assists grasping in peripheral vision. Exp Brain Res. 232 (9), 2807-2819 (2014).
- Karl, J. M., Whishaw, I. Q. Haptic grasping configurations in early infancy reveal different developmental profiles for visual guidance of the Reach versus the Grasp. Exp Brain Res. 232 (9), 3301-3316 (2014).
- Whishaw, I. Q., Karl, J. M., Humphrey, N. K. Dissociation of the Reach and the Grasp in the destriate (V1) monkey Helen: a new anatomy for the dual visuomotor channel theory of reaching. Exp Brain Res. 234 (8), 2351-2362 (2016).
- Timmann, D., Stelmach, G. E., Bloedel, J. R. Grasping component alterations and limb transport. Exp Brain Res. 108 (3), 486-492 (1996).
- Saling, M., Mescheriakov, S., Molokanova, E., Stelmach, G. E., Berger, M. Grip reorganization during wrist transport: the influence of an altered aperture. Exp Brain Res. 108 (3), 493-500 (1996).
- Whishaw, I. Q., Faraji, J., Kuntz, J., Mirza Ahga, B., Patel, M., Metz, G. A. S., et al. Organization of the reach and grasp in head-fixed vs freely-moving mice provides support for multiple motor channel theory of neocortical organization. Exp Brain Res. 235 (6), 1919-1932 (2017).
