Name: 估计人类多指抓取过程中手与物体之间的接触区域 (视频) | JoVE Journal
Uploaded: 2023-04-21T14:00:00.000+00:00
Duration: 9 min 41 s
Description: 了解人类多指抓取过程中手与物体接触区域的估计方法。本研究结合标记式动作捕捉与深度学习技术，重建手部网格并分析接触表面，为机器人抓取器和上肢假肢的设计提供重要数据支持。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究由德国研究基金会（Deutsche Forschungsgemeinschaft，DFG，项目编号：222641018-SFB/TRR 135 TP C1 和 IRTG-1901 &#34;The Brain in Action&#34;）以及由黑森州高等教育、科学、研究与艺术部卓越计划资助的研究集群&#34;The Adaptive Mind&#34;提供经费支持。作者感谢Qualisys技术支持团队（包括Mathias Bankay和Jeffrey Thingvold）在方法开发过程中提供的帮助。作者还感谢Michaela Jeschke作为手部模型参与拍摄。所有用于重现本文所述方法及结果的数据和分析脚本均可在Zenodo上获取（doi: 10.5281/zenodo.7458911）。

在开始实验之前，参与者必须根据机构指南和《赫尔辛基宣言》签署知情同意书。本文所述所有方案均已获得吉森尤斯图斯-李比希大学当地伦理委员会（LEK-FB06）的批准。
1. 安装所有必要的软件
<ol>
	<li>在数据与代码仓库中下载项目代码库。</li>
	<li>安装材料表中列出的软件（注意软件版本，并按照链接中的说明进行购买和安装）。</li>
	<li>在数据与代码仓库中打开命令窗口，运行以下命令： 
	conda env create -f environment.yml</li>
	<li>根据 https://github.com/facebookresearch/DeepHandMesh 提供的说明，下载并安装预训练的 DeepHandMesh29 实例。
	<ol>
		<li>将 DeepHandMesh 放置在数据与代码仓库的“deephandmesh”文件夹中。用数据与代码仓库中包含的 model.py 文件替换“main/model.py”文件。</li>
	</ol>
	</li>
</ol>
2. 准备动作捕捉系统
<ol>
	<li>将工作台放置在由环绕工作区的支架上布置的运动追踪相机从多个角度成像的追踪范围内（图1A）。通过在每个标记物底部粘贴双面胶带，制备反光标记物。</li>
	<li>以管理员身份运行 Qualisys Track Manager (QTM)。 
	注意：必须以管理员身份运行 QTM，以便 Python SDK 能够控制 QTM 界面。建议始终以管理员身份运行 QTM。</li>
</ol>
3. 校准相机
<ol>
	<li>将L形校准物体放置在跟踪范围内。</li>
	<li>在 QTM 中，单击 Capture 菜单中的 Calibrate ，或按下 Capture 工具栏中的 魔杖图标。等待 校准窗口 打开。选择 校准持续时间，然后点击 OK。</li>
	<li>在整段校准时间内，将 校准魔杖 在跟踪范围内挥动。按下 Export 按钮，并指定一个文件路径以将校准数据导出为文本文件。点击 OK 以确认校准。</li>
</ol>
4. 创建刺激对象
<ol>
	<li>以多边形网格的形式构建一个虚拟的三维对象模型。使用3D打印机构建该对象模型的实体复制品。 
	​注意：步骤1.1中的数据存储库提供了STL和Wavefront OBJ文件格式的示例对象。STL格式的对象是流形的，可直接用于3D打印。</li>
</ol>
5. 准备刺激物体
<ol>
	<li>在真实物体表面粘贴四个非共面反射标记点。将物体置于追踪范围内。</li>
	<li>在项目仓库中运行 Python 脚本“Acquire_Object.py”。按照脚本提示，对物体标记点的三维位置进行持续 1 秒的采集。</li>
	<li>选中刚体的所有标记点。右键点击并选择 定义刚体 (6DOF) | 当前帧。输入刚体名称，然后点击 确定。</li>
	<li>在 文件 菜单中，选择 导出 | 导出为 TSV。在新窗口的 数据类型 设置中，勾选 3D、6D 和 骨骼 选项；在 常规 设置中勾选所有选项。点击 确定，然后点击 保存。</li>
</ol>
6. 刺激物体的真实图像与网格模型配准
<ol>
	<li>打开 Blender，切换到 脚本编写 工作区。打开文件“Object_CoRegistration.py”，然后点击 运行。切换到 布局 工作区，按下 n 键以显示侧边栏。在侧边栏中，进入 自定义 选项卡。</li>
	<li>选择要进行配准的 .obj 文件，然后点击 加载对象 按钮。</li>
	<li>选择在步骤 3.3 中导出的轨迹文件，并以分号分隔的形式输入附着在刚性物体上的标记点名称。在 标记点表头 中，指定轨迹文件中包含数据列名称的那一行（行号从 0 开始计数）。</li>
	<li>选择带有 6D 后缀的相应刚体文件，并输入在步骤 4.1 中定义的刚体名称。在 6D 表头 中，指定刚体文件中包含数据列名称的那一行。</li>
	<li>点击 加载标记点。平移和/或旋转 标记点 对象和/或 对象 对象以进行对齐。指定一个网格输出文件，然后点击 运行配准。程序将输出一个包含已配准刺激网格的 .obj 文件。</li>
</ol>
7. 在手部设置标记点
<ol>
	<li>使用双面胶带将24个球形反射标记点贴附在受试者手部的不同解剖标志位置上。 
	注意：标记点的具体定位如图2所示。
	<ol>
		<li>将标记点分别置于食指、中指、无名指和小指的指尖、远端指间关节、近端指间关节以及掌指关节的顶部中央位置。</li>
		<li>对于拇指，分别在指尖和基底腕掌关节处各放置一个标记点，并在掌指关节和指间关节处各放置一对标记点。 
		​注意：这些成对的标记点需沿拇指主轴垂直方向相反放置，以用于估算拇指的空间方位。</li>
		<li>最后，在腕关节中心和舟-大多角-小多角关节处放置标记点。</li>
	</ol>
	</li>
</ol>
<img alt="右手运动捕捉设置示意图；用于生物力学中关节追踪的标记点标注。" class="xfigimg" src="/files/ftp_upload/64877/64877fig2v2.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：受试者手部的标记点放置。 缩写：RH = 右手。 <a href="https://www.jove.com/files/ftp_upload/64877/64877fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
8. 获取单次试验数据
<ol>
	<li>要求受试者将手平放在工作台上，掌心朝下，并闭上眼睛。将刺激物体放置在受试者前方的工作台上。</li>
	<li>在 QTM 运行的同时，在项目仓库中执行 Python 脚本“Single_Trial_Acquisition.py”。按照脚本提供的指示，采集受试者抓取刺激物体的一次试验数据。 
	注意：该脚本将生成一个听觉提示，提示受试者睁开眼睛并执行抓取动作。在我们的演示中，任务是伸手抓取目标物体，将其垂直提起约 10 cm，放回原位，并将手返回起始位置。</li>
</ol>
9. 标记物的标记
<ol>
	<li>在 QTM 中，将单个标记轨迹从未识别轨迹拖放到已标记轨迹，并根据图2中的命名规范对其进行标注。</li>
	<li>选择所有附着在手部的标记，右键单击并选择根据所选内容生成 AIM 模型。在新窗口中，选择基于现有 AIM 模型的标记连接创建新模型，然后点击下一步按钮。</li>
	<li>选择RH_FH模型定义，然后点击打开。点击下一步，输入 AIM 模型的名称，然后点击确定。最后，点击完成，为该受试者的手部创建一个 AIM 模型，该模型将用于自动识别同一位受试者后续试验中的标记点。</li>
</ol>
10. 为参与者创建个性化的骨骼定义
<ol>
	<li>在 QTM，导航至 播放 菜单，然后选择 实时输出演示.</li>
	<li>开放 Maya. 导航至 QTM Connect 架子，并按压 连接至 QTM 图标。在新窗口中，检查 标记物，然后按压 连接现在，按下 播放 图标在 QTM Connect 架子</li>
	<li>按住 Shift 键并选中所有手形标记，然后按下 清洗定位器 图标。选择 洗涤 手部标记，并按压 Ctrl + G。这将产生一个 组节点. 命名该组 标记物.</li>
	<li>选择所有手部标记点。在 修改 菜单，点击 搜索并替换名称. 搜索 RH_ 前缀，并删除标记的前缀。</li>
	<li>按压 导入求解器 图标在 QTM Connect 架子。加载骨骼定义文件“RH_FH.xml”。</li>
	<li>在 Windows 菜单，导航至 总编辑 | 名称空间编辑器在新窗口中，单击 :(根)，然后按压 新 创建一个新命名空间， RH. 点击 RH 命名空间，按压 新，并命名新的命名空间 模型姿态.</li>
	<li>选择所有标记，然后单击 RH 命名空间，然后按 添加所选 添加标记物至 RH 命名空间</li>
	<li>选择骨骼，单击 模型姿态 命名空间，然后按 添加所选 将骨骼添加到 模型姿态 命名空间</li>
	<li>旋转、平移和缩放骨骼模型以匹配标记数据。接着，针对每个骨骼关节，单独操作：按住 Shift 键并选中该骨骼关节及其关联的标记，然后按下 添加附件 图标。最后，按下 导出求解器 将新骨骼定义导出为 XML 文件的图标，该文件可在 QTM 中加载（见下一步）。 
	注意：此步骤并非绝对必要，但有助于提高骨骼拟合与标记点数据的准确性。有关更多信息，请参阅 https://github.com/qualisys/QTM-Connect-For-Maya 上的 QSolverQuickstartGuide。</li>
</ol>
11. 重建关节骨骼姿态
<ol>
	<li>在 QTM 中，通过点击 齿轮 图标打开项目设置。在侧边栏中，导航至 骨骼求解器，然后点击 加载 以选择一个骨骼定义文件。将 缩放因子调整为 100%，然后点击 应用。</li>
	<li>导航至 TSV 导出，在 数据类型设置中勾选 3D、6D 和 骨骼 选项。在 常规 设置中勾选所有选项。点击 应用，然后关闭项目设置。</li>
	<li>点击 重新处理图标，勾选 求解骨骼 和 导出为 TSV 文件，然后点击 确定。</li>
</ol>
12. 生成手部网格重建
<ol>
	<li>在项目仓库中打开命令窗口，通过执行以下命令激活 conda 环境： 
	conda activate contact-regions</li>
	<li>然后执行以下命令，并按照脚本提供的说明操作，为每次试验的每一帧生成重建当前手部姿态的手部网格。 
	python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4 
	​注意：这些网格重建是使用开源且预训练的手部网格生成工具 DeepHandMesh 的修改版本自动完成的29。</li>
</ol>
13. 生成手部与物体接触区域的估计
<ol>
	<li>在项目仓库中打开命令窗口，执行以下命令，并按照脚本提供的说明操作，通过计算手部与物体网格的交集来生成手部与物体接触区域的估计。 
	blender --background --python "Contact_Region_Estimation.py"</li>
</ol>

作者声明不存在任何竞争利益。

我们提出一种方法，用于估计多指抓握过程中手与物体接触区域的范围。由于目前尚无法实现对手部整个表面的完整追踪，我们建议采用一种手部网格重建方法，其姿态由手部稀疏的关键点确定。为了追踪这些稀疏关键点，本方案采用基于被动标记点追踪的研究级动作捕捉系统。当然，只要能提供足够精确的三维位置数据，其他动作捕捉系统也可与本方法结合使用。我们不建议使用主动标记点动作捕捉系统（例如曾广泛应用但已停产的Optotrak Certus），因为这类系统需要将电缆和/或电子设备连接到受试者手上，可能限制手部运动，或至少导致抓握动作不够自然，使受试者对其手部姿态产生更强的意识性注意。使用惯性测量单元的动作追踪手套也可能是一种选择，尽管这类系统存在漂移问题，可能限制手部活动，并且无法让手部表面与物体表面实现完全、直接的接触。商用无标记手部追踪解决方案（例如Leap Motion46,47,48）也具备可行性，但仅靠这些系统可能无法同步追踪物体位置。相较于研究级动作捕捉系统，最具前景的替代方案是开源的无标记追踪技术（例如Mathis等28提出的方法）。若结合多个共注册相机49使用，此类系统有望在无需标记点、手套或电缆的情况下，实现对手部关节位置和物体位置的三维追踪。然而，这些无标记方案以及本研究所采用的基于标记的系统，都可能因遮挡问题而出现数据丢失。
局限性与未来研究方向 
由于通过该方法获得的手部重建结果并非完全准确，因此该方法在适用的实验类型上存在一定的局限性。手部网格重建结果与真实情况之间的偏差，将反映在估计的手/物体接触区域的偏差上。因此，若要将该方法用于获取绝对测量值，需先评估接触区域估计的准确性。然而，即使仅为近似估计，在被试内实验设计中仍可能具有应用价值，因为该方法的潜在偏差在同一位被试的不同实验条件下可能以相似的方式产生影响。因此，统计分析和推论应仅基于诸如不同条件下接触面积差异等指标，此时效应的方向将与对应的真实情况相关联。在未来的研究中，我们计划进一步验证该方法，例如通过将接触区域估计结果与覆盖有热致变色涂料的物体上的热指纹进行比较。
从数据采集到最终接触区域估计的大多数处理步骤均已实现完全自动化，因此对手-物接触区域估计的标准化流程具有重要意义。然而，仍需手动完成个体骨骼与追踪标记点3D位置的初始匹配，以获得每位参与者的骨骼定义。随着实验中参与者数量的增加，所需进行的手动匹配次数也随之增多，目前这一步骤是整个流程中最耗时的部分，且需要操作者对Autodesk Maya软件中的手动绑定有一定熟悉度。未来，我们计划通过引入自动骨骼校准程序来实现该步骤的自动化，从而避免人为因素对流程的影响。
本文所述的工作流程依赖于Qualisys硬件和软件（例如QTM骨骼求解器），这目前限制了该方法在不具备类似设备的实验室中的可及性。然而从原理上讲，该方法可适用于任何来源的运动捕捉数据。为了提高可及性，我们目前正在探索替代方案，以推广本工作流程，并减少其对特定硬件和软件许可的依赖。
该方法的另一个重要局限性在于，以目前的形式，它仅能应用于刚性（不可变形）物体。未来，可通过采用记录被抓取物体在变形过程中表面形状的方法来克服这一局限性。此外，由于该方法具有近似性，目前尚不适用于非常小或非常薄的物体。
综上所述，通过将先进的运动追踪技术与高保真度的手部表面建模相结合，我们提供了一种用于估计抓握和操作过程中手与物体接触区域的方法。在未来的研究中，我们计划应用该方法来探究和建模人类在视觉引导下的抓握行为16。我们还计划将这些工具与眼动追踪技术46, 50,51,52以及虚拟/增强现实系统53,54,55相结合，以研究在真实和虚拟的自然环境中视觉引导下手部与眼部运动的运动控制机制18,46,56,57。因此，本研究所提出的方法可能对从事触觉感知58、运动控制以及虚拟与增强现实中人机交互研究的科研人员具有重要意义。最后，对人体抓握能力的精确测量可为基于交互感知原理39,40,41,42,43的鲁棒性机器人系统设计提供参考，并可能在上肢假肢领域产生转化应用价值。

抓握和操控物体的能力是人类改造环境以满足自身需求的关键能力。然而，有效控制多关节的手部是一项具有挑战性的任务，需要一个复杂的控制系统。该运动控制系统由多种形式的感觉输入所引导，其中视觉最为重要。通过视觉，个体能够识别环境中的物体，估计其位置和物理特性，进而轻松地伸手、抓取并操控这些物体。理解将视网膜输入与控制手部的运动指令相联系的这一复杂系统，是感觉运动神经科学面临的核心挑战之一。为了建模、预测并深入理解该系统的工作机制，我们必须首先能够对其进行细致的研究。这需要对视觉输入和手部运动输出进行高保真度的测量。
以往的运动追踪技术对人类抓握行为的研究施加了诸多限制。例如，需要将电缆连接到受试者手部的系统1,2往往会限制手指运动的范围，可能改变抓握动作本身或测量结果。尽管存在这些局限性，先前的研究仍成功识别出若干影响视觉引导抓握的因素。其中一些因素包括物体形状3,4,5,6、表面粗糙度7,8,9，或物体相对于手的朝向4,8,10。然而，为了克服以往的技术限制，大多数先前研究采用了简单的刺激材料和高度受限的任务，因而主要聚焦于个别因素3,4,6,7,10、双指精确抓握3,4,6,9,11,12,13,14,15,16,17,18、单一物体19，或非常简单的二维形状20,21。此前的研究发现能否推广至这些简化且人工化的实验室条件之外，尚不明确。此外，对手与物体接触的测量通常被简化为对指端接触点的估计22。这种简化可能适用于仅指尖与物体接触的一小类抓握行为。但在大多数真实世界的抓握中，手指和手掌的大范围区域均会与物体接触。进一步地，最近一项研究23利用触觉手套表明，物体可通过其表面与手部的接触方式被识别。这凸显了研究手与被抓握物体之间广泛接触区域的重要性，而不仅仅是物体与指尖之间的接触点22。
近年来，运动捕捉和三维手部建模技术的进步使我们得以突破以往的局限，全面深入地研究抓握动作的复杂性。基于被动标记点的运动追踪技术现已能够使用毫米级的小型标记点，将其附着于受试者手背，以追踪关节运动24。此外，针对被动标记点系统的自动标记点识别算法已具备足够的鲁棒性，几乎无需对标记点数据进行大量手动后期处理25,26,27。无标记点解决方案在视频中追踪动物身体部位方面也达到了令人印象深刻的性能水平28。因此，这些运动追踪方法最终实现了对复杂多指手部运动的可靠且非侵入式测量24。此类测量可提供关节运动学信息，并使我们能够估算手部与物体之间的接触点。此外，近年来计算机视觉领域一直在致力于构建能够复制手部在抓握物体过程中，甚至在手部各部分相互接触时软组织形变的人手模型29,30,31,32。此类三维网格重建可基于多种类型的数据生成，例如视频影像33,34、骨骼关节（来自基于标记点35或无标记点追踪36）以及深度图像37。该领域的一项关键进展由Romero等人38提出，他们基于31名受试者在不同姿势下的1000多次手部扫描数据，构建了一个参数化手部模型（MANO）。该模型包含手部姿态和形状的参数，有助于从不同数据源回归出完整的手部重建结果。近期的DeepHandMesh29方法在此基础上进一步发展，通过深度学习构建参数化模型，并引入穿透避免机制，更准确地模拟手部各部分之间的物理交互。因此，通过将此类手部网格重建与三维追踪的物体网格相结合，现在不仅可以估算物体表面的接触区域32，还能估算手部表面的接触区域。
本文提出了一种将高保真度的物体与手部关节三维追踪技术与新型手部网格重建算法相结合的工作流程。该方法可生成手部与物体接触表面的详细图谱。这些测量数据将有助于感觉运动神经科学家拓展对人类视觉引导抓取行为的理论认知。此外，该方法也可能对相关领域的研究人员具有应用价值。例如，人因工程学研究人员可利用该方法在虚拟现实和增强现实中构建更优的人机交互系统18。对人类抓取行为的高保真度测量还可协助机器人研究人员基于交互感知原理，设计受人类启发的机器人抓取系统39,40,41,42,43。因此，我们期望该方法能够推动抓取行为研究从对高度受限任务的简略描述，发展为对复杂物体和真实世界任务中自然抓取行为的全面表征，从而促进神经科学与工程学领域的研究进展。整体研究方法如图1所示。
<img alt="动作捕捉系统设置示意图；三维建模、手部标记点、网格计算、接触估计。" class="xfigimg" src="/files/ftp_upload/64877/64877fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：所提出方法的关键步骤。（A）动作捕捉相机从多个角度拍摄工作台。（B）刺激物体由三角网格模型通过三维打印制成。（C）四个球形反光标记点被粘贴在真实物体表面。一个半自动化的流程在网格模型表面识别出对应的四个点。该对应关系使我们能够对网格模型进行旋转和平移，以匹配真实物体在三维空间中的追踪位置。（D）使用双面胶将反光标记点贴附在受试者手背的不同解剖标志位置。（E）动作捕捉系统在一个试验过程中获取被追踪物体和手部标记点在三维空间中的运动轨迹。（F）使用三维计算机图形软件构建受试者特异性的手部骨骼模型。随后通过逆向运动学方法，估算实验中每次试验每一帧的骨骼关节姿态。（G）将关节姿态输入至DeepHandMesh29的改进版本，输出当前三维姿态和位置下的估计手部三维网格模型。（H）最后，我们利用网格交集计算手与物体之间的接触区域。<a href="https://www.jove.com/files/ftp_upload/64877/64877fig01large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>

<table><tbody><tr><td>Anaconda Python 发行版&amp;nbsp;</td><td></td><td>(Anaconda 5.3.1 或更高版本)；https://repo.anaconda.com/archive/</td><td>脚本和函数使用 Python 3.7 版本编写</td></tr><tr><td>Autodesk Maya</td><td>Autodesk, Inc.</td><td>Maya2022；https://www.autodesk.com/products/maya/overview</td><td>三维计算机图形应用程序。&amp;nbsp;&amp;nbsp;</td></tr><tr><td>Blender&amp;nbsp;</td><td>Blender Foundation&amp;nbsp;</td><td>Blender 2.92；https://download.blender.org/release/</td><td>三维计算机图形应用程序。&amp;nbsp;&amp;nbsp;</td></tr><tr><td>计算机工作站</td><td>N/A</td><td>N/A</td><td>操作系统：Windows 10 或更高版本。</td></tr><tr><td>DeepHandMesh</td><td>Meta Platforms, Inc. (Meta 开源项目)</td><td>https://github.com/facebookresearch/DeepHandMesh</td><td>预训练的手部网格生成工具。</td></tr><tr><td>Miqus M5</td><td>Qualisys Ab</td><td>https://www.qualisys.com/cameras/miqus/&amp;nbsp;</td><td>被动标记点运动追踪相机（8 台）。</td></tr><tr><td>Miqus 视频相机</td><td>Qualisys Ab</td><td>https://www.qualisys.com/cameras/miqus-video/</td><td>彩色视频相机，与 Miquis M5 追踪相机同步（6 台）。</td></tr><tr><td>项目代码库&amp;nbsp;</td><td>N/A</td><td>数据与代码库&amp;nbsp;</td><td>用于复现本项目的数据与代码。该代码库目前仍在建设中，但我们提供一个私有链接，供审稿人下载当前最新版本。最终版本将在论文被接收后公开发布。&amp;nbsp;</td></tr><tr><td>Python 3</td><td>Python 软件基金会</td><td>Python 版本 3.7</td><td>Python3 及其相关内置库。</td></tr><tr><td>QTM Connect for Maya</td><td>Qualisys Ab</td><td>https://github.com/qualisys/QTM-Connect-For-Maya&amp;nbsp;</td><td>将骨骼、刚体和标记点数据从 QTM 流式传输至 Maya</td></tr><tr><td>QTM Qualisys 跟踪管理器</td><td>Qualisys Ab</td><td>Qualisys Track Manager 2021.2；https://www.qualisys.com/software/qualisys-track-manager/&amp;nbsp;</td><td>动作捕捉软件</td></tr><tr><td>Python 的 Qualisys 软件开发工具包</td><td>Qualisys Ab</td><td>https://github.com/qualisys/qualisys_python_sdk&amp;nbsp;</td><td>实现 QTM 与 Python 之间的通信</td></tr></tbody></table>

人类多指抓握过程中手与物体接触区域的估计

Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

为了成功抓取物体，我们必须选择手在物体表面的合适接触区域。然而，识别这些区域具有挑战性。本文描述了一种从基于标记的追踪数据中估计接触区域的工作流程。参与者抓取真实物体，同时我们追踪物体和手（包括手指关节）的三维位置。首先，我们根据位于手背上的若干追踪标记确定关节的欧拉角。然后，我们采用先进的手部网格重建算法，生成参与者手部在当前姿态和三维位置下的网格模型。
使用通过3D打印或3D扫描获得的物体（因此既具有实物形式，也具有网格数据），可实现手部与物体网格的共配准。进而，可通过计算手部网格与共配准的三维物体网格之间的交集，来估算近似的接触区域。该方法可用于估计人类在多种条件下抓握物体的位置和方式。因此，该方法可能对研究视觉与触觉感知、运动控制、虚拟与增强现实中的人机交互以及机器人学的研究人员具有重要意义。

所提出方法的首要要求是具备一个能够精确定位三维物体和手部位置的系统。具体设置如图1A所示，采用由动作捕捉公司Qualisys生产的硬件和软件。我们在一个跟踪空间（100 cm × 100 cm × 100 cm）内设置一个工作台，该空间由围绕工作区域的立方体框架上的八个跟踪相机和六个视频相机从多个角度进行成像。跟踪相机以每秒180帧的速度对跟踪空间内反光标记点进行三维定位，空间分辨率达亚毫米级。我们使用直径为4 mm的反光标记点，并通过对皮肤无害的双面胶带将其粘附在物体和手部上。三维标记点的位置数据由动作捕捉软件进行处理。讨论部分还回顾了可与本方法结合使用的其他动作捕捉系统。
为了获得被抓取和操作的真实物体的精确三维重建，我们提出两种方案。第一种方案（也是本文所采用的方案）是从多边形网格形式的虚拟三维物体模型开始。此类三维模型可使用适当的软件（例如 Blender 3D44）构建，然后通过三维打印制成实物（图1B）。第二种方案是选取一个已有的真实三维物体，利用三维扫描技术构建该物体的网格模型复制品。无论采用哪种策略，最终目标都是同时获得一个真实的三维物体及其对应的虚拟三维物体网格模型。需要注意的是，本文所述方法仅适用于刚性（即不可变形）物体。
一旦物体的三维表面以网格模型的形式呈现，就必须对其进行位置追踪和共注册（图1C）。为此，需在真实物体表面附着四个非共面的反射标记点，并将物体置于追踪范围内。随后短暂采集这些标记点的三维位置。该采集过程用于建立真实标记点与物体网格模型上四个顶点之间的一一对应关系。此步骤通过一段使用Blender的Python API编写的简易自定义软件流程实现。在Blender的视口中，程序将虚拟物体与标记点位置一同显示，其中标记点被表示为一个由多个球体组成的单一网格对象，每个球体对应一个标记点。用户可旋转和平移虚拟物体和/或标记点，使其与真实物体上的实际标记点对齐。程序将记录所施加的旋转和平移操作，并据此计算出一个统一的旋转变换和平移变换，最终应用于原始物体网格模型，从而获得与QTM中刚体定义相共注册的物体网格模型。
建立对应关系后，当真实物体在跟踪范围内移动时，可通过计算被跟踪标记点与四个对应的网格顶点之间的旋转和平移变换，将虚拟物体放置到新的位置。为了记录抓握动作的动态过程，则使用双面胶带在手部不同解剖标志位置共粘贴24个球形反光标记点（图1D 和 图2）。
在试验开始时（图1E），参与者将手平放在工作台上，掌心朝下，并闭上眼睛。实验人员将一个目标物体放置在参与者前方的工作台上。随后，一个听觉提示信号指示参与者睁开眼睛并执行抓取动作。在我们的演示中，任务是伸手抓取目标物体，将其垂直提起约10 cm，放回原位，然后将手返回起始位置。实验由一段使用 Python 3.7 编写的脚本控制。在每次试验中，该脚本选择当前实验条件设置并告知实验人员（例如物体的身份和位置）。该脚本还控制试验的时间进程，包括听觉提示以及运动捕捉记录的开始与停止。
肢体不仅由其在三维空间中的位置决定，还由其姿态决定。因此，为了获得人手执行真实抓握动作的完整三维重建，我们不仅需要获取每个关节在三维空间中的位置，还需要获得每个关节相对于其父关节的相对姿态（平移和旋转）（图1F）。骨骼关节的位置和方向可以通过逆向运动学从标记点的位置推断得出。在此，我们采用QTM软件提供的骨骼求解器来实现这一过程。为了使求解器正常工作，我们必须首先提供一个骨骼定义，将每个关节的位置和方向与多个标记点的位置关联起来。因此，我们构建了骨骼定义，并使用Maya的QTM Connect插件将骨骼绑定与标记点数据连接。我们为每位参与者创建个性化的骨骼定义，以最大程度提高骨骼拟合与标记点数据的一致性。对于每位参与者，我们手动将手部骨骼模型拟合到一段动作捕捉数据的单帧图像中。在获得针对特定参与者的骨骼定义后，我们随后运行骨骼求解器，以估算实验中每次试验每一帧的骨骼关节姿态。
在实验的每一次试验的每一帧中，我们使用开源且预训练的手部网格生成工具 DeepHandMesh28（图 1G）生成重建当前手部姿态的手部网格。DeepHandMesh 是一种深度编码器-解码器网络，可从图像中生成个性化的手部网格。首先，编码器估计图像中手部的姿态（即关节的欧拉角）。然后，将估计的手部姿态和一个个性化 ID 向量输入解码器，解码器据此估计一组对绑定模板网格的三项加性校正。最后，使用线性混合蒙皮技术，根据估计的手部姿态和校正项对模板网格进行形变。第一项校正是依赖于 ID 的骨骼校正，通过该校正调整骨骼绑定以纳入个体特定的关节位置。其余两项校正为网格校正，用于调整网格顶点以更准确地表示受试者的手部表面。其中一项网格校正是依赖于 ID 的网格校正，用于反映个体受试者手部的表面结构。最后一项网格校正则是依赖于姿态的顶点校正，用于反映由当前手部姿态引起的手部表面形变。
DeepHandMesh 使用 2D 关节关键点和场景深度图进行弱监督训练。在此，我们仅使用预训练的 DeepHandMesh 解码器来生成手部网格重建，并通过以下方式进行了修改（图 3）。首先，由于该网络未针对特定参与者进行训练，因此采用预训练模型提供的通用的、依赖于个体身份（ID）的网格校正方法（图 3A）。其次，利用 QTM 骨骼解算器（如上所述）推导出依赖于个体身份的骨骼校正参数（图 3B）。假设手部相对于骨骼长度呈比例缩放，且网格厚度通过由骨骼相对缩放因子推导出的系数进行均匀缩放，从而使网格更准确地逼近参与者的实际手部尺寸（图 3C）。该经过修改的网格连同当前的手部姿态（由标记点数据推导）以及腕部的 3D 位置和朝向，一并输入解码器。因此，解码器计算当前姿态依赖的校正量，应用所有校正项及旋转变换与平移变换，最终输出当前手部姿态的 3D 手部网格重建结果，其坐标系与 3D 跟踪物体网格的坐标系一致（图 3D）。
<img alt="手部形态测量示意图；A，B，C，D；解剖学手部结构变异分析。" class="xfigimg" src="/files/ftp_upload/64877/64877fig03.jpg" data-altupdatedat="1788304762000" data-alt="图 3"> 
图 3：预训练 DeepHandMesh 解码器的修改。（A）固定的、通用的个体身份依赖性网格校正。（B）通过第10步中的逆向运动学推导出的个体身份依赖性骨骼校正。（C）手部网格的大小按骨骼关节相同比例缩放。（D）当前手部姿态的最终三维手部网格重建。<a href="https://www.jove.com/files/ftp_upload/64877/64877fig03large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
在重建参与者手部和被抓握物体的三维网格模型后，可通过计算手部与物体网格之间的交集来估计手-物体接触区域（图1H）。该方法基于以下假设：真实手部在与物体表面接触时会发生形变，这意味着骨骼可以比手部保持刚性时更接近表面，从而允许手部网格的部分区域穿过物体网格。因此，接触区域可近似为两个网格之间的重叠区域。
具体而言，为了计算这些重叠区域，我们将位于手部网格三维体积内的物体网格顶点定义为与手部接触的点。这些顶点通过标准的光线追踪方法45进行识别。对于物体网格的每个顶点，从该顶点向手部网格外部的任意一个三维点发射一条射线。然后评估该射线与构成手部表面的三角形之间的交点数量。如果交点数量为奇数，则该物体顶点位于手部网格内部；如果交点数量为偶数，则该物体顶点位于手部网格外部。因此，物体表面上的接触区域可近似表示为所有顶点均位于手部网格内部的三角形面的集合。我们可采用相同的逻辑，将位于物体网格三维体积内的手部网格顶点用于估计手部表面上的接触区域。值得注意的是，也可采用更先进的布尔网格运算方法31。
视频1展示了一只手在抓取一个3D打印的猫形摆件时，手部、被追踪的关键点以及共同配准的网格模型并排同步运动的视频。而图4A则显示了在手与物体接触瞬间，抓取一个3D打印的牛角面包时的单帧图像，以及对应的手-物体网格重建结果（图4B）和在牛角面包表面估计的接触区域（图4C）。
<img alt="手部抓握实验；静态平衡；物体上不同手指抓握方式的示意图；运动研究。" class="xfigimg" src="/files/ftp_upload/64877/64877fig04.jpg" data-altupdatedat="1788304762000" data-alt="图 4"> 
图 4：估计的手部与物体接触区域。（A）在抓握过程中，从其中一个追踪相机视角观察到的手部与物体的追踪结果。（B）从与追踪相机相同视角渲染出的重建手部网格与追踪物体网格。（C）从多个视角观察到的物体表面的接触区域。<a href="https://www.jove.com/files/ftp_upload/64877/64877fig04large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
视频 1：手部与物体的网格重建。 单次抓握过程中，从同一摄像机视角观察的手部、追踪标记点以及手部与物体网格重建的动态图，以 gif 动画形式展示。<a href="https://www.jove.com/files/ftp_upload/64877/Movie01.gif" target="_blank">请点击此处下载该视频。</a>

当我们抓握物体时，手指和手掌的多个区域通常会与物体表面接触。重建这些接触区域具有挑战性。本文介绍了一种方法，通过结合基于标记的运动捕捉与现有的基于深度学习的手部网格重建技术，来近似估计接触区域。

要成功抓握物体，我们必须在物体表面选择合适的手部接触区域。然而，识别这些区域……

以往关于人类抓握行为的研究局限于在严格控制的场景下进行的高度受限的测量。我们的实验方案能够对复杂的自然抓握行为进行更为丰富的表征。该技术利用多指抓握所产生的手部与物体接触表面的详细图谱。这使得我们能够以前所未有的精细程度研究人类如何抓握物体。准确测量人类的抓握能力对于理解运动控制、触觉感知以及人机交互至关重要。这些数据可为机器人夹持器和上肢假肢的设计提供依据。演示该实验操作的是Kira Dehn，她是我实验室中正在完成硕士论文的研究生。首先，将工作台置于一个由环绕工作区域的支架上安装的运动追踪相机系统中，确保该工作区域可从多个角度被成像。通过在每个反光标记物底部粘贴双面胶带，制备反光标记物。以管理员身份运行 Qualisys Track Manager（QTM）。将 L 形校准物体放置在追踪范围内。在 QTM 中，点击“采集”菜单中的“校准”，并等待校准窗口打开。选择校准持续时间，然后按“确定”。在校准持续期间，将校准棒在跟踪范围内挥动。按下“导出”按钮，并指定文件路径以将校准数据导出为文本文件。通过点击“确定”接受校准。要创建刺激对象，请构建一个以多边形网格形式存在的虚拟三维对象模型，并使用3D打印机制造该对象模型的物理复制品。为准备刺激对象，将四个非平面反射标记物贴附在真实物体的表面。将该物体置于追踪范围内。在项目仓库中，运行指定的 Python 脚本。按照脚本提供的说明，对物体标记点的三维位置进行一秒时长的捕捉。选择刚体的所有标记点，右键单击并选择“定义刚体”或“6自由度”，然后选择“当前帧”。输入刚体的名称，然后点击“确定”。在“文件”菜单中，选择“导出为TSV”。在新窗口中，于“数据类型”设置下勾选“3D”、“6D”和“骨骼”。勾选常规设置中的所有选项框。点击确定，然后保存。打开 Blender 并切换到脚本工作区。打开指定文件，然后点击运行。切换到布局工作区，按 N 键以展开或收起侧边栏。在侧边栏中，导航至自定义选项卡。选择要共配准的 obj 文件，然后点击“加载对象”按钮。选择之前导出的轨迹文件，并指定附着在刚性物体上的标记点名称，各名称之间用分号隔开。在标记点表头中，指定轨迹文件中包含数据列名称的那一行。接下来，选择具有 6D 后缀的相应刚体文件，并指定在之前步骤中定义的刚体名称。在 6D 文件头中，指明刚体文件中包含数据列名的行。点击“加载标记”（Load Markers），然后平移和旋转标记对象或物体以使其对齐。指定一个网格输出文件，然后点击“运行配准”以输出包含配准后刺激网格的 obj 文件。使用双面胶带将 24 个球形反光标记点附着在受试者手部的不同解剖标志点上。将标记点居中贴于示指、中指、无名指和小指的远端指间关节、近端指间关节以及掌指关节的指尖顶部中央位置。对于拇指，在指尖和基底部腕掌关节处各放置一个标记点，在掌指关节和指间关节处各放置一对标记点。最后，在腕关节中心和舟-小多角-大多角关节处放置标记点。要求受试者将手平放在工作台面上，掌心朝下，并闭上眼睛。将刺激物体放置在受试者前方的工作台上。在QTM运行的同时，执行项目仓库中指定的Python脚本。要求受试者睁开眼睛，并根据脚本提供的指示完成一次抓取刺激物体的试验。在QTM中，将未识别轨迹中的各个标记轨迹拖放到已标记轨迹上，并根据命名规范对其进行标注。选择所有附着在手部的标记，单击右键，然后从选中项中选择“根据标记生成AIM模型”。在新窗口中，选择“基于现有AIM模型的标记连接创建新模型”，然后点击“下一步”按钮。选择 RH_FH 模型定义，然后点击打开。点击下一步，输入 AIM 模型的名称，然后点击确定。最后，点击完成，为该受试者的手部创建一个 AIM 模型，以在后续相同受试者的试验中自动识别标记点。在 QTM 中，通过点击齿轮图标打开项目设置。在侧边栏中，导航至 Skeleton Solver（骨骼求解器），点击 Load（加载）以选择骨骼定义文件。将缩放因子调整为 100%，然后点击 Apply（应用）。转到 TSV 导出界面，在数据类型设置中勾选 3D、6D 和骨骼选项。在常规设置中勾选所有选项。点击应用并关闭项目设置。按下重新处理图标，然后勾选“求解骨架”和“导出为TSV文件”选项，再按“确定”。在项目仓库中打开一个命令窗口，通过执行指定命令激活conda环境。接着执行指定命令，并根据脚本提供的说明，为试验的每一帧生成重建当前手部姿态的手部网格。为了估计手部与物体的接触区域，执行指定命令并按照脚本提供的说明，通过计算手部与物体网格模型的交集来生成手部和物体接触区域的估计结果。在本研究中，通过附着在手部不同解剖标志点上的24个球形反射标记点记录抓握过程的动力学数据。此处展示了对预训练深度手部网格解码器所做的修改。首先，由于该网络未针对特定参与者进行训练，因此采用预训练模型提供的通用身份依赖型网格校正。此外，使用 QTM 骨骼解算器（QTM Skeleton Solver）推导出身份依赖型骨骼校正。假设手部相对于骨骼长度呈比例缩放，并根据骨骼相对缩放比例得出的因子，对网格厚度进行均匀缩放。展示了当前手势在与三维追踪物体网格相同坐标系下的最终三维手部网格重建结果。视频中显示了一只手，其被追踪的关键点与共同配准的网格在抓取一个3D打印的猫形摆件过程中同步移动。另有一帧图像取自抓取3D打印牛角面包时手与物体接触的瞬间，同时展示了手部和物体的网格重建结果，以及在牛角面包表面估计的接触区域。物体及其附着的标记物需要进行精确的配准。充分对齐二者非常重要，因为偏差可能对接触区域的估计产生显著影响。除了接触表面外，该方法还可提供每个手指关节的关节欧拉角。这些可用于研究多指抓握过程中手部姿势随时间的变化。

estimation-contact-regions-between-hands-objects-during-human-multi

Research

科研

JoVE Journal

Behavior

行为

估计人类多指抓取过程中手与物体之间的接触区域

细面条与细意面操作测试：大鼠和小鼠前爪灵巧功能的简单定量评估方法

本文探讨了前臂之间的对侧触觉掩蔽现象，即远程部位施加的振动可调节触觉检测阈值。哪些远程部位会产生影响的详细信息，有助于揭示大脑对身体的表征方式。...

前臂间的触觉掩蔽测试

本实验方案描述了如何使用逐帧视频分析来量化人类个体化的伸手抓握动作。通过比较视力正常与失明健康成年人的伸手动作来演示该技术，但该方法也可应用于发育群体和临床群体的研究。...

逐帧视频分析人类特异性伸手抓握动作

对肌肉功能进行客观评估具有挑战性，尤其是在儿童中。基于一种 commercially available 的数字 3-D...

使用三维传感器对上肢功能进行客观且适合儿童的评估

本实验方案的目的是利用高空间分辨率的传感器垫片测量精确抓握过程中的压力中心（COP）位移，以反映空间稳定性。该方案的应用有助于更深入地理解抓握动作的生理学及病理生理学机制。...

精确抓握中空间稳定性的测量

本文介绍了一种构建自动装置的方案，该装置可引导猴子执行灵活的伸手抓握任务。该装置结合了三维平移装置和旋转台，能够在三维空间中的任意位置呈现多个物体。...

用于在三维工作空间中呈现可抓握物体的装置设计与使用

尽管以往关于身体自我意识的研究假设，源自自身的运动与源自他人的运动在感知上是可区分的，但本方案通过虚拟手产生无意识的轻微运动，使两者的来源变得模糊。这使我们能够观察由自身感（SoO）和他人产生的能动感（SoA）共同形成的心理体验，而非仅仅观察能动感的缺失。...

虚拟手在自我与他人来源之间的模糊运动：拥有感与“他人产生”的能动感

本文介绍了一种标准化方法，用于测量单轴拖拉机手柄传递到手部的振动，特别关注握力和振动频率变化的影响。...

手扶拖拉机操作过程中人体手-臂系统手传振动的测量

本文提出了一种在自然手指手势过程中同步记录手部肌电图（EMG）和视觉手指追踪的全面实验方案。视觉数据旨在为基于肌电图的手指手势识别计算模型的开发提供准确的真值基准。...

利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

通过功能磁共振成像获得视觉群感受野（pRFs）的无偏估计至关重要。我们采用适度的正则化约束来估计pRF拓扑结构，而无需预先假设pRF的形状，从而允许我们在事后选择特定的pRF模型。这种方法在具有视觉通路病变的受试者中尤为有利。...

通过fMRI对视觉群体感受野进行地形估计

了解人类多指抓取过程中手与物体接触区域的估计方法。本研究结合标记式动作捕捉与深度学习技术，重建手部网格并分析接触表面，为机器人抓取器和上肢假肢的设计提供重要数据支持。

人类多指抓握过程中手与物体接触区域的估计

探索更多视频