估计人类多指抓取过程中手与物体之间的接触区域

以前关于人类抓取的行为研究仅限于严格控制场景中高度受限的测量。我们的协议允许对复杂的自然抓取行为进行更丰富的表征。由于多位数抓取，该技术使用手部物体接触表面的详细地图。

这使我们能够研究人类如何以前所未有的复杂程度抓取物体。准确测量人类抓取能力对于理解运动控制、触觉感知和人机交互是必要的。这些数据可以为机器人抓手和上肢假肢的设计提供信息。

演示该程序的是Kira Dehn，一名研究生在我的实验室完成她的硕士论文。首先，放置一个工作台，其跟踪体积由布置在工作空间周围框架上的运动跟踪摄像机从多个角度成像。通过将双面胶带连接到每个标记的底部来准备反光标记。

以管理员身份执行 Qualisys Track Manager 或 QTM。将L形校准对象置于跟踪体积内。在 QTM 中，单击采集菜单中的校准，然后等待校准窗口打开。

选择校准的持续时间，然后按确定。在校准期间，在跟踪体积上挥动校准棒。按导出按钮并指定文件路径以将校准导出为文本文件。

按确定接受校准。要创建刺激对象，请以多边形网格的形式构建虚拟 3D 对象模型。使用 3D 打印机构造对象模型的物理副本。

要准备刺激对象，请将四个非平面反射标记连接到真实对象的表面。将对象放在跟踪体积内。在项目存储库中，执行指示的 Python 脚本。

按照脚本提供的说明对对象标记的 3D 位置执行一秒钟的捕获。选取刚体的所有标记。右键单击并选择"定义刚体"或"6DOF"，然后选择"当前框架"。

输入刚体的名称，然后按确定。在"文件"菜单中，选择"导出到 TSV"。在新窗口中，选中 3D， 6D 框， 和 骨架 在 数据类型 设置。

选中常规设置中的所有框。按确定，然后保存。打开Blender并导航到脚本工作区。

打开指示的文件，然后按运行。导航到"布局"工作区，然后按 N 切换边栏。在边栏中，导航到"自定义"选项卡。

选择要共同注册的 obj 文件，然后按"加载对象"按钮。选择先前输出的轨迹文件，并指定附着在刚性对象上的标记的名称，用分号分隔。在标记标题中，指定轨迹文件中包含数据列名称的行。

接下来，选择带有 6D 后缀的相应刚体文件，并指定在前面步骤中定义的刚体的名称。在 6D 标头中，指定刚体文件中包含数据列名的行。按下"加载标记"，然后平移并旋转标记对象或对象以对齐它们。

指定网格输出文件，然后按运行协同配准以输出包含共配准激励网格的 obj 文件。使用双面胶带将 24 个球形反射标记贴在参与者手的不同地标上。将标记物放在食指、中指、无名指和小指的远端指间关节、近端指间关节和掌指关节的指尖中央。

对于拇指，在指尖和基底腕掌关节各放置一个标记，在掌指关节和指间关节上各放置一对标记。最后，将标记物放在手腕中央和舟状拖钓关节上。要求参与者将手平放在工作台上，手掌朝下并闭上眼睛。

将刺激对象放在参与者面前的工作台上。在 QTM 运行时，在项目存储库中执行指示的 Python 脚本。要求参与者睁开眼睛，按照脚本提供的说明捕捉参与者抓住刺激对象的单个试验。

在 QTM 中，将单个标记轨迹从未识别轨迹拖放到标记轨迹，并根据命名约定对其进行标记。选择附着在手上的所有标记，右键单击并从"选择"中选择"生成AIM模型"。在新窗口中，选择基于现有AIM模型中的标记连接创建新模型，然后按下一步按钮。

选择RH_FH模型定义，然后按打开。按下一步，输入 AIM 型号的名称，然后按确定。最后，按"完成"为参与者的手创建一个AIM模型，以自动识别同一参与者的连续试验中的标记。

在 QTM 中，按齿轮图标打开项目设置。在边栏中，导航到骨架求解器，然后按加载键选择骨架定义文件。将比例因子调整为 100%，然后按应用。

导航到 TSV 导出并选中数据类型设置中的 3D、6D 和骨架框。选中常规设置中的所有框。按应用并关闭项目设置。

按重新处理图标，然后选中"求解骨架"和"导出到 TSV 文件"框，然后按"确定"。在项目存储库中打开命令窗口，并通过执行指示的命令激活 conda 环境。然后执行指示的命令并按照脚本提供的说明为试验的每一帧生成一个手网格，重建当前的手部姿势。

对于手部物体接触区域估计值，请执行指示的命令并按照脚本提供的说明进行操作，通过计算手部和物体网格之间的交点来生成手部和物体接触区域估计值。在这项研究中，使用连接到手的不同地标的24个球形反射标记记录了抓握的动态。此处显示了对预训练的深度手网格解码器的修改。

首先，由于网络没有针对特定参与者进行训练，因此采用预训练模型提供的通用ID相关网格校正。此外，与 ID 相关的骨架校正是使用 QTM 骨架求解器得出的。假设手与骨架长度成比例缩放，并且网格厚度通过从骨架的相对缩放得出的因子均匀缩放。

显示了当前手部姿势的最终 3D 手部网格重建，与 3D 跟踪对象网格位于同一坐标系中。展示了一个带有跟踪点和共同注册网格的手的视频，在一次抓住 3D 打印的猫雕像时，它们都并排移动。从抓握到3D打印羊角面包的手与物体接触时的单个帧，以及手物体网格重建和羊角面包表面上的估计接触区域。

对象和附加到它的标记需要正确共同注册。彻底对齐它们很重要，因为偏差会对接触区域估计产生很大影响。除接触面外，该程序还为每个指关节提供接头欧拉角。

这些可用于研究多位数抓握期间的手部姿势如何随着时间的推移而展开。