估计人类多指抓取过程中手与物体之间的接触区域
2023年4月21日
当我们抓住一个物体时，手指和手的多个区域通常会与物体的表面接触。重建这样的接触区域具有挑战性。在这里，我们提出了一种通过将基于标记的运动捕捉与现有的基于深度学习的手网格重建相结合来近似估计接触区域的方法。
以前关于人类抓取的行为研究仅限于严格控制场景中高度受限的测量。我们的协议允许对复杂的自然抓取行为进行更丰富的表征。由于多位数抓取，该技术使用手部物体接触表面的详细地图。
这使我们能够研究人类如何以前所未有的复杂程度抓取物体。准确测量人类抓取能力对于理解运动控制、触觉感知和人机交互是必要的。这些数据可以为机器人抓手和上肢假肢的设计提供信息。
演示该程序的是Kira Dehn，一名研究生在我的实验室完成她的硕士论文。首先，放置一个工作台，其跟踪体积由布置在工作空间周围框架上的运动跟踪摄像机从多个角度成像。通过将双面胶带连接到每个标记的底部来准备反光标记。
以管理员身份执行 Qualisys Track Manager 或 QTM。将L形校准对象置于跟踪体积内。在 QTM 中，单击采集菜单中的校准，然后等待校准窗口打开。
选择校准的持续时间，然后按确定。在校准期间，在跟踪体积上挥动校准棒。按导出按钮并指定文件路径以将校准导出为文本文件。
按确定接受校准。要创建刺激对象，请以多边形网格的形式构建虚拟 3D 对象模型。使用 3D 打印机构造对象模型的物理副本。
要准备刺激对象，请将四个非平面反射标记连接到真实对象的表面。将对象放在跟踪体积内。在项目存储库中，执行指示的 Python 脚本。
按照脚本提供的说明对对象标记的 3D 位置执行一秒钟的捕获。选取刚体的所有标记。右键单击并选择"定义刚体"或"6DOF"，然后选择"当前框架"。
输入刚体的名称，然后按确定。在"文件"菜单中，选择"导出到 TSV"。在新窗口中，选中 3D， 6D 框， 和 骨架 在 数据类型 设置。
选中常规设置中的所有框。按确定，然后保存。打开Blender并导航到脚本工作区。
打开指示的文件，然后按运行。导航到"布局"工作区，然后按 N 切换边栏。在边栏中，导航到"自定义"选项卡。
选择要共同注册的 obj 文件，然后按"加载对象"按钮。选择先前输出的轨迹文件，并指定附着在刚性对象上的标记的名称，用分号分隔。在标记标题中，指定轨迹文件中包含数据列名称的行。
接下来，选择带有 6D 后缀的相应刚体文件，并指定在前面步骤中定义的刚体的名称。在 6D 标头中，指定刚体文件中包含数据列名的行。按下"加载标记"，然后平移并旋转标记对象或对象以对齐它们。
指定网格输出文件，然后按运行协同配准以输出包含共配准激励网格的 obj 文件。使用双面胶带将 24 个球形反射标记贴在参与者手的不同地标上。将标记物放在食指、中指、无名指和小指的远端指间关节、近端指间关节和掌指关节的指尖中央。
对于拇指，在指尖和基底腕掌关节各放置一个标记，在掌指关节和指间关节上各放置一对标记。最后，将标记物放在手腕中央和舟状拖钓关节上。要求参与者将手平放在工作台上，手掌朝下并闭上眼睛。
将刺激对象放在参与者面前的工作台上。在 QTM 运行时，在项目存储库中执行指示的 Python 脚本。要求参与者睁开眼睛，按照脚本提供的说明捕捉参与者抓住刺激对象的单个试验。
在 QTM 中，将单个标记轨迹从未识别轨迹拖放到标记轨迹，并根据命名约定对其进行标记。选择附着在手上的所有标记，右键单击并从"选择"中选择"生成AIM模型"。在新窗口中，选择基于现有AIM模型中的标记连接创建新模型，然后按下一步按钮。
选择RH_FH模型定义，然后按打开。按下一步，输入 AIM 型号的名称，然后按确定。最后，按"完成"为参与者的手创建一个AIM模型，以自动识别同一参与者的连续试验中的标记。
在 QTM 中，按齿轮图标打开项目设置。在边栏中，导航到骨架求解器，然后按加载键选择骨架定义文件。将比例因子调整为 100%，然后按应用。
导航到 TSV 导出并选中数据类型设置中的 3D、6D 和骨架框。选中常规设置中的所有框。按应用并关闭项目设置。
按重新处理图标，然后选中"求解骨架"和"导出到 TSV 文件"框，然后按"确定"。在项目存储库中打开命令窗口，并通过执行指示的命令激活 conda 环境。然后执行指示的命令并按照脚本提供的说明为试验的每一帧生成一个手网格，重建当前的手部姿势。
对于手部物体接触区域估计值，请执行指示的命令并按照脚本提供的说明进行操作，通过计算手部和物体网格之间的交点来生成手部和物体接触区域估计值。在这项研究中，使用连接到手的不同地标的24个球形反射标记记录了抓握的动态。此处显示了对预训练的深度手网格解码器的修改。
首先，由于网络没有针对特定参与者进行训练，因此采用预训练模型提供的通用ID相关网格校正。此外，与 ID 相关的骨架校正是使用 QTM 骨架求解器得出的。假设手与骨架长度成比例缩放，并且网格厚度通过从骨架的相对缩放得出的因子均匀缩放。
显示了当前手部姿势的最终 3D 手部网格重建，与 3D 跟踪对象网格位于同一坐标系中。展示了一个带有跟踪点和共同注册网格的手的视频，在一次抓住 3D 打印的猫雕像时，它们都并排移动。从抓握到3D打印羊角面包的手与物体接触时的单个帧，以及手物体网格重建和羊角面包表面上的估计接触区域。
对象和附加到它的标记需要正确共同注册。彻底对齐它们很重要，因为偏差会对接触区域估计产生很大影响。除接触面外，该程序还为每个指关节提供接头欧拉角。
这些可用于研究多位数抓握期间的手部姿势如何随着时间的推移而展开。
概述
本研究通过将基于标记的运动捕捉与深度学习技术相结合，提出了一种估算人类握持过程中接触区域的新方法。该方法允许对手部的多个区域如何与物体相互作用进行详细分析，从而增强我们对运动控制和触觉感知的理解。
关键研究组成部分
科学领域
- 神经科学
- 运动控制
- 人机交互
背景
- 传统的握持研究主要集中在受限环境中。
- 本研究旨在表征自然的握持行为。
- 理解握持对于开发机器人夹持器和假肢至关重要。
- 准确的测量可以为神经科学和机器人技术的各种应用提供信息。
研究目的
- 开发一种估算握持过程中手-物体接触区域的方法。
- 增强对人类握持力学的理解。
- 为改进机器人和假肢设计提供见解。
使用的方法
- 基于标记的运动捕捉以跟踪手部运动。
- 用于手部网格重建的深度学习技术。
- 使用反射标记对跟踪系统进行校准。
- 通过 Python 脚本处理数据以进行分析。
主要结果
- 成功估算多指握持过程中的接触区域。
- 在自然环境中展示了该方法的有效性。
- 创建了一个用于手-物体交互的详细模型。
- 对人类握持行为的复杂性有了新的认识。
结论
- 该方法为研究握持提供了一个复杂的工具。
- 研究结果可以影响辅助技术的设计。
- 未来的研究可以在此框架上进一步探索应用。
常见问题
Executive Industry Relevance
Quantitative estimation of hand-object contact regions during multi-digit grasping enables precise mapping of human motor control strategies, supporting translational research in haptics, robotics, and neurotechnology. This workflow advances predictive confidence in modeling human-object interactions, informing early-stage target validation for assistive device development. The approach strengthens portfolio decisions by providing reproducible, high-resolution biomechanical data for cross-functional R&D teams.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables detailed interrogation of human grasp mechanics for functional target validation in neuro-motor research.
- Supports mechanistic de-risking by quantifying contact region variability across naturalistic grasp scenarios.
- Provides high-fidelity data to clarify pathways underlying haptic perception and motor control.
Screening & Assay Development
- Facilitates preparation of validated biomechanical models for downstream screening of prosthetic and robotic designs.
- Standardizes measurement of joint angles and contact surfaces, enhancing reproducibility and quantitative assay outputs.
- Enables scalable, marker-based workflows for comparative evaluation of grasping interventions.
Translational & Preclinical Research
- Aligns biomechanical outputs with translational biomarker development in neurorehabilitation and assistive technology pipelines.
- Ensures continuity from discovery-stage grasp analysis to preclinical validation of device prototypes.
- Supports risk-adjusted advancement by providing objective, quantitative endpoints for functional performance.
Pipeline & Workflow Integration
This method integrates into the discovery-to-preclinical continuum by providing quantitative biomechanical data for hypothesis testing, screening, and translational research.
- Discovery Biology: Quantifies hand-object contact regions and joint kinematics to support hypothesis-driven studies of motor function.
- Screening: Delivers reproducible, marker-based outputs for assay standardization and device evaluation.
- Analytics: Provides joint Euler angles and contact region maps for robust statistical comparison across conditions.
- Translational Research: Bridges discovery insights to preclinical device validation through high-resolution biomechanical endpoints.
- Enterprise Reuse: Establishes a reusable workflow for multi-condition, multi-device grasp analysis in R&D portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in human-object interaction studies.
- Operational Value: Enhances standardization, reproducibility, and scalability of biomechanical data collection.
- Strategic Value: Informs go/no-go decisions and capital allocation for assistive technology development.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of neuro-motor and haptic device candidates.
Implementation Considerations
- Requires expertise in motion capture, 3D mesh reconstruction, and biomechanical analysis.
- Depends on access to marker-based tracking systems, calibration tools, and computational infrastructure.
- Demands rigorous cross-team standardization of marker placement and data processing protocols.
- Adaptable to various object geometries and hand morphologies with appropriate mesh and marker adjustments.
- Accuracy is sensitive to co-registration quality and marker alignment, impacting contact region estimation.
Biopharma FAQs
Chapters in this video
0:04
Introduction
1:02
Preparing the Motion Capture System
1:28
Calibrating the Cameras
2:02
Creating and Preparing Stimulus Object
3:10
Co‐Registering Real and Mesh Model Versions of the Stimulus Object
4:25
Setting up Markers on the Hands
5:08
Acquiring a Single Trial and Labeling the Markers
6:26
Reconstruct the Joint Skeletal Joint Poses
7:07
Generating Hand Mesh Reconstructions and Hand‐Object Contact Region Estimates
7:46
Results: Estimation of Contact Regions for Hand‐Object Interactions During Multi‐Digit Grasps
9:02
Conclusion
