使用高分辨率表面肌电图和计算机视觉捕捉动态手指手势
2025年3月28日
该论文提出了一种全面的协议，用于在自然手指手势期间同时记录手部肌电图 （EMG） 和视觉手指跟踪。视觉数据旨在作为开发基于 EMG 的准确手指手势识别计算模型的基础事实。
我们的研究重点是使用同步的 EMG 和视觉数据来改进动态手势识别。我们的目标是确定肌肉活动如何准确地映射到不同手部位置的手指手势，以及这如何增强在假肢康复和人机交互中的应用。我们的协议通过将肌肉活动映射到各种动态手部位置的手指手势，解决了手势识别方面的差距。
我们的方法在动态运动期间收集并同步 DMG 和视觉数据，为开发强大的手势识别模型奠定了基础。与静态设置的传统方法不同，我们的协议在动态运动期间使用无线 EMGRA 和手部跟踪系统，确保手势识别研究的灵活性和更真实的数据收集。首先，打开 GitHub 存储库并按照安装部分中的详细说明进行作。
找到主 Python 文件 data_collection。py 中的文件夹，并准备它以运行实验。使用脚本 spectrum gram。
py 评估肌电图，简而言之，EMG 信号质量，以及用于信号过滤和分割的数据分析脚本。确保 EMG 数据采集单元（简称 DAU）在每次会话前都充满电。然后，打开 DAU。
使用专用应用程序通过蓝牙将 DAU 连接到 PC。将 Bluetooth 通信速率设置为每秒 500 个样本。在 PC 上安装并打开手部跟踪相机软件。使用电缆将手部跟踪摄像头连接到 PC。
使用一个屏幕始终显示手势跟踪相机软件。首先，指导参与者将右手弯曲成有力的拳头。当参与者弯曲时，轻轻按压他们的前臂以触诊肌肉并确定激活最突出的部位。
从 EMG 电极阵列上撕下白色保护层，并小心地将电极连接到已识别的前臂区域。将胶带靠近手掌并轻轻敲击以将电极阵列固定到皮肤上。将电极阵列连接到皮肤后，撕下透明支撑层。
接下来，将电极阵列连接器卡插入 DAU 连接器插座。将 DAU 贴在电极旁边的胶带上。运行自定义 Python 频谱图脚本以验证实时信号质量。
观察显示的窗口，左侧显示所有电极的原始数据，右侧显示频域数据。验证所有电极都被检测到并正常工作，以及信号是否没有过大的噪声和 50 赫兹噪声。如果需要，请从电源上拔下不必要的设备设备并远离电子设备以降低噪音，从而为信号留出时间稳定。
接下来，指示参与者将肘部放在扶手椅上并移动手指，然后要求放松。确保显示清晰的 EMG 信号，然后是静态基线噪声。信号验证完成后关闭脚本。
要查看位置，请单击手指姿势估计，然后单击 data acquisition 以打开图像文件夹。与参与者一起查看手势图像。向参与者清楚地解释正手位置。
在每次会议前指导他们如何握住手，确保正确的姿势和姿势。对于手部位置 1，请参与者站直，距离桌子约 1 米。然后，指示参与者将右手放下，伸直并放松，手掌面向手部追踪摄像头。
使用自拍杆将手部追踪摄像头固定在桌子上，并将其对准参与者的手。确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。对于手部姿势 2，指导参与者舒适地坐在扶手椅上，距离显示器 40 至 70 厘米。
然后，让参与者将右手向前伸出 90 度角，手掌放松并面向手部追踪摄像头。如有必要，请使用支撑装置来保持手部稳定。将手部追踪摄像头朝上放在桌子上。
确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。对于手部位置 3，要求参与者将手向上折叠，同时将肘部放在扶手椅上。确保手掌放松并面向手部跟踪摄像头。
将手部跟踪摄像头固定在桌子上，面向参与者的手。确保参与者的位置最适合查看屏幕和处于摄像头的视野内。确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。
对于手部位置 4，要求参与者在自由移动手部的同时执行手指手势，选择动态手部位置 1、动态手部位置 2 或动态手部位置 3。打开计算机，打开 Python，然后加载脚本data_collection.py。调整手势跟踪摄像头的位置和角度，使其与参与者的手部位置保持一致。
运行 data_collection。py 脚本。将出现一个窗口，用于输入参与者的详细信息。
填写所需信息，然后按 ok 自动开始实验。对于每个会话，记录 EMG 和手部跟踪数据，这些数据会自动保存。实验结束时，请确保数据自动保存在标有参与者序列号的文件夹中。
验证每个会话是否存储在名为 S number 的子文件夹中，该子文件夹包含标记为 P 编号的每个指针位置的四个子文件夹。如果参与者完成了多个会话，请确认所有数据都保存在相应的会话文件夹中。确保每个手部位置文件夹都包含保存在 EDF 文件中的 EMG 数据、保存在 CSV 文件中的手部跟踪数据以及包含有关会话元数据的日志文件。
与静止期相比，肌电图通道在外展期表现出更多的电活动，这在所有通道的较高振幅信号中很明显，机械伪影以尖锐的尖峰为标志。手部运动学数据显示，与指示的外展手势相对应的同步手指角度变化，在无阻碍的跟踪过程中具有稳定的信号轨迹，在未对准的部分有明显的偏差。
概述
本研究提出了一种同时记录手部肌电图（EMG）和自然手指手势过程中视觉手指跟踪的协议。视觉数据作为开发准确的基于EMG的手势识别模型的真实基准。
研究的主要组成部分
科学领域
- 神经科学
- 肌电图
- 手势识别
背景
- 动态手势识别对于假肢康复应用至关重要。
- 将肌肉活动映射到手指手势可增强人机交互。
- 现有方法通常依赖静态设置，限制了数据的真实性。
- 本研究通过在动态运动过程中同步EMG和视觉数据来解决这一问题。
研究目的
- 提高动态手势识别的准确性。
- 开发适用于手指手势识别的强大计算模型。
- 实现在各种手部位置下肌肉活动的映射。
使用的方法
- 使用了无线EMG和手部跟踪系统。
- 参与者在多个手部位置进行手势。
- 使用自定义Python脚本进行数据收集和分析。
- 在实验过程中进行了实时信号质量验证。
主要结果
- 成功实现了EMG和视觉数据的同步。
- 完成了各种动态手部位置的数据收集。
- 验证了EMG数据质量，确保数据清晰无噪音。
- 根据参与者的会话系统地组织数据以供分析。
结论
- 该协议能够有效地将肌肉活动映射到手指手势。
- 结果支持开发准确的手势识别模型。
- 这种方法增强了在康复和交互技术应用中的潜力。
常见问题
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
