使用高分辨率表面肌电图和计算机视觉捕捉动态手指手势

我们的研究重点是使用同步的 EMG 和视觉数据来改进动态手势识别。我们的目标是确定肌肉活动如何准确地映射到不同手部位置的手指手势，以及这如何增强在假肢康复和人机交互中的应用。我们的协议通过将肌肉活动映射到各种动态手部位置的手指手势，解决了手势识别方面的差距。

我们的方法在动态运动期间收集并同步 DMG 和视觉数据，为开发强大的手势识别模型奠定了基础。与静态设置的传统方法不同，我们的协议在动态运动期间使用无线 EMGRA 和手部跟踪系统，确保手势识别研究的灵活性和更真实的数据收集。首先，打开 GitHub 存储库并按照安装部分中的详细说明进行作。

找到主 Python 文件 data_collection。py 中的文件夹，并准备它以运行实验。使用脚本 spectrum gram。

py 评估肌电图，简而言之，EMG 信号质量，以及用于信号过滤和分割的数据分析脚本。确保 EMG 数据采集单元（简称 DAU）在每次会话前都充满电。然后，打开 DAU。

使用专用应用程序通过蓝牙将 DAU 连接到 PC。将 Bluetooth 通信速率设置为每秒 500 个样本。在 PC 上安装并打开手部跟踪相机软件。使用电缆将手部跟踪摄像头连接到 PC。

使用一个屏幕始终显示手势跟踪相机软件。首先，指导参与者将右手弯曲成有力的拳头。当参与者弯曲时，轻轻按压他们的前臂以触诊肌肉并确定激活最突出的部位。

从 EMG 电极阵列上撕下白色保护层，并小心地将电极连接到已识别的前臂区域。将胶带靠近手掌并轻轻敲击以将电极阵列固定到皮肤上。将电极阵列连接到皮肤后，撕下透明支撑层。

接下来，将电极阵列连接器卡插入 DAU 连接器插座。将 DAU 贴在电极旁边的胶带上。运行自定义 Python 频谱图脚本以验证实时信号质量。

观察显示的窗口，左侧显示所有电极的原始数据，右侧显示频域数据。验证所有电极都被检测到并正常工作，以及信号是否没有过大的噪声和 50 赫兹噪声。如果需要，请从电源上拔下不必要的设备设备并远离电子设备以降低噪音，从而为信号留出时间稳定。

接下来，指示参与者将肘部放在扶手椅上并移动手指，然后要求放松。确保显示清晰的 EMG 信号，然后是静态基线噪声。信号验证完成后关闭脚本。

要查看位置，请单击手指姿势估计，然后单击 data acquisition 以打开图像文件夹。与参与者一起查看手势图像。向参与者清楚地解释正手位置。

在每次会议前指导他们如何握住手，确保正确的姿势和姿势。对于手部位置 1，请参与者站直，距离桌子约 1 米。然后，指示参与者将右手放下，伸直并放松，手掌面向手部追踪摄像头。

使用自拍杆将手部追踪摄像头固定在桌子上，并将其对准参与者的手。确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。对于手部姿势 2，指导参与者舒适地坐在扶手椅上，距离显示器 40 至 70 厘米。

然后，让参与者将右手向前伸出 90 度角，手掌放松并面向手部追踪摄像头。如有必要，请使用支撑装置来保持手部稳定。将手部追踪摄像头朝上放在桌子上。

确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。对于手部位置 3，要求参与者将手向上折叠，同时将肘部放在扶手椅上。确保手掌放松并面向手部跟踪摄像头。

将手部跟踪摄像头固定在桌子上，面向参与者的手。确保参与者的位置最适合查看屏幕和处于摄像头的视野内。确保参与者在哔声开始时做出坚定的手势，然后在休息期间放松手掌。

对于手部位置 4，要求参与者在自由移动手部的同时执行手指手势，选择动态手部位置 1、动态手部位置 2 或动态手部位置 3。打开计算机，打开 Python，然后加载脚本data_collection.py。调整手势跟踪摄像头的位置和角度，使其与参与者的手部位置保持一致。

运行 data_collection。py 脚本。将出现一个窗口，用于输入参与者的详细信息。

填写所需信息，然后按 ok 自动开始实验。对于每个会话，记录 EMG 和手部跟踪数据，这些数据会自动保存。实验结束时，请确保数据自动保存在标有参与者序列号的文件夹中。

验证每个会话是否存储在名为 S number 的子文件夹中，该子文件夹包含标记为 P 编号的每个指针位置的四个子文件夹。如果参与者完成了多个会话，请确认所有数据都保存在相应的会话文件夹中。确保每个手部位置文件夹都包含保存在 EDF 文件中的 EMG 数据、保存在 CSV 文件中的手部跟踪数据以及包含有关会话元数据的日志文件。

与静止期相比，肌电图通道在外展期表现出更多的电活动，这在所有通道的较高振幅信号中很明显，机械伪影以尖锐的尖峰为标志。手部运动学数据显示，与指示的外展手势相对应的同步手指角度变化，在无阻碍的跟踪过程中具有稳定的信号轨迹，在未对准的部分有明显的偏差。