利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

摘要

本文提出了一种在自然手指手势过程中同步记录手部肌电图（EMG）和视觉手指追踪的全面实验方案。视觉数据旨在为基于肌电图的手指手势识别计算模型的开发提供准确的真值基准。

摘要

手指手势是人类交流中的关键要素，因此手指手势识别作为先进假肢和优化康复领域的新型人机接口技术，受到了广泛研究。表面肌电图（sEMG）结合深度学习方法，被认为是该领域内一种前景广阔的技术。然而，现有方法通常依赖繁琐的记录装置，并主要识别静态手部姿势，限制了其在实际应用场景中的有效性。本文所报告的方案提出了一种先进方法，将可穿戴式表面肌电系统与手指 追踪系统相结合，以在动态手部运动过程中采集全面的数据。该方法通过放置在前臂上的柔性印刷电极阵列（16个电极）记录受试者在不同手部位置及运动过程中执行手势时的肌肉活动。视觉指令提示受试者执行特定手势，同时记录肌电信号和手指位置信息。同步肌电记录与手指追踪数据的整合，实现了对肌肉活动模式及其对应手势的全面分析。该方法展示了结合肌电与视觉追踪技术在开发直观、响应迅速的手势识别系统方面的潜力，可广泛应用于假肢、康复及交互式技术领域。本方案旨在为研究人员和实践者提供指导，推动手势识别技术在动态和真实场景中的进一步创新与应用。

引言

手势在人类交流中至关重要，因此手指手势识别成为人机交互、先进假肢^1,2,3,4和康复技术^5,6等领域的重要研究方向。因此，手指手势识别因其在提升直观控制系统和辅助设备方面的潜力而受到广泛关注。表面肌电图（sEMG）结合深度学习算法正成为捕捉和解读此类手势的一种极具前景的方法，因其能够检测与手部运动相关的肌肉电活动^{7,8,9,10,11,12,13,14,15}。

然而，尽管取得了这些进展，现有方法在实际应用中仍面临局限性。大多数现有系统需要复杂且笨重的记录装置，配备大量电极^5,7,9,16,17，以及精确的电极定位^3,18，这些条件在受控环境之外往往难以实现。此外，这些系统通常仅关注静态手部姿势^{13,18,19,20,21}，限制了其对日常活动中常见的动态、流畅手势的识别能力。本实验方案旨在通过支持在更自然条件下进行动态手势识别，以克服上述局限性。该方法将有助于在假肢和康复等领域实现更实用且用户友好的应用，因为在这些领域中，实时、自然的手势解读至关重要。

为应对这些挑战，开发更精确且适应性强的算法需要能够反映自然、日常条件的数据集^3,4。此类数据集必须捕捉广泛的动态动作、多种手部位置以及大量数据，以确保模型的鲁棒性。此外，训练数据集与测试数据集之间的差异性至关重要，这能使模型泛化至不同的手部姿势、肌肉激活模式和运动方式。将此类多样性纳入数据中，将使算法在日常真实应用场景中实现更准确的手势识别²²。

克服这些挑战对于未来开发更实用且应用更广泛的 gesture recognition 系统至关重要。本文所述的研究与方案源于 无需依赖笨重且复杂的设备，即可在自然环境中捕捉动态的手部动作，这对便携式、用户友好的系统设置提出了需求。全面的数据集与先进的算法对于充分释放表面肌电信号（sEMG）与深度学习在人机接口、神经假体及康复技术领域中的潜力至关重要。我们期望本实验方案能够通过促进全面的数据采集，进一步推动算法模型的开发，使其能够在不同手部姿态下具有良好的泛化能力。

手势识别中的一个重大挑战在于sEMG信号对手部位置的敏感性。尽管许多研究集中于固定手部位置下的手势预测，但实际应用需要能够识别多种手部姿态下手指动作的模型。近期的研究通过引入计算机视觉作为真实参考，提高了这些模型的准确性和灵活性^15,19。此外，将sEMG信号与视觉数据相结合的混合模型在不同场景下的识别准确率方面进一步提升了性能²³。

在本方案中，我们提出了一种同步的数据采集方法，通过在类似真实世界的条件下整合肌电图（EMG）和手部追踪数据，提升动态手势识别的性能。与传统方法将手势动作限制在静态位置不同，本方案包含在四个不同姿势下完成的手势：手放下、手抬起、手平伸以及手移动。手部追踪摄像头在三维交互区域内追踪手部运动，识别不同的手部特征，并以高分辨率捕捉动态动作。在前臂放置一个包含16个电极的柔性电极阵列，用于记录肌肉活动，可实现稳定且无线的信号采集，同时不影响受试者的活动能力。来自这两个来源的同步数据为开发能够在真实世界条件下运行的先进手势识别算法提供了全面的基础。该方法通过支持在真实场景中的自由运动和稳定信号记录，专门解决了当前实验设置的局限性。这一进展推动了手势识别技术在假肢、康复治疗和交互式技术中的应用，这些领域对手势控制的直观性和灵活性具有重要需求。

方案

本研究招募了18名健康参与者（年龄18-32岁，包括男性和女性），研究方案已获特拉维夫大学伦理审查委员会批准（批准号：0004877-3）。该方案遵循委员会关于涉及人类参与者的研究指南。所有参与者均按照机构要求签署了知情同意书。

1. 实验人员简报

1. 要求参与者执行一系列共14种不同的手指动作（见图1），每种动作以随机顺序重复7次。要求参与者将每个动作稳定保持5秒，随后休息3秒。每次实验的总时长为13分04秒。
2. 计算机屏幕上会显示当前动作的大尺寸图像，并配有倒计时计时器，以提示动作执行时间。在休息期间，要求参与者注视即将进行动作的小尺寸图像，同时屏幕上会显示剩余休息时间的计时器。两种不同的蜂鸣声分别提示每个动作的开始和结束，以帮助参与者准备下一个动作。
3. 要求每位参与者在四种不同姿势下完成该实验流程，姿势设置参考先前研究²²：
   姿势1：参与者站立，手臂自然下垂，伸直且放松。
   姿势2：参与者坐在扶手椅上，手臂向前伸展90°，手掌放松（可使用支撑装置）。
   姿势3：手臂向上弯曲（肘部置于扶手椅扶手上），手掌放松。
   姿势4：参与者从上述三种姿势中任选其一，并可在摄像头检测范围内自由移动手部，其位置由PC屏幕实时监控（详见步骤1.4）。
4. 每次实验开始前，为每位参与者佩戴上臂肌电图设备，并将手部追踪摄像头对准参与者。要求参与者始终确保手掌正对摄像头。手部追踪软件显示在独立屏幕上，以便参与者和实验操作人员共同确认手部是否被正确识别。
5. 针对每种姿势，调整手部追踪摄像头的位置和角度，以确保手部识别的准确性。此外，通过频谱图脚本评估电极采集信号的质量。

图 1：数据采集过程的示意图。 受试者前臂佩戴柔性电极阵列（3），在执行手势时采集高分辨率表面肌电图（sEMG）信号。受试者在计算机显示器（4）上按随机顺序执行14种不同的手指手势。肌电信号通过数据采集单元（DAU；1）无线传输至个人计算机（PC）。同时，使用手部追踪相机（2）采集反映手指关节角度的手部运动学数据（HKD）。请点击此处查看该图的放大版本。

2. 设置数据采集单元

1. 打开 GitHub 仓库 https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git，并按照“安装”部分中的详细说明进行操作。在 finger_pose_estimation/data_acquisition 文件夹中找到主 Python 文件 data_collection.py，使用该文件运行实验；使用 spectrogram.py 脚本在实验开始前评估 EMG 信号质量；使用 data_analysis.py 脚本进行信号滤波和分割。
2. 每次实验前确保肌电（EMG）数据采集单元（DAU）已充满电，并将其开启。
3. 通过专用应用程序使用蓝牙将 DAU 连接到计算机，并将蓝牙通信速率设置为每秒 500 个采样（S/s）。
4. 在计算机上安装并打开手部追踪相机的软件，使用数据线将手部追踪相机连接至计算机。
5. 使用一个屏幕持续显示手部追踪相机软件界面，以便实验过程中操作人员和受试者能够确认相机正确识别手部姿态。

3. 受试者准备

1. 介绍与知情同意
   1. 向参与者简要说明研究的相关性及实验流程。根据涉及人类受试者研究的机构指南，获取知情同意。
2. 电极放置
   1. 指导参与者通过紧握拳头的方式屈曲右手。在参与者屈曲手部时，通过沿前臂肌肉轻压触诊，确定肌肉激活最明显的部位。该位置可通过触感在肌肉收缩时隆起最显著的区域轻松识别。
   2. 可选：使用无纤维酒精布、皮肤预处理凝胶或清水肥皂清洁已确定的皮肤区域。让该区域自然风干。避免过度使用酒精清洁，以免导致皮肤干燥。此步骤为可选；详见讨论部分。
   3. 撕下肌电（EMG）电极阵列的白色保护层，并根据步骤3.2.1确定的位置，小心地将电极贴附于前臂相应区域（见图1）。确保粘性胶带一侧更靠近手掌。通过轻轻按压使电极阵列牢固贴附于皮肤。
   4. 电极阵列贴附于皮肤后，撕去透明支撑层。
   5. 将电极阵列的连接卡插入数据采集单元（DAU）的连接插座中。将DAU固定在电极旁的粘性胶带上。
   6. 运行自定义Python频谱图脚本Spectrogram.py，以验证实时信号质量。窗口将显示所有电极的原始数据（左侧）和频域信息（右侧）（参见补充图1作为参考）。
      1. 确认所有电极均被检测到且正常工作，信号中无过度噪声及50 Hz干扰噪声。
      2. 如有需要，通过远离可能引起干扰的电子设备并拔掉不必要的电源设备来降低50 Hz噪声。给予足够时间使信号稳定。
      3. 验证肌电信号采集：指导参与者将肘部置于扶手上并活动手指，然后放松。确保显示清晰的肌电信号，随后为静态基线噪声。
      4. 信号验证完成后关闭脚本。
3. 手势与手部位置复习
   1. 点击Finger_pose_estimation > Data_acquisition打开Images文件夹。与参与者共同查看手势图像。
   2. 确保其理解每个动作，并能准确执行。向参与者清晰解释四种手部位置。
   3. 指导参与者在每次实验前如何摆放手部，确保姿势正确、位置准确。
4. 参与者与摄像头定位
   1. 对于手部位置1，指导参与者直立站立，距离桌子约1米。指导参与者将右手自然下垂、伸直并放松，手掌朝向手部追踪摄像头。使用自拍杆将手部追踪摄像头固定在桌面上，并调整方向使其正对参与者的手部。
   2. 对于手部位置2，指导参与者舒适地坐在距离显示器40–70 cm的扶手椅上。指导参与者将右手向前伸展至90°，手掌放松并朝向手部追踪摄像头。如有需要，使用支撑装置保持手部稳定。将手部追踪摄像头置于桌面上，镜头朝上。
      注意：由于要求参与者保持固定姿势，因此必须找到一个其在整个实验过程中能够舒适维持的位置。
   3. 对于手部位置3，指导参与者按步骤3.4.2所述方式就座。指导参与者在肘部支撑于扶手上的同时将手向上弯曲。手掌应保持放松，且参与者应面向手部追踪摄像头。使用自拍杆（如需要）将手部追踪摄像头固定在桌面上，正对参与者的手部。确保参与者的位置既能清晰看到屏幕，又处于摄像头视野范围内。
   4. 持续监控显示手部追踪数据的屏幕，确保摄像头在整个实验过程中始终检测到手部和手指。可选：在开始实验前，于每种手部位置下验证肌电信号质量（步骤3.2.6）。

4. 数据采集

1. 运行实验
   1. 打开 Python 并加载 data_collection.py。确认参数 num_repetition、gesture_duration 和 rest_duration 已按所需设置。
      1. num_repetition：定义每个手势图像显示的次数。在本实验中，将其设置为 7，表示每张图像显示 7 次。gesture_duration：指定参与者执行手势的持续时间（单位：s）。在本实验中，将其设置为 5 s，以确定每个手势图像显示的时长。rest_duration：指定参与者在两个手势之间放松手掌的持续时间（单位：s）。在本实验中，将其设置为 3 s。
   2. 调整手部追踪相机的位置和角度，使其对准参与者的手部位置。
   3. 运行 data_collection.py 脚本。将弹出一个窗口，用于输入参与者信息（序列号、年龄、性别、会话编号和手部位置）。填写完信息后，点击 OK 以自动开始实验。
2. 数据采集
   1. 在每次会话中，记录表面肌电（EMG）和手部追踪数据，这些数据将自动保存。每位参与者需重复实验 4 次，每次对应一种手部位置。

5. 实验结束与实验后数据处理

1. 实验完成后，数据将自动保存。请确保数据保存在以参与者序列号命名的文件夹中。每次实验会话存储在名为 S#（例如 S1）的子文件夹中，每个手部位置 P#（P1、P2、P3 和 P4）对应四个子文件夹。单次会话的文件夹大小约为 160 MB。
2. 如果某位参与者完成了多次会话，请确保所有数据均保存在相应的会话文件夹中（例如 S1、S2）。
3. 数据文件
   请确认每个手部位置文件夹（P#）包含以下文件：以 EDF 格式保存的肌电图（EMG）数据，文件名为 fpe_pos{位置编号}_{受试者编号}_S{会话编号}_rep0_BT；以 CSV 格式保存的手部追踪数据，文件名为 fpe_pos{位置编号}_{受试者编号}_S{会话编号}_rep0_BT_full；以及包含会话元数据的日志文件 log.txt。
4. 数据处理
   ​注意：用户可自行选择信号分析方法及所用工具。此处提供一个 Python 脚本，用于执行信号滤波和数据分割。使用 Python 时，请确保已安装所有依赖项（例如 Numpy、Pandas、SciPy、MNE、Sklearn）。
   1. 打开 Python，加载 data_analysis.py 并运行该脚本。
   2. 控制台将提示输入数据处理所需参数：EMG 文件路径、手部运动学数据路径、处理后数据的保存路径、采样率（Hz）、窗口持续时间（ms）以及步长时间间隔（ms）。
   3. 完成上述步骤后，脚本将开始执行数据处理。
   4. EMG 信号滤波：按上述方式运行脚本。脚本首先对表面肌电（sEMG）信号应用截止频率为 20 Hz 的四阶巴特沃斯高通滤波器，以去除非 EMG 信号，然后使用陷波滤波器消除 50 Hz 和 100 Hz 的谐波干扰。此外，脚本还会对 EMG 信号进行归一化处理。
   5. EMG、HKD 数据及指令手势的分割：按上述方式运行脚本。脚本采用滚动窗口技术进行数据分割，窗口持续时间和步长时间间隔由用户指定。本实验中，建议分别设置为 512 ms 和 2 ms。随后，脚本将 sEMG 通道排列转换为 4 × 4 的空间网格配置，同时保持电极阵列布局不变。最后，脚本生成一个包含元数据的字典，并以 pickle 文件格式保存。
   6. 数据清洗与验证步骤
      1. 识别并从数据集中剔除包含伪迹、噪声或手势标签不一致的片段。
      2. 确保各窗口之间的片段完整性与时间连续性，以保障数据可靠性。
      3. 将手势数据与手部运动学数据（HKD）进行交叉核对，确保一致性。删除与 HKD 会话标准不符的手势模式窗口。
      4. 检测并剔除不符合该会话预期运动学模式的异常片段。
      5. 使用高级算法进行进一步数据分析。这些算法未包含在当前实验方案中。

结果

该数据集包含两个时间同步的组成部分：一个16通道的肌电图（EMG）数据集和来自手部追踪相机系统的数据。16通道EMG数据通过记录不同肌肉随时间变化的电信号来捕捉肌肉活动。手部追踪系统提供16个通道的数据，对应于手部骨骼模型上的关键点。尽管该模型包含21个点（不包括手腕），但由于运动限制，有效点数被减少至16个²⁴。EMG数据与视觉数据在录制过程中通过在同一台计算机上运行两个独立的进程进行采集，以实现同步。每个进程启动时均使用时间戳标记，使得数据分析代码能够在录制结束后对肌肉活动与手部运动数据进行对齐。时间戳注释会自动保存在EDF和CSV文件中，标记出特定手指动作指令发出的精确时间，从而便于数据分析过程中的信号对齐。滤波后的EMG信号（采用20 Hz四阶巴特沃斯高通滤波器）具有较低的基线（灰色阴影区域），通常在3–9 µV范围内²⁵。当受试者手部静止且肌肉处于放松状态时，可观察到该基线。然而，若在静息位置仍存在肌张力，则可检测到明显的EMG信号。由运动引起的机械伪迹通常出现在10–20 Hz频段，应相应地予以滤除。显著升高的基线值可能提示存在50 Hz工频干扰，应在实验设置阶段尽量避免。若中等强度的50 Hz噪声持续存在，则需应用陷波滤波器。尖锐的运动伪迹较难去除，常表现为信号中显著的高幅值尖峰（见图2A中的星号标记）。在16电极阵列上，EMG信号的幅值存在差异，反映了所测区域肌肉活动的空间分布特征。这种变异为理解手部动作过程中肌肉收缩的异质性提供了重要信息。

手部追踪相机可提供手指角度的直接信息（手部运动学数据，HKD），这些数据预期与记录的肌电图（EMG）信号密切相关。在执行手势过程中，手指角度处于正常范围内²⁶，具体数值取决于所执行的手势类型。当手部追踪相机与手部之间的视觉路径未被遮挡时，所获得的信号稳定且准确，如图2所示。然而，在视觉接触丢失或系统遇到技术限制的情况下，HKD 可能变得不稳定，出现错误数值之间的跳跃。此类异常数据应在数据采集过程中尽量减少，并在最终分析中予以剔除，以保证结果的完整性。

HKD 具有直观性，可与实际执行的手势进行直接比较。它在不同受试者及不同手部位置之间表现出较低的变异性。相比之下，由于手的大小和肌肉发育等解剖学差异，EMG 数据在个体间往往存在显著差异²⁷。此外，优势手与非优势手之间也可能观察到变异性。这种个体特异性的变异性可在离线分析过程中加以处理。

在图2中，可以明显看出，肌电（EMG）和手部运动数据（HKD）相对于指令手势触发时间存在偏移。这种差异是由于反应时间以及自然运动执行过程所致²⁸。在回归任务中，此类变异性可能增加数据的丰富性；而在分类任务中，可通过广义似然比方法对其进行处理，该方法已在类似场景中应用²⁸。

图 2：手指外展过程中的代表性表面肌电图 (sEMG) 和手部运动学数据 (HKD)。 单名受试者在手部位置1（手向下、伸直且放松）期间进行动态手指外展与静息时记录的表面肌电图 (sEMG) 信号和手部运动学数据 (HKD)。(A) 随时间变化的16个通道滤波后的EMG信号。星号 (*) 表示在第5通道EMG记录中检测到的机械伪迹。(B) HKD，显示关节角度随时间的变化。关节角度在多个关节处测量：腕掌关节 (TMC)、掌指关节 (MCP) 和近端指间关节 (PIP)。实验各阶段（静息与外展）在横轴上标出。请点击此处查看此图的放大版本。

这些代表性结果展示了同步采集的肌电图（EMG）和手部运动数据（HKD）在捕捉手势动作中的实用性。将EMG信号与相应的HKD进行对齐，可实现肌肉活动与特定手指运动之间的映射。在构建预测模型时，研究人员可将HKD作为真实标签，对基于EMG的手势预测结果进行迭代验证与优化。该方法凸显了本实验方案的实际应用价值，并提示未来研究需进一步拓展至更自然的使用场景。

补充图1：信号验证步骤中显示的频谱图窗口。 左侧图显示原始肌电图（EMG）数据，右侧图显示检测到的频率域。(A) 一个受强50 Hz和100 Hz干扰的噪声严重的EMG信号示例。(B) 将受试者移离电子设备后记录到的同一EMG信号示例，结果得到一个干扰极小的干净EMG信号。 请点击此处下载该文件。

讨论

本研究中介绍的实验方案概述了通过结合表面肌电信号（sEMG）与手部运动学数据（HKD）来提升手势识别性能的关键步骤、改进方法及故障排除策略。该方案针对现有技术的主要局限性进行了探讨，并将此方法与当前其他替代方案进行比较，突出了其在多个研究领域中的潜在应用价值。方案中最重要的环节之一是确保手部追踪相机的正确位置与对准。手势的准确捕捉高度依赖于相机相对于受试者手部的角度和距离。即使相机位置出现轻微偏差，也可能导致追踪不准确，从而降低手势数据的保真度。因此，必须针对每位受试者及其手部位置仔细调整相机对准，以确保数据采集的一致性与可靠性。此外，确保受试者充分熟悉实验流程至关重要，以避免产生无效数据——即手势执行错误或与实验流程不同步的情况。让受试者在实验前充分了解手势动作并适应实验装置，有助于减少数据噪声，提升记录质量。

此类研究中的一个常见挑战是表面肌电图（sEMG）和手部运动数据（HKD）中的噪声污染。sEMG信号尤其容易受到肌肉疲劳、运动伪影以及电磁干扰等环境噪声的影响。预处理技术（如带通滤波）对于降低噪声、提高信号清晰度至关重要。通过正确放置电极，并指导受试者在休息阶段保持肌肉放松，可进一步减轻运动伪影。尽管采取了上述预防措施，但由于个体在解剖结构、手部力量和肌肉激活模式上的差异，sEMG信号仍不可避免地存在一定程度的变异性。这种变异性可通过具备归一化能力的灵活算法加以处理，以消除不同受试者和实验条件之间的差异。

获得高质量表面肌电图（sEMG）信号的关键因素之一是初始信号验证。使用凝胶电极的传统方案需要进行皮肤准备，例如去角质或用酒精清洁，以提高信号清晰度。然而，在之前的一项研究中我们发现，使用干电极时，皮肤准备可能对信号质量无显著影响²⁵。在本方案中，皮肤清洁为可选步骤，从而简化了操作流程。另一个影响信号质量的皮肤相关问题是手臂毛发过多或过密。在此类情况下，我们建议剃除局部毛发，或排除该受试者。

在使用表面肌电图（sEMG）进行手势识别时，一个关键挑战是其对手部位置的敏感性。即使执行相同的手势，手部朝向的微小变化也可能导致不同的肌电信号模式。为解决这一问题，必须采用能够适应手部位置变化的机器学习模型²²。这些模型需要使用来自多种手部姿势的数据进行训练，以提高其鲁棒性和泛化能力。视觉数据与sEMG数据的同步是另一个重要考虑因素。手势执行时间的一致性对于避免动作实施与数据记录之间的偏差至关重要。本方案采用视觉倒计时和听觉提示来确保精确的时间控制，并在必要时采用重新校准步骤以纠正数据采集过程中可能出现的任何不同步现象。

尽管该方案具有诸多优势，但仍存在若干局限性。其中一个主要限制是手部追踪相机的视场范围有限，要求受试者的手部必须始终保持在相机的检测范围内，这使得分析仅能局限于一小部分动作。对于实验室外的实验，需要采用更复杂的视频成像技术，或使用智能手套。在较长时间的实验过程中，受试者疲劳也是一个挑战，可能影响手势的准确性及肌肉激活状态，从而降低表面肌电信号（sEMG）数据的质量。为减轻这些影响，可能需要限制单次实验时长，或在过程中安排休息间隔以减少疲劳。此外，电源线干扰可能在sEMG信号中引入噪声，尤其是在受试者靠近用于数据采集的计算机时更为明显。采用无线版本的系统可通过让受试者远离计算机而减少此类干扰。

基于肌电图的手指手势检测存在一个重要的方法学局限性，即表面肌电信号在不同受试者之间具有高度变异性，这需要为每位参与者单独开发定制模型。尽管这种针对个体的方法准确性更高，但限制了该方案的可扩展性，并且每位新用户都需要额外的校准和训练时间。由于双进程记录，肌电图与手部运动学数据流之间存在轻微的时间同步差异。这些时间上的偏差对静态手势分析的影响极小，因为维持的手势在时间上具有稳定性。静态手势的持续特性为肌电图和运动学特征提供了足够的稳定时间，而动态手势则需要更精确的同步。

该方法的一个关键优势在于其在捕捉手势方面的灵活性。与其他需要严格设置和固定手势参数的系统不同，本方案能够适应动态且灵活的手部位置¹⁹。这种灵活性在旨在分析多种动作的研究中尤为有用，使其更适用于实际应用场景。此外，与更先进的运动捕捉和表面肌电信号（sEMG）系统相比，本方案成本较低，而后者通常涉及复杂的设置²⁹。通过将手部追踪摄像头与半自动化的sEMG算法相结合，该方法为手势识别研究提供了一种可行的替代方案，同时不牺牲数据质量。此外，该系统具备实时数据处理的潜力，为神经假肢和康复等需要实时响应的应用提供了即时反馈的可能性。本方案对多个领域具有重要意义，尤其是在神经假肢领域。通过sEMG信号准确预测手势对于控制假肢肢体至关重要，而该方法所提供的手部定位灵活性使其成为实时假肢设备的理想选择。在康复领域，该方案可用于监测并促进手部或手指功能障碍患者的运动功能恢复。通过分析手势执行过程中的肌肉激活模式，该系统可用于根据个体需求定制康复训练，为运动功能恢复提供个性化的方案。在人机交互（HCI）方面，该方法实现了更自然的手势控制体系，提升了用户界面的直观性和有效性。最后，该方案还可应用于人机工效学研究，以评估不同手部姿势和手势如何影响肌肉活动与疲劳，从而推动工作场所设计和用户工效学的进步。

为了确保不同受试者之间的收缩强度一致，未来的研究可采用带有力敏电阻的手套来直接测量力量。这将实现受试者间努力程度的标准化，提高肌电图（EMG）数据的可靠性。此外，将这种力量测量作为关节运动学的标签进行整合，可更详细地反映肌肉的内部状态，有望丰富对肌肉功能和运动模式的分析。该方法不仅能够增强数据的一致性，还能加深对肌肉收缩与关节运动之间关系的理解。

综上所述，本方案提供了一种新颖且灵活的手势识别方法，在神经假体、康复医学、人机交互和工效学等领域具有广泛的应用前景。尽管该系统存在一定的局限性，但其灵活性、低成本以及实现实时应用的潜力，相较于现有方法已取得了显著进步。这些优势使其成为手势识别技术进一步发展与创新的有力工具。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
可调节自拍杆			用于调整手部追踪相机的位置和角度，使其处于理想方向，以在实验期间实现最佳数据采集。
酒精棉片			清洁电极放置区域。
数据采集单元（DAU）	X-trodes Ltd.	XTR-BT V1.3	实时兼容的 DAU 2.0.17 或 4.0.1
手指手势识别库			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	手部追踪摄像头
长款 Type-C 转 Type-C 数据线			手部追踪相机与电脑的连接。
PC显示器			一个用于查看操作指南，另一个用于查看手部追踪相机数据
个人计算机（PC）	Windows		Windows 10 及以上版本；处理器：Intel i7 处理器；蓝牙接收器
Python 代码			通过蓝牙将DAU连接至PC时，可实现最高500 S/s数据无缝流式传输与记录的脚本
Ultraleap 相机 Python API	Ultraleap		Python API 及来自 Ultraleap 的使用说明’s GitHub 仓库（https://github.com/ultraleap/leapc-python-bindings），用于在实验期间从 Ultraleap 设备采集数据
Ultraleap Hyperion	Ultraleap		追踪软件
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	用于肌电图和心电图监测的16通道可穿戴干电极阵列贴片
X-trodes PC 应用程序	X-trodes Ltd.	1.1.35.0	通过蓝牙将X-trodes数据采集单元连接至计算机的应用程序