Name: 使用高分辨率表面肌电图和计算机视觉捕捉动态手指手势 (视频) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: 了解高分辨率表面肌电图与计算机视觉同步采集技术，用于动态手指手势识别研究。该方法通过无线设备实时记录肌肉活动与视觉数据，为假肢康复和人机交互领域开发精准手势识别模型奠定基础。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本项目部分资金来自欧洲研究委员会（ERC，项目编号：OuterRetina）和以色列科学基金会（ISF）的资助。资助机构在研究设计、数据收集与分析、发表决定或稿件撰写过程中均未发挥任何作用。我们感谢 David Buzaglo、Cheni Hermon、Liron Ben Ari 和 Adi Ben Ari 在设计本实验方案初始版本过程中提供的协助。

本研究招募了18名健康参与者（年龄18-32岁，包括男性和女性），研究方案已获得特拉维夫大学伦理审查委员会批准（批准号：0004877-3）。该方案遵循委员会关于涉及人类参与者的研究指南。所有参与者均按照机构要求签署了知情同意书。
1. 实验人员简要说明
<ol>
	<li>要求参与者执行一系列14种不同的手指动作（见图1），每种动作以随机顺序重复7次。要求参与者将每个动作稳定保持5秒，随后休息3秒。每次实验的总时长为13分04秒。</li>
	<li>计算机屏幕上会显示一个较大的动作图像，并配有倒计时计时器，以提示参与者执行当前动作。在休息期间，要求参与者观察即将执行动作的小图像，同时查看显示剩余休息时间的计时器。两种不同的蜂鸣声分别提示每个动作的开始和结束，以帮助参与者准备下一个动作。</li>
	<li>要求每位参与者在四种不同姿势下完成该实验流程，姿势设置与先前研究类似22： 
	姿势1：参与者站立，手臂自然下垂，伸直且放松。 
	姿势2：参与者坐在扶手椅上，手臂向前伸展90°，手掌放松（可使用支撑装置）。 
	姿势3：手臂向上弯曲（肘部置于扶手椅上），手掌放松。 
	姿势4：参与者从上述三种姿势中任选其一，并可在摄像头检测范围内自由移动手部，其位置由PC屏幕实时监控（详见步骤1.4）。</li>
	<li>每次实验时，让参与者佩戴肌电图设备，并将手部追踪摄像头对准其手部。要求参与者始终确保手掌正对摄像头。手部追踪软件显示在另一独立屏幕上，以便参与者和实验操作人员共同确认手部是否被正确识别。</li>
	<li>针对每种姿势，调整手部追踪摄像头的位置和角度，以确保准确识别手部。此外，使用频谱图脚本评估电极采集信号的质量。</li>
</ol>
<img alt="动态手指手势；柔性电极阵列；实时肌电信号、传导速度数据；手势识别示意图。" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg" data-altupdatedat="1788304762000" data-alt="Figure 1"> 
图1：数据采集过程的示意图。 受试者前臂佩戴柔性电极阵列（3），在执行手势时采集高分辨率表面肌电图（sEMG）信号。受试者按照计算机屏幕（4）上随机呈现的顺序执行14种不同的手指手势。肌电信号通过数据采集单元（DAU；1）无线传输至个人计算机（PC）。同时，手部运动学数据（HKD）——即手指关节角度——由手部追踪相机（2）同步采集。<a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
2. 设置数据采集单元
<ol>
	<li>打开 GitHub 仓库 https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git，并按照“安装”部分中的详细说明进行操作。在 finger_pose_estimation/data_acquisition 文件夹中找到主 Python 文件 data_collection.py，使用该文件运行实验；使用 spectrogram.py 脚本在实验开始前评估 EMG 信号质量；使用 data_analysis.py 脚本进行信号滤波和分割。</li>
	<li>每次实验前确保 EMG 数据采集单元（DAU）已充满电，并将其开启。</li>
	<li>通过专用应用程序将 DAU 通过蓝牙连接至计算机，并将蓝牙通信速率设置为每秒 500 个采样（S/s）。</li>
	<li>在计算机上安装并打开手部追踪相机的软件，使用数据线将手部追踪相机连接至计算机。</li>
	<li>使用一个屏幕持续显示手部追踪相机软件，以便实验过程中操作人员和受试者能够确认相机正确识别手部姿态。</li>
</ol>
3. 受试者准备
<ol>
	<li>介绍与知情同意
	<ol>
		<li>向参与者简要说明本研究的相关性及实验流程。根据涉及人类受试者研究的机构指南，获取知情同意。</li>
	</ol>
	</li>
	<li>电极放置
	<ol>
		<li>指导参与者通过握紧拳头的方式用力屈曲右手。在参与者屈曲手部时，通过沿前臂肌肉轻压触诊，确定肌肉激活最明显的部位。该位置可通过触感在肌肉收缩时隆起最显著的区域轻松识别。</li>
		<li>可选：使用无纤维酒精布、皮肤预处理凝胶或清水肥皂清洁已确定的皮肤区域。让该区域自然风干。避免过度使用酒精清洁，以免导致皮肤干燥。此步骤为可选；详见讨论部分。</li>
		<li>撕下肌电（EMG）电极阵列的白色保护层，并根据步骤3.2.1确定的位置，小心地将电极贴附于前臂相应区域（见图1）。确保粘性胶带一侧更靠近手掌。通过轻轻按压使电极阵列牢固贴附于皮肤。</li>
		<li>电极阵列贴附于皮肤后，撕下透明支撑层。</li>
		<li>将电极阵列连接卡插入数据采集单元（DAU）的连接插座中。将DAU固定在电极旁的粘性胶带上。</li>
		<li>运行自定义Python频谱图脚本Spectrogram.py，以验证实时信号质量。窗口将显示所有电极的原始数据（左侧）和频域信息（右侧）（参考补充图1）。
		<ol>
			<li>确认所有电极均被检测到且正常工作，信号中无过度噪声及50 Hz干扰噪声。</li>
			<li>如有需要，通过远离可能引起干扰的电子设备并拔掉不必要的电源插头来减少50 Hz噪声。给予足够时间使信号稳定。</li>
			<li>验证肌电信号采集：指导参与者将肘部放在扶手上并活动手指，然后放松。确保显示清晰的肌电信号，随后为静态基线噪声。</li>
			<li>信号验证完成后关闭脚本。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>手势与手部位置复习
	<ol>
		<li>点击Finger_pose_estimation &gt; Data_acquisition打开Images文件夹。与参与者共同查看手势图像。</li>
		<li>确保其理解每个动作，并能准确执行。向参与者清晰解释四种手部位置。</li>
		<li>指导参与者在每次实验前如何摆放手部，确保姿势正确、位置准确。</li>
	</ol>
	</li>
	<li>参与者与摄像头定位
	<ol>
		<li>对于手部位置1，指导参与者直立站立，距离桌子约1米。指导参与者将右手自然下垂、伸直并放松，手掌朝向手部追踪摄像头。使用自拍杆将手部追踪摄像头固定在桌面上，并调整方向使其正对参与者的手部。</li>
		<li>对于手部位置2，指导参与者舒适地坐在距离显示器40–70 cm的扶手椅上。指导参与者将右手向前伸展至90°，手掌放松并朝向手部追踪摄像头。如有需要，使用支撑装置保持手部稳定。将手部追踪摄像头置于桌面上，镜头朝上。 
		注意：由于要求参与者保持固定姿势，因此必须找到一个其在整个实验过程中能够舒适维持的位置。</li>
		<li>对于手部位置3，指导参与者按步骤3.4.2所述方式就座。指导参与者在肘部支撑于扶手椅上的同时将手向上弯曲。手掌应保持放松，且参与者应面向手部追踪摄像头。使用自拍杆（如需要）将手部追踪摄像头固定在桌面上，正对参与者的手部。确保参与者的位置既能清晰看到屏幕，又处于摄像头视野范围内。</li>
		<li>持续监控显示手部追踪数据的屏幕，确保摄像头在整个实验过程中始终检测到手部和手指。可选：在开始实验前，于每种手部位置下验证肌电信号质量（步骤3.2.6）。</li>
	</ol>
	</li>
</ol>
4. 数据采集
<ol>
	<li>运行实验
	<ol>
		<li>打开 Python 并加载 data_collection.py。确认参数 num_repetition、gesture_duration 和 rest_duration 已按需设置。
		<ol>
			<li>num_repetition：定义每个手势图像显示的次数。在本实验中，将其设置为 7，表示每张图像显示 7 次。gesture_duration：指定参与者执行手势的持续时间（单位：s）。在本实验中，将其设置为 5 s，以确定每个手势图像的显示时长。rest_duration：指定参与者在两个手势之间放松手掌的持续时间（单位：s）。在本实验中，将其设置为 3 s。</li>
		</ol>
		</li>
		<li>调整手部追踪相机的位置和角度，使其对准参与者的手部位置。</li>
		<li>运行 data_collection.py 脚本。将弹出一个窗口，用于输入参与者信息（序列号、年龄、性别、会话编号和手部位置）。填写完信息后，点击 OK 以自动开始实验。</li>
	</ol>
	</li>
	<li>数据采集
	<ol>
		<li>在每次会话中，记录表面肌电（EMG）和手部追踪数据，这些数据将自动保存。每位参与者需重复实验 4 次，每次对应一种手部位置。</li>
	</ol>
	</li>
</ol>
5. 实验结束与实验后数据处理
<ol>
	<li>实验完成后，数据将自动保存。请确保数据保存在以参与者序列号命名的文件夹中。每次实验会话存储在名为 S#（例如 S1）的子文件夹中，每个手部位置 P#（P1、P2、P3 和 P4）各有四个子文件夹。单次会话的文件夹大小约为 160 MB。</li>
	<li>如果某位参与者完成了多次会话，请确保所有数据均保存在相应的会话文件夹中（例如 S1、S2）。</li>
	<li>数据文件 
	请确认每个手部位置文件夹（P#）包含以下文件：以 EDF 格式保存的肌电图（EMG）数据，文件命名为 fpe_pos{位置编号}_{受试者编号}_S{会话编号}_rep0_BT；以 CSV 格式保存的手部追踪数据，文件命名为 fpe_pos{位置编号}_{受试者编号}_S{会话编号}_rep0_BT_full；以及包含会话元数据的日志文件 log.txt。</li>
	<li>数据处理 
	​注意：用户可自行选择信号分析方法及所用工具。此处提供一个 Python 脚本，用于执行信号滤波和数据分割。使用 Python 时，请确保已安装所有依赖项（例如 Numpy、Pandas、SciPy、MNE、Sklearn）。
	<ol>
		<li>打开 Python，加载 data_analysis.py 并运行该脚本。</li>
		<li>控制台将提示输入数据处理所需参数：EMG 文件路径、手部运动学数据路径、处理后数据的保存路径、采样率（Hz）、窗口持续时间（ms）以及步长时间间隔（ms）。</li>
		<li>完成上述步骤后，脚本将开始执行数据处理。</li>
		<li>EMG 信号滤波：按上述方式运行脚本。脚本首先对表面肌电（sEMG）信号应用截止频率为 20 Hz 的四阶巴特沃斯高通滤波器，以去除非 EMG 信号，然后使用陷波滤波器消除 50 Hz 和 100 Hz 的谐波干扰。此外，脚本还会对 EMG 信号进行归一化处理。</li>
		<li>EMG、HKD 数据及指令手势的分割：按上述方式运行脚本。脚本采用滚动窗口技术进行数据分割，窗口持续时间和步长时间间隔由用户指定。本实验中，建议分别设置为 512 ms 和 2 ms。随后，脚本将 sEMG 通道排列转换为 4 × 4 的空间网格配置，同时保持电极阵列布局不变。最后，脚本生成一个包含元数据的字典，并以 pickle 文件格式保存。</li>
		<li>数据清洗与验证步骤
		<ol>
			<li>识别并剔除数据集中包含伪迹、噪声或手势标签不一致的片段。</li>
			<li>确保各窗口之间的片段完整性与时间连续性，以维持数据的可靠性。</li>
			<li>将手势数据与手部运动学数据（HKD）进行交叉核对，确保一致性。删除与 HKD 会话标准不符的手势模式窗口。</li>
			<li>检测并剔除不符合该会话预期运动学模式的异常片段。</li>
			<li>使用高级算法进行进一步数据分析。这些算法未包含在当前实验方案中。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

Yael Hanein 宣布对 X-trodes Ltd 公司存在财务利益关系，该公司已将本文所用的丝网印刷电极技术商业化。除上述披露外，&#160;其他作者均无其他与本稿件所述主题或材料存在财务利益或财务冲突的组织或实体相关的财务关联。

本研究中介绍的实验方案概述了通过结合表面肌电信号（sEMG）与手部运动学数据（HKD）来提升手势识别性能的关键步骤、改进方法及故障排除策略。该方案针对现有技术的主要局限性进行了探讨，并将此方法与当前其他替代方案进行比较，突出了其在多个研究领域中的潜在应用价值。方案中最重要的环节之一是确保手部追踪相机的正确位置与对准。手势的准确捕捉高度依赖于相机相对于受试者手部的角度和距离。即使相机位置出现轻微偏差，也可能导致追踪不准确，从而降低手势数据的保真度。因此，必须针对每位受试者及其手部位置仔细调整相机对准，以确保数据采集的一致性与可靠性。此外，确保受试者充分熟悉实验流程至关重要，以避免产生无效数据——即手势执行错误或与实验流程不同步的情况。让受试者在实验前充分了解手势动作并适应实验装置，有助于减少数据噪声，提升记录质量。
此类研究中的一个常见挑战是表面肌电图（sEMG）和手部运动数据（HKD）中的噪声污染。sEMG信号尤其容易受到肌肉疲劳、运动伪影以及电磁干扰等环境噪声的影响。预处理技术（如带通滤波）对于降低噪声、提高信号清晰度至关重要。通过正确放置电极，并指导受试者在休息阶段保持肌肉放松，可进一步减轻运动伪影。尽管采取了上述预防措施，但由于个体在解剖结构、手部力量和肌肉激活模式上的差异，sEMG信号仍不可避免地存在一定程度的变异性。这种变异性可通过具备归一化能力的灵活算法加以处理，以消除不同受试者和实验条件之间的差异。
获得高质量表面肌电图（sEMG）信号的关键因素之一是初始信号验证。使用凝胶电极的传统方案需要进行皮肤准备，例如去角质或用酒精清洁，以提高信号清晰度。然而，在之前的一项研究中我们发现，使用干电极时，皮肤准备可能对信号质量无显著影响25。在本方案中，皮肤清洁为可选步骤，从而简化了操作流程。另一个影响信号质量的皮肤相关问题是手臂毛发过多或过密。在此类情况下，我们建议剃除局部毛发，或排除该受试者。
在使用表面肌电图（sEMG）进行手势识别时，一个关键挑战是其对手部位置的敏感性。即使执行相同的手势，手部朝向的微小变化也可能导致不同的肌电信号模式。为解决这一问题，必须采用能够适应手部位置变化的机器学习模型22。这些模型需要使用来自多种手部姿势的数据进行训练，以提高其鲁棒性和泛化能力。视觉数据与sEMG数据的同步是另一个重要考虑因素。手势执行时间的一致性对于避免动作实施与数据记录之间的偏差至关重要。本方案采用视觉倒计时和听觉提示来确保精确的时间控制，并在必要时采用重新校准步骤以纠正数据采集过程中可能出现的任何不同步现象。
尽管该方案具有诸多优势，但仍存在若干局限性。其中一个主要限制是手部追踪相机的视场范围有限，要求受试者的手部必须始终保持在相机的检测范围内，这使得分析仅能局限于一小部分动作。对于实验室外的实验，需要采用更复杂的视频成像技术，或使用智能手套。在较长时间的实验过程中，受试者疲劳也是一个挑战，可能影响手势的准确性及肌肉激活状态，从而降低表面肌电信号（sEMG）数据的质量。为减轻这些影响，可能需要限制单次实验时长，或在过程中安排休息间隔以减少疲劳。此外，电源线干扰可能在sEMG信号中引入噪声，尤其是在受试者靠近用于数据采集的计算机时更为明显。采用无线版本的系统可通过让受试者远离计算机而减少此类干扰。
基于肌电图的手指手势检测存在一个重要的方法学局限性，即表面肌电信号在不同受试者之间具有高度变异性，这需要为每位参与者单独开发定制模型。尽管这种针对个体的方法准确性更高，但限制了该方案的可扩展性，并且每位新用户都需要额外的校准和训练时间。由于双进程记录，肌电图与手部运动学数据流之间存在轻微的时间同步差异。这些时间上的偏差对静态手势分析的影响极小，因为维持的手势在时间上具有稳定性。静态手势的持续特性为肌电图和运动学特征提供了足够的稳定时间，而动态手势则需要更精确的同步。
该方法的一个关键优势在于其在捕捉手势方面的灵活性。与其他需要严格设置和固定手势参数的系统不同，本方案能够适应动态且灵活的手部位置19。这种灵活性在旨在分析多种动作的研究中尤为有用，使其更适用于实际应用场景。此外，与更先进的运动捕捉和表面肌电信号（sEMG）系统相比，本方案成本较低，而后者通常涉及复杂的设置29。通过将手部追踪摄像头与半自动化的sEMG算法相结合，该方法为手势识别研究提供了一种可行的替代方案，同时不牺牲数据质量。此外，该系统具备实时数据处理的潜力，为神经假肢和康复等需要实时响应的应用提供了即时反馈的可能性。本方案对多个领域具有重要意义，尤其是在神经假肢领域。通过sEMG信号准确预测手势对于控制假肢肢体至关重要，而该方法所提供的手部定位灵活性使其成为实时假肢设备的理想选择。在康复领域，该方案可用于监测并促进手部或手指功能障碍患者的运动功能恢复。通过分析手势执行过程中的肌肉激活模式，该系统可用于根据个体需求定制康复训练，为运动功能恢复提供个性化的方案。在人机交互（HCI）方面，该方法实现了更自然的手势控制体系，提升了用户界面的直观性和有效性。最后，该方案还可应用于人机工效学研究，以评估不同手部姿势和手势如何影响肌肉活动与疲劳，从而推动工作场所设计和用户工效学的进步。
为了确保不同受试者之间的收缩强度一致，未来的研究可采用带有力敏电阻的手套来直接测量力量。这将实现受试者间努力程度的标准化，提高肌电图（EMG）数据的可靠性。此外，将这种力量测量作为关节运动学的标签进行整合，可更详细地反映肌肉的内部状态，有望丰富对肌肉功能和运动模式的分析。该方法不仅能够增强数据的一致性，还能加深对肌肉收缩与关节运动之间关系的理解。
综上所述，本方案提供了一种新颖且灵活的手势识别方法，在神经假体、康复医学、人机交互和工效学等领域具有广泛的应用前景。尽管该系统存在一定的局限性，但其灵活性、低成本以及实现实时应用的潜力，相较于现有方法已取得了显著进步。这些优势使其成为手势识别技术进一步发展与创新的有力工具。

手势在人类交流中至关重要，因此手指手势识别成为人机交互、先进假肢1,2,3,4和康复技术5,6等领域的重要研究方向。因此，手指手势识别因其在提升直观控制系统和辅助设备方面的潜力而受到广泛关注。表面肌电图（sEMG）结合深度学习算法正成为捕捉和解读此类手势的一种极具前景的方法，因其能够检测与手部运动相关的肌肉电活动7,8,9,10,11,12,13,14,15。
然而，尽管取得了这些进展，现有方法在实际应用中仍面临局限性。大多数现有系统需要复杂且笨重的记录装置，配备大量电极5,7,9,16,17，以及精确的电极定位3,18，这些条件在受控环境之外往往难以实现。此外，这些系统通常仅关注静态手部姿势13,18,19,20,21，限制了其对日常活动中常见的动态、流畅手势的识别能力。本实验方案旨在通过支持在更自然条件下进行动态手势识别，以克服上述局限性。该方法将有助于在假肢和康复等领域实现更实用且用户友好的应用，因为在这些领域中，实时、自然的手势解读至关重要。
为应对这些挑战，开发更精确且适应性强的算法需要能够反映自然、日常条件的数据集3,4。此类数据集必须捕捉广泛的动态动作、多种手部位置以及大量数据，以确保模型的鲁棒性。此外，训练数据集与测试数据集之间的差异性至关重要，这能使模型泛化至不同的手部姿势、肌肉激活模式和运动方式。将此类多样性纳入数据中，将使算法在日常真实应用场景中实现更准确的手势识别22。
克服这些挑战对于未来开发更实用且应用更广泛的 gesture recognition 系统至关重要。本文所述的研究与方案源于&#160;无需依赖笨重且复杂的设备，即可在自然环境中捕捉动态的手部动作，这对便携式、用户友好的系统设置提出了需求。全面的数据集与先进的算法对于充分释放表面肌电信号（sEMG）与深度学习在人机接口、神经假体及康复技术领域中的潜力至关重要。我们期望本实验方案能够通过促进全面的数据采集，进一步推动算法模型的开发，使其能够在不同手部姿态下具有良好的泛化能力。
手势识别中的一个重大挑战在于sEMG信号对手部位置的敏感性。尽管许多研究集中于固定手部位置下的手势预测，但实际应用需要能够识别多种手部姿态下手指动作的模型。近期的研究通过引入计算机视觉作为真实参考，提高了这些模型的准确性和灵活性15,19。此外，将sEMG信号与视觉数据相结合的混合模型在不同场景下的识别准确率方面进一步提升了性能23。
在本方案中，我们提出了一种同步的数据采集方法，通过在类似真实世界的条件下整合肌电图（EMG）和手部追踪数据，提升动态手势识别的性能。与传统方法将手势动作限制在静态位置不同，本方案包含在四个不同姿势下完成的手势：手放下、手抬起、手平伸以及手移动。手部追踪摄像头在三维交互区域内追踪手部运动，识别不同的手部特征，并以高分辨率捕捉动态动作。在前臂放置一个包含16个电极的柔性电极阵列，用于记录肌肉活动，可实现稳定且无线的信号采集，同时不影响受试者的活动能力。来自这两个来源的同步数据为开发能够在真实世界条件下运行的先进手势识别算法提供了全面的基础。该方法通过支持在真实场景中的自由运动和稳定信号记录，专门解决了当前实验设置的局限性。这一进展推动了手势识别技术在假肢、康复治疗和交互式技术中的应用，这些领域对手势控制的直观性和灵活性具有重要需求。

<table><tbody><tr><td>可调节自拍杆</td><td></td><td></td><td>用于调整手部追踪相机的位置和角度，使其处于理想方向，以在实验期间实现最佳数据采集。</td></tr><tr><td>酒精棉片</td><td></td><td></td><td>清洁电极放置区域。</td></tr><tr><td>数据采集单元（DAU）</td><td>X-trodes Ltd.</td><td>&amp;nbsp;XTR-BT V1.3</td><td>实时兼容的 DAU 2.0.17 或 4.0.1</td></tr><tr><td>手指手势识别库</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>手部追踪摄像头</td></tr><tr><td>长款 Type-C 转 Type-C 数据线</td><td></td><td></td><td>手部追踪相机与电脑的连接。</td></tr><tr><td>PC显示器</td><td></td><td></td><td>一个用于查看操作指南，另一个用于查看手部追踪相机数据&amp;nbsp;</td></tr><tr><td>个人计算机（PC）</td><td>Windows</td><td></td><td>Windows 10 及以上版本；处理器：Intel i7 处理器；蓝牙接收器</td></tr><tr><td>Python 代码</td><td></td><td></td><td>通过蓝牙将DAU连接至PC时，可实现最高500 S/s数据无缝流式传输与记录的脚本</td></tr><tr><td>Ultraleap 相机 Python API</td><td>Ultraleap</td><td></td><td>Python API 及来自 Ultraleap 的使用说明&amp;rsquo;s GitHub 仓库（https://github.com/ultraleap/leapc-python-bindings），用于在实验期间从 Ultraleap 设备采集数据</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>追踪软件</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>用于肌电图和心电图监测的16通道可穿戴干电极阵列贴片</td></tr><tr><td>X-trodes PC 应用程序</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>通过蓝牙将X-trodes数据采集单元连接至计算机的应用程序</td></tr></tbody></table>

利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

手指手势是人类交流中的关键要素，因此手指手势识别作为先进假肢和优化康复领域的新型人机接口技术，受到了广泛研究。表面肌电图（sEMG）结合深度学习方法，被认为是该领域内一种前景广阔的技术。然而，现有方法通常依赖繁琐的记录装置，并主要识别静态手部姿势，限制了其在实际应用场景中的有效性。本文所报告的方案提出了一种先进方法，将可穿戴式表面肌电系统与手指&#160;追踪系统相结合，以在动态手部运动过程中采集全面的数据。该方法通过放置在前臂上的柔性印刷电极阵列（16个电极）记录受试者在不同手部位置及运动过程中执行手势时的肌肉活动。视觉指令提示受试者执行特定手势，同时记录肌电信号和手指位置信息。同步肌电记录与手指追踪数据的整合，实现了对肌肉活动模式及其对应手势的全面分析。该方法展示了结合肌电与视觉追踪技术在开发直观、响应迅速的手势识别系统方面的潜力，可广泛应用于假肢、康复及交互式技术领域。本方案旨在为研究人员和实践者提供指导，推动手势识别技术在动态和真实场景中的进一步创新与应用。

该数据集包含两个时间同步的组成部分：一个16通道的肌电图（EMG）数据集和来自手部追踪相机系统的数据。16通道EMG数据通过记录不同肌肉随时间变化的电信号来捕捉肌肉活动。手部追踪系统提供16个通道的数据，对应于手部骨骼模型上的关键点。尽管该模型包含21个点（不包括手腕），但由于运动限制，有效点数被减少至16个24。EMG数据与视觉数据在录制过程中通过在同一台计算机上运行两个独立的进程进行采集，以实现同步。每个进程启动时均使用时间戳标记，使得数据分析代码能够在录制结束后对肌肉活动与手部运动数据进行对齐。时间戳注释会自动保存在EDF和CSV文件中，标记出特定手指动作指令发出的精确时间，从而便于数据分析过程中的信号对齐。滤波后的EMG信号（采用20 Hz四阶巴特沃斯高通滤波器）具有较低的基线（灰色阴影区域），通常在3–9 µV范围内25。当受试者手部静止且肌肉处于放松状态时，可观察到该基线。然而，若在静息位置仍存在肌张力，则可检测到明显的EMG信号。由运动引起的机械伪迹通常出现在10–20 Hz频段，应相应地予以滤除。显著升高的基线值可能提示存在50 Hz工频干扰，应在实验设置阶段尽量避免。若中等程度的50 Hz噪声持续存在，则需应用陷波滤波器。尖锐的运动伪迹较难去除，常表现为信号中明显的高幅值尖峰（参见图2A中的星号标记）。在16电极阵列上，EMG信号的幅值存在差异，反映了所测区域肌肉活动的空间分布特征。这种变异为理解手部动作过程中肌肉收缩的异质性提供了重要信息。
手部追踪相机可提供手指角度的直接信息（手部运动学数据，HKD），这些数据预期与记录的肌电图（EMG）信号密切相关。在执行手势过程中，手指角度处于正常范围内26，具体数值取决于所执行的手势类型。当手部追踪相机与手部之间的视觉路径未被遮挡时，所获得的信号稳定且准确，如图2所示。然而，在视觉接触丢失或系统遇到技术限制的情况下，HKD 可能变得不稳定，出现错误数值之间的跳跃。此类异常数据应在数据采集过程中尽量减少，并在最终分析中予以剔除，以保证结果的完整性。
HKD 具有直观性，可与实际执行的手势进行直接比较。它在不同受试者及不同手部位置之间表现出较低的变异性。相比之下，由于手部尺寸和肌肉发育等解剖学差异，EMG 数据在个体间往往存在显著差异27。此外，优势手与非优势手之间也可能出现变异性。这种个体特异性的变异性可在离线分析过程中加以处理。
在图2中，可以明显看出，肌电（EMG）信号和手部运动数据（HKD）相对于指令手势触发时间存在偏移。这种差异源于反应时间以及自然运动执行过程中的延迟28。在回归任务中，此类变异性可能增加数据的丰富性；而在分类任务中，可通过广义似然比方法对其进行处理，该方法已在类似场景中得到应用28。
<img alt="肌电测量；手部运动学与肌肉活动的时间序列比较；实验图示。" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：手指外展过程中的典型表面肌电（sEMG）与手部运动学数据（HKD）。 单名受试者在手部位置1（手向下、伸直且放松）期间进行动态手指外展与静息状态时记录的表面肌电图（sEMG）信号和手部运动学数据（HKD）。(A) 随时间变化的16通道滤波后肌电信号。星号（*）表示在第5通道肌电记录中检测到的机械伪迹。(B) 手部运动学数据（HKD），显示关节角度随时间的变化。关节角度在多个关节处测量：腕掌关节（TMC）、掌指关节（MCP）和近端指间关节（PIP）。实验阶段（静息与外展）在横轴上标出。<a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
这些代表性结果展示了同步采集的肌电图（EMG）与手部运动学数据（HKD）在捕捉手势动作方面的实用性。将EMG信号与相应的HKD进行对齐，可实现肌肉活动与特定手指运动之间的映射。在构建预测模型时，研究人员可将HKD作为真实参考标准，迭代验证并优化基于EMG的手势预测结果。该方法凸显了本实验方案的实际应用价值，并提示未来需在更自然的场景中开展进一步研究。
补充图1：信号验证步骤中显示的频谱图窗口。 左侧面板显示原始肌电图（EMG）数据，右侧面板显示检测到的频率域。(A) 一个噪声非常严重的EMG信号示例，存在强烈的50 Hz和100 Hz干扰。(B) 同一EMG信号记录在将受试者移离电子设备后的情况，结果得到一个干扰极小的干净EMG信号。 <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">请点击此处下载该文件。</a>

本文提出了一种在自然手指手势过程中同步记录手部肌电图（EMG）和视觉手指追踪的全面实验方案。视觉数据旨在为基于肌电图的手指手势识别计算模型的开发提供准确的真值基准。

手指手势是人类交流中的关键要素，因此手指手势识别作为人机交互界面被广泛研究，用于……

我们的研究重点是利用同步的肌电图（EMG）和视觉数据来提升动态手势识别的准确性。我们旨在确定肌肉活动在不同手部位置下映射手指手势的精确程度，以及如何利用该技术增强假肢康复和人机交互中的应用效果。本研究方案通过实现肌肉活动在多种动态手部位置下对手指手势的映射，弥补了当前手势识别领域存在的技术空白。我们的方法在动态运动过程中采集并同步肌电图（DMG）和视觉数据，为开发鲁棒的手势识别模型奠定了基础。与传统的静态设置方法不同，本方案在动态运动期间采用无线EMGRA和手部追踪系统，确保了手势识别研究中数据采集的灵活性和更高的真实性。首先，打开GitHub代码仓库，并按照安装部分的详细说明进行操作。在文件夹中找到主 Python 文件 data_collection.py，并准备运行实验。使用 spectrogram 脚本。py 用于评估肌电图（简称 EMG）信号质量，以及用于信号滤波和分割的数据分析脚本。每次实验前，请确保肌电数据采集单元（简称 DAU）已充满电，然后打开 DAU。使用专用应用程序通过蓝牙将DAU连接到PC。将蓝牙通信速率设置为每秒500个样本。在PC上安装并打开手部追踪相机软件。使用数据线将手部追踪相机连接到PC。使用一个屏幕始终显示手部追踪相机软件。开始时，指导参与者将右手握成一个有力的拳头。当参与者屈曲手部时，轻轻按压其前臂以触诊肌肉，并确定肌肉激活最明显的部位。从肌电图（EMG）电极阵列上揭去白色的保护层，并小心地将电极贴附于已确定的前臂区域。将胶带贴附在靠近手掌的位置，并轻轻按压以固定电极阵列。电极阵列贴附到皮肤后，揭去透明的支撑层。接下来，将电极阵列连接器插头插入数据采集单元（DAU）的连接插座中。将数据采集单元（DAU）固定在电极旁边的粘性胶带上。运行自定义的 Python 语谱图脚本，以验证实时信号质量。观察显示窗口，左侧为所有电极的原始数据，右侧为频域数据。确认所有电极均已被检测到且正常工作，信号无过度噪声及50赫兹干扰。如有需要，可拔掉不必要的设备电源插头，并远离电子设备以减少噪声，同时留出足够时间使信号稳定。接下来，指导受试者将肘部放在扶手椅上并活动手指，然后要求其放松。确保显示出清晰的肌电图（EMG）信号，随后出现稳定的基线噪声。信号验证完成后，关闭脚本。为查看动作位置，先点击手指姿态估计，然后进行数据采集以打开图像文件夹。与参与者一起查看手势图像，并向其清晰地解释正手动作的位置。在每次实验开始前，指导参与者如何摆放手部姿势，确保其姿势正确且位置恰当。对于第一种手部位置，要求参与者直立站立，距离桌子约一米。然后，指示参与者将右手自然下垂，保持手臂伸直且放松，手掌朝向手部追踪摄像头。使用自拍杆将手部追踪相机固定在桌面上，并调整其方向，使其正对受试者的手部。确保受试者在蜂鸣声响起时立即做出明确的手势动作，休息期间手掌保持放松状态。对于手部位置二，指导受试者舒适地坐在扶手椅上，距离显示器40至70厘米。然后，要求受试者将右手向前伸展至与身体呈90度角，手掌放松并朝向手部追踪相机。如有必要，可使用支撑装置以保持手部稳定。将手部追踪相机放置在桌面上，镜头朝上。确保受试者在蜂鸣声响起时立即做出明确的手势，休息期间手掌保持放松。对于手部位置三，要求受试者将手向上弯曲，同时肘部 resting 在扶手椅上。确保手掌放松，并朝向手部追踪相机。将手部追踪摄像头固定在桌面上，使其正对参与者的双手。确保参与者的位置既能清晰地看到屏幕，又处于摄像头的视野范围内。要求参与者在听到提示音时立即做出明确的手部动作，随后在休息期间保持手掌放松。对于手部位置四，要求参与者在自由移动手部的同时执行手指手势，可选择动态手部位置一、动态手部位置二或动态手部位置三。打开计算机，启动 Python，加载脚本 data_collection.py。调整手部追踪相机的位置和角度，使其与参与者的手部位置对齐。运行 data_collection.py 脚本。将弹出一个窗口，用于输入参与者的信息。填写所需信息，然后点击“确定”以自动开始实验。每次实验过程中，记录肌电图（EMG）和手部追踪数据，这些数据将自动保存。实验结束后，确保数据已自动保存至以参与者序列号命名的文件夹中。确认每个会话均存储在名为 S 编号的子文件夹中，该文件夹包含四个以 P 编号命名的、对应不同手部位置的子文件夹。若某位受试者完成了多个会话，请确认所有数据均已保存在相应的会话文件夹中。确保每个手部位置文件夹均包含以 EDF 文件格式保存的肌电图（EMG）数据、以 CSV 文件格式保存的手部追踪数据，以及一个包含会话元数据的日志文件。与静息阶段相比，肌电（EMG）通道在手指外展阶段显示出增强的电活动，表现为所有通道信号振幅升高，机械伪迹则表现为尖锐的尖峰。手部运动学数据显示，手指角度变化与指令要求的外展动作同步，在无障碍跟踪过程中信号轨迹稳定，而在未对齐的区段则可见明显偏离。

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

科研

JoVE Journal

Bioengineering

生物工程

使用高分辨率表面肌电图和计算机视觉捕捉动态手指手势

来源：Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael...

无线表面肌电图记录面部表情期间的面部肌肉活动

在研究运动障碍的神经机制时，监测直立姿势下运动任务期间的大脑活动具有重要价值。本文展示了一种结合功能性近红外光谱成像与肌肉及运动学活动连续监测的技术方案，用于四种类型运动任务中的脑功能研究。...

运动任务期间同步监测运动学与肌电图的感官及运动脑区功能近红外光谱成像

本文介绍了一种新型低成本人机交互界面，用于交互式中风后平衡康复系统。该系统集成了现成的低成本传感器，以实现自主驱动的电刺激治疗模式。该概念验证软件界面已在健康志愿者中进行了演示。...

一种集成低成本传感器与神经肌肉电刺激系统的用于卒中后平衡康复的人机界面

经颅磁刺激、肌电图和三维运动捕捉是研究人类神经肌肉功能的常用无创技术。本文介绍了一种同步采集这三种工具所产生的数据的方案，同时还创新性地加入了虚拟现实刺激呈现与反馈。...

用于研究人类运动控制的多功能实验平台：结合经颅磁刺激、肌电图、运动捕捉与虚拟现实技术

本文展示了一种行为范式，可在人类上肢肌肉进行视觉引导的伸手运动期间，诱发强烈的快速视觉运动反应。...

一种激发人类上肢肌肉快速视觉运动反应的新出现靶向范式

当我们抓握物体时，手指和手掌的多个区域通常会与物体表面接触。重建这些接触区域具有挑战性。本文介绍了一种方法，通过结合基于标记的运动捕捉与现有的基于深度学习的手部网格重建技术，来近似估计接触区域。...

人类多指抓握过程中手与物体接触区域的估计

脑磁图（MEG）与高密度脑电图（HD-EEG）很少被同时记录，尽管二者可提供相互验证且互补的信息。本文展示了同步记录MEG与HD-EEG的实验设置，以及分析这些数据的方法，旨在定位药物难治性癫痫患儿的致痫区和功能重要脑区。...

药物难治性癫痫患儿术前评估中的电磁源成像

在许多生物学和临床情境中，研究细胞过程在其天然微环境中的动态演变具有显著优势。本文介绍了低成本光纤显微镜的组装及其应用，该显微镜可实现实时成像，适用于细胞培养、动物实验以及临床患者研究。...

高分辨率光纤微内窥镜技术用于 原位 细胞成像

只有通过断层扫描技术才能实现无损的体积可视化，其中最有效的方法是X射线显微计算机断层扫描（CT）。...

Ex-Vivo 生物样本的显微CT高分辨率三维成像

本文介绍了一种微流控装置的操作方法，该装置可在单个出芽酵母细胞的整个复制和/或时间寿命过程中，实现连续、高分辨率的显微成像。...

芽殖酵母复制性衰老的连续高分辨率显微观察

了解高分辨率表面肌电图与计算机视觉同步采集技术，用于动态手指手势识别研究。该方法通过无线设备实时记录肌肉活动与视觉数据，为假肢康复和人机交互领域开发精准手势识别模型奠定基础。

利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

探索更多视频