Name: 고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처 (동영상) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: 학습하세요 고해상도 표면 근전도와 컴퓨터 비전을 활용한 동적 손가락 제스처 캡처 방법을. 무선 EMG와 핸드 트래킹 시스템을 동기화하여 근육 활동과 손가락 움직임을 정확히 매핑하고, 의수 재활 및 인간-컴퓨터 상호작용을 위한 견고한 제스처 인식 모델 개발의 기반을 마련합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구를 위해 건강한 참가자(n = 18세, 18-32세, 남녀 모두)를 모집했으며, 이는 텔아비브 대학 윤리 검토 위원회(승인 번호 0004877-3)의 승인을 받았습니다. 이 프로토콜은 인간 참가자와 관련된 연구에 대한 이사회의 지침을 준수합니다. 기관의 요구 사항에 따라 모든 참가자로부터 정보에 입각한 동의를 얻었습니다.
1. 실험자 브리핑
<ol>
	<li>참가자들에게 14개의 고유한 손가락 제스처( 그림 1 참조)를 연속으로 수행하고 각 제스처를 무작위 순서로 7회씩 반복하도록 요청합니다. 각 동작을 5초 동안 단단히 유지한 다음 3초 동안 휴식을 취하도록 요청하십시오. 각 세션의 총 시간은 13:04분입니다.</li>
	<li>컴퓨터 화면에 표시되는 제스처의 큰 이미지에는 제스처 성능을 나타내는 카운트다운 타이머가 함께 표시됩니다. 휴식 시간 동안 참가자에게 남은 휴식 시간을 나타내는 타이머와 함께 표시되는 다음 제스처의 작은 이미지를 보도록 요청하십시오. 두 개의 뚜렷한 비프음은 각 제스처의 시작과 끝을 알리는 신호로 참가자가 다음 제스처를 준비할 수 있도록 도와줍니다.</li>
	<li>각 참가자에게 이전에 제시된22와 유사한 4개의 다른 위치에서 절차를 실행하도록 요청합니다. 위치 1: 참가자 서 있음. 손을 내리고, 똑바르고, 편안합니다. 위치 2: 안락의자에 앉아 있는 참가자. 손을 90°로 앞으로 뻗고 손바닥을 이완합니다(지지 장치를 사용할 수 있음). 위치 3: 손을 위로 접고(팔꿈치를 안락의자에 대고), 손바닥을 편안하게 합니다. 위치 4: 참가자는 이전 위치 중 하나를 선택하고 PC 화면에서 실시간으로 모니터링되는 카메라의 감지 범위 내에서 손을 자유롭게 움직일 수 있습니다(자세한 내용은 1.4단계 참조).</li>
	<li>각 세션마다 참가자가 팔에 근전도 장치를 착용하고 손 추적 카메라를 참가자 쪽으로 배치하도록 합니다. 참가자들에게 손바닥이 항상 카메라를 향하도록 요청합니다. 손 추적 소프트웨어는 참가자와 차장 모두 손이 올바르게 인식되었는지 확인할 수 있도록 별도의 화면에 표시됩니다.</li>
	<li>정확한 손 인식을 위해 각 위치에 대해 손 추적 카메라의 위치와 각도를 조정합니다. 또한 스펙트로그램 스크립트를 사용하여 전극에서 나오는 신호의 품질을 평가합니다.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
그림 1: 데이터 수집 프로세스의 개략도. 피험자는 팔뚝(3)에 배치된 부드러운 전극 배열을 장착하고 있으며, 이는 제스처를 수행하는 동안 고해상도 표면 근전도(sEMG) 신호를 캡처합니다. 피험자는 컴퓨터 디스플레이에 무작위 순서로 제시된 14개의 서로 다른 손가락 제스처를 수행합니다(4). EMG 데이터는 데이터 수집 장치(DAU, 1)에서 개인용 컴퓨터(PC)로 무선으로 스트리밍됩니다. 동시에 손가락 관절 각도를 나타내는 손 운동학 데이터(HKD)는 손 추적 카메라(2)를 사용하여 캡처됩니다. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
2. 데이터 수집 장치 설정
<ol>
	<li>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git 에서 Github 저장소를 열고 설치 섹션의 자세한 지침을 따릅니다. finger_pose_estimation/data_acquisition 폴더에서 기본 Python 파일 data_collection.py 찾습니다. 이를 사용하여 실험을 실행하고, 스크립트 spectrogram.py 사용하여 실험이 시작되기 전에 EMG 신호 품질을 평가하고, 스크립트 data_analysis.py 신호 필터링 및 세분화를 위해 사용됩니다.</li>
	<li>각 세션 전에 EMG DAU(데이터 수집 장치)가 완전히 충전되었는지 확인하고 전원을 켭니다.</li>
	<li>전용 애플리케이션을 사용하여 Bluetooth를 통해 DAU를 PC에 연결합니다. Bluetooth 통신 속도를 500초(S/s)로 설정합니다.</li>
	<li>PC에 핸드 트래킹 카메라의 소프트웨어를 설치하고 엽니다. 케이블을 사용하여 손 추적 카메라를 PC에 연결합니다.</li>
	<li>한 화면을 사용하여 핸드 트래킹 카메라 소프트웨어를 항상 표시할 수 있습니다. 이렇게 하면 지휘자와 참가자는 실험 중에 카메라가 손을 올바르게 인식하는지 확인할 수 있습니다.</li>
</ol>
3. 참가자 준비
<ol>
	<li>소개 및 동의<ol>
		<li>참가자에게 연구의 관련성과 실험 절차를 간략하게 설명합니다. 인간과 관련된 연구에 대한 기관 지침에 따라 정보에 입각한 동의를 얻습니다.</li>
	</ol>
	</li>
	<li>전극 배치<ol>
		<li>참가자에게 강한 주먹을 쥔 후 오른손을 구부리도록 지시합니다. 참가자가 몸을 구부리는 동안 근육을 따라 부드럽게 눌러 팔뚝을 촉진하여 근육 활성화가 가장 두드러지는 지점을 식별합니다. 이 위치는 수축 중에 근육이 부풀어 오르는 부위를 느끼면 쉽게 식별할 수 있습니다.</li>
		<li>선택 사항: 알코올 섬유가 없는 천, 프렙 젤 또는 물과 비누로 청소하여 식별된 피부 부위를 준비합니다. 해당 부위를 자연 건조시키십시오. 알코올로 과도하게 청소하면 피부가 건조해질 수 있으므로 피하십시오. 이 단계는 선택 사항입니다. 토론 섹션을 참조하십시오.</li>
		<li>EMG 전극 어레이에서 흰색 보호층을 벗겨내고 3.2.1단계에서 결정한 대로 식별된 팔뚝 부위에 전극을 조심스럽게 부착합니다. ( 그림 1 참조). 접착 테이프가 손바닥에 더 가까이 있는지 확인하십시오. 전극 배열을 부드럽게 두드려 피부에 고정합니다.</li>
		<li>전극 어레이가 피부에 부착되면 투명 지지층을 벗겨냅니다.</li>
		<li>전극 어레이 커넥터 카드를 DAU의 커넥터 소켓에 삽입합니다. 전극 옆에 있는 접착 테이프에 DAU를 부착합니다.</li>
		<li>사용자 지정 Python 스펙트로그램 스크립트 Spectrogram.py 실행하여 실시간 신호 품질을 검증할 수 있습니다. 모든 전극에 대한 원시 데이터(왼쪽)와 주파수 영역(오른쪽)을 표시하는 창이 나타납니다(참조는 보충 그림 1 참조).<ol>
			<li>모든 전극이 감지되고 제대로 작동하는지, 신호가 과도한 노이즈 및 50Hz 노이즈로 깨끗한지 확인합니다.</li>
			<li>필요한 경우 간섭을 일으킬 수 있는 전자 장치에서 멀리 이동하고 불필요한 장치의 전원을 뽑아 50Hz 소음을 줄입니다. 신호가 안정화될 때까지 기다립니다.</li>
			<li>EMG 신호 캡처 확인: 참가자에게 안락의자에 팔꿈치를 올려놓고 손가락을 움직인 다음 긴장을 풀도록 지시합니다. 명확한 EMG 신호가 표시되고 정적 베이스라인 노이즈가 표시되는지 확인합니다.</li>
			<li>신호 확인이 완료되면 스크립트를 닫습니다.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>제스처 및 손 위치 검토<ol>
		<li>Finger_pose_estimation &gt; Data_acquisition 클릭하여 이미지 폴더를 엽니다. 참가자와 함께 제스처 이미지를 검토합니다.</li>
		<li>각 동작을 이해하고 정확하게 수행할 수 있는지 확인하십시오. 참가자에게 네 가지 손 위치를 명확하게 설명합니다.</li>
		<li>각 세션 전에 참가자에게 손을 잡는 방법을 지시하여 올바른 자세와 위치를 확인합니다.</li>
	</ol>
	</li>
	<li>참가자 및 카메라 포지셔닝<ol>
		<li>손 위치 1의 경우 참가자에게 테이블에서 약 1m 떨어진 곳에 똑바로 서도록 지시합니다. 참가자에게 손바닥이 손 추적 카메라를 향하도록 오른손을 곧고 편안하게 잡도록 지시합니다. 셀카봉으로 테이블 위에 핸드 트래킹 카메라를 고정하고 참가자의 손을 향하도록 합니다.</li>
		<li>손 위치 2의 경우 참가자에게 모니터에서 40-70cm 떨어진 안락의자에 편안하게 앉도록 지시합니다. 참가자에게 편안한 손바닥이 손 추적 카메라를 향하도록 오른손을 90° 앞으로 뻗도록 지시합니다. 필요한 경우 지지 장치를 사용하여 손을 안정적으로 잡으십시오. 핸드 트래킹 카메라를 위를 향하도록 테이블 위에 놓습니다. 참고: 참가자는 고정된 자세를 유지해야 하므로 세션 내내 유지할 수 있는 편안한 자세를 찾는 것이 중요합니다.</li>
		<li>손 위치 3의 경우 참가자에게 3.4.2단계에 설명된 대로 앉도록 지시합니다. 참가자에게 팔꿈치를 안락의자에 올려놓은 상태에서 손을 위로 접도록 지시합니다. 손바닥은 이완되어야 하며 참가자는 손 추적 카메라를 향해야 합니다. 참가자의 손을 향하도록 테이블 위에 손 추적 카메라를 고정합니다(필요한 경우 셀카봉 사용). 참가자의 위치가 화면을 보는 것과 카메라의 시야 내에 있는 것 모두에 최적인지 확인합니다.</li>
		<li>실험 전반에 걸쳐 카메라가 손과 손가락을 감지하는지 확인하기 위해 손 추적 데이터를 표시하는 화면을 지속적으로 모니터링합니다. 선택 사항: 실험을 시작하기 전에 각 손 위치에서 EMG 신호 품질을 확인합니다(3.2.6단계).</li>
	</ol>
	</li>
</ol>
4. 데이터 수집
<ol>
	<li>실험 실행<ol>
		<li>Python을 열고 data_collection.py 로드합니다. 매개 변수 num_repetition, gesture_duration rest_duration가 원하는 대로 설정되었는지 확인합니다.<ol>
			<li>num_repetition: 각 제스처 이미지가 표시되는 횟수를 정의합니다. 이 실험에서는 각 이미지가 7번 표시된다는 의미인 7로 설정합니다. gesture_duration: 참가자가 손 제스처를 수행하는 지속 시간(s)을 지정합니다. 이 실험에서는 5초로 설정하여 각 제스처 이미지가 표시되는 시간을 결정합니다. Rest_duration: 참가자가 제스처 사이에 손바닥을 이완하는 시간(s)을 지정합니다. 이 실험에서는 3초로 설정합니다.</li>
		</ol>
		</li>
		<li>핸드 트래킹 카메라 위치와 각도를 참가자의 손 위치에 맞게 조정합니다.</li>
		<li>data_collection.py 스크립트를 실행합니다. 참가자의 세부 정보(일련 번호, 연령, 성별, 세션 번호 및 손 위치)를 입력하는 창이 나타납니다. 이 정보를 입력하고 확인을 눌러 실험을 자동으로 시작합니다.</li>
	</ol>
	</li>
	<li>데이터 수집<ol>
		<li>각 세션에 대해 자동으로 저장되는 EMG 및 핸드 트래킹 데이터를 기록합니다. 각 참가자에 대해 손 위치당 한 번씩 실험을 4회 반복합니다.</li>
	</ol>
	</li>
</ol>
5. 실험 종료 및 실험 후 데이터 처리
<ol>
	<li>실험이 완료되면 데이터가 자동으로 저장됩니다. 참가자의 일련 번호가 표시된 폴더에 데이터가 저장되어 있는지 확인합니다. 각 세션은 S#(예: S1)이라는 하위 폴더에 저장되며, 각 핸드 위치 P#(P1, P2, P3 및 P4)에 대한 4개의 하위 폴더가 있습니다. 단일 세션의 폴더 크기는 약 160MB입니다.</li>
	<li>참가자가 여러 세션을 완료하는 경우 모든 데이터가 해당 세션 폴더(예: S1, S2)에 저장되었는지 확인합니다.</li>
	<li>데이터 파일 각 핸드 위치 폴더(P#)에 다음 파일이 포함되어 있는지 확인합니다. EDF 파일에 저장된 EMG 데이터(fpe_pos{위치 번호}_{주제 번호}_S{세션 번호}_rep0_BT; CSV 파일에 저장된 핸드 트래킹 데이터(fpe_pos{포지션 번호}_{주제 번호}_S{세션 번호}_rep0_BT_full; 및 세션에 대한 메타데이터를 포함하는 로그 파일 log.txt.</li>
	<li>데이터 처리 참고: 사용자는 신호 분석을 진행하는 방법과 사용할 도구를 선택할 수 있습니다. 여기에서는 Python에서 신호 필터링 및 데이터 분할을 수행하기 위한 스크립트를 제공합니다. Python을 사용하는 경우 모든 종속성(예: Numpy, Pandas, SciPy, MNE, Sklearn)이 설치되어 있는지 확인합니다.<ol>
		<li>Python을 열고 data_analysis.py 로드한 다음 스크립트를 실행합니다.</li>
		<li>데이터 처리에 필요한 매개 변수를 제공하기 위해 콘솔에 요청이 표시됩니다: EMG 파일 경로, 손 운동학 데이터 경로, 처리된 데이터가 저장될 경로, 샘플링 속도(Hz), 창 지속 시간(ms), 보폭 간격(ms).</li>
		<li>이 단계에 따라 스크립트는 데이터 처리를 수행합니다.</li>
		<li>EMG 신호 필터링: 위와 같이 스크립트를 실행합니다. 이 스크립트는 먼저 20Hz 컷오프가 있는 4차 버터워스 고역 통과 필터를 적용하여 EMG가 아닌 신호를 제거한 다음 노치 필터를 적용하여 50Hz 및 100Hz 고조파를 제거하여 sEMG 신호를 필터링합니다. 또한 스크립트는 EMG 신호의 정규화를 적용합니다.</li>
		<li>EMG, HKD 데이터 및 지시된 제스처 세분화: 위와 같이 스크립트를 실행합니다. 이 스크립트는 지정된 창 지속 시간 및 보폭 간격으로 정의된 롤링 윈도우 기술을 활용하여 세분화를 적용합니다. 이 실험에서는 각각 512 및 2ms로 설정합니다. 그런 다음 스크립트는 전극 어레이 레이아웃을 유지하면서 sEMG 채널 조직을 4 x 4 공간 그리드 구성으로 변환합니다. 마지막으로 스크립트는 메타데이터를 포함하는 사전을 피클 파일로 생성합니다.</li>
		<li>데이터 정리 및 유효성 검사 단계<ol>
			<li>아티팩트, 노이즈 또는 일관되지 않은 제스처 레이블이 포함된 세그먼트를 식별하고 데이터 세트에서 제외합니다.</li>
			<li>데이터 신뢰성을 유지하기 위해 창 전반에 걸쳐 세그먼트 완전성과 시간적 연속성을 보장합니다.</li>
			<li>일관성을 위해 HKD에 대한 제스처 데이터를 교차 확인합니다. HKD 세션 표준에서 벗어나는 제스처 패턴을 표시하는 창을 제거합니다.</li>
			<li>세션에 대해 예상되는 운동학적 패턴을 따르지 않는 이상치 세그먼트를 감지하고 폐기합니다.</li>
			<li>고급 알고리즘을 사용하여 추가 데이터 분석을 수행합니다. 현재 프로토콜에서는 제공되지 않습니다.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>조정 가능한 셀카봉</td><td></td><td></td><td>: 실험 중 최적의 데이터 캡처를 위해 핸드 트래킹 카메라를 원하는 방향으로 배치하고 각도를 조정하는 데 사용됩니다.</td></tr><tr><td>알코올 패드</td><td></td><td></td><td>전극 배치 영역을 청소합니다.</td></tr><tr><td>데이터 수집 장치 (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp; XTR-BT V1.3</td><td>실시간 호환 DAU 2.0.17 또는 4.0.1</td></tr><tr><td>손가락 제스처 인식 라이브러리</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>핸드 트래킹 카메라</td></tr><tr><td>긴 Type-C to Type-C 케이블</td><td></td><td></td><td>핸드 트래킹 카메라를 PC에 연결합니다.</td></tr><tr><td>PC 모니터</td><td></td><td></td><td>하나는 지침용, 다른 하나는 핸드 트래킹 카메라 데이터를 보기 위한 것입니다&nbsp;</td></tr><tr><td>개인용 컴퓨터(PC)</td><td>Windows</td><td></td><td>Windows 10+; 프로세서: Inteli7 프로세서. BT 수신기.</td></tr><tr><td>Python 코드</td><td></td><td></td>: Bluetooth, Ultraleap 카메라, Python API, Ultraleap <td>Python API 및 Ultraleap의 명령어를 통해 DAU가 PC에 연결되었을 때 최대 500S/s까지 원활한 데이터 스트리밍 및 녹음을 가능하게 하는 스크립트</td></tr><tr><td></td><td></td>'<td></td><td> 실험 중 Ultraleap 장치에서 데이터를 수집하는 데 사용되는 GitHub 저장소(https://github.com/ultraleap/leapc-python-bindings)</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>추적 소프트웨어</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>EMG, ECG 모니터링 X-trodes PC 앱 X-trodes Ltd.용 16채널 웨어러블 건조 전극 어레이 패치</td></tr><tr><td></td><td></td><td>1.1.35.0</td><td>BT를 통해 X-trodes DAU를 PC에 연결하기 위한 애플리케이션</td></tr></tbody></table>

고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

데이터 세트는 16채널 EMG 데이터 세트와 핸드 트래킹 카메라 시스템의 데이터라는 두 가지 시간 동기화 구성 요소로 구성됩니다. 16채널 EMG 데이터는 시간이 지남에 따라 다른 근육의 전기 신호를 기록하여 근육 활동을 캡처합니다. 손 추적 시스템은 손의 골격 모델의 핵심 포인트에 해당하는 16개의 데이터 채널을 제공합니다. 모델에는 손목을 제외한 21개의 포인트가 있지만 모션 제약 조건24로 인해 이 숫자가 16개로 줄었습니다. EMG 및 시각 데이터는 동기화를 설정하기 위해 기록하는 동안 동일한 컴퓨터에서 두 개의 별도 프로세스를 실행하여 수집되었습니다. 타임스탬프를 사용하여 각 프로세스의 시작을 표시하여 데이터 분석 코드가 기록이 끝날 때 근육 활동과 손 움직임 데이터를 정렬할 수 있도록 했습니다. 타임스탬프 주석은 EDF 및 CSV 파일 모두에 자동으로 저장되어 특정 손가락 제스처가 지시된 정확한 시간을 표시하고 데이터 분석 중 정렬을 용이하게 했습니다. 필터링된 EMG 신호(20Hz 4차 버터워스 고역 통과 필터)는 일반적으로 3-9μV25 범위에 속하는 낮은 기준선(회색 음영 영역)이 특징입니다. 이 기준선은 피험자의 손이 정지해 있고 근육이 쉬고 있을 때 관찰됩니다. 그러나 휴식 자세에서도 근육 긴장도가 존재하면 뚜렷한 EMG 신호를 감지할 수 있습니다. 움직임으로 인한 기계적 아티팩트는 일반적으로 10-20Hz 범위에서 나타나므로 그에 따라 필터링해야 합니다. 기준선 값이 크게 상승하면 50Hz 라인 간섭을 나타낼 수 있으므로 실험 설정 단계에서 피해야 합니다. 적당한 50Hz 소음이 지속되는 경우; 노치 필터가 적용됩니다. 제거하기가 더 어려운 날카로운 움직임 아티팩트는 종종 신호에서 뚜렷한 고진폭 스파이크로 나타납니다( 그림 2A의 별표 참조). 16전극 어레이에 걸친 EMG 신호의 진폭은 측정된 영역에 대한 근육 활동의 공간적 분포를 반영하여 다양합니다. 이러한 차이는 손 제스처 중 근육 수축의 이질성에 대한 귀중한 통찰력을 제공합니다.
손 추적 카메라는 기록된 EMG 신호와 밀접한 상관 관계가 있을 것으로 예상되는 손가락 각도(손 운동학 데이터, HKD)에 대한 직접적인 정보를 제공합니다. 제스처 중에 특정 제스처에 따라 정상 범위26의 손가락 각도가 조정됩니다. 손 추적 카메라와 손 사이의 가시 경로가 방해받지 않으면 그림 2에서 볼 수 있듯이 결과 신호가 안정적이고 정확합니다. 그러나 시각적 접촉이 끊어지거나 시스템에 기술적 제한이 있는 경우 HKD가 불규칙해져서 잘못된 값 사이의 점프가 표시될 수 있습니다. 이러한 이상치 데이터는 데이터 수집 중에 최소화하고 결과의 무결성을 유지하기 위해 최종 분석에서 폐기해야 합니다.
HKD는 직관적이며 수행된 실제 제스처와 직접 비교할 수 있습니다. 피사체 간과 다른 손 위치에 걸쳐 낮은 변동성을 나타냅니다. 반면, 근전도 데이터는 손의 크기와 근육 발달과 같은 해부학적 차이로 인해 개인마다 크게 달라지는 경향이 있다27. 또한, 지배적인 핸드와 비주로 사용하는 핸드 사이에 변동성이 관찰될 수 있습니다. 이러한 주제별 변동성은 오프라인 분석 중에 해결할 수 있습니다.
그림 2에서는 EMG와 HKD가 모두 지시된 제스처 트리거에 대해 오프셋되어 있음이 분명합니다. 이러한 불일치는 응답 시간과 자연스러운 움직임 실행으로 인해 발생합니다28. 회귀 작업에서는 이러한 변동성이 데이터의 풍부함에 기여할 수 있는 반면, 분류 작업에서는 유사한 시나리오28에 적용된 것처럼 일반화된 우도 비율 접근 방식을 사용하여 관리할 수 있습니다.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
그림 2: 손가락 외전 중 대표적인 sEMG 및 HKD. 단일 참가자가 손 위치 1(손을 내리고, 곧게 펴고, 이완)하는 동안 수행되는 동적 손가락 외전 및 휴식 중에 기록된 표면 근전도(sEMG) 신호 및 손 운동학 데이터(HKD). (A) 시간 함수로 16개 채널에서 필터링된 EMG 신호. 별표(*)는 채널 5의 EMG 기록에서 감지된 기계적 인공물을 나타냅니다. (B) HKD, 관절 각도를 시간의 함수로 보여줍니다. 관절 각도는 승모근중수골(TMC), 중수골(MCP) 및 근위부 지절간(PIP)의 다양한 관절에서 측정됩니다. 실험 단계(휴식 및 납치)는 x축을 따라 표시됩니다. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
이러한 대표적인 결과는 손 제스처를 캡처하는 데 동기화된 EMG 및 HKD 데이터의 유용성을 보여주었습니다. EMG 신호를 해당 HKD와 정렬하면 근육 활동을 특정 손가락 움직임에 매핑할 수 있습니다. 예측 모델을 구성할 때 연구원은 HKD를 실측 자료로 사용하여 EMG 기반 제스처 예측을 반복적으로 검증하고 개선할 수 있습니다. 이 접근법은 프로토콜의 실질적 적용 가능성을 강조하고 보다 자연스러운 환경에서 추가 연구의 필요성을 시사합니다.
보충 그림 1: 신호 검증 단계 중에 표시되는 스펙트로그램 창. 왼쪽 패널에는 원시 EMG 데이터가 표시되고 오른쪽 패널에는 감지된 주파수 영역이 표시됩니다. (A) 50Hz 및 100Hz 간섭이 강한 매우 잡음이 많은 EMG 신호의 예. (B) 참가자를 전기 장치에서 더 멀리 이동시킨 후 동일한 EMG 신호를 기록하여 간섭을 최소화한 깨끗한 EMG 신호를 얻은 예. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">이 파일을 다운로드하려면 여기를 클릭하십시오.</a>

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

연구

JoVE Journal

Bioengineering

생명공학

근원:힐라 만1, 폴 F. 펑크2, 이에바 베브라이트-아데레스3, 크리스토프 안데르스4, 올랜도 군티나스-리키우스2, 야엘 하네인1,3,51텔아비브 대학교 Sagol 신경과학 학교, 2예나 대학 병원 이비인후과, 프리드리히 쉴러 대학교 예나, 3텔아비브 대학교 전기 공학 대학, 4부서 모터 연구, 병태생리학 및 생체역학, 외상, 손 및 재건 외과, 예나 대학 병원, 프리드리히 쉴러 대학교 예나, 5X-trodes Ltd.이 비디오는 참가자가 수행하는 비디오 유도 얼굴 표정 중에 무선 표면 근전도 검사(sEMG)를 사용하여 안면 근육 활동을 비침습적으로 기록하는 절차를 보여줍니다.

표정 중 안면 근육 활동의 무선 표면 근전도 기록

직립 운동 작업 중 뇌 활동을 모니터링하는 것은 운동 장애의 신경 원인을 조사할 때 큰 가치가 있습니다. 여기에서는 기능적 근적외선 분광법과 4가지 유형의 운동 작업 중 근육 및 운동학적 활동의 지속적인 모니터링을 결합한 프로토콜을 보여줍니다.

모터 작업하는 동안 동시 운동 학적 및 EMG 모니터링과 감각 및 모터 뇌 영역의 기능 근적외선 분광법

이 기사에서는 뇌졸중 후 대화형 균형 재활 시스템을 위한 새로운 저비용 인간-기계 인터페이스를 제시합니다. 이 시스템은 자발적으로 구동되는 전기 요법 패러다임을 향해 기성품인 저비용 센서를 통합합니다. 개념 증명 소프트웨어 인터페이스는 건강한 지원자를 대상으로 시연되었습니다.

후 스트로크 균형 재활을위한 신경 근육 전기 자극 시스템과 저가 센서를 통합하는 인간 - 기계 인터페이스

경두개 자기 자극, 근전도 검사 및 3D 모션 캡처는 인간의 신경근 기능을 조사하기 위해 일반적으로 사용되는 비침습적 기술입니다. 이 백서에서는 이러한 세 가지 도구 모두에서 생성된 데이터를 동기식으로 샘플링하는 프로토콜과 가상 현실 자극 프레젠테이션 및 피드백의 고유한 추가에 대해 설명합니다.

경 두개 자기 자극, 근전도, 모션 캡쳐, 가상 현실을 이용하여 인간의 모터 제어 유학을위한 다기능 설치

여기에 제시 시각적으로 유도 도달 하는 동안 인간의 상부 사지 근육에 강력한 빠른 visuomotor 응답을 유도 하는 행동 패러다임.

인간의 상반신 근육에 빠른 Visuomotor 응답을 불러 일으키는 신흥 대상 패러다임

물체를 잡을 때 일반적으로 손가락과 손의 여러 영역이 물체의 표면과 접촉합니다. 이러한 접촉 영역을 재구성하는 것은 어려운 일입니다. 여기서는 마커 기반의 모션 캡쳐와 기존의 딥러닝 기반의 핸드 메시 재구성을 결합하여 접촉 영역을 대략적으로 추정하는 방법을 제시한다.

인간의 여러 자릿수 파지 중 손과 물체 사이의 접촉 영역 추정

자기 뇌파(MEG)와 고밀도 뇌파 검사(HD-EEG)는 확증 및 보완 정보를 제공하기는 하지만 동시에 기록되는 경우는 드뭅니다. 여기에서는 MEG 및 HD-EEG를 동시에 기록하기 위한 실험 설정과 약물 내성 간질이 있는 소아의 간질 유발 및 웅변 뇌 영역을 국소화하는 것을 목표로 하는 이러한 데이터를 분석하는 방법론을 설명합니다.

약물 내성 간질이 있는 소아의 수술 전 평가에서 전자기 소스 이미징

그들의 모국어 microenvironment에서 진화 많은 생물 학적 및 임상 상황에서는 그것은 세포 프로세스를 연구에 유리합니다. 여기 우리는 세포 배양, 동물 실험 및 임상 환자 연구에 실시간 영상을 제공할 수있는 저비 용의 광섬유 현미경의 조립 및 사용에 대해 설명합니다.

고해상도 광섬유 Microendoscopy에 대한 현장에서 세포 이미징

비 - 파괴적인 볼륨 시각화는 가장 효율이 X - 선 마이크로 컴퓨터 tomography (CT) 어떤의 단층 기술에 의해 형성될 수 있습니다.

고해상도 3D 영상의 전 VIVO</em마이크로 중부 표준시로> 생물 학적 샘플

우리는 여기에서 자신의 완전한 증식하는 및 / 또는 연대순 수명 기간 동안 하나의 신진 효모 세포의 연속 고해상도 현미경 이미징을 허용 microfluidic 장치의 동작을 설명합니다.

증식하는 연속 고해상도 현미경으로 관찰 신진 효모의 노화

학습하세요 고해상도 표면 근전도와 컴퓨터 비전을 활용한 동적 손가락 제스처 캡처 방법을. 무선 EMG와 핸드 트래킹 시스템을 동기화하여 근육 활동과 손가락 움직임을 정확히 매핑하고, 의수 재활 및 인간-컴퓨터 상호작용을 위한 견고한 제스처 인식 모델 개발의 기반을 마련합니다.

고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

더 많은 동영상 탐색