고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처
2025년 3월 28일
이 논문은 자연스러운 손가락 제스처 중에 손 근전도 검사(EMG)와 시각적 손가락 추적을 동시에 기록하기 위한 포괄적인 프로토콜을 제시합니다. 시각적 데이터는 손가락 제스처 인식을 위한 정확한 EMG 기반 계산 모델 개발을 위한 실측 자료 역할을 하도록 설계되었습니다.
우리의 연구는 동기화된 EMG 및 시각적 데이터를 사용하여 동적 손 제스처 인식을 개선하는 데 중점을 둡니다. 우리는 근육 활동이 다양한 손 위치에서 손가락 제스처에 얼마나 정확하게 매핑되는지, 그리고 이것이 보철 재활 및 인간-컴퓨터 상호 작용에 대한 적용을 향상시킬 수 있는 방법을 결정하는 것을 목표로 합니다. 우리의 프로토콜은 다양한 동적 손 위치에서 손가락 제스처에 대한 근육 활동의 매핑을 가능하게 함으로써 손 제스처 인식의 격차를 해결합니다.
우리의 접근 방식은 역동적인 움직임 중에 DMG 및 시각적 데이터를 수집하고 동기화하여 강력한 제스처 인식 모델을 개발하기 위한 토대를 마련합니다. 정적 설정을 사용하는 기존 방법과 달리 당사의 프로토콜은 동적 움직임 중에 무선 EMGRA와 손 추적 시스템을 사용하여 제스처 인식 연구를 위한 유연성과 보다 사실적인 데이터 수집을 보장합니다. 시작하려면 GitHub 리포지토리를 열고 설치 섹션의 자세한 지침을 따릅니다.
기본 Python 파일인 data_collection를 찾습니다. py를 폴더에 넣고 실험을 실행할 준비를 합니다. 스크립트 스펙트로그램을 사용합니다.
py를 사용하여 근전도, 간단히 말해 EMG 신호 품질을 평가하고 신호 필터링 및 분할을 위한 데이터 분석 스크립트를 사용할 수 있습니다. EMG 데이터 수집 장치(줄여서 DAU)가 각 세션 전에 완전히 충전되었는지 확인하십시오. 그런 다음 DAU를 켭니다.
전용 애플리케이션을 사용하여 Bluetooth를 통해 DAU를 PC에 연결합니다. Bluetooth 통신 속도를 초당 500초로 설정합니다. PC에 핸드 트래킹 카메라 소프트웨어를 설치하고 엽니다. 케이블을 사용하여 핸드 트래킹 카메라를 PC에 연결합니다.
한 화면을 사용하여 핸드 트래킹 카메라 소프트웨어를 항상 표시할 수 있습니다. 시작하려면 참가자에게 오른손을 구부려 강한 주먹을 쥐도록 지시합니다. 참가자가 몸을 구부릴 때 팔뚝을 따라 부드럽게 눌러 근육을 촉진하고 가장 두드러진 활성화가 있는 지점을 식별합니다.
EMG 전극 어레이에서 흰색 보호층을 벗겨내고 식별된 팔뚝 부위에 전극을 조심스럽게 부착합니다. 접착 테이프를 손바닥 가까이에 놓고 부드럽게 두드려 전극 배열을 피부에 고정합니다. 전극 어레이가 피부에 부착되면 투명 지지층을 벗겨냅니다.
그런 다음 전극 어레이 커넥터 카드를 DAU 커넥터 소켓에 삽입합니다. 전극 옆에 있는 접착 테이프에 DAU를 부착합니다. 사용자 지정 Python 스펙트로그램 스크립트를 실행하여 실시간 신호 품질을 확인합니다.
모든 전극에 대해 왼쪽에는 원시 데이터, 오른쪽에는 주파수 도메인 데이터가 표시되는 표시된 창을 관찰합니다. 모든 전극이 감지되고 제대로 작동하는지, 신호가 과도한 잡음과 50헤르츠 잡음으로 깨끗한지 확인합니다. 필요한 경우 불필요한 장비 장치의 전원을 차단하고 전자 장치에서 멀리 떨어뜨려 잡음을 줄여 신호가 안정화될 시간을 허용합니다.
다음으로, 참가자에게 안락의자에 팔꿈치를 대고 손가락을 움직이도록 지시한 다음 긴장을 풀도록 요청합니다. 명확한 EMG 신호가 표시되고 정적 베이스라인 노이즈가 표시되는지 확인합니다. 신호 확인이 완료되면 스크립트를 닫습니다.
위치를 검토하려면 손가락 포즈 추정을 클릭한 다음 데이터 수집을 클릭하여 이미지 폴더를 엽니다. 참가자와 함께 제스처 이미지를 검토합니다. 참가자에게 포핸드 위치를 명확하게 설명하십시오.
각 세션 전에 손을 잡는 방법을 지시하여 올바른 자세와 위치를 확인하십시오. 손 위치 1의 경우 참가자에게 테이블에서 약 1미터 떨어진 곳에 똑바로 서도록 요청합니다. 그런 다음 참가자에게 손바닥이 손 추적 카메라를 향하도록 오른손을 곧고 편안하게 내리도록 지시합니다.
셀카봉을 사용하여 테이블 위에 손 추적 카메라를 고정하고 참가자의 손을 향하도록 합니다. 참가자가 삐 소리가 시작될 때 단단한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 펴도록 합니다. 손 위치 2의 경우 참가자에게 모니터에서 40-70cm 떨어진 안락의자에 편안하게 앉도록 지시합니다.
그런 다음 참가자에게 손바닥을 풀고 손 추적 카메라를 향하게 하여 오른손을 90도 각도로 앞으로 뻗도록 요청합니다. 손을 안정적으로 잡기 위해 필요한 경우 보조 장치를 사용하십시오. 핸드 트래킹 카메라를 위를 향하도록 테이블 위에 놓습니다.
참가자가 삐 소리가 시작될 때 단단한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 펴도록 합니다. 손 위치 3의 경우, 참가자에게 팔꿈치를 안락의자에 대고 손을 위로 접도록 요청합니다. 손바닥이 이완되고 손 추적 카메라를 향하고 있는지 확인합니다.
참가자의 손을 향하도록 테이블에 손 추적 카메라를 고정합니다. 참가자의 위치가 화면을 보는 것과 카메라의 시야 내에 있는 것 모두에 최적인지 확인합니다. 참가자가 삐 소리가 시작될 때 확고한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 하도록 합니다.
손 위치 4의 경우, 참가자에게 손을 자유롭게 움직이면서 동적 손 위치 1, 동적 손 위치 2 또는 동적 손 위치 3을 선택하여 손가락 제스처를 수행하도록 요청합니다. 컴퓨터를 켜고 Python을 연 다음 스크립트를 data_collection.py 로드합니다. 참가자의 손 위치에 맞게 손 추적 카메라 위치와 각도를 조정합니다.
data_collection 실행합니다. py 스크립트. 참가자의 세부 정보를 입력할 수 있는 창이 나타납니다.
필요한 정보를 입력하고 확인을 눌러 실험을 자동으로 시작합니다. 각 세션에 대해 EMG 및 핸드 트래킹 데이터를 기록하면 자동으로 저장됩니다. 실험이 끝나면 참가자 일련 번호가 표시된 폴더에 데이터가 자동으로 저장되는지 확인합니다.
각 세션이 P 번호로 레이블이 지정된 각 손 위치에 대해 4개의 하위 폴더를 포함하는 S 번호라는 하위 폴더에 저장되어 있는지 확인합니다. 참가자가 여러 세션을 완료하는 경우 모든 데이터가 해당 세션 폴더에 저장되었는지 확인합니다. 각 손 위치 폴더에 EDF 파일에 저장된 EMG 데이터, CSV 파일에 저장된 손 추적 데이터 및 세션에 대한 메타데이터가 포함된 로그 파일이 포함되어 있는지 확인합니다.
EMG 채널은 휴지 단계에 비해 외전 단계 동안 증가된 전기 활동을 보였으며, 이는 모든 채널에서 더 높은 진폭 신호에서 명백히 드러났으며, 날카로운 스파이크로 표시된 기계적 인공물에서 알 수 있습니다. 손 운동학 데이터는 지시된 외전 제스처에 해당하는 동기화된 손가락 각도 변화를 보여주었으며, 방해받지 않는 추적 중 안정적인 신호 궤적과 잘못 정렬된 부분에서 눈에 띄는 편차를 보여주었습니다.
개요
이 연구는 자연스러운 손가락 제스처 동안 손의 근전도(EMG)와 시각적 손가락 추적을 동시에 기록하는 프로토콜을 제시합니다. 시각적 데이터는 제스처 인식을 위한 정확한 EMG 기반 모델을 개발하는 기준 데이터로 사용됩니다.
주요 연구 요소
과학 분야
- 신경과학
- 근전도
- 제스처 인식
배경
- 동적 손 제스처 인식은 보철물 재활 응용 프로그램에 중요합니다.
- 근육 활동을 손가락 제스처에 매핑하면 인간-컴퓨터 상호작용이 향상됩니다.
- 기존 방법은 종종 정적 설정에 의존하여 데이터의 현실성을 제한합니다.
- 이 연구는 동적 움직임 중에 EMG 및 시각적 데이터를 동기화하여 격차를 해결합니다.
연구 목적
- 동적 손 제스처 인식의 정확도를 향상시키기 위함입니다.
- 손가락 제스처 인식을 위한 강력한 계산 모델을 개발합니다.
- 다양한 손 위치에서 근육 활동을 매핑할 수 있게 합니다.
사용된 방법
- 무선 EMG 및 손 추적 시스템이 사용되었습니다.
- 참가자들은 여러 손 위치에서 제스처를 수행했습니다.
- 데이터 수집 및 분석을 위해 맞춤형 Python 스크립트가 사용되었습니다.
- 실험 중에 실시간 신호 품질 검증이 수행되었습니다.
주요 결과
- EMG 및 시각적 데이터의 성공적인 동기화가 달성되었습니다.
- 다양한 동적 손 위치에 대한 데이터 수집이 완료되었습니다.
- EMG 데이터 품질이 검증되었으며 노이즈가 없는 깨끗한 데이터임이 확인되었습니다.
- 데이터는 참가자 세션을 기반으로 분석을 위해 체계적으로 구성되었습니다.
결론
- 이 프로토콜은 근육 활동을 손가락 제스처에 효과적으로 매핑할 수 있게 합니다.
- 결과는 정확한 제스처 인식 모델 개발을 지원합니다.
- 이 접근 방식은 재활 및 상호작용 기술 응용 프로그램의 잠재력을 향상시킵니다.
자주 묻는 질문
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
