고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

우리의 연구는 동기화된 EMG 및 시각적 데이터를 사용하여 동적 손 제스처 인식을 개선하는 데 중점을 둡니다. 우리는 근육 활동이 다양한 손 위치에서 손가락 제스처에 얼마나 정확하게 매핑되는지, 그리고 이것이 보철 재활 및 인간-컴퓨터 상호 작용에 대한 적용을 향상시킬 수 있는 방법을 결정하는 것을 목표로 합니다. 우리의 프로토콜은 다양한 동적 손 위치에서 손가락 제스처에 대한 근육 활동의 매핑을 가능하게 함으로써 손 제스처 인식의 격차를 해결합니다.

우리의 접근 방식은 역동적인 움직임 중에 DMG 및 시각적 데이터를 수집하고 동기화하여 강력한 제스처 인식 모델을 개발하기 위한 토대를 마련합니다. 정적 설정을 사용하는 기존 방법과 달리 당사의 프로토콜은 동적 움직임 중에 무선 EMGRA와 손 추적 시스템을 사용하여 제스처 인식 연구를 위한 유연성과 보다 사실적인 데이터 수집을 보장합니다. 시작하려면 GitHub 리포지토리를 열고 설치 섹션의 자세한 지침을 따릅니다.

기본 Python 파일인 data_collection를 찾습니다. py를 폴더에 넣고 실험을 실행할 준비를 합니다. 스크립트 스펙트로그램을 사용합니다.

py를 사용하여 근전도, 간단히 말해 EMG 신호 품질을 평가하고 신호 필터링 및 분할을 위한 데이터 분석 스크립트를 사용할 수 있습니다. EMG 데이터 수집 장치(줄여서 DAU)가 각 세션 전에 완전히 충전되었는지 확인하십시오. 그런 다음 DAU를 켭니다.

전용 애플리케이션을 사용하여 Bluetooth를 통해 DAU를 PC에 연결합니다. Bluetooth 통신 속도를 초당 500초로 설정합니다. PC에 핸드 트래킹 카메라 소프트웨어를 설치하고 엽니다. 케이블을 사용하여 핸드 트래킹 카메라를 PC에 연결합니다.

한 화면을 사용하여 핸드 트래킹 카메라 소프트웨어를 항상 표시할 수 있습니다. 시작하려면 참가자에게 오른손을 구부려 강한 주먹을 쥐도록 지시합니다. 참가자가 몸을 구부릴 때 팔뚝을 따라 부드럽게 눌러 근육을 촉진하고 가장 두드러진 활성화가 있는 지점을 식별합니다.

EMG 전극 어레이에서 흰색 보호층을 벗겨내고 식별된 팔뚝 부위에 전극을 조심스럽게 부착합니다. 접착 테이프를 손바닥 가까이에 놓고 부드럽게 두드려 전극 배열을 피부에 고정합니다. 전극 어레이가 피부에 부착되면 투명 지지층을 벗겨냅니다.

그런 다음 전극 어레이 커넥터 카드를 DAU 커넥터 소켓에 삽입합니다. 전극 옆에 있는 접착 테이프에 DAU를 부착합니다. 사용자 지정 Python 스펙트로그램 스크립트를 실행하여 실시간 신호 품질을 확인합니다.

모든 전극에 대해 왼쪽에는 원시 데이터, 오른쪽에는 주파수 도메인 데이터가 표시되는 표시된 창을 관찰합니다. 모든 전극이 감지되고 제대로 작동하는지, 신호가 과도한 잡음과 50헤르츠 잡음으로 깨끗한지 확인합니다. 필요한 경우 불필요한 장비 장치의 전원을 차단하고 전자 장치에서 멀리 떨어뜨려 잡음을 줄여 신호가 안정화될 시간을 허용합니다.

다음으로, 참가자에게 안락의자에 팔꿈치를 대고 손가락을 움직이도록 지시한 다음 긴장을 풀도록 요청합니다. 명확한 EMG 신호가 표시되고 정적 베이스라인 노이즈가 표시되는지 확인합니다. 신호 확인이 완료되면 스크립트를 닫습니다.

위치를 검토하려면 손가락 포즈 추정을 클릭한 다음 데이터 수집을 클릭하여 이미지 폴더를 엽니다. 참가자와 함께 제스처 이미지를 검토합니다. 참가자에게 포핸드 위치를 명확하게 설명하십시오.

각 세션 전에 손을 잡는 방법을 지시하여 올바른 자세와 위치를 확인하십시오. 손 위치 1의 경우 참가자에게 테이블에서 약 1미터 떨어진 곳에 똑바로 서도록 요청합니다. 그런 다음 참가자에게 손바닥이 손 추적 카메라를 향하도록 오른손을 곧고 편안하게 내리도록 지시합니다.

셀카봉을 사용하여 테이블 위에 손 추적 카메라를 고정하고 참가자의 손을 향하도록 합니다. 참가자가 삐 소리가 시작될 때 단단한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 펴도록 합니다. 손 위치 2의 경우 참가자에게 모니터에서 40-70cm 떨어진 안락의자에 편안하게 앉도록 지시합니다.

그런 다음 참가자에게 손바닥을 풀고 손 추적 카메라를 향하게 하여 오른손을 90도 각도로 앞으로 뻗도록 요청합니다. 손을 안정적으로 잡기 위해 필요한 경우 보조 장치를 사용하십시오. 핸드 트래킹 카메라를 위를 향하도록 테이블 위에 놓습니다.

참가자가 삐 소리가 시작될 때 단단한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 펴도록 합니다. 손 위치 3의 경우, 참가자에게 팔꿈치를 안락의자에 대고 손을 위로 접도록 요청합니다. 손바닥이 이완되고 손 추적 카메라를 향하고 있는지 확인합니다.

참가자의 손을 향하도록 테이블에 손 추적 카메라를 고정합니다. 참가자의 위치가 화면을 보는 것과 카메라의 시야 내에 있는 것 모두에 최적인지 확인합니다. 참가자가 삐 소리가 시작될 때 확고한 제스처를 취한 다음 휴식 시간 동안 손바닥을 편안하게 하도록 합니다.

손 위치 4의 경우, 참가자에게 손을 자유롭게 움직이면서 동적 손 위치 1, 동적 손 위치 2 또는 동적 손 위치 3을 선택하여 손가락 제스처를 수행하도록 요청합니다. 컴퓨터를 켜고 Python을 연 다음 스크립트를 data_collection.py 로드합니다. 참가자의 손 위치에 맞게 손 추적 카메라 위치와 각도를 조정합니다.

data_collection 실행합니다. py 스크립트. 참가자의 세부 정보를 입력할 수 있는 창이 나타납니다.

필요한 정보를 입력하고 확인을 눌러 실험을 자동으로 시작합니다. 각 세션에 대해 EMG 및 핸드 트래킹 데이터를 기록하면 자동으로 저장됩니다. 실험이 끝나면 참가자 일련 번호가 표시된 폴더에 데이터가 자동으로 저장되는지 확인합니다.

각 세션이 P 번호로 레이블이 지정된 각 손 위치에 대해 4개의 하위 폴더를 포함하는 S 번호라는 하위 폴더에 저장되어 있는지 확인합니다. 참가자가 여러 세션을 완료하는 경우 모든 데이터가 해당 세션 폴더에 저장되었는지 확인합니다. 각 손 위치 폴더에 EDF 파일에 저장된 EMG 데이터, CSV 파일에 저장된 손 추적 데이터 및 세션에 대한 메타데이터가 포함된 로그 파일이 포함되어 있는지 확인합니다.

EMG 채널은 휴지 단계에 비해 외전 단계 동안 증가된 전기 활동을 보였으며, 이는 모든 채널에서 더 높은 진폭 신호에서 명백히 드러났으며, 날카로운 스파이크로 표시된 기계적 인공물에서 알 수 있습니다. 손 운동학 데이터는 지시된 외전 제스처에 해당하는 동기화된 손가락 각도 변화를 보여주었으며, 방해받지 않는 추적 중 안정적인 신호 궤적과 잘못 정렬된 부분에서 눈에 띄는 편차를 보여주었습니다.