Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego
28 marca 2025
Artykuł przedstawia kompleksowy protokół jednoczesnego rejestrowania elektromiografii dłoni (EMG) i wizualnego śledzenia palców podczas naturalnej gestykulacji palcami. Dane wizualne mają służyć jako podstawa do opracowania dokładnych modeli obliczeniowych opartych na EMG do rozpoznawania gestów palców.
Nasze badania koncentrują się na poprawie dynamicznego rozpoznawania gestów dłoni za pomocą zsynchronizowanego EMG i danych wizualnych. Naszym celem jest określenie, jak dokładnie aktywność mięśni odwzorowuje gesty palców w różnych pozycjach dłoni i jak może to poprawić zastosowanie w rehabilitacji protetycznej i interakcji człowiek-komputer. Nasz protokół wypełnia lukę w rozpoznawaniu gestów dłoni, umożliwiając mapowanie aktywności mięśni na gesty palców w różnych dynamicznych pozycjach dłoni.
Nasze podejście polega na gromadzeniu i synchronizowaniu danych DMG i wizualnych podczas dynamicznych ruchów, kładąc podwaliny pod opracowanie solidnych modeli rozpoznawania gestów. W przeciwieństwie do tradycyjnych metod z ustawieniami statycznymi, nasz protokół wykorzystuje bezprzewodowy EMGRA i system śledzenia dłoni podczas dynamicznych ruchów, zapewniając elastyczność i bardziej realistyczne gromadzenie danych do badań nad rozpoznawaniem gestów. Aby rozpocząć, otwórz repozytorium GitHub i postępuj zgodnie ze szczegółowymi instrukcjami w sekcji instalacji.
Znajdź podstawowy plik języka Python (data_collection. py) w folderze i przygotuj go do uruchomienia eksperymentu. Użyj spektrogramu skryptu.
py do oceny elektromiografii, w skrócie jakości sygnału EMG, oraz skryptu analizy danych do filtrowania i segmentacji sygnału. Upewnij się, że jednostka akwizycji danych EMG, w skrócie DAU, jest w pełni naładowana przed każdą sesją. Następnie włącz DAU.
Podłącz DAU do komputera przez Bluetooth za pomocą dedykowanej aplikacji. Ustaw szybkość komunikacji Bluetooth na 500 próbek na sekundę. Zainstaluj i otwórz oprogramowanie kamery śledzącej rękę na komputerze. Podłącz kamerę śledzącą rękę do komputera za pomocą.
Użyj jednego ekranu, aby zawsze wyświetlać oprogramowanie kamery śledzącej rękę. Na początek poinstruuj uczestnika, aby zgiął prawą rękę w mocną pięść. Gdy uczestnik się zgina, delikatnie naciskaj wzdłuż jego przedramienia, aby dotknąć mięśnia i zidentyfikować miejsce z najbardziej widoczną aktywacją.
Zdejmij białą warstwę ochronną z matrycy elektrod EMG i ostrożnie przymocuj elektrody do zidentyfikowanego obszaru przedramienia. Umieść taśmę samoprzylepną blisko dłoni i delikatnie postukaj w nią, aby przymocować matrycę elektrod do skóry. Po przymocowaniu matrycy elektrod do skóry zdejmij przezroczystą warstwę nośną.
Następnie włóż kartę złącza matrycy elektrod do gniazda złącza DAU. Przymocuj DAU do taśmy samoprzylepnej obok elektrod. Uruchom niestandardowy skrypt spektrogramu języka Python, aby zweryfikować jakość sygnału w czasie rzeczywistym.
Obserwuj wyświetlone okno pokazujące surowe dane po lewej stronie i dane w dziedzinie częstotliwości po prawej stronie dla wszystkich elektrod. Sprawdź, czy wszystkie elektrody są wykrywane i działają prawidłowo oraz czy sygnał jest wolny od nadmiernych szumów i szumów 50 Hz. W razie potrzeby odłącz niepotrzebne urządzenia od zasilania i odsuń się od urządzeń elektronicznych, aby zredukować szumy, dając czas na ustabilizowanie się sygnału.
Następnie poinstruuj uczestnika, aby położył łokieć na fotelu i poruszał palcami, a następnie poproś o relaks. Upewnij się, że wyświetlany jest wyraźny sygnał EMG, po którym następuje statyczny szum linii podstawowej. Zamknij skrypt po zakończeniu weryfikacji sygnału.
Aby przejrzeć pozycję, kliknij oszacowanie ułożenia palca, a następnie akwizycję danych, aby otworzyć folder obrazów. Przejrzyj obrazy gestów z uczestnikiem. Wyjaśnij uczestnikowi w jasny sposób pozycje forehandowe.
Poinstruuj ich, jak trzymać rękę przed każdą sesją, dbając o prawidłową postawę i pozycję. W przypadku pierwszej pozycji ręki poproś uczestnika, aby stanął prosto, w odległości około jednego metra od stołu. Następnie poinstruuj uczestnika, aby trzymał prawą rękę w dół, prosto i zrelaksowany, z dłonią skierowaną w stronę kamery śledzącej dłoń.
Zamocuj kamerę śledzącą rękę na stole za pomocą kijka do selfie i skieruj ją w stronę ręki uczestnika. Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku. W przypadku drugiej pozycji ręki poinstruuj uczestnika, aby usiadł wygodnie w fotelu, w odległości od 40 do 70 centymetrów od monitorów.
Następnie poproś uczestnika, aby wyciągnął prawą rękę do przodu pod kątem 90 stopni, z rozluźnioną dłonią i skierowaną w stronę kamery śledzącej rękę. W razie potrzeby użyj urządzenia podtrzymującego, aby stabilnie trzymać rękę. Umieść kamerę śledzącą wskazówki na stole skierowaną do góry.
Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku. W trzeciej pozycji ręki poproś uczestnika, aby złożył rękę do góry, opierając łokieć na fotelu. Upewnij się, że dłoń jest rozluźniona i skierowana w stronę kamery śledzącej dłoń.
Zamocuj kamerę śledzącą rękę na stole skierowaną w stronę dłoni uczestnika. Upewnij się, że pozycja uczestnika jest optymalna zarówno do oglądania ekranów, jak i znajdowania się w polu widzenia kamery. Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku.
W przypadku czwartej pozycji ręki poproś uczestnika, aby wykonywał gesty palcami podczas swobodnego poruszania ręką, wybierając dynamiczną pozycję ręki pierwszą, dynamiczną pozycję ręki drugą lub dynamiczną pozycję ręki trzecią. Włącz komputer, otwórz język Python i załaduj skrypt data_collection.py. Dostosuj pozycję i kąt kamery śledzącej rękę, aby wyrównać ją z pozycją dłoni uczestnika.
Uruchom skrypt data_collection. py. Pojawi się okno, w którym można wprowadzić dane uczestnika.
Wypełnij wymagane informacje i naciśnij OK, aby automatycznie rozpocząć eksperyment. Dla każdej sesji zapisuj dane EMG i śledzenia dłoni, które są automatycznie zapisywane. Po zakończeniu eksperymentu upewnij się, że dane są automatycznie zapisywane w folderze oznaczonym numerem seryjnym uczestnika.
Sprawdź, czy każda sesja jest przechowywana w podfolderze o nazwie Numer S, zawierającym cztery podfoldery dla każdej pozycji ręki oznaczonej jako numer P. Jeśli uczestnik ukończy wiele sesji, upewnij się, że wszystkie dane są zapisane w odpowiednim folderze sesji. Upewnij się, że każdy folder pozycji ręki zawiera dane EMG zapisane w pliku EDF, dane śledzenia dłoni zapisane w pliku CSV oraz plik dziennika zawierający metadane dotyczące sesji.
Kanały EMG wykazywały zwiększoną aktywność elektryczną podczas faz odwodzenia w porównaniu z fazami spoczynku, co jest widoczne w sygnałach o wyższej amplitudzie we wszystkich kanałach, z artefaktami mechanicznymi zaznaczonymi ostrymi kolcami. Dane kinematyczne dłoni wykazały zsynchronizowane zmiany kąta nachylenia palców odpowiadające poinstruowanym gestom odwodzenia, ze stabilnymi trajektoriami sygnału podczas niezakłóconego śledzenia i widocznymi odchyleniami w niewspółosiowych sekcjach.
Przegląd
To badanie przedstawia protokół jednoczesnego rejestrowania elektromięśniografii (EMG) dłoni i śledzenia ruchów palców wzrokowo podczas naturalnych ruchów palców. Dane wizualne służą jako prawda podstawowa do opracowania dokładnych modeli opartych na EMG do rozpoznawania gestów.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Elektromiografia
- Rozpoznawanie gestów
Tło
- Rozpoznawanie dynamicznych gestów dłoni jest kluczowe dla zastosowań w rehabilitacji protetycznej.
- Mapowanie aktywności mięśni na gesty palców poprawia interakcję człowiek-komputer.
- Istniejące metody często opierają się na statycznych konfiguracjach, co ogranicza realizm danych.
- To badanie uzupełnia lukę poprzez synchronizację danych EMG i wizualnych podczas dynamicznych ruchów.
Cel badania
- Poprawić dokładność w dynamicznym rozpoznawaniu gestów dłoni.
- Opracować solidne modele obliczeniowe do rozpoznawania gestów palców.
- Umożliwić mapowanie aktywności mięśni w różnych pozycjach dłoni.
Stosowane metody
- Wykorzystano bezprzewodowe systemy EMG i śledzenia dłoni.
- Uczestnicy wykonywali gesty w wielu pozycjach dłoni.
- Do zbierania i analizy danych wykorzystano niestandardowe skrypty Python.
- Podczas eksperymentu przeprowadzano weryfikację jakości sygnału w czasie rzeczywistym.
Główne wyniki
- Osiągnięto pomyślną synchronizację danych EMG i wizualnych.
- Zebrano dane dla różnych dynamicznych pozycji dłoni.
- Jakość danych EMG została zweryfikowana i upewniono się, że są czyste od szumów.
- Dane zostały systematycznie zorganizowane do analizy na podstawie sesji uczestników.
Wnioski
- Protokół umożliwia efektywne mapowanie aktywności mięśni na gesty palców.
- Wyniki wspierają rozwój dokładnych modeli rozpoznawania gestów.
- To podejście zwiększa potencjał zastosowań w rehabilitacji i technologiach interakcji.
Często zadawane pytania
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
