Method Article

Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego

DOI:

10.3791/67766

⸱

March 28th, 2025

 ,  ,  ,  ,  , 
1School of Electrical Engineering, Tel Aviv University, 2Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), 3X-trodes Ltd.

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Artykuł przedstawia kompleksowy protokół jednoczesnego rejestrowania elektromiografii dłoni (EMG) i wizualnego śledzenia palców podczas naturalnej gestykulacji palcami. Dane wizualne mają służyć jako podstawa do opracowania dokładnych modeli obliczeniowych opartych na EMG do rozpoznawania gestów palców.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gesty palcami są kluczowym elementem komunikacji międzyludzkiej, dlatego rozpoznawanie gestów palcami jest szeroko badane jako interfejs człowiek-komputer dla najnowocześniejszych protez i zoptymalizowanej rehabilitacji. Elektromiografia powierzchniowa (sEMG), w połączeniu z metodami głębokiego uczenia, jest uważana za obiecującą metodę w tej dziedzinie. Jednak obecne metody często opierają się na kłopotliwych ustawieniach nagrywania i identyfikacji statycznych pozycji dłoni, co ogranicza ich skuteczność w rzeczywistych zastosowaniach. Raportowany przez nas protokół przedstawia zaawansowane podejście łączące EMG z powierzchnią do noszenia na ciele i system śledzenia palców w celu przechwytywania kompleksowych danych podczas dynamicznych ruchów dłoni. Metoda rejestruje aktywność mięśni na podstawie miękko wydrukowanych matryc elektrod (16 elektrod) umieszczonych na przedramieniu, gdy badani wykonują gesty w różnych pozycjach dłoni i podczas ruchu. Instrukcje wizualne zachęcają badanych do wykonywania określonych gestów, podczas gdy EMG i pozycje palców są rejestrowane. Integracja zsynchronizowanych zapisów EMG i danych śledzenia palców umożliwia kompleksową analizę wzorców aktywności mięśni i odpowiadających im gestów. Przedstawione podejście pokazuje potencjał połączenia technologii EMG i śledzenia wizualnego jako ważnego zasobu do opracowywania intuicyjnych i responsywnych systemów rozpoznawania gestów z zastosowaniami w protetyce, rehabilitacji i technologiach interaktywnych. Protokół ten ma na celu udzielenie wskazówek badaczom i praktykom, wspieranie dalszych innowacji i zastosowania rozpoznawania gestów w dynamicznych i rzeczywistych scenariuszach.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gestykulacja rąk jest niezbędna w komunikacji międzyludzkiej, co sprawia, że rozpoznawanie gestów palcami jest kluczowym obszarem badań w różnych dziedzinach, takich jak interakcja człowiek-komputer, zaawansowane protetyki1,2,3,4, oraz technologie rehabilitacji5,6. W rezultacie, rozpoznawanie gestów palcami przyciągnęło znaczną uwagę ze względu na jego potencjał do ulepszania intuicyjnych systemów sterowania i urządzeń wspomagających. Elektromiografia powierzchniowa (sEMG) w połączeniu z algorytmami głębokiego uczenia staje się bardzo obiecującym podejściem do uchwycenia i interpretacji tych gestów ze względu na jej zdolność do wykrywania aktywności elektrycznej mięśni związanych z ruchami dłoni7,8,9,10,11,12,13,14,15.

Jednakże, pomimo tych postępów, obecne podejścia napotykają na ograniczenia w rzeczywistych zastosowaniach. Większość istniejących systemów wymaga złożonych, kłopotliwych konfiguracji nagrywania z licznymi elektrodami5,7,9,16,17 i precyzyjne pozycjonowanie3,18, które często są trudne do wdrożenia poza kontrolowanymi środowiskami. Ponadto systemy te mają tendencję do skupiania się na statycznych pozycjach dłoni13,18,19,20,21, ograniczając ich zdolność do interpretowania dynamicznych, płynnych gestów, które występują w codziennych czynnościach. Protokół ma na celu rozwiązanie tych ograniczeń poprzez wspieranie dynamicznego rozpoznawania gestów w bardziej naturalnych warunkach. Taka metodologia umożliwiłaby bardziej praktyczne i przyjazne dla użytkownika zastosowania w dziedzinach takich jak protetyka i rehabilitacja, gdzie niezbędna jest naturalna interpretacja gestów w czasie rzeczywistym.

Aby sprostać tym wyzwaniom, opracowanie dokładniejszych i bardziej elastycznych algorytmów wymaga zestawów danych, które odzwierciedlają naturalne, codzienne warunki3,4. Takie zestawy danych muszą rejestrować szeroki zakres dynamicznych ruchów, różne pozycje dłoni i duże ilości danych, aby zapewnić niezawodność modelu. Co więcej, zmienność między zestawami danych treningowych i testowych ma kluczowe znaczenie, umożliwiając modelom uogólnianie różnych postaw rąk, wzorców aktywacji mięśni i ruchów. Uwzględnienie takiej różnorodności w danych umożliwi algorytmom dokładniejsze rozpoznawanie gestów w codziennych, rzeczywistych aplikacjach22.

Pokonanie tych wyzwań będzie niezbędne dla przyszłego rozwoju bardziej praktycznych i szeroko stosowanych systemów rozpoznawania gestów. Opisane tutaj badanie i protokół wynikają z potrzeby posiadania przenośnej, przyjaznej dla użytkownika konfiguracji, która może rejestrować dynamiczne ruchy dłoni w naturalnych warunkach. Kompleksowe zestawy danych i zaawansowane algorytmy mają kluczowe znaczenie dla pełnego uwolnienia potencjału sEMG i głębokiego uczenia się w interfejsach człowiek-komputer, neuroprotetyce i technologiach rehabilitacyjnych. Oczekujemy, że ten protokół przyczyni się do rozwoju tej dziedziny, ułatwiając kompleksowe gromadzenie danych, aby jeszcze bardziej umożliwić rozwój modeli algorytmów, które uogólniają się na różne pozycje rąk.

Dużym wyzwaniem w rozpoznawaniu gestów jest wrażliwość sygnałów sEMG na ułożenie dłoni. Podczas gdy wiele badań koncentruje się na stałych pozycjach dłoni do przewidywania gestów, rzeczywiste zastosowania wymagają modeli zdolnych do rozpoznawania ruchów palców w różnych pozycjach dłoni. Najnowsze podejścia rozwiązały ten problem, włączając widzenie komputerowe jako podstawowe odniesienie do prawdy, zwiększając dokładność i elastyczność tych modeli15,19. Ponadto modele hybrydowe, które integrują sygnały sEMG z danymi wizualnymi, oferują dalszą poprawę dokładności rozpoznawania w różnych scenariuszach23.

W tym protokole prezentujemy zsynchronizowane podejście do zbierania danych, które zwiększa dynamiczne rozpoznawanie gestów, włączając zarówno dane EMG, jak i dane śledzenia dłoni w warunkach zbliżonych do rzeczywistych. W przeciwieństwie do tradycyjnych metod, które ograniczają wykonywanie gestów do pozycji statycznych, ten protokół obejmuje gesty wykonywane w czterech różnych pozycjach: ręka w dół, ręka w górę, ręka wyprostowana i ręka w ruchu. Kamera śledząca ruchy dłoni śledzi ruchy dłoni w trójwymiarowej interaktywnej strefie, identyfikując wyraźne elementy dłoni i rejestrując dynamiczne ruchy w wysokiej rozdzielczości. Miękki układ 16 elektrod umieszczonych na przedramieniu w celu rejestrowania aktywności mięśni zapewnia stabilne i bezprzewodowe zapisy bez ograniczania mobilności uczestników. Zsynchronizowane dane z tych dwóch źródeł stanowią kompleksową podstawę do opracowania zaawansowanych algorytmów rozpoznawania gestów zdolnych do działania w warunkach rzeczywistych. Podejście to w szczególności odnosi się do ograniczeń obecnych konfiguracji, ułatwiając swobodny ruch i stabilne nagrywanie sygnału w realistycznych scenariuszach. Postęp ten wspiera technologie rozpoznawania gestów do zastosowań w protetyce, rehabilitacji i technologiach interaktywnych, w których niezbędne jest intuicyjne sterowanie i elastyczność.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zdrowi uczestnicy (n = 18, w wieku 18-32 lat, zarówno mężczyźni, jak i kobiety) zostali zrekrutowani do tego badania, które zostało zatwierdzone przez Komisję Etyki Uniwersytetu w Tel Awiwie (Zatwierdzenie nr 0004877-3). Protokół jest zgodny z wytycznymi zarządu dotyczącymi badań z udziałem ludzi. Uzyskano świadomą zgodę od wszystkich uczestników zgodnie z wymogami instytucjonalnymi.

1. Odprawa eksperymentatora

  1. Poproś uczestników, aby wykonali serię 14 różnych gestów palcami (patrz Rysunek 1) i powtórzyli każdy gest 7 razy w losowej kolejności. Poproś ich, aby utrzymywali każdy gest mocno przez 5 sekund, po czym nastąpi 3-sekundowy okres odpoczynku. Łączny czas trwania każdej sesji to 13:04 min.
  2. Dużemu obrazowi gestu wyświetlanemu na ekranie komputera towarzyszy licznik czasu wskazujący wykonanie gestu. W czasie odpoczynku poproś uczestnika, aby spojrzał na mały obrazek przedstawiający pokazany nadchodzący gest wraz z licznikiem czasu wskazującym pozostały czas odpoczynku. Dwa odrębne sygnały dźwiękowe sygnalizują początek i koniec każdego gestu, pomagając uczestnikom przygotować się do następnego gestu.
  3. Poproś każdego uczestnika, aby wykonał procedurę w czterech różnych pozycjach, podobnie jak poprzednio przedstawione22:
    Pozycja 1: Uczestnik stojący. Ręka w dół, wyprostowana i zrelaksowana.
    Pozycja 2: Uczestnik siedzący w fotelu. Ręka wyciągnięta do przodu pod kątem 90°, dłoń rozluźniona (można użyć urządzenia podpierającego).
    Pozycja 3: Ręka złożona do góry (z łokciem opartym na fotelu), dłoń rozluźniona.
    Pozycja 4: Uczestnik wybiera jedną z poprzednich pozycji i może swobodnie poruszać ręką w zakresie wykrywania kamery, monitorowanym w czasie rzeczywistym na ekranie komputera (więcej szczegółów w kroku 1.4).
  4. Podczas każdej sesji poproś uczestnika, aby założył urządzenie elektromiograficzne na ramieniu i skieruj do niego kamerę śledzącą dłoń. Poproś uczestników, aby upewnili się, że ich dłonie są zawsze skierowane w stronę kamery. Oprogramowanie do śledzenia dłoni jest wyświetlane na osobnym ekranie, dzięki czemu zarówno uczestnik, jak i konduktor mogą sprawdzić, czy wskazówka została prawidłowo rozpoznana.
  5. Dla każdej pozycji dostosuj pozycję i kąt kamery śledzącej rękę, aby zapewnić dokładne rozpoznawanie dłoni. Dodatkowo oceń jakość sygnałów z elektrod za pomocą skryptu spektrogramu.

figure-protocol-1
Rysunek 1: Schematyczne przedstawienie procesu zbierania danych. Pacjent jest wyposażony w miękki układ elektrod umieszczony na przedramieniu (3), który przechwytuje sygnały elektromiografii powierzchniowej o wysokiej rozdzielczości (sEMG) podczas wykonywania gestów. Badany wykonuje 14 różnych gestów palcami prezentowanych w losowej kolejności na wyświetlaczu komputera (4). Dane EMG są przesyłane bezprzewodowo do komputera osobistego (PC) z jednostki akwizycji danych (DAU; 1). Jednocześnie dane kinematyczne ręki (HKD) reprezentujące kąty stawów palców są rejestrowane za pomocą kamery śledzącej rękę (2). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

2. Ustawianie jednostek akwizycji danych

  1. Otwórz repozytorium Github pod adresem https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git i postępuj zgodnie ze szczegółowymi instrukcjami w sekcji Instalacja. Znajdź podstawowy plik Pythona data_collection.py w folderze finger_pose_estimation/data_acquisition. Użyj tego, aby uruchomić eksperyment, użyj skryptu spectrogram.py do oceny jakości sygnału EMG przed rozpoczęciem eksperymentu, a skrypt data_analysis.py do filtrowania i segmentacji sygnału.
  2. Upewnij się, że EMG Data Acquisition Unit (DAU) jest w pełni naładowany przed każdą sesją i włącz ją.
  3. Podłącz DAU do komputera przez Bluetooth za pomocą dedykowanej aplikacji. Ustaw szybkość komunikacji Bluetooth na 500 próbek na sekundę (S/s).
  4. Zainstaluj i otwórz oprogramowanie kamery śledzącej rękę na komputerze. Podłącz kamerę śledzącą rękę do komputera za pomocą.
  5. Użyj jednego ekranu, aby zawsze wyświetlać oprogramowanie kamery śledzącej rękę. W ten sposób dyrygent i uczestnik będą mogli upewnić się, że kamera prawidłowo rozpozna rękę podczas eksperymentu.

3. Przygotowanie uczestników

  1. Wprowadzenie i zgoda
    1. Krótko wyjaśnij uczestnikowi znaczenie badania i procedurę eksperymentalną. Uzyskaj świadomą zgodę zgodnie z wytycznymi instytucjonalnymi dotyczącymi badań z udziałem ludzi.
  2. Umieszczenie elektrod
    1. Poinstruuj uczestnika, aby zgiął prawą rękę, formując silną pięść. Podczas gdy uczestnik zgina się, dotykaj przedramienia, delikatnie naciskając wzdłuż mięśnia, aby zidentyfikować miejsce, w którym aktywacja mięśni jest najbardziej widoczna. To miejsce można łatwo zidentyfikować, wyczuwając obszar, w którym mięsień wybrzusza się podczas skurczu.
    2. Opcjonalnie: Przygotuj zidentyfikowany obszar skóry, czyszcząc go szmatką bez włókien nasączonych alkoholem, żelem lub wodą z mydłem. Pozostaw obszar do wyschnięcia na powietrzu. Unikaj nadmiernego czyszczenia alkoholem, ponieważ może on wysuszyć skórę. Ten krok jest opcjonalny; Zobacz sekcję Dyskusja.
    3. Zdejmij białą warstwę ochronną z matrycy elektrod EMG i ostrożnie przymocuj elektrody do zidentyfikowanego obszaru przedramienia, jak określono w kroku 3.2.1. (patrz Rysunek 1). Upewnij się, że taśma samoprzylepna znajduje się bliżej dłoni. Przymocuj matrycę elektrod do skóry, delikatnie stukając.
    4. Po przymocowaniu matrycy elektrod do skóry zdejmij przezroczystą warstwę nośną.
    5. Włóż kartę złącza matrycy elektrod do gniazda złącza DAU. Przymocuj DAU do taśmy samoprzylepnej obok elektrod.
    6. Uruchom niestandardowy skrypt spektrogramu Pythona Spectrogram.py aby zweryfikować jakość sygnału w czasie rzeczywistym. Pojawi się okno wyświetlające surowe dane (po lewej stronie) i dziedzinę częstotliwości (po prawej) dla wszystkich elektrod (patrz rysunek uzupełniający 1 w celach informacyjnych).
      1. Sprawdź, czy wszystkie elektrody są wykrywane i działają prawidłowo oraz czy sygnał jest wolny od nadmiernych szumów i szumów 50 Hz.
      2. W razie potrzeby zmniejsz hałas 50 Hz, odsuwając się od urządzeń elektronicznych, które mogą powodować zakłócenia i odłączając niepotrzebne urządzenia od zasilania. Poczekaj, aż sygnał się ustabilizuje.
      3. Sprawdź przechwytywanie sygnału EMG: poinstruuj uczestnika, aby położył łokieć na fotelu i poruszał palcami, a następnie rozluźnił się. Upewnij się, że wyświetlany jest wyraźny sygnał EMG, a następnie statyczny szum linii podstawowej.
      4. Zamknij skrypt po zakończeniu weryfikacji sygnału.
  3. Przegląd gestów i pozycji dłoni
    1. Otwórz folder Obrazy, klikając Finger_pose_estimation > Data_acquisition. Przejrzyj obrazy gestów z uczestnikami.
    2. Upewnij się, że rozumieją każdy ruch i potrafią go dokładnie wykonać. Wyjaśnij uczestnikowi dokładnie pozycje czterech rąk.
    3. Poinstruuj uczestnika, jak trzymać rękę przed każdą sesją, dbając o prawidłową postawę i pozycję.
  4. Umiejscowienie uczestnika i kamery
    1. W przypadku pozycji ręki 1 poinstruuj uczestnika, aby stał prosto w odległości około 1 m od stołu. Poinstruuj uczestnika, aby trzymał prawą rękę w dół, prosto i zrelaksowany, z dłonią skierowaną w stronę kamery śledzącej dłoń. Zamocuj kamerę śledzącą rękę na stole za pomocą kijka do selfie i skieruj ją w stronę dłoni uczestnika.
    2. W przypadku pozycji ręki 2 poinstruuj uczestnika, aby usiadł wygodnie w fotelu umieszczonym w odległości 40-70 cm od monitorów. Poinstruuj uczestnika, aby wyciągnął prawą rękę do przodu pod kątem 90° z rozluźnioną dłonią skierowaną w stronę kamery śledzącej dłoń. W razie potrzeby użyj urządzenia podtrzymującego, aby stabilnie trzymać rękę. Umieść kamerę śledzącą rękę na stole skierowaną do góry.
      UWAGA: Ponieważ uczestnik jest proszony o pozostanie w ustalonej pozycji, ważne jest, aby znaleźć wygodną pozycję, którą może utrzymać przez całą sesję.
    3. W przypadku pozycji ręki 3 poinstruuj uczestnika, aby usiadł zgodnie z opisem w kroku 3.4.2. Poinstruuj uczestnika, aby złożył rękę do góry, opierając łokieć na fotelu. Dłoń powinna być rozluźniona, a uczestnik powinien być zwrócony w stronę kamery śledzącej dłoń. Zamocuj kamerę śledzącą rękę na stole skierowaną w stronę dłoni uczestnika (w razie potrzeby użyj kijka do selfie). Upewnij się, że pozycja uczestnika jest optymalna zarówno do oglądania ekranów, jak i znajdowania się w polu widzenia kamery.
    4. Stale monitoruj ekran wyświetlający dane śledzenia dłoni, aby upewnić się, że kamera wykrywa dłoń i palce przez cały czas trwania eksperymentu. Opcjonalnie: sprawdź jakość sygnału EMG (krok 3.2.6.) w każdej pozycji ręki przed rozpoczęciem eksperymentu.

4. Zbieranie danych

  1. Przeprowadzanie eksperymentu
    1. Otwórz Pythona i załaduj data_collection.py. Sprawdź, czy parametry num_repetition, gesture_duration rest_duration są ustawione zgodnie z potrzebami.
      1. num_repetition: Określ, ile razy każdy obraz gestu ma być wyświetlany. W tym eksperymencie ustaw ją na 7, co oznacza, że każdy obraz jest wyświetlany 7 razy. gesture_duration: Określ czas (w s), przez jaki uczestnik wykonuje gest ręką. W tym eksperymencie ustaw go na 5 s, określając, jak długo wyświetlany jest każdy obraz gestu. Rest_duration: Określ czas (w s), na jaki uczestnik rozluźnia dłoń między gestami. W tym eksperymencie ustaw go na 3 s.
    2. Dostosuj pozycję i kąt kamery śledzącej rękę do pozycji ręki uczestnika.
    3. Uruchom skrypt data_collection.py. Pojawi się okno, w którym można wprowadzić dane uczestnika (numer seryjny, wiek, płeć, numer sesji i pozycja ręki). Uzupełnij te informacje i naciśnij OK, aby automatycznie rozpocząć eksperyment.
  2. Gromadzenie danych
    1. Dla każdej sesji zapisuj dane EMG i śledzenia dłoni, które są automatycznie zapisywane. Powtórz eksperyment 4 razy dla każdego uczestnika, raz na pozycję dłoni.

5. Zakończenie eksperymentu i obsługa danych po eksperymencie

  1. Po zakończeniu eksperymentu dane są automatycznie zapisywane. Upewnij się, że dane są zapisane w folderze oznaczonym numerem seryjnym uczestnika. Każda sesja jest przechowywana w podfolderze o nazwie S# (np. S1), z czterema podfolderami dla każdej pozycji ręki P# (P1, P2, P3 i P4). Rozmiar folderu dla pojedynczej sesji wynosi około 160 MB.
  2. Jeśli uczestnik ukończy wiele sesji, upewnij się, że wszystkie dane są zapisane w odpowiednim folderze sesji (np. S1, S2).
  3. Pliki danych
    Upewnij się, że każdy folder pozycji ręcznej (P#) zawiera następujące pliki: Dane EMG zapisane w pliku EDF o następującej nazwie: fpe_pos{numer pozycji}_{numer tematu}_S{numer sesji}_rep0_BT; dane śledzenia dłoni zapisane w pliku CSV o nazwie fpe_pos{numer pozycji}_{numer tematu}_S{numer sesji}_rep0_BT_full; oraz plik dziennika log.txt zawierający metadane dotyczące sesji.
  4. Przetwarzanie danych
    UWAGA: Użytkownik może wybrać, w jaki sposób kontynuować analizę sygnału i jakich narzędzi użyć. W tym miejscu udostępniamy skrypt do wykonywania filtrowania sygnałów i segmentacji danych w Pythonie. W przypadku korzystania z języka Python upewnij się, że wszystkie zależności (np. Numpy, Pandas, SciPy, MNE, Sklearn) są zainstalowane.
    1. Otwórz Pythona, załaduj data_analysis.py i uruchom skrypt.
    2. W konsoli pojawi się żądanie podania parametrów niezbędnych do przetwarzania danych: ścieżka do pliku EMG, ścieżka do danych kinematycznych dłoni, ścieżka, w której przetworzone dane zostaną zapisane, częstotliwość próbkowania w Hz, czas trwania okna w ms oraz interwał kroku w ms.
    3. Po tym kroku skrypt wykona przetwarzanie danych.
    4. Filtrowanie sygnału EMG: Uruchom skrypt jak powyżej. Skrypt najpierw filtruje sygnał sEMG, stosując filtr górnoprzepustowy Butterwortha czwartego rzędu z odcięciem 20 Hz w celu usunięcia sygnałów innych niż EMG, a następnie filtr wycinający w celu usunięcia harmonicznych 50 Hz i 100 Hz. Dodatkowo skrypt stosuje normalizację sygnału EMG.
    5. EMG, dane HKD i segmentacja gestów instrukcji: Uruchom skrypt jak powyżej. Skrypt stosuje segmentację, wykorzystując technikę kroczącego okna zdefiniowaną przez określony czas trwania okna i interwał kroku. W tym eksperymencie ustaw je odpowiednio na 512 i 2 ms. Następnie skrypt przekształca organizację kanałów sEMG w konfigurację siatki przestrzennej 4 x 4 przy zachowaniu układu elektrod. Na koniec skrypt generuje słownik zawierający metadane w postaci pliku marynaty.
    6. Kroki czyszczenia i walidacji danych
      1. Zidentyfikuj i wyklucz segmenty zawierające artefakty, szum lub niespójne etykiety gestów z zestawu danych.
      2. Zapewnij kompletność segmentów i ciągłość czasową między oknami, aby zachować niezawodność danych.
      3. Porównaj dane gestów z HKD pod kątem spójności. Usuń okna wyświetlające wzorce gestów, które odbiegają od standardów sesji HKD.
      4. Wykrywanie i odrzucanie segmentów odstających, które nie są zgodne z oczekiwanymi wzorcami kinematycznymi dla sesji.
      5. Wykonuj dalszą analizę danych przy użyciu zaawansowanych algorytmów. Nie są one przewidziane w obecnym protokole.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zestaw danych składa się z dwóch zsynchronizowanych czasowo komponentów: 16-kanałowego zestawu danych EMG i danych z systemu kamer śledzących rękę. 16-kanałowe dane EMG rejestrują aktywność mięśni, rejestrując sygnały elektryczne z różnych mięśni w czasie. System śledzenia dłoni zapewnia 16 kanałów danych odpowiadających kluczowym punktom na modelu szkieletowym dłoni. Chociaż model ma 21 punktów, nie licząc nadgarstka, liczba ta została zmniejszona do 16 ze względu na ograniczenia ruchu24. Dane EMG i wizualne zostały zebrane poprzez uruchomienie dwóch oddzielnych procesów na tym samym komputerze podczas nagrywania w celu ustanowienia synchronizacji. Znacznik czasu został użyty do oznaczenia początku każdego procesu, co pozwoliło kodowi analizy danych na wyrównanie danych dotyczących aktywności mięśni i ruchu ręki na końcu nagrania. Adnotacje ze znacznikami czasu były zapisywane automatycznie zarówno w plikach EDF, jak i CSV, oznaczając dokładny czas, w którym poinstruowano określone gesty palcami i ułatwiając wyrównanie podczas analizy danych. Filtrowany sygnał EMG (filtr górnoprzepustowy Butterwortha 4 Hz) charakteryzuje się niską linią bazową (obszary zacienione na szaro), która zwykle mieści się w zakresie 3-9 μV25. Ta linia bazowa jest obserwowana, gdy ręka badanego jest nieruchoma, a mięśnie są w spoczynku. Jeśli jednak napięcie mięśniowe jest obecne nawet w pozycji spoczynkowej, można wykryć wyraźny sygnał EMG. Artefakty mechaniczne spowodowane ruchem zwykle manifestują się w zakresie 10-20 Hz i powinny być odpowiednio odfiltrowane. Znacznie podwyższone wartości wyjściowe mogą wskazywać na zakłócenia linii 50 Hz i należy ich unikać na etapie konfiguracji eksperymentalnej. W przypadkach, w których utrzymuje się umiarkowany hałas 50 Hz; Stosowany jest filtr wycinający. Ostre artefakty ruchu, które są trudniejsze do usunięcia, często pojawiają się jako wyraźne skoki o wysokiej amplitudzie w sygnale (patrz gwiazdka w Rysunek 2A). Amplituda sygnału EMG w układzie 16 elektrod jest różna, odzwierciedlając przestrzenny rozkład aktywności mięśni w mierzonym obszarze. Ta wariancja dostarcza cennych informacji na temat niejednorodności skurczu mięśni podczas gestów dłoni.

Kamera śledząca rękę dostarcza bezpośrednich informacji o kątach palców (dane kinematyczne dłoni, HKD), które powinny być ściśle skorelowane z zarejestrowanymi sygnałami EMG. Podczas gestów palce ustawiają się pod kątem w normalnym zakresie26, w zależności od konkretnego gestu. Gdy ścieżka wizualna między kamerą śledzącą rękę a ręką jest niezakłócona, wynikowy sygnał jest stabilny i dokładny, jak pokazano na rysunku Rysunek 2. Jednak w przypadku utraty kontaktu wzrokowego lub gdy system doświadcza ograniczeń technicznych, HKD może stać się nieregularny, wyświetlając przeskoki między nieprawidłowymi wartościami. Takie dane odstające powinny być zminimalizowane podczas gromadzenia danych i odrzucone w końcowej analizie, aby zachować integralność wyników.

HKD jest intuicyjny i zapewnia bezpośrednie porównanie z faktycznie wykonywanymi gestami. Wykazuje niską zmienność między obiektami i w różnych pozycjach dłoni. W przeciwieństwie do tego, dane EMG mają tendencję do znacznych różnic między osobami ze względu na różnice anatomiczne, takie jak rozmiar dłoni i rozwój mięśni27. Dodatkowo można zaobserwować zmienność między rękami dominującymi i niedominującymi. Tę zmienność specyficzną dla danego tematu można rozwiązać podczas analizy offline.

W Rysunek 2, jest oczywiste, że zarówno EMG, jak i HKD są przesunięte względem wyzwalacza gestu instrukcji. Ta rozbieżność wynika z czasu odpowiedzi i naturalnego ruchu execution28. W zadaniach regresji taka zmienność może przyczyniać się do bogactwa danych, podczas gdy w zadaniach klasyfikacyjnych można nią zarządzać przy użyciu podejścia opartego na uogólnionym ilorazie prawdopodobieństwa, stosowanego w podobnych scenariuszach28.

figure-results-1
Rysunek 2: Reprezentatywne sEMG i HKD podczas odwodzenia palca. Sygnały elektromiografii powierzchniowej (sEMG) i dane kinematyczne ręki (HKD) zarejestrowane podczas dynamicznego odwodzenia i odpoczynku palca wykonywanego w pozycji ręki 1 (ręka w dół, wyprostowana i zrelaksowana) przez jednego uczestnika. (A) Przefiltrowane sygnały EMG z 16 kanałów w funkcji czasu. Gwiazdka (*) oznacza artefakt mechaniczny wykryty w nagraniu EMG kanału 5. (B) HKD, przedstawiający kąty połączeń w funkcji czasu. Kąty stawów są mierzone w różnych stawach: trapezowo-śródręcznym (TMC), śródręczno-paliczkowym (MCP) i bliższym międzypaliczkowym (). Fazy eksperymentu (spoczynek i odwodzenie) są wskazane wzdłuż osi x. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Te reprezentatywne wyniki pokazały użyteczność zsynchronizowanych danych EMG i HKD w przechwytywaniu gestów dłoni. Wyrównanie sygnałów EMG z odpowiadającym im HKD pozwala na odwzorowanie aktywności mięśni do określonych ruchów palców. Konstruując model predykcyjny, naukowcy mogą wykorzystać HKD jako prawdę podstawową, iteracyjnie weryfikując i udoskonalając przewidywania gestów oparte na EMG. Takie podejście podkreśla praktyczne zastosowanie protokołu i sugeruje potrzebę dalszych badań w bardziej naturalnych warunkach.

Rysunek uzupełniający 1: Okna spektrogramu wyświetlane podczas etapu weryfikacji sygnału. Lewy panel pokazuje surowe dane EMG, podczas gdy prawe panele pokazują wykryte domeny częstotliwości. (A) Przykład bardzo głośnego sygnału EMG o silnych zakłóceniach 50 Hz i 100 Hz. (B) Przykład takiego samego zapisu sygnału EMG po odsunięciu uczestnika od urządzeń elektrycznych, co skutkuje czystym sygnałem EMG przy minimalnych zakłóceniach. Kliknij tutaj, aby pobrać ten plik.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Protokół przedstawiony w tym badaniu przedstawia krytyczne kroki, modyfikacje i strategie rozwiązywania problemów mające na celu poprawę rozpoznawania gestów dłoni poprzez połączenie sygnałów sEMG i HKD. Omówiono w nim kluczowe ograniczenia i porównano to podejście z istniejącymi alternatywami, podkreślając jego potencjalne zastosowania w różnych dziedzinach badań. Jednym z najważniejszych aspektów protokołu jest zapewnienie prawidłowego ustawienia i wyrównania kamery śledzącej rękę. Dokładne przechwytywanie gestów w dużym stopniu zależy od kąta i odległości kamery względem dłoni uczestnika. Nawet niewielkie odchylenia w ustawieniu kamery mogą prowadzić do niedokładności śledzenia, zmniejszając wierność danych gestów. To wyrównanie musi być starannie dostosowane do każdego uczestnika i pozycji ręki, aby zapewnić spójne i wiarygodne gromadzenie danych. Ponadto ważne jest, aby uczestnicy byli dobrze zaznajomieni z protokołem, aby zapobiec niepotrzebnym danym - w których gesty są albo nieprawidłowo wykonywane, albo niedostosowane do przepływu eksperymentalnego. Upewnienie się, że uczestnicy czują się komfortowo i są zaznajomieni z gestami i konfiguracją eksperymentalną, może zminimalizować szum danych i poprawić jakość nagrań.

Częstym wyzwaniem w tego typu badaniach jest zanieczyszczenie hałasem zarówno w sEMG, jak i HKD. Sygnały sEMG są szczególnie wrażliwe na takie czynniki, jak zmęczenie mięśni, artefakty ruchu i szumy otoczenia, takie jak zakłócenia elektromagnetyczne. Techniki wstępnego przetwarzania, takie jak filtrowanie pasmowo-przepustowe, są niezbędne do redukcji szumów i poprawy klarowności sygnału. Właściwe umieszczenie elektrod i poinstruowanie uczestników, aby utrzymywali rozluźnione mięśnie podczas faz odpoczynku, może jeszcze bardziej złagodzić artefakty ruchu. Pomimo tych środków ostrożności, pewna zmienność sygnałów sEMG jest nieunikniona ze względu na indywidualne różnice w anatomii, sile ręki i wzorcach aktywacji mięśni. Tej zmienności można zaradzić za pomocą elastycznych algorytmów zdolnych do normalizacji tych różnic między obiektami i warunkami.

Kluczowym czynnikiem w uzyskaniu wysokiej jakości sygnałów sEMG jest wstępna weryfikacja sygnału. Tradycyjne protokoły wykorzystujące elektrody żelowe wymagają przygotowania skóry, takiego jak złuszczanie lub oczyszczanie alkoholem, aby poprawić klarowność sygnału. Jednak w poprzednim badaniu wykazaliśmy, że w przypadku suchych elektrod przygotowanie skóry może nie mieć znaczącego wpływu na jakość sygnału25. W tym protokole czyszczenie skóry jest opcjonalne, a tym samym upraszcza proces. Innym problemem związanym ze skórą wpływającym na jakość sygnału jest nadmierne i gęste owłosienie na ramionach. W takich przypadkach sugerujemy albo ogolenie obszaru, albo wykluczenie osoby badanej z badania.

Jednym z krytycznych wyzwań związanych z wykorzystaniem sEMG do rozpoznawania gestów jest jego czułość na ułożenie dłoni. Nawet podczas wykonywania tego samego gestu, różnice w orientacji dłoni mogą prowadzić do różnych wzorców sygnału EMG. Aby rozwiązać ten problem, niezbędne są modele uczenia maszynowego, które mogą uwzględniać zmienność pozycji dłoni22. Modele te muszą być trenowane przy użyciu danych z wielu pozycji rąk, aby zwiększyć niezawodność i możliwość uogólnienia. Kolejną ważną kwestią jest synchronizacja danych wizualnych i sEMG. Spójne synchronizowanie gestów ma kluczowe znaczenie dla uniknięcia rozbieżności między wykonywaniem gestów a rejestracją danych. Protokół ten wykorzystuje odliczanie wizualne i sygnały dźwiękowe, aby zapewnić dokładne kroki pomiaru czasu i ponownej kalibracji, gdy jest to konieczne, aby skorygować wszelkie niewspółosiowości podczas zbierania danych.

Pomimo swoich mocnych stron, protokół ten ma kilka ograniczeń. Jednym z głównych ograniczeń jest ograniczone pole widzenia kamery śledzącej rękę, co wymaga, aby ręce uczestnika pozostawały w zasięgu wykrywania kamery. Ogranicza to analizę do niewielkiego zestawu ruchów. W przypadku eksperymentów przeprowadzanych poza laboratorium wymagane będzie bardziej złożone obrazowanie wideo lub użycie inteligentnych rękawiczek. Zmęczenie uczestników stanowi również wyzwanie podczas dłuższych sesji, potencjalnie wpływając na dokładność gestów i aktywację mięśni, co może pogorszyć jakość danych sEMG. Aby złagodzić te skutki, może być konieczne ograniczenie długości sesji lub wprowadzenie przerw w celu zminimalizowania zmęczenia. Dodatkowo, zakłócenia linii energetycznej mogą wprowadzać szumy do sygnałów sEMG, szczególnie gdy uczestnicy znajdują się blisko komputera w celu przechwytywania danych. Bezprzewodowa wersja systemu mogłaby zmniejszyć takie zakłócenia, umożliwiając uczestnikom przebywanie dalej od komputera.

Istotne ograniczenie metodologiczne wykrywania gestów palca na podstawie EMG wynika z dużej zmienności międzyosobniczej sygnałów sEMG, co wymaga opracowania niestandardowych modeli dla każdego uczestnika. To podejście specyficzne dla tematu, choć dokładniejsze, ogranicza skalowalność protokołu i wymaga dodatkowej kalibracji i czasu szkolenia dla każdego nowego użytkownika. Strumienie danych EMG i HKD wykazują niewielkie różnice w synchronizacji czasowej wynikające z podwójnego procesu nagrywania. Te rozbieżności czasowe mają minimalny wpływ na analizę statycznych gestów, ponieważ utrzymywane pozy są stabilne w czasie. Ciągły charakter gestów statycznych zapewnia odpowiedni czas na ustabilizowanie się zarówno EMG, jak i cech kinematycznych, w przeciwieństwie do gestów dynamicznych, które wymagają bardziej precyzyjnej synchronizacji.

Kluczową zaletą tej metody jest jej elastyczność w przechwytywaniu gestów. W przeciwieństwie do innych systemów, które wymagają sztywnych ustawień i ścisłych parametrów gestów, ten protokół dostosowuje się do dynamicznych i elastycznych pozycji dłoni19. Ta elastyczność jest szczególnie przydatna w badaniach mających na celu analizę szerokiego zakresu ruchów, dzięki czemu można ją lepiej dostosować do rzeczywistych zastosowań. Co więcej, protokół ten jest opłacalny w porównaniu z bardziej zaawansowanymi systemami przechwytywania ruchu i sEMG, które często obejmują złożone konfiguracje29. Dzięki zintegrowaniu kamery śledzącej dłoń z półautomatycznymi algorytmami sEMG, metoda ta stanowi realną alternatywę dla badań nad rozpoznawaniem gestów bez uszczerbku dla jakości danych. Ponadto potencjał systemu w zakresie przetwarzania danych w czasie rzeczywistym otwiera możliwości natychmiastowego uzyskania informacji zwrotnej w zastosowaniach takich jak neuroprotetyka i rehabilitacja, w których niezbędna jest reakcja w czasie rzeczywistym. Protokół ten ma znaczące implikacje dla kilku dziedzin, w szczególności dla neuroprotetyki. Dokładne przewidywanie gestów dłoni na podstawie sygnałów sEMG ma kluczowe znaczenie dla kontroli protez kończyn, a elastyczność w ułożeniu dłoni oferowana przez tę metodę sprawia, że jest ona idealnym kandydatem do protez czasu rzeczywistego. W rehabilitacji protokół ten może być stosowany do monitorowania i poprawy regeneracji motorycznej u pacjentów z zaburzeniami ręki lub palca. Analizując wzorce aktywacji mięśni podczas wykonywania gestów, system ten może być wykorzystany do dostosowania ćwiczeń rehabilitacyjnych do indywidualnych potrzeb, oferując spersonalizowane podejście do regeneracji motorycznej. W przypadku interakcji człowiek-komputer (HCI) metoda ta umożliwia tworzenie bardziej naturalnych systemów sterowania opartych na gestach, poprawiając intuicyjność i skuteczność interfejsów użytkownika. Wreszcie, protokół może zostać zastosowany w badaniach ergonomicznych, aby ocenić, w jaki sposób różne pozycje rąk i gesty wpływają na aktywność mięśni i zmęczenie, potencjalnie prowadząc do postępów w projektowaniu miejsc pracy i ergonomii użytkowników.

Aby zapewnić stałą siłę skurczu u uczestników, w przyszłych badaniach można zastosować rękawicę z rezystorami wrażliwymi na siłę do bezpośredniego pomiaru siły. Pozwoliłoby to na standaryzację wysiłków wśród badanych, poprawiając wiarygodność danych EMG. Dodatkowo, zintegrowanie tego pomiaru siły jako etykiety w kinematyce stawów zapewniłoby bardziej szczegółowe odwzorowanie wewnętrznego stanu mięśnia, potencjalnie wzbogacając analizę funkcji mięśni i wzorców ruchowych. Takie podejście nie tylko poprawiłoby spójność danych, ale także zapewniłoby głębszy wgląd w związek między skurczem mięśni a ruchomością stawów.

Podsumowując, protokół ten zapewnia nowatorskie i elastyczne podejście do rozpoznawania gestów dłoni z szerokimi zastosowaniami w neuroprotetyce, rehabilitacji, HCI i ergonomii. Chociaż system ma ograniczenia, jego elastyczność, opłacalność i potencjał do wykorzystania w czasie rzeczywistym stanowią znaczny postęp w stosunku do istniejących metod. Te mocne strony sprawiają, że jest to obiecujące narzędzie do dalszego rozwoju i innowacji w technologiach rozpoznawania gestów.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yael Hanein deklaruje udziały finansowe w firmie X-trodes Ltd, która skomercjalizowała technologię elektrod z sitodrukiem zastosowaną w tym artykule. Pozostali autorzy nie mają żadnych innych istotnych powiązań finansowych z żadną organizacją lub podmiotem mającym interes finansowy lub konflikt finansowy z tematyką lub materiałami omawianymi w manuskrypcie, poza tymi, które zostały ujawnione.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten projekt został częściowo sfinansowany z grantu ERC (OuterRetina) i ISF. Fundatorzy nie odgrywali żadnej roli w projektowaniu badania, gromadzeniu i analizie danych, podejmowaniu decyzji o publikacji lub przygotowaniu manuskryptu. Dziękujemy Davidowi Buzaglo, Cheni Hermonowi, Liron Ben Ari i Adi Ben Ari za pomoc w zaprojektowaniu oryginalnej wersji protokołu.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Regulowany kijekSłuży do ustawiania i ustawiania kamery śledzącej rękę w żądanej orientacji w celu optymalnego przechwytywania danych podczas eksperymentu.
nasączona alkoholemDo czyszczenia obszaru do umieszczenia elektrody.
Jednostka akwizycji danych (DAU)X-trodes Ltd.  XTR-BT V1.3Kompatybilny z czasem rzeczywistym DAU 2.0.17 lub 4.0.1
rozpoznawania gestów palcami
Kontroler ruchu Leap 2Ultraleap129-SP4-00005-03Kamera śledząca rękę
DługiPodłączenie kamery śledzącej rękę do komputera.
Monitory komputeroweJeden do wskazówek, drugi do przeglądania danych z kamery śledzącej rękę 
Komputer osobisty (PC)Windows,Windows 10+; Procesory: Procesor Inteli7. Odbiornik BT.
KodPythona Skrypt umożliwiający bezproblemowe przesyłanie danych i nagrywanie do 500 S/s, gdy DAU jest podłączony do komputera przez Bluetooth
Ultraleap Camera Python APIUltraleapPython API i instrukcje od Ultraleap s Repozytorium GitHub (https://github.com/ultraleap/leapc-python-bindings) używane do zbierania danych z jednostki Ultraleap podczas eksperymentu
Ultraleap HyperionUltraleapTracking software
XTR EXG16X-trodes Ltd.XTELC0003405RM16-kanałowa łatka do noszenia na suchych elektrodach do monitorowania EMG, EKG
X-trodes PC AppX-trodes Ltd.1.1.35.0Aplikacja do podłączenia X-trodes DAU do komputera przez BT
do selfie Podkładka Biblioteka https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git Type-C do Type-C

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).">Fang, B., et al. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).
  2. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).">Yadav, D., Veer, K. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).
  3. EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).
  4. sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).
  5. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).">Zhang, X., Zhou, P. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).
  6. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).">Guo, K., et al. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).
  7. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).">Sun, T., Hu, Q., Libby, J., Atashzar, S. F. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).
  8. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).">Atzori, M., et al. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).
  9. Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).
  10. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).">Geng, W., et al. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).
  11. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).">Wei, W., et al. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).
  12. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).">Padhy, S. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).
  13. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).">Moin, A., et al. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).
  14. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).">Côté-Allard, U., et al. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).
  15. NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).
  16. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).">Dere, M. D., Lee, B. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).
  17. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).">Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).
  18. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).">Lee, K. H., Min, J. Y., Byun, S. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).
  19. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).">Zhou, X., et al. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).
  20. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).">Zhang, Z., Yang, K., Qian, J., Zhang, L. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).
  21. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).">Nieuwoudt, L., Fisher, C. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).
  22. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).">Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).
  23. Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).
  24. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).">Lin, J., Wu, Y., Huang, T. S. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).
  25. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).">Arché-Núñez, A., et al. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).
  26. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).">Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).
  27. Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).
  28. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).">Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).
  29. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).">Armitano-Lago, C., Willoughby, D., Kiefer, A. W. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Finger Gesture RecognitionSurface ElectromyographyHand TrackingDynamic Hand MovementsMuscle Activity MappingGesture Recognition SystemElectrode ArrayHuman Computer InteractionProsthetic RehabilitationDeep Learning Methods

Related Articles