Artykuł metodologiczny

Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego

1.9K wyświetleń

⸱

DOI:

10.3791/67766

⸱

28 marca 2025

 ,  ,  ,  ,  , 
1School of Electrical Engineering, Tel Aviv University, 2Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), 3X-trodes Ltd.

Autorzy korespondencyjni: Yael Hanein <yaelha@tauex.tau.ac.il>

W tym artykule

Podsumowanie

Artykuł przedstawia kompleksowy protokół jednoczesnego rejestrowania elektromiografii dłoni (EMG) i wizualnego śledzenia palców podczas naturalnej gestykulacji palcami. Dane wizualne mają służyć jako podstawa do opracowania dokładnych modeli obliczeniowych opartych na EMG do rozpoznawania gestów palców.

Streszczenie

Gesty palcami są kluczowym elementem komunikacji międzyludzkiej, dlatego rozpoznawanie gestów palcami jest szeroko badane jako interfejs człowiek-komputer dla najnowocześniejszych protez i zoptymalizowanej rehabilitacji. Elektromiografia powierzchniowa (sEMG), w połączeniu z metodami głębokiego uczenia, jest uważana za obiecującą metodę w tej dziedzinie. Jednak obecne metody często opierają się na kłopotliwych ustawieniach nagrywania i identyfikacji statycznych pozycji dłoni, co ogranicza ich skuteczność w rzeczywistych zastosowaniach. Raportowany przez nas protokół przedstawia zaawansowane podejście łączące EMG z powierzchnią do noszenia na ciele i system śledzenia palców w celu przechwytywania kompleksowych danych podczas dynamicznych ruchów dłoni. Metoda rejestruje aktywność mięśni na podstawie miękko wydrukowanych matryc elektrod (16 elektrod) umieszczonych na przedramieniu, gdy badani wykonują gesty w różnych pozycjach dłoni i podczas ruchu. Instrukcje wizualne zachęcają badanych do wykonywania określonych gestów, podczas gdy EMG i pozycje palców są rejestrowane. Integracja zsynchronizowanych zapisów EMG i danych śledzenia palców umożliwia kompleksową analizę wzorców aktywności mięśni i odpowiadających im gestów. Przedstawione podejście pokazuje potencjał połączenia technologii EMG i śledzenia wizualnego jako ważnego zasobu do opracowywania intuicyjnych i responsywnych systemów rozpoznawania gestów z zastosowaniami w protetyce, rehabilitacji i technologiach interaktywnych. Protokół ten ma na celu udzielenie wskazówek badaczom i praktykom, wspieranie dalszych innowacji i zastosowania rozpoznawania gestów w dynamicznych i rzeczywistych scenariuszach.

Wprowadzenie

Gestykulacja rąk jest niezbędna w komunikacji międzyludzkiej, co sprawia, że rozpoznawanie gestów palcami jest kluczowym obszarem badań w różnych dziedzinach, takich jak interakcja człowiek-komputer, zaawansowane protetyki1,2,3,4, oraz technologie rehabilitacji5,6. W rezultacie, rozpoznawanie gestów palcami przyciągnęło znaczną uwagę ze względu na jego potencjał do ulepszania intuicyjnych systemów sterowania i urządzeń wspomagających. Elektromiografia powierzchniowa (sEMG) w połączeniu z algorytmami głębokiego uczenia staje się bardzo obiecującym podejściem do uchwycenia i interpretacji tych gestów ze względu na jej zdolność do wykrywania aktywności elektrycznej mięśni związanych z ruchami dłoni7,8,9,10,11,12,13,14,15.

Jednakże, pomimo tych postępów, obecne podejścia napotykają na ograniczenia w rzeczywistych zastosowaniach. Większość istniejących systemów wymaga złożonych, kłopotliwych konfiguracji nagrywania z licznymi elektrodami5,7,9,16,17 i precyzyjne pozycjonowanie3,18, które często są trudne do wdrożenia poza kontrolowanymi środowiskami. Ponadto systemy te mają tendencję do skupiania się na statycznych pozycjach dłoni13,18,19,20,21, ograniczając ich zdolność do interpretowania dynamicznych, płynnych gestów, które występują w codziennych czynnościach. Protokół ma na celu rozwiązanie tych ograniczeń poprzez wspieranie dynamicznego rozpoznawania gestów w bardziej naturalnych warunkach. Taka metodologia umożliwiłaby bardziej praktyczne i przyjazne dla użytkownika zastosowania w dziedzinach takich jak protetyka i rehabilitacja, gdzie niezbędna jest naturalna interpretacja gestów w czasie rzeczywistym.

Aby sprostać tym wyzwaniom, opracowanie dokładniejszych i bardziej elastycznych algorytmów wymaga zestawów danych, które odzwierciedlają naturalne, codzienne warunki3,4. Takie zestawy danych muszą rejestrować szeroki zakres dynamicznych ruchów, różne pozycje dłoni i duże ilości danych, aby zapewnić niezawodność modelu. Co więcej, zmienność między zestawami danych treningowych i testowych ma kluczowe znaczenie, umożliwiając modelom uogólnianie różnych postaw rąk, wzorców aktywacji mięśni i ruchów. Uwzględnienie takiej różnorodności w danych umożliwi algorytmom dokładniejsze rozpoznawanie gestów w codziennych, rzeczywistych aplikacjach22.

Pokonanie tych wyzwań będzie niezbędne dla przyszłego rozwoju bardziej praktycznych i szeroko stosowanych systemów rozpoznawania gestów. Opisane tutaj badanie i protokół wynikają z potrzeby posiadania przenośnej, przyjaznej dla użytkownika konfiguracji, która może rejestrować dynamiczne ruchy dłoni w naturalnych warunkach. Kompleksowe zestawy danych i zaawansowane algorytmy mają kluczowe znaczenie dla pełnego uwolnienia potencjału sEMG i głębokiego uczenia się w interfejsach człowiek-komputer, neuroprotetyce i technologiach rehabilitacyjnych. Oczekujemy, że ten protokół przyczyni się do rozwoju tej dziedziny, ułatwiając kompleksowe gromadzenie danych, aby jeszcze bardziej umożliwić rozwój modeli algorytmów, które uogólniają się na różne pozycje rąk.

Dużym wyzwaniem w rozpoznawaniu gestów jest wrażliwość sygnałów sEMG na ułożenie dłoni. Podczas gdy wiele badań koncentruje się na stałych pozycjach dłoni do przewidywania gestów, rzeczywiste zastosowania wymagają modeli zdolnych do rozpoznawania ruchów palców w różnych pozycjach dłoni. Najnowsze podejścia rozwiązały ten problem, włączając widzenie komputerowe jako podstawowe odniesienie do prawdy, zwiększając dokładność i elastyczność tych modeli15,19. Ponadto modele hybrydowe, które integrują sygnały sEMG z danymi wizualnymi, oferują dalszą poprawę dokładności rozpoznawania w różnych scenariuszach23.

W tym protokole prezentujemy zsynchronizowane podejście do zbierania danych, które zwiększa dynamiczne rozpoznawanie gestów, włączając zarówno dane EMG, jak i dane śledzenia dłoni w warunkach zbliżonych do rzeczywistych. W przeciwieństwie do tradycyjnych metod, które ograniczają wykonywanie gestów do pozycji statycznych, ten protokół obejmuje gesty wykonywane w czterech różnych pozycjach: ręka w dół, ręka w górę, ręka wyprostowana i ręka w ruchu. Kamera śledząca ruchy dłoni śledzi ruchy dłoni w trójwymiarowej interaktywnej strefie, identyfikując wyraźne elementy dłoni i rejestrując dynamiczne ruchy w wysokiej rozdzielczości. Miękki układ 16 elektrod umieszczonych na przedramieniu w celu rejestrowania aktywności mięśni zapewnia stabilne i bezprzewodowe zapisy bez ograniczania mobilności uczestników. Zsynchronizowane dane z tych dwóch źródeł stanowią kompleksową podstawę do opracowania zaawansowanych algorytmów rozpoznawania gestów zdolnych do działania w warunkach rzeczywistych. Podejście to w szczególności odnosi się do ograniczeń obecnych konfiguracji, ułatwiając swobodny ruch i stabilne nagrywanie sygnału w realistycznych scenariuszach. Postęp ten wspiera technologie rozpoznawania gestów do zastosowań w protetyce, rehabilitacji i technologiach interaktywnych, w których niezbędne jest intuicyjne sterowanie i elastyczność.

Protokół

Do badania zrekrutowano zdrowych uczestników (n = 18, w wieku 18-32 lat, mężczyzn i kobiety), a samo badanie zostało zatwierdzone przez Komisję Etyki Uniwersytetu w Tel Awiwie (numer zatwierdzenia 0004877-3). Protokół jest zgodny z wytycznymi komisji dotyczącymi badań z udziałem ludzi. Od wszystkich uczestników uzyskano świadomą zgodę zgodnie z wymogami instytucjonalnymi.

1. Instruktaż dla eksperymentatora

  1. Poproś uczestników o wykonanie serii 14 różnych gestów palcami (patrz Rysunek 1) i powtórzenie każdego gestu 7x w losowej sekwencji. Poproś, aby utrzymywali każdy gest stabilnie przez 5 s, po czym następuje 3 s przerwy. Całkowity czas trwania każdej sesji wynosi 13:04 min.
  2. Duży obraz gestu wyświetlany na ekranie komputera jest opatrzony licznikiem czasu, który wskazuje moment wykonania gestu. Podczas przerwy poproś uczestnika, aby patrzył na mały obraz nadchodzącego gestu wraz z timerem wskazującym pozostały czas odpoczynku. Dwa różne sygnały dźwiękowe informują o początku i końcu każdego gestu, pomagając uczestnikom przygotować się do następnego ruchu.
  3. Poproś każdego uczestnika o wykonanie procedury w czterech różnych pozycjach, analogicznie do wcześniej zaprezentowanych22:
    Pozycja 1: Uczestnik stoi. Ręka opuszczona w dół, wyprostowana i rozluźniona.
    Pozycja 2: Uczestnik siedzi w fotelu. Ręka wyciągnięta do przodu pod kątem 90°, dłoń rozluźniona (można użyć urządzenia wspierającego).
    Pozycja 3: Ręka zgięta w górę (z łokciem opartym o fotel), dłoń rozluźniona.
    Pozycja 4: Uczestnik wybiera jedną z poprzednich pozycji i może swobodnie poruszać ręką w zakresie wykrywania kamery, co jest monitorowane w czasie rzeczywistym na ekranie komputera PC (szczegóły w punkcie 1.4).
  4. Podczas każdej sesji załóż uczestnikowi urządzenie do elektromiografii na ramieniu i skieruj w jego stronę kamerę do śledzenia dłoni. Poproś uczestników, aby upewnili się, że ich dłonie są zawsze skierowane w stronę kamery. Oprogramowanie do śledzenia dłoni jest wyświetlane na oddzielnym ekranie, dzięki czemu zarówno uczestnik, jak i prowadzący mogą zweryfikować, czy dłoń jest prawidłowo rozpoznawana.
  5. Dla każdej pozycji dostosuj położenie i kąt kamery do śledzenia dłoni, aby zapewnić dokładne rozpoznawanie. Dodatkowo oceń jakość sygnałów z elektrod za pomocą skryptu spektrogramu.

Dynamiczne gesty palców; miękka macierz elektrod; dane EMG i CV w czasie rzeczywistym; schemat rozpoznawania gestów.
Rycina 1: Schematyczna reprezentacja procesu gromadzenia danych. Badany został wyposażony w miękką macierz elektrod umieszczoną na przedramieniu (3), która rejestruje sygnały powierzchniowej elektromiografii (sEMG) o wysokiej rozdzielczości podczas wykonywania gestów. Badany wykonuje 14 różnych gestów palcami, prezentowanych w losowej kolejności na wyświetlaczu komputera (4). Dane EMG są przesyłane bezprzewodowo do komputera osobistego (PC) z jednostki akwizycji danych (DAU; 1). Jednocześnie dane kinematyki ręki (HKD) reprezentujące kąty stawów palców są rejestrowane za pomocą kamery do śledzenia dłoni (2). Proszę kliknąć tutaj, aby zobaczyć powiększoną wersję tej ryciny.

2. Konfiguracja jednostek akwizycji danych

  1. Otwórz repozytorium Github pod adresem https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git i postępuj zgodnie ze szczegółowymi instrukcjami w sekcji Instalacja. Zlokalizuj główny plik Python data_collection.py w folderze finger_pose_estimation/data_acquisition. Użyj go do przeprowadzenia eksperymentu, a skryptu spectrogram.py do oceny jakości sygnału EMG przed rozpoczęciem badania oraz skryptu data_analysis.py do filtrowania i segmentacji sygnału.
  2. Przed każdą sesją upewnij się, że jednostka akwizycji danych (DAU) EMG jest w pełni naładowana, a następnie włącz ją.
  3. Połącz jednostkę DAU z komputerem PC poprzez Bluetooth, korzystając z dedykowanej aplikacji. Ustaw częstotliwość komunikacji Bluetooth na 500 próbek na sekundę (S/s).
  4. Zainstaluj i uruchom na komputerze PC oprogramowanie kamery do śledzenia dłoni. Podłącz kamerę do śledzenia dłoni do komputera PC za pomocą kabla.
  5. Wykorzystaj jeden ekran do stałego wyświetlania oprogramowania kamery do śledzenia dłoni. W ten sposób prowadzący i uczestnik będą mogli upewnić się, że kamera poprawnie rozpoznaje dłoń podczas eksperymentu.

3. Przygotowanie uczestnika

  1. Wprowadzenie i zgoda
    1. Krótko wyjaśnij uczestnikowi znaczenie badania oraz przebieg procedury eksperymentalnej. Uzyskaj świadomą zgodę zgodnie z wytycznymi instytucjonalnymi dotyczącymi badań z udziałem ludzi.
  2. Rozmieszczenie elektrod
    1. Poproś uczestnika o zgięcie prawej dłoni poprzez mocne zaciśnięcie pięści. Podczas zginania palpuj przedramię, delikatnie uciskając wzdłuż mięśnia, aby zidentyfikować miejsce, w którym aktywacja mięśnia jest najbardziej wyraźna. Lokalizację tę można łatwo rozpoznać, wyczuwając obszar, w którym mięsień uwypukla się podczas skurczu.
    2. Opcjonalnie: Przygotować wyznaczony obszar skóry, oczyszczając go za pomocą bezpyłowej ściereczki nasączonej alkoholem, żelu przygotowawczego lub wody z mydłem. Pozostawić obszar do wyschnięcia na powietrzu. Należy unikać nadmiernego oczyszczania alkoholem, ponieważ może to przesuszyć skórę. Krok ten jest opcjonalny; patrz w sekcji dyskusji.
    3. Zdejmij białą warstwę ochronną z matrycy elektrod EMG i ostrożnie przytwierdź elektrody do wyznaczonego obszaru przedramienia, zgodnie z ustaleniami z kroku 3.2.1. (patrz Rysunek 1). Upewnij się, że taśma klejąca znajduje się bliżej dłoni. Przymocuj matrycę elektrod do skóry, delikatnie ją opukując.
    4. Po przymocowaniu macierzy elektrod do skóry, usuń przezroczystą warstwę ochronną.
    5. Wsuń kartę łącznika macierzy elektrod do gniazda łącznika modułu DAU. Przymocuj moduł DAU do taśmy klejącej znajdującej się obok elektrod.
    6. Uruchom niestandardowy skrypt spektrogramu w języku Python Spectrogram.py, aby zweryfikować jakość sygnału w czasie rzeczywistym. Pojawi się okno wyświetlające surowe dane (po lewej stronie) i dziedzinę częstotliwości (po prawej stronie) dla wszystkich elektrod (patrz Rycina uzupełniająca 1 do celów referencyjnych).
      1. Należy sprawdzić, czy wszystkie elektrody zostały wykryte i działają prawidłowo oraz czy sygnał jest wolny od nadmiernych zakłóceń i szumów o częstotliwości 50 Hz.
      2. W razie potrzeby należy zredukować szum o częstotliwości 50 Hz, oddalając się od urządzeń elektronicznych, które mogą powodować zakłócenia, oraz odłączając od zasilania niepotrzebne urządzenia. Należy odczekać do czasu ustabilizowania się sygnału.
      3. Weryfikacja rejestracji sygnału EMG: poproś uczestnika o oparcie łokcia o fotel i poruszenie palcami, a następnie o rozluźnienie mięśni. Upewnij się, że na ekranie wyświetla się wyraźny sygnał EMG, po którym następuje statyczny szum linii bazowej.
      4. Zamknij skrypt po zakończeniu weryfikacji sygnału.
  3. Przegląd gestów i ułożenia dłoni
    1. Otwórz folder Images, klikając w estymacja pozy palców > Pozyskiwanie danychPrzeanalizuj obrazy gestów wraz z uczestnikami.
    2. Należy upewnić się, że uczestnik rozumie każdy ruch i potrafi wykonać go precyzyjnie. Należy wyraźnie wyjaśnić uczestnikowi cztery pozycje dłoni.
    3. Przeszkol uczestnika w zakresie sposobu trzymania dłoni przed każdą sesją, zapewniając prawidłową postawę i ułożenie.
  4. Ustawienie uczestnika i kamery
    1. W przypadku pozycji dłoni nr 1 poproś uczestnika, aby stanął prosto w odległości około 1 m od stołu. Poleć uczestnikowi, aby trzymał prawą rękę opuszczoną, wyprostowaną i rozluźnioną, z dłonią skierowaną w stronę kamery do śledzenia ruchu dłoni. Zamocuj kamerę do śledzenia ruchu dłoni na stole za pomocą statywu typu selfie stick i skieruj ją na dłoń uczestnika.
    2. W przypadku pozycji dłoni nr 2 poproś uczestnika, aby wygodnie usiadł w fotelu ustawionym w odległości 40–70 cm od monitorów. Poproś uczestnika o wyciągnięcie prawej ręki przed siebie na wysokości 90° z rozluźnioną dłonią skierowaną w stronę kamery do śledzenia dłoni. W razie potrzeby należy użyć urządzenia wspomagającego, aby ustabilizować dłoń. Kamerę do śledzenia dłoni należy umieścić na stole, skierowaną górą do góry.
      UWAGA: Ponieważ od uczestnika wymaga się pozostania w stałej pozycji, ważne jest znalezienie wygodnego ułożenia ciała, które będzie w stanie utrzymać przez cały czas trwania sesji.
    3. W przypadku pozycji dłoni 3 poleć uczestnikowi, aby usiadł zgodnie z opisem w kroku 3.4.2. Poleć uczestnikowi zgięcie dłoni do góry, opierając łokieć na podłokietniku fotela. Dłoń powinna być rozluźniona, a uczestnik powinien być zwrócony twarzą do kamery śledzącej ruchy dłoni. Zamocuj kamerę śledzącą ruchy dłoni na stole, skierowaną w stronę dłoni uczestnika (w razie potrzeby użyj wysięgnika do selfie). Upewnij się, że pozycja uczestnika jest optymalna zarówno pod kątem widoczności ekranów, jak i pozostawania w polu widzenia kamery.
    4. Należy stale monitorować ekran wyświetlający dane z śledzenia dłoni, aby upewnić się, że kamera wykrywa dłoń i palce przez cały czas trwania eksperymentu. Opcjonalnie: przed rozpoczęciem eksperymentu należy zweryfikować jakość sygnału EMG (krok 3.2.6.) dla każdej pozycji dłoni.

4. Gromadzenie danych

  1. Przeprowadzenie eksperymentu
    1. Uruchom program Python i wczytaj plik data_collection.py. Zweryfikuj, czy parametry num_repetition, gesture_duration oraz rest_duration są ustawione zgodnie z oczekiwaniami.
      1. num_repetition: Definiuje liczbę powtórzeń wyświetlania każdego obrazu gestu. W tym eksperymencie ustaw tę wartość na 7, co oznacza, że każdy obraz zostanie wyświetlony 7 razy. gesture_duration: Określa czas trwania (w s), przez który uczestnik wykonuje gest dłonią. W tym eksperymencie ustaw tę wartość na 5 s, co określa czas wyświetlania każdego obrazu gestu. Rest_duration: Określa czas trwania (w s), podczas którego uczestnik rozluźnia dłoń pomiędzy gestami. W tym eksperymencie ustaw tę wartość na 3 s.
    2. Dostosuj pozycję i kąt kamery do śledzenia dłoni względem położenia dłoni uczestnika.
    3. Uruchom skrypt data_collection.py. Pojawi się okno służące do wprowadzenia danych uczestnika (numer seryjny, wiek, płeć, numer sesji oraz pozycja dłoni). Uzupełnij te informacje i naciśnij OK, aby automatycznie rozpocząć eksperyment.
  2. Gromadzenie danych
    1. W każdej sesji zarejestruj dane EMG oraz dane z systemu śledzenia dłoni, które zostaną zapisane automatycznie. Powtórz eksperyment 4 razy dla każdego uczestnika, po jednym razie dla każdej pozycji dłoni.

5. Zakończenie eksperymentu i przetwarzanie danych po eksperymencie

  1. Po zakończeniu eksperymentu dane są zapisywane automatycznie. Należy upewnić się, że dane są zapisywane w folderze oznaczonym numerem seryjnym uczestnika. Każda sesja jest przechowywana w podfolderze nazwanym S# (np. S1), z czterema podfolderami dla każdej pozycji dłoni P# (P1, P2, P3 i P4). Rozmiar folderu dla pojedynczej sesji wynosi około 160 MB.
  2. Jeśli uczestnik ukończy wiele sesji, należy upewnić się, że wszystkie dane są zapisywane w odpowiednim folderze sesji (np. S1, S2).
  3. Pliki danych
    Należy upewnić się, że każdy folder pozycji dłoni (P#) zawiera następujące pliki: dane EMG zapisane w pliku EDF, nazwane w następujący sposób: fpe_pos{numer pozycji}_{numer badanego}_S{numer sesji}_rep0_BT; dane śledzenia dłoni zapisane w pliku CSV, nazwane fpe_pos{numer pozycji}_{numer badanego}_S{numer sesji}_rep0_BT_full; oraz plik dziennika, log.txt, zawierający metadane dotyczące sesji.
  4. Przetwarzanie danych
    UWAGA: Użytkownik może samodzielnie wybrać sposób analizy sygnału oraz narzędzia, których będzie używał. Poniżej przedstawiamy skrypt do filtrowania sygnału i segmentacji danych w języku Python. Podczas korzystania z języka Python należy upewnić się, że wszystkie zależności (np. Numpy, Pandas, SciPy, MNE, Sklearn) są zainstalowane.
    1. Otwórz środowisko Python, załaduj plik data_analysis.py i uruchom skrypt.
    2. W konsoli pojawi się prośba o podanie niezbędnych parametrów do przetwarzania danych: ścieżki do pliku EMG, ścieżki do danych kinematycznych dłoni, ścieżki, w której zapisane zostaną przetworzone dane, częstotliwości próbkowania w Hz, czasu trwania okna w ms oraz interwału kroku w ms.
    3. Po tym kroku skrypt przeprowadzi przetwarzanie danych.
    4. Filtrowanie sygnału EMG: Uruchom skrypt zgodnie z powyższą instrukcją. Skrypt najpierw filtruje sygnał sEMG, stosując filtry górnoprzepustowe Butterwortha 4. rzędu z częstotliwością odcięcia 20 Hz w celu usunięcia sygnałów niebędących EMG, a następnie filtr notch w celu usunięcia harmonicznych 50 Hz i 100 Hz. Dodatkowo skrypt przeprowadza normalizację sygnału EMG.
    5. Segmentacja danych EMG, HKD i instrukcyjnych gestów: Uruchom skrypt zgodnie z powyższą instrukcją. Skrypt stosuje segmentację z wykorzystaniem techniki przesuwnego okna, zdefiniowanej przez określony czas trwania okna i interwał kroku. W tym eksperymencie należy ustawić te wartości odpowiednio na 512 i 2 ms. Następnie skrypt przekształca organizację kanałów sEMG w konfigurację siatki przestrzennej 4 x 4, zachowując układ macierzy elektrod. Na koniec skrypt generuje słownik zawierający metadane w formie pliku pickle.
    6. Kroki czyszczenia i walidacji danych
      1. Zidentyfikuj i wyklucz z zestawu danych segmenty zawierające artefakty, szumy lub niespójne etykiety gestów.
      2. Zapewnij kompletność segmentów i ciągłość czasową między oknami, aby zachować niezawodność danych.
      3. Zweryfikuj spójność danych gestów z danymi HKD. Usuń okna wykazujące wzorce gestów, które odbiegają od standardów sesji HKD.
      4. Wykryj i odrzuć segmenty odstające, które nie są zgodne z oczekiwanymi wzorcami kinematycznymi dla danej sesji.
      5. Przeprowadź dalszą analizę danych przy użyciu zaawansowanych algorytmów. Nie zostały one zawarte w niniejszym protokole.

Wyniki

Zbiór danych składa się z dwóch zsynchronizowanych czasowo komponentów: 16-kanałowego zbioru danych EMG oraz danych z systemu kamery do śledzenia dłoni. 16-kanałowe dane EMG rejestrują aktywność mięśniową poprzez zapisywanie sygnałów elektrycznych z różnych mięśni w czasie. System śledzenia dłoni dostarcza 16 kanałów danych odpowiadających kluczowym punktom szkieletowego modelu dłoni. Choć model posiada 21 punktów, wyłączając nadgarstek, liczba ta została zredukowana do 16 ze względu na ograniczenia ruchu24. Dane EMG oraz wizyjne były zbierane poprzez uruchomienie dwóch oddzielnych procesów na tym samym komputerze podczas rejestracji w celu zapewnienia synchronizacji. Znacznik czasu został użyty do oznaczenia początku każdego procesu, co pozwoliło kodowi analizy danych na wyrównanie aktywności mięśni i danych o ruchu dłoni po zakończeniu rejestracji. Adnotacje znaczników czasu zostały zapisane automatycznie w plikach EDF oraz CSV, wskazując dokładny czas, w którym zlecono wykonanie konkretnych gestów palców, co ułatwiło wyrównanie podczas analizy danych. Przefiltrowany sygnał EMG (filtr górnoprzepustowy Butterwortha 4. rzędu, 20 Hz) charakteryzuje się niską linią bazową (obszary zacienione na szaro), która zazwyczaj mieści się w zakresie 3-9 µV25. Linia bazowa ta jest obserwowana, gdy dłoń badanej osoby pozostaje w bezruchu, a mięśnie są rozluźnione. Jeśli jednak napięcie mięśniowe występuje nawet w pozycji spoczynkowej, można wykryć wyraźny sygnał EMG. Artefakty mechaniczne spowodowane ruchem przejawiają się zazwyczaj w zakresie 10-20 Hz i powinny być odpowiednio odfiltrowane. Znacznie podwyższone wartości linii bazowej mogą wskazywać na zakłócenia sieci 50 Hz i powinny być unikane na etapie konfiguracji eksperymentu. W przypadkach, gdy utrzymuje się umiarkowany szum 50 Hz, stosowany jest filtr zaporowy (notch filter). Artefakty gwałtownych ruchów, które są trudniejsze do usunięcia, często pojawiają się jako wyraźne skoki o wysokiej amplitudzie w sygnale (patrz gwiazdka na Rysunku 2A). Amplituda sygnału EMG w obrębie 16-elektrodowej macierzy jest zmienna, co odzwierciedla przestrzenną dystrybucję aktywności mięśniowej w badanym obszarze. Zmienność ta dostarcza cennych informacji na temat heterogeniczności skurczu mięśni podczas wykonywania gestów dłonią.

Kamera do śledzenia dłoni dostarcza bezpośrednich informacji o kątach zgięcia palców (dane kinematyczne dłoni, HKD), które powinny ściśle korelować z zarejestrowanymi sygnałami EMG. Podczas wykonywania gestów kąty palców mieszczą się w normalnym zakresie26, w zależności od konkretnego gestu. Gdy droga wizualna między kamerą do śledzenia dłoni a dłonią nie jest zasłonięta, otrzymany sygnał jest stabilny i dokładny, co przedstawiono na Rysunku 2. Jednak w przypadkach utraty kontaktu wizualnego lub gdy system napotyka ograniczenia techniczne, dane HKD mogą stać się niestabilne, wykazując przeskoki między błędnymi wartościami. Takie dane odstające powinny być ograniczane podczas gromadzenia danych i odrzucane w końcowej analizie, aby zachować integralność wyników.

HKD jest intuicyjny i umożliwia bezpośrednie porównanie z faktycznie wykonywanymi gestami. Wykazuje niską zmienność między osobnikami oraz dla różnych pozycji dłoni. W przeciwieństwie do tego, dane EMG mają tendencję do znacznych różnic między osobnikami ze względu na różnice anatomiczne, takie jak wielkość dłoni i rozwój mięśni27. Ponadto zmienność może być obserwowana między dłonią dominującą a niedominującą. Ta specyficzna dla osobnika zmienność może zostać uwzględniona podczas analizy offline.

Na Rysunku 2 widoczne jest, że zarówno sygnały EMG, jak i HKD są przesunięte względem instrukcji wyzwalającej gest. Rozbieżność ta wynika z czasu reakcji oraz naturalnego sposobu wykonywania ruchu28. W zadaniach regresyjnych taka zmienność może przyczyniać się do zwiększenia zasobu danych, natomiast w zadaniach klasyfikacyjnych można ją kontrolować za pomocą metody uogólnionego stosunku wiarygodności, stosowanej w podobnych scenariuszach28.

Pomiar EMG; porównanie serii czasowych kinematyki dłoni i aktywności mięśniowej; wykres eksperymentalny.
Rycina 2: Reprezentatywne zapisy sEMG i HKD podczas odwodzenia palców. Sygnały powierzchniowej elektromiografii (sEMG) oraz dane kinematyki dłoni (HKD) zarejestrowane podczas dynamicznego odwodzenia palców i spoczynku w pozycji dłoni 1 (dłoń opuszczona, wyprostowana i rozluźniona) u jednego uczestnika. (A) Przefiltrowane sygnały EMG z 16 kanałów w funkcji czasu. Gwiazdka (*) oznacza artefakt mechaniczny wykryty w zapisie EMG kanału 5. (B) HKD, przedstawiające kąty w stawach w funkcji czasu. Kąty w stawach mierzono w różnych miejscach: stawie nadgarstkowo-śródpodstawnym (TMC), stawach śródpaliczkowych (MCP) i stawach międzypaliczkowych bliższych (PIP). Fazy eksperymentu (spoczynek i odwodzenie) są zaznaczone na osi x. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Te reprezentatywne wyniki wykazały użyteczność zsynchronizowanych danych EMG i HKD w rejestrowaniu gestów dłoni. Dopasowanie sygnałów EMG do odpowiadających im danych HKD umożliwia powiązanie aktywności mięśniowej z konkretnymi ruchami palców. Podczas budowania modelu predykcyjnego badacze mogą wykorzystać HKD jako prawdę obiektywną (ground truth), iteracyjnie weryfikując i uściślając przewidywania gestów oparte na EMG. Podejście to podkreśla praktyczną przydatność protokołu i sugeruje potrzebę dalszych badań w bardziej naturalnych warunkach.

Rycina uzupełniająca 1: Okna spektrogramu wyświetlane podczas etapu weryfikacji sygnału. Panele po lewej stronie przedstawiają surowe dane EMG, natomiast panele po prawej stronie pokazują wykryte dziedziny częstotliwości. (A) Przykład bardzo zaszumionego sygnału EMG z silnymi zakłóceniami o częstotliwości 50 Hz i 100 Hz. (B) Przykład zapisu tego samego sygnału EMG po odsunięciu uczestnika od urządzeń elektrycznych, co skutkuje czystym sygnałem EMG z minimalnymi zakłóceniami. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Protokół przedstawiony w tym badaniu przedstawia krytyczne kroki, modyfikacje i strategie rozwiązywania problemów mające na celu poprawę rozpoznawania gestów dłoni poprzez połączenie sygnałów sEMG i HKD. Omówiono w nim kluczowe ograniczenia i porównano to podejście z istniejącymi alternatywami, podkreślając jego potencjalne zastosowania w różnych dziedzinach badań. Jednym z najważniejszych aspektów protokołu jest zapewnienie prawidłowego ustawienia i wyrównania kamery śledzącej rękę. Dokładne przechwytywanie gestów w dużym stopniu zależy od kąta i odległości kamery względem dłoni uczestnika. Nawet niewielkie odchylenia w ustawieniu kamery mogą prowadzić do niedokładności śledzenia, zmniejszając wierność danych gestów. To wyrównanie musi być starannie dostosowane do każdego uczestnika i pozycji ręki, aby zapewnić spójne i wiarygodne gromadzenie danych. Ponadto ważne jest, aby uczestnicy byli dobrze zaznajomieni z protokołem, aby zapobiec niepotrzebnym danym - w których gesty są albo nieprawidłowo wykonywane, albo niedostosowane do przepływu eksperymentalnego. Upewnienie się, że uczestnicy czują się komfortowo i są zaznajomieni z gestami i konfiguracją eksperymentalną, może zminimalizować szum danych i poprawić jakość nagrań.

Częstym wyzwaniem w tego typu badaniach jest zanieczyszczenie hałasem zarówno w sEMG, jak i HKD. Sygnały sEMG są szczególnie wrażliwe na takie czynniki, jak zmęczenie mięśni, artefakty ruchu i szumy otoczenia, takie jak zakłócenia elektromagnetyczne. Techniki wstępnego przetwarzania, takie jak filtrowanie pasmowo-przepustowe, są niezbędne do redukcji szumów i poprawy klarowności sygnału. Właściwe umieszczenie elektrod i poinstruowanie uczestników, aby utrzymywali rozluźnione mięśnie podczas faz odpoczynku, może jeszcze bardziej złagodzić artefakty ruchu. Pomimo tych środków ostrożności, pewna zmienność sygnałów sEMG jest nieunikniona ze względu na indywidualne różnice w anatomii, sile ręki i wzorcach aktywacji mięśni. Tej zmienności można zaradzić za pomocą elastycznych algorytmów zdolnych do normalizacji tych różnic między obiektami i warunkami.

Kluczowym czynnikiem w uzyskaniu wysokiej jakości sygnałów sEMG jest wstępna weryfikacja sygnału. Tradycyjne protokoły wykorzystujące elektrody żelowe wymagają przygotowania skóry, takiego jak złuszczanie lub oczyszczanie alkoholem, aby poprawić klarowność sygnału. Jednak w poprzednim badaniu wykazaliśmy, że w przypadku suchych elektrod przygotowanie skóry może nie mieć znaczącego wpływu na jakość sygnału25. W tym protokole czyszczenie skóry jest opcjonalne, a tym samym upraszcza proces. Innym problemem związanym ze skórą wpływającym na jakość sygnału jest nadmierne i gęste owłosienie na ramionach. W takich przypadkach sugerujemy albo ogolenie obszaru, albo wykluczenie osoby badanej z badania.

Jednym z krytycznych wyzwań związanych z wykorzystaniem sEMG do rozpoznawania gestów jest jego czułość na ułożenie dłoni. Nawet podczas wykonywania tego samego gestu, różnice w orientacji dłoni mogą prowadzić do różnych wzorców sygnału EMG. Aby rozwiązać ten problem, niezbędne są modele uczenia maszynowego, które mogą uwzględniać zmienność pozycji dłoni22. Modele te muszą być trenowane przy użyciu danych z wielu pozycji rąk, aby zwiększyć niezawodność i możliwość uogólnienia. Kolejną ważną kwestią jest synchronizacja danych wizualnych i sEMG. Spójne synchronizowanie gestów ma kluczowe znaczenie dla uniknięcia rozbieżności między wykonywaniem gestów a rejestracją danych. Protokół ten wykorzystuje odliczanie wizualne i sygnały dźwiękowe, aby zapewnić dokładne kroki pomiaru czasu i ponownej kalibracji, gdy jest to konieczne, aby skorygować wszelkie niewspółosiowości podczas zbierania danych.

Pomimo swoich mocnych stron, protokół ten ma kilka ograniczeń. Jednym z głównych ograniczeń jest ograniczone pole widzenia kamery śledzącej rękę, co wymaga, aby ręce uczestnika pozostawały w zasięgu wykrywania kamery. Ogranicza to analizę do niewielkiego zestawu ruchów. W przypadku eksperymentów przeprowadzanych poza laboratorium wymagane będzie bardziej złożone obrazowanie wideo lub użycie inteligentnych rękawiczek. Zmęczenie uczestników stanowi również wyzwanie podczas dłuższych sesji, potencjalnie wpływając na dokładność gestów i aktywację mięśni, co może pogorszyć jakość danych sEMG. Aby złagodzić te skutki, może być konieczne ograniczenie długości sesji lub wprowadzenie przerw w celu zminimalizowania zmęczenia. Dodatkowo, zakłócenia linii energetycznej mogą wprowadzać szumy do sygnałów sEMG, szczególnie gdy uczestnicy znajdują się blisko komputera w celu przechwytywania danych. Bezprzewodowa wersja systemu mogłaby zmniejszyć takie zakłócenia, umożliwiając uczestnikom przebywanie dalej od komputera.

Istotne ograniczenie metodologiczne wykrywania gestów palca na podstawie EMG wynika z dużej zmienności międzyosobniczej sygnałów sEMG, co wymaga opracowania niestandardowych modeli dla każdego uczestnika. To podejście specyficzne dla tematu, choć dokładniejsze, ogranicza skalowalność protokołu i wymaga dodatkowej kalibracji i czasu szkolenia dla każdego nowego użytkownika. Strumienie danych EMG i HKD wykazują niewielkie różnice w synchronizacji czasowej wynikające z podwójnego procesu nagrywania. Te rozbieżności czasowe mają minimalny wpływ na analizę statycznych gestów, ponieważ utrzymywane pozy są stabilne w czasie. Ciągły charakter gestów statycznych zapewnia odpowiedni czas na ustabilizowanie się zarówno EMG, jak i cech kinematycznych, w przeciwieństwie do gestów dynamicznych, które wymagają bardziej precyzyjnej synchronizacji.

Kluczową zaletą tej metody jest jej elastyczność w przechwytywaniu gestów. W przeciwieństwie do innych systemów, które wymagają sztywnych ustawień i ścisłych parametrów gestów, ten protokół dostosowuje się do dynamicznych i elastycznych pozycji dłoni19. Ta elastyczność jest szczególnie przydatna w badaniach mających na celu analizę szerokiego zakresu ruchów, dzięki czemu można ją lepiej dostosować do rzeczywistych zastosowań. Co więcej, protokół ten jest opłacalny w porównaniu z bardziej zaawansowanymi systemami przechwytywania ruchu i sEMG, które często obejmują złożone konfiguracje29. Dzięki zintegrowaniu kamery śledzącej dłoń z półautomatycznymi algorytmami sEMG, metoda ta stanowi realną alternatywę dla badań nad rozpoznawaniem gestów bez uszczerbku dla jakości danych. Ponadto potencjał systemu w zakresie przetwarzania danych w czasie rzeczywistym otwiera możliwości natychmiastowego uzyskania informacji zwrotnej w zastosowaniach takich jak neuroprotetyka i rehabilitacja, w których niezbędna jest reakcja w czasie rzeczywistym. Protokół ten ma znaczące implikacje dla kilku dziedzin, w szczególności dla neuroprotetyki. Dokładne przewidywanie gestów dłoni na podstawie sygnałów sEMG ma kluczowe znaczenie dla kontroli protez kończyn, a elastyczność w ułożeniu dłoni oferowana przez tę metodę sprawia, że jest ona idealnym kandydatem do protez czasu rzeczywistego. W rehabilitacji protokół ten może być stosowany do monitorowania i poprawy regeneracji motorycznej u pacjentów z zaburzeniami ręki lub palca. Analizując wzorce aktywacji mięśni podczas wykonywania gestów, system ten może być wykorzystany do dostosowania ćwiczeń rehabilitacyjnych do indywidualnych potrzeb, oferując spersonalizowane podejście do regeneracji motorycznej. W przypadku interakcji człowiek-komputer (HCI) metoda ta umożliwia tworzenie bardziej naturalnych systemów sterowania opartych na gestach, poprawiając intuicyjność i skuteczność interfejsów użytkownika. Wreszcie, protokół może zostać zastosowany w badaniach ergonomicznych, aby ocenić, w jaki sposób różne pozycje rąk i gesty wpływają na aktywność mięśni i zmęczenie, potencjalnie prowadząc do postępów w projektowaniu miejsc pracy i ergonomii użytkowników.

Aby zapewnić stałą siłę skurczu u uczestników, w przyszłych badaniach można zastosować rękawicę z rezystorami wrażliwymi na siłę do bezpośredniego pomiaru siły. Pozwoliłoby to na standaryzację wysiłków wśród badanych, poprawiając wiarygodność danych EMG. Dodatkowo, zintegrowanie tego pomiaru siły jako etykiety w kinematyce stawów zapewniłoby bardziej szczegółowe odwzorowanie wewnętrznego stanu mięśnia, potencjalnie wzbogacając analizę funkcji mięśni i wzorców ruchowych. Takie podejście nie tylko poprawiłoby spójność danych, ale także zapewniłoby głębszy wgląd w związek między skurczem mięśni a ruchomością stawów.

Podsumowując, protokół ten zapewnia nowatorskie i elastyczne podejście do rozpoznawania gestów dłoni z szerokimi zastosowaniami w neuroprotetyce, rehabilitacji, HCI i ergonomii. Chociaż system ma ograniczenia, jego elastyczność, opłacalność i potencjał do wykorzystania w czasie rzeczywistym stanowią znaczny postęp w stosunku do istniejących metod. Te mocne strony sprawiają, że jest to obiecujące narzędzie do dalszego rozwoju i innowacji w technologiach rozpoznawania gestów.

Oświadczenia

Yael Hanein deklaruje udziały finansowe w firmie X-trodes Ltd, która skomercjalizowała technologię elektrod z sitodrukiem zastosowaną w tym artykule. Pozostali autorzy nie mają żadnych innych istotnych powiązań finansowych z żadną organizacją lub podmiotem mającym interes finansowy lub konflikt finansowy z tematyką lub materiałami omawianymi w manuskrypcie, poza tymi, które zostały ujawnione.

Podziękowania

Ten projekt został częściowo sfinansowany z grantu ERC (OuterRetina) i ISF. Fundatorzy nie odgrywali żadnej roli w projektowaniu badania, gromadzeniu i analizie danych, podejmowaniu decyzji o publikacji lub przygotowaniu manuskryptu. Dziękujemy Davidowi Buzaglo, Cheni Hermonowi, Liron Ben Ari i Adi Ben Ari za pomoc w zaprojektowaniu oryginalnej wersji protokołu.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Regulowany kijekSłuży do ustawiania i ustawiania kamery śledzącej rękę w żądanej orientacji w celu optymalnego przechwytywania danych podczas eksperymentu.
nasączona alkoholemDo czyszczenia obszaru do umieszczenia elektrody.
Jednostka akwizycji danych (DAU)X-trodes Ltd.  XTR-BT V1.3Kompatybilny z czasem rzeczywistym DAU 2.0.17 lub 4.0.1
rozpoznawania gestów palcami
Kontroler ruchu Leap 2Ultraleap129-SP4-00005-03Kamera śledząca rękę
DługiPodłączenie kamery śledzącej rękę do komputera.
Monitory komputeroweJeden do wskazówek, drugi do przeglądania danych z kamery śledzącej rękę 
Komputer osobisty (PC)Windows,Windows 10+; Procesory: Procesor Inteli7. Odbiornik BT.
KodPythona Skrypt umożliwiający bezproblemowe przesyłanie danych i nagrywanie do 500 S/s, gdy DAU jest podłączony do komputera przez Bluetooth
Ultraleap Camera Python APIUltraleapPython API i instrukcje od Ultraleap s Repozytorium GitHub (https://github.com/ultraleap/leapc-python-bindings) używane do zbierania danych z jednostki Ultraleap podczas eksperymentu
Ultraleap HyperionUltraleapTracking software
XTR EXG16X-trodes Ltd.XTELC0003405RM16-kanałowa łatka do noszenia na suchych elektrodach do monitorowania EMG, EKG
X-trodes PC AppX-trodes Ltd.1.1.35.0Aplikacja do podłączenia X-trodes DAU do komputera przez BT
do selfie Podkładka Biblioteka https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git Type-C do Type-C

Bibliografia

  1. Fang, B., et al. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).
  2. Yadav, D., Veer, K. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).
  3. EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).
  4. sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).
  5. Zhang, X., Zhou, P. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).
  6. Guo, K., et al. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).
  7. Sun, T., Hu, Q., Libby, J., Atashzar, S. F. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).
  8. Atzori, M., et al. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).
  9. Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).
  10. Geng, W., et al. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).
  11. Wei, W., et al. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).
  12. Padhy, S. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).
  13. Moin, A., et al. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).
  14. Côté-Allard, U., et al. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).
  15. NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).
  16. Dere, M. D., Lee, B. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).
  17. Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).
  18. Lee, K. H., Min, J. Y., Byun, S. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).
  19. Zhou, X., et al. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).
  20. Zhang, Z., Yang, K., Qian, J., Zhang, L. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).
  21. Nieuwoudt, L., Fisher, C. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).
  22. Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).
  23. Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).
  24. Lin, J., Wu, Y., Huang, T. S. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).
  25. Arché-Núñez, A., et al. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).
  26. Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).
  27. Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).
  28. Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).
  29. Armitano-Lago, C., Willoughby, D., Kiefer, A. W. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).

Przedruki i uprawnienia

Tagi

Rozpoznawanie gest w palc wledzenie d onidynamiczne ruchy d onimapowanie aktywno ci mi niowejsystem rozpoznawania gest wmacierz elektrodinterakcja cz owiek komputerrehabilitacja protezmetody g bokiego uczenia
Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.