Method Article

Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie

DOI:

10.3791/67766

⸱

March 28th, 2025

 ,  ,  ,  ,  , 
1School of Electrical Engineering, Tel Aviv University, 2Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), 3X-trodes Ltd.

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het artikel presenteert een uitgebreid protocol voor het gelijktijdig registreren van handelektromyografie (EMG) en visuele vingertracking tijdens natuurlijke vingergebaren. De visuele gegevens zijn ontworpen om te dienen als de basiswaarheid voor de ontwikkeling van nauwkeurige EMG-gebaseerde computermodellen voor herkenning van vingergebaren.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Vingergebaren zijn een cruciaal element in menselijke communicatie, en als zodanig wordt vingergebarenherkenning op grote schaal bestudeerd als een mens-computerinterface voor state-of-the-art protheses en geoptimaliseerde revalidatie. Oppervlakte-elektromyografie (sEMG), in combinatie met deep learning-methoden, wordt beschouwd als een veelbelovende methode in dit domein. De huidige methoden zijn echter vaak gebaseerd op omslachtige opname-opstellingen en de identificatie van statische handposities, waardoor hun effectiviteit in real-world toepassingen wordt beperkt. Het protocol dat we hier rapporteren, presenteert een geavanceerde benadering die een draagbaar oppervlakte-EMG en een vingervolgsysteem combineert om uitgebreide gegevens vast te leggen tijdens dynamische handbewegingen. De methode registreert spieractiviteit van zacht geprinte elektrode-arrays (16 elektroden) die op de onderarm worden geplaatst terwijl proefpersonen gebaren uitvoeren in verschillende handposities en tijdens beweging. Visuele instructies zetten proefpersonen ertoe aan specifieke gebaren uit te voeren, terwijl EMG en vingerposities worden geregistreerd. De integratie van gesynchroniseerde EMG-opnames en vingertrackinggegevens maakt een uitgebreide analyse van spieractiviteitspatronen en bijbehorende gebaren mogelijk. De gerapporteerde aanpak toont het potentieel aan van het combineren van EMG en visuele volgtechnologieën als een belangrijke bron voor het ontwikkelen van intuïtieve en responsieve gebarenherkenningssystemen met toepassingen in protheses, revalidatie en interactieve technologieën. Dit protocol is bedoeld als leidraad voor onderzoekers en praktijkmensen en het bevorderen van verdere innovatie en toepassing van gebarenherkenning in dynamische en real-world scenario's.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Handgebaren zijn essentieel in menselijke communicatie, waardoor de herkenning van vingergebaren een cruciaal onderzoeksgebied is op gebieden zoals mens-computerinteractie, geavanceerde protheses 1,2,3,4 en revalidatietechnologieën 5,6. Als gevolg hiervan heeft vingergebarenherkenning veel aandacht gekregen vanwege het potentieel om intuïtieve bedieningssystemen en hulpmiddelen te verbeteren. Oppervlakte-elektromyografie (sEMG) in combinatie met deep learning-algoritmen is in opkomst als een veelbelovende benadering voor het vastleggen en interpreteren van deze gebaren vanwege het vermogen om de elektrische activiteit van spieren te detecteren die verband houden met handbewegingen 7,8,9,10,11,12,13,14,15.

Ondanks deze vooruitgang hebben de huidige benaderingen echter te maken met beperkingen in toepassingen in de echte wereld. De meeste bestaande systemen vereisen complexe, omslachtige opname-opstellingen met talrijke elektroden 5,7,9,16,17 en nauwkeurige positionering 3,18, die vaak moeilijk te implementeren zijn buiten gecontroleerde omgevingen. Bovendien hebben deze systemen de neiging zich te concentreren op statische handposities 13,18,19,20,21, waardoor hun vermogen om dynamische, vloeiende gebaren te interpreteren die bij dagelijkse activiteiten voorkomen, wordt beperkt. Het protocol is bedoeld om deze beperkingen aan te pakken door dynamische gebarenherkenning in meer natuurlijke omstandigheden te ondersteunen. Een dergelijke methodologie zou meer praktische en gebruiksvriendelijke toepassingen mogelijk maken op gebieden als protheses en revalidatie, waar realtime, natuurlijke gebareninterpretatie essentieel is.

Om deze uitdagingen aan te gaan, zijn voor het ontwikkelen van nauwkeurigere en aanpasbare algoritmen datasets nodig die de natuurlijke, alledaagse omstandigheden weerspiegelen 3,4. Dergelijke datasets moeten een breed scala aan dynamische bewegingen, verschillende handposities en grote hoeveelheden gegevens vastleggen om de robuustheid van het model te garanderen. Bovendien is de variabiliteit tussen trainings- en testdatasets cruciaal, waardoor modellen kunnen generaliseren over verschillende handhoudingen, spieractiveringspatronen en bewegingen. Door een dergelijke diversiteit in de gegevens op te nemen, kunnen algoritmen gebarenherkenning nauwkeuriger uitvoeren in alledaagse, real-world toepassingen22.

Het overwinnen van deze uitdagingen zal essentieel zijn voor de toekomstige ontwikkeling van meer praktische en breed toepasbare gebarenherkenningssystemen. De hier beschreven studie en het protocol komen voort uit de behoefte aan een draagbare, gebruiksvriendelijke opstelling die dynamische handbewegingen in natuurlijke omgevingen kan vastleggen. Uitgebreide datasets en geavanceerde algoritmen zijn van cruciaal belang om het potentieel van sEMG en deep learning in mens-computerinterfaces, neuroprotheses en revalidatietechnologieën volledig te ontsluiten. We verwachten dat dit protocol zal bijdragen aan het veld door uitgebreide gegevensverzameling mogelijk te maken om de ontwikkeling van algoritmemodellen die generaliseren over verschillende handposities verder mogelijk te maken.

Een belangrijke uitdaging bij gebarenherkenning ligt in de gevoeligheid van sEMG-signalen voor de positionering van de hand. Hoewel veel onderzoeken zich richten op vaste handposities voor het voorspellen van gebaren, vereisen toepassingen in de echte wereld modellen die in staat zijn om vingerbewegingen in verschillende handhoudingen te herkennen. Recente benaderingen hebben dit aangepakt door computervisie op te nemen als referentie voor grondwaarheid, waardoor de nauwkeurigheid en flexibiliteit van deze modellen zijn verbeterd15,19. Bovendien bieden hybride modellen die sEMG-signalen integreren met visuele gegevens verdere verbeteringen in de herkenningsnauwkeurigheid in diverse scenario's23.

In dit protocol presenteren we een gesynchroniseerde benadering van gegevensverzameling die de dynamische gebarenherkenning verbetert door zowel EMG- als hand-tracking-gegevens op te nemen in real-world-achtige omstandigheden. In tegenstelling tot traditionele methoden die de uitvoering van gebaren beperken tot statische posities, omvat dit protocol gebaren die worden uitgevoerd in vier verschillende posities: hand omlaag, hand omhoog, hand recht en hand bewegend. De hand-tracking camera volgt handbewegingen binnen een driedimensionale interactieve zone, identificeert verschillende handelementen en legt dynamische bewegingen vast met een hoge resolutie. Een zachte elektrode-array van 16 elektroden die op de onderarm zijn geplaatst om spieractiviteit te registreren, biedt stabiele en draadloze opnames zonder de mobiliteit van de deelnemer te belemmeren. De gesynchroniseerde gegevens uit deze twee bronnen bieden een uitgebreide basis voor het ontwikkelen van geavanceerde algoritmen voor gebarenherkenning die in staat zijn om in reële omstandigheden te werken. De aanpak richt zich specifiek op de beperkingen van de huidige opstellingen door vrije beweging en stabiele signaalopname in realistische scenario's te vergemakkelijken. Deze vooruitgang ondersteunt gebarenherkenningstechnologieën voor toepassingen in protheses, revalidatie en interactieve technologieën, waarbij intuïtieve bediening en flexibiliteit essentieel zijn.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gezonde deelnemers (n = 18, leeftijd 18-32 jaar, zowel mannen als vrouwen) werden gerekruteerd voor deze studie, die werd goedgekeurd door de Ethische Beoordelingscommissie van de Universiteit van Tel Aviv (goedkeuringsnr. 0004877-3). Het protocol houdt zich aan de richtlijnen van het bestuur voor onderzoek met menselijke deelnemers. Van alle deelnemers werd geïnformeerde toestemming verkregen in overeenstemming met de institutionele vereisten.

1. Briefing van de experimentator

  1. Vraag de deelnemers om een reeks van 14 verschillende vingergebaren uit te voeren (zie afbeelding 1) en herhaal elk gebaar 7x in een willekeurige volgorde. Vraag hen om elk gebaar 5 seconden stevig vol te houden, gevolgd door een rustperiode van 3 seconden. De totale duur van elke sessie is 13:04 min.
  2. Een grote afbeelding van het gebaar die op een computerscherm wordt weergegeven, gaat vergezeld van een afteltimer om de prestaties van het gebaar aan te geven. Vraag de deelnemer tijdens de rustperiode om naar de kleine afbeelding van het komende gebaar te kijken, samen met een timer die de resterende rusttijd aangeeft. Twee verschillende pieptonen geven het begin en einde van elk gebaar aan, zodat de deelnemers zich kunnen voorbereiden op het volgende gebaar.
  3. Vraag elke deelnemer om de procedure in vier verschillende posities uit te voeren, vergelijkbaar met de eerder gepresenteerde22:
    Positie 1: Deelnemer staand. Met de hand naar beneden, recht en ontspannen.
    Positie 2: Deelnemer zittend in de leunstoel. Hand naar voren uitgestrekt in een hoek van 90°, handpalm ontspannen (een ondersteuningsapparaat kan worden gebruikt).
    Positie 3: Hand naar boven gevouwen (met een elleboog rustend op de fauteuil), handpalm ontspannen.
    Positie 4: De deelnemer kiest een van de vorige posities en mag de hand vrij bewegen binnen het detectiebereik van de camera, in realtime gevolgd op een pc-scherm (zie stap 1.4 voor meer details).
  4. Laat de deelnemer voor elke sessie een elektromyografie-apparaat op de arm dragen en een hand-trackingcamera naar hem toe plaatsen. Vraag de deelnemers om ervoor te zorgen dat hun handpalmen altijd naar de camera gericht zijn. De hand-tracking software wordt op een apart scherm weergegeven, zodat zowel de deelnemer als de conducteur kunnen controleren of de hand correct wordt herkend.
  5. Pas voor elke positie de positie en hoek van de handvolgcamera aan om een nauwkeurige handherkenning te garanderen. Beoordeel bovendien de kwaliteit van de signalen van de elektroden met behulp van het spectrogramscript.

figure-protocol-1
Figuur 1: Schematische weergave van het gegevensverzamelingsproces. De proefpersoon is uitgerust met een zachte elektrode-array op de onderarm (3), die signalen van oppervlakte-elektromyografie (sEMG) met hoge resolutie opvangt tijdens de uitvoering van gebaren. De proefpersoon voert 14 verschillende vingergebaren uit die in willekeurige volgorde op een computerscherm worden weergegeven (4). De EMG-gegevens worden draadloos gestreamd naar een pc (pc) vanaf de data-acquisitie-eenheid (DAU; 1). Tegelijkertijd worden kinematische handgegevens (HKD) die de hoeken van het vingergewricht weergeven, vastgelegd met behulp van een handvolgcamera (2). Klik hier om een grotere versie van deze figuur te bekijken.

2. Instellen van de data-acquisitie-eenheden

  1. Open de Github-repository op https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git en volg de gedetailleerde instructies in het gedeelte Installatie. Zoek het primaire Python-bestand data_collection.py in de map finger_pose_estimation/data_acquisition. Gebruik dit om het experiment uit te voeren, gebruik de script spectrogram.py om de EMG-signaalkwaliteit te beoordelen voordat het experiment begint, en het script data_analysis.py voor signaalfiltering en segmentatie.
  2. Zorg ervoor dat de EMG Data Acquisition Unit (DAU) voor elke sessie volledig is opgeladen en schakel deze in.
  3. Verbind de DAU via Bluetooth met de pc met behulp van de speciale applicatie. Stel de Bluetooth-communicatiesnelheid in op 500 samples per seconde (S/s).
  4. Installeer en open de software van de handvolgcamera op de pc. Sluit de handvolgcamera met een kabel aan op de pc.
  5. Gebruik één scherm om altijd hand-tracking camerasoftware weer te geven. Op deze manier kunnen de dirigent en de deelnemer ervoor zorgen dat de camera de hand correct herkent tijdens het experiment.

3. Voorbereiding van de deelnemer

  1. Inleiding en toestemming
    1. Leg kort de relevantie van het onderzoek en de experimentele procedure uit aan de deelnemer. Verkrijg geïnformeerde toestemming volgens institutionele richtlijnen voor onderzoek met mensen.
  2. Plaatsing van de elektrode
    1. Instrueer de deelnemer om zijn rechterhand te buigen door een sterke vuist te vormen. Terwijl de deelnemer buigt, palpeer je de onderarm door zachtjes langs de spier te drukken om de plek te identificeren waar spieractivatie het meest prominent is. Deze locatie is gemakkelijk te herkennen aan het gebied waar de spier uitpuilt tijdens het samentrekken.
    2. Optioneel: Bereid het geïdentificeerde huidgebied voor door het te reinigen met een alcoholvezelloze doek, prep-gel of water en zeep. Laat het gebied aan de lucht drogen. Vermijd overmatig reinigen met alcohol, omdat dit de huid kan uitdrogen. Deze stap is optioneel; Zie het gedeelte Discussie.
    3. Verwijder de witte beschermlaag van de EMG-elektrode-array en bevestig de elektroden voorzichtig op het geïdentificeerde onderarmgebied zoals bepaald in stap 3.2.1. (zie figuur 1). Zorg ervoor dat het plakband zich dichter bij de handpalm bevindt. Bevestig de elektrode-array aan de huid door zachtjes te tikken.
    4. Zodra de elektrode-array op de huid is bevestigd, verwijdert u de transparante steunlaag.
    5. Steek de connectorkaart van de elektrode-array in de connectoraansluiting van de DAU. Bevestig de DAU op het plakband naast de elektroden.
    6. Voer aangepaste Python-spectrogramscript Spectrogram.py uit om de realtime signaalkwaliteit te verifiëren. Er verschijnt een venster met onbewerkte gegevens (links) en het frequentiedomein (rechts) voor alle elektroden (zie aanvullende afbeelding 1 ter referentie).
      1. Controleer of alle elektroden worden gedetecteerd en goed werken en of het signaal vrij is van overmatige ruis en 50 Hz ruis.
      2. Verminder indien nodig 50 Hz-ruis door weg te gaan van elektronische apparaten die interferentie kunnen veroorzaken en onnodige apparaten los te koppelen van het stopcontact. Geef het signaal de tijd om te stabiliseren.
      3. Controleer de opname van het EMG-signaal: instrueer de deelnemer om een elleboog op de fauteuil te plaatsen en de vingers te bewegen, en vervolgens te ontspannen. Zorg ervoor dat een duidelijk EMG-signaal wordt weergegeven, gevolgd door statische basislijnruis.
      4. Sluit het script zodra de signaalverificatie is voltooid.
  3. Beoordeling van gebaar- en handpositie
    1. Open de map Afbeeldingen door op Finger_pose_estimation > Data_acquisition te klikken. Bekijk de gebarenafbeeldingen met de deelnemers.
    2. Zorg ervoor dat ze elke beweging begrijpen en deze nauwkeurig kunnen uitvoeren. Leg de vier handposities duidelijk uit aan de deelnemer.
    3. Instrueer de deelnemer voor elke sessie hoe hij de hand moet vasthouden en zorg voor de juiste houding en positionering.
  4. Positionering van deelnemers en camera's
    1. Instrueer de deelnemer voor handpositie 1 om rechtop te staan op ongeveer 1 m afstand van de tafel. Instrueer de deelnemer om de rechterhand naar beneden te houden, recht en ontspannen, met de handpalm naar de handvolgcamera gericht. Bevestig de hand-tracking camera op de tafel met een selfiestick en richt deze op de hand van de deelnemer.
    2. Instrueer de deelnemer voor handpositie 2 om comfortabel in een fauteuil te zitten die op 40-70 cm van de monitoren staat. Instrueer de deelnemer om de rechterhand 90° naar voren uit te strekken met een ontspannen handpalm naar de handvolgcamera. Gebruik indien nodig een hulpmiddel om de hand stabiel te houden. Plaats de handvolgcamera op de tafel met de voorkant naar boven.
      OPMERKING: Aangezien de deelnemer wordt verzocht in een vaste houding te blijven, is het belangrijk om een comfortabele houding te vinden die hij tijdens de sessie kan volhouden.
    3. Instrueer de deelnemer voor handpositie 3 om te gaan zitten zoals beschreven in stap 3.4.2. Instrueer de deelnemer om de hand naar boven te vouwen terwijl de elleboog op de fauteuil rust. De handpalm moet ontspannen zijn en de deelnemer moet naar de handvolgcamera kijken. Bevestig de handvolgcamera op de tafel met het gezicht naar de hand van de deelnemer (gebruik indien nodig een selfiestick). Zorg ervoor dat de positie van de deelnemer optimaal is voor zowel het bekijken van de schermen als om zich binnen het gezichtsveld van de camera te bevinden.
    4. Bewaak continu het scherm met handtrackinggegevens om ervoor te zorgen dat de camera de hand en vingers tijdens het experiment detecteert. Optioneel: controleer de EMG-signaalkwaliteit (stap 3.2.6.) in elke handpositie voordat u het experiment start.

4. Gegevensverzameling

  1. Het experiment uitvoeren
    1. Open Python en laad data_collection.py. Controleer of de parameters num_repetition, gesture_duration rest_duration naar wens zijn ingesteld.
      1. num_repetition: Definieer het aantal keren dat elke afbeelding van een beweging wordt weergegeven. Stel voor dit experiment het in op 7, wat betekent dat elke afbeelding 7 keer wordt getoond. gesture_duration: Geef de duur (in s) op waarvoor de deelnemer het handgebaar uitvoert. Stel dit experiment in op 5 s om te bepalen hoe lang elke afbeelding van een gebaar wordt weergegeven. Rest_duration: Geef de duur (in s) op waarvoor de deelnemer zijn handpalm ontspant tussen de gebaren. Stel het voor dit experiment in op 3 s.
    2. Pas de positie en hoek van de handvolgcamera aan de handpositie van de deelnemer aan.
    3. Voer het data_collection.py script uit. Er verschijnt een venster om de gegevens van de deelnemer in te voeren (serienummer, leeftijd, geslacht, sessienummer en handpositie). Vul deze gegevens in en druk op OK om het experiment automatisch te starten.
  2. Dataverzameling
    1. Registreer voor elke sessie EMG- en hand-tracking-gegevens die automatisch worden opgeslagen. Herhaal het experiment 4x voor elke deelnemer, één keer per handpositie.

5. Gegevensverwerking aan het einde van het experiment en na het experiment

  1. Naarmate het experiment is voltooid, worden de gegevens automatisch opgeslagen. Zorg ervoor dat de gegevens zijn opgeslagen in een map met het serienummer van de deelnemer. Elke sessie wordt opgeslagen in een submap met de naam S# (bijv. S1), met vier submappen voor elke handpositie P# (P1, P2, P3 en P4). De mapgrootte voor een enkele sessie is ongeveer 160 MB.
  2. Als een deelnemer meerdere sessies voltooit, zorg er dan voor dat alle gegevens worden opgeslagen in de bijbehorende sessiemap (bijv. S1, S2).
  3. Gegevensbestanden
    Zorg ervoor dat elke handpositiemap (P#) de volgende bestanden bevat: EMG-gegevens die zijn opgeslagen in een EDF-bestand, met de volgende naam: fpe_pos{positienummer}_{onderwerpnummer}_S{sessienummer}_rep0_BT; hand-tracking-gegevens die zijn opgeslagen in een CSV-bestand, met de naam fpe_pos{positienummer}_{onderwerpnummer}_S{sessienummer}_rep0_BT_full; en een logbestand, log.txt, met metadata over de sessie.
  4. Gegevensverwerking
    OPMERKING: Een gebruiker kan kiezen hoe hij verder gaat met signaalanalyse en welke tools hij wil gebruiken. Hier bieden we een script voor het uitvoeren van signaalfiltering en gegevenssegmentatie in Python. Wanneer u Python gebruikt, zorg er dan voor dat alle afhankelijkheden (bijv. Numpy, Pandas, SciPy, MNE, Sklearn) zijn geïnstalleerd.
    1. Open Python, laad data_analysis.py en voer het script uit.
    2. Er verschijnt een verzoek in de console om de nodige parameters voor gegevensverwerking te bieden: pad naar EMG-bestand, pad naar hand kinematische gegevens, pad waar de verwerkte gegevens worden opgeslagen, bemonsteringsfrequentie in Hz, vensterduur in ms en pasinterval in ms.
    3. Na die stap voert het script de gegevensverwerking uit.
    4. EMG-signaalfiltering: Voer het script uit zoals hierboven. Het script filtert eerst het sEMG-signaal door een 4e-orde Butterworth hoogdoorlaatfilter toe te passen met een 20 Hz cutoff om niet-EMG-signalen te verwijderen, en vervolgens een notch-filter om 50 Hz en 100 Hz harmonischen te verwijderen. Bovendien past het script normalisatie van het EMG-signaal toe.
    5. EMG-, HKD-gegevens en geïnstrueerde gebarensegmentatie: voer het script uit zoals hierboven. Het script past segmentatie toe, waarbij gebruik wordt gemaakt van een voortschrijdende venstertechniek die wordt gedefinieerd door de opgegeven vensterduur en het pasinterval. Stel ze in dit experiment in op respectievelijk 512 en 2 ms. Het script transformeert vervolgens de organisatie van het sEMG-kanaal in een 4 x 4 ruimtelijke rasterconfiguratie met behoud van de lay-out van de elektrode-array. Ten slotte genereert het script een woordenboek met metadata als een augurkbestand.
    6. Stappen voor het opschonen en valideren van gegevens
      1. Identificeer en sluit segmenten met artefacten, ruis of inconsistente gebarenlabels uit van de gegevensset.
      2. Zorg voor volledigheid van segmenten en tijdelijke continuïteit in alle vensters om de betrouwbaarheid van gegevens te behouden.
      3. Controleer de gegevens van gebaren op consistentie met de HKD. Verwijder vensters met gebarenpatronen die afwijken van de HKD-sessiestandaarden.
      4. Detecteer en verwijder uitschieters die niet voldoen aan de verwachte kinematische patronen voor de sessie.
      5. Voer verdere gegevensanalyse uit met behulp van geavanceerde algoritmen. Deze zijn niet voorzien in het huidige protocol.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De dataset bestaat uit twee tijdgesynchroniseerde componenten: een 16-kanaals EMG-dataset en gegevens van een hand-tracking camerasysteem. De 16-kanaals EMG-gegevens leggen de spieractiviteit vast door elektrische signalen van verschillende spieren in de loop van de tijd op te nemen. Het handvolgsysteem biedt 16 gegevenskanalen die overeenkomen met de belangrijkste punten op een skeletmodel van de hand. Hoewel het model 21 punten heeft, exclusief de pols, werd dit aantal teruggebracht tot 16 vanwege bewegingsbeperkingen24. De EMG- en visuele gegevens werden verzameld door tijdens de opname twee afzonderlijke processen op dezelfde computer uit te voeren om synchronie tot stand te brengen. Een tijdstempel werd gebruikt om het begin van elk proces te markeren, waardoor de gegevensanalysecode de gegevens over spieractiviteit en handbewegingen aan het einde van de opname op elkaar kon afstemmen. Tijdstempelannotaties werden automatisch opgeslagen in zowel EDF- als CSV-bestanden, waardoor het exacte tijdstip werd gemarkeerd waarop specifieke vingergebaren werden geïnstrueerd en de uitlijning tijdens gegevensanalyse werd vergemakkelijkt. Het gefilterde EMG-signaal (20 Hz 4e-orde Butterworth hoogdoorlaatfilter) wordt gekenmerkt door een lage basislijn (grijs gearceerde gebieden), die doorgaans binnen het bereik van 3-9 μV25 valt. Deze basislijn wordt waargenomen wanneer de hand van de proefpersoon stilstaat en de spieren in rust zijn. Als er echter zelfs in de rustpositie spierspanning aanwezig is, kan een duidelijk EMG-signaal worden gedetecteerd. Mechanische artefacten veroorzaakt door beweging manifesteren zich meestal in het bereik van 10-20 Hz en moeten dienovereenkomstig worden uitgefilterd. Aanzienlijk verhoogde basislijnwaarden kunnen duiden op lijninterferentie van 50 Hz en moeten worden vermeden tijdens de experimentele installatiefase. In gevallen waarin matige ruis van 50 Hz aanhoudt; Er wordt een notch-filter toegepast. Scherpe bewegingsartefacten, die moeilijker te verwijderen zijn, verschijnen vaak als uitgesproken pieken met hoge amplitude in het signaal (zie asterisk in figuur 2A). De amplitude van het EMG-signaal over de array met 16 elektroden varieert en weerspiegelt de ruimtelijke verdeling van de spieractiviteit over het gemeten gebied. Deze variantie geeft waardevol inzicht in de heterogeniteit van spiercontractie tijdens handgebaren.

De handvolgcamera geeft directe informatie over vingerhoeken (handkinematische gegevens, HKD), die naar verwachting nauw zullen correleren met de geregistreerde EMG-signalen. Tijdens gebaren worden de vingers in het normale bereik26 gehoekt, afhankelijk van het specifieke gebaar. Wanneer het visuele pad tussen de handvolgcamera en de hand vrij is, is het resulterende signaal stabiel en nauwkeurig, zoals aangetoond in afbeelding 2. In gevallen waarin het visuele contact verloren gaat of wanneer het systeem technische beperkingen ondervindt, kan de HKD echter onregelmatig worden en sprongen tussen onjuiste waarden weergeven. Dergelijke uitbijtergegevens moeten tijdens het verzamelen van gegevens tot een minimum worden beperkt en in de uiteindelijke analyse worden weggegooid om de integriteit van de resultaten te behouden.

De HKD is intuïtief en biedt een directe vergelijking met de daadwerkelijk uitgevoerde gebaren. Het vertoont een lage variabiliteit tussen onderwerpen en over verschillende handposities. Daarentegen hebben de EMG-gegevens de neiging om aanzienlijk te variëren tussen individuen als gevolg van anatomische verschillen zoals handgrootte en spierontwikkeling27. Bovendien kan variabiliteit worden waargenomen tussen dominante en niet-dominante handen. Deze vakspecifieke variabiliteit kan worden aangepakt tijdens offline analyse.

In figuur 2 is het duidelijk dat zowel de EMG als de HKD zijn verschoven ten opzichte van de geïnstrueerde gebarentrigger. Deze discrepantie ontstaat als gevolg van de reactietijd en de uitvoering van de natuurlijke beweging28. Bij regressietaken kan een dergelijke variabiliteit bijdragen aan de rijkdom van de gegevens, terwijl deze bij classificatietaken kan worden beheerd met behulp van een gegeneraliseerde waarschijnlijkheidsratiobenadering, zoals toegepast in vergelijkbare scenario's28.

figure-results-1
Figuur 2: Representatieve sEMG en HKD tijdens vingerabductie. Oppervlakte-elektromyografie (sEMG)-signalen en handkinematische gegevens (HKD) opgenomen tijdens dynamische vingerabductie en rust uitgevoerd tijdens handpositie 1 (hand naar beneden, recht en ontspannen) door een enkele deelnemer. (A) Gefilterde EMG-signalen van 16 kanalen als functie van de tijd. Een sterretje (*) geeft een mechanisch artefact aan dat is gedetecteerd in de EMG-opname van kanaal 5. (B) HKD, met de verbindingshoeken als functie van de tijd. Gewrichtshoeken worden gemeten bij verschillende gewrichten: trapeziometacarpaal (TMC), metacarpofalangeaal (MCP) en proximaal interfalangeaal (PIP). De fasen van het experiment (rust en abductie) worden aangegeven langs de x-as. Klik hier om een grotere versie van deze figuur te bekijken.

Deze representatieve resultaten toonden het nut aan van de gesynchroniseerde EMG- en HKD-gegevens bij het vastleggen van handgebaren. De uitlijning van EMG-signalen met de bijbehorende HKD maakt het mogelijk om spieractiviteit in kaart te brengen op specifieke vingerbewegingen. Bij het construeren van een voorspellend model kunnen onderzoekers HKD gebruiken als grondwaarheid, waarbij ze iteratief EMG-gebaseerde gebarenvoorspellingen verifiëren en verfijnen. Deze benadering benadrukt de praktische toepasbaarheid van het protocol en suggereert de noodzaak van verder onderzoek in meer natuurlijke omgevingen.

Aanvullende afbeelding 1: Spectrogramvensters weergegeven tijdens de signaalverificatiestap. De linkerpanelen tonen onbewerkte EMG-gegevens, terwijl de rechterpanelen de gedetecteerde frequentiedomeinen tonen. (A) Voorbeeld van een EMG-signaal met veel ruis en een sterke storing van 50 Hz en 100 Hz. (B) Voorbeeld van dezelfde EMG-signaalopname nadat de deelnemer verder weg is geplaatst van elektrische apparaten, wat resulteert in een schoon EMG-signaal met minimale interferentie. Klik hier om dit bestand te downloaden.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het protocol dat in deze studie wordt gepresenteerd, schetst kritieke stappen, wijzigingen en strategieën voor probleemoplossing die gericht zijn op het verbeteren van de herkenning van handgebaren door de combinatie van sEMG-signalen en HKD. Het gaat in op de belangrijkste beperkingen en vergelijkt deze benadering met bestaande alternatieven, waarbij de mogelijke toepassingen in verschillende onderzoeksdomeinen worden benadrukt. Een van de belangrijkste aspecten van het protocol is het zorgen voor de juiste positionering en uitlijning van de hand-tracking camera. Het nauwkeurig vastleggen van gebaren is sterk afhankelijk van de hoek en afstand van de camera ten opzichte van de hand van de deelnemer. Zelfs kleine afwijkingen in de positionering van de camera kunnen leiden tot onnauwkeurigheden bij het volgen, waardoor de getrouwheid van de gebarengegevens afneemt. Deze uitlijning moet zorgvuldig worden aangepast voor elke deelnemer en handpositie om een consistente en betrouwbare gegevensverzameling te garanderen. Bovendien is het van cruciaal belang dat deelnemers goed bekend zijn met het protocol om ongewenste gegevens te voorkomen - waarbij gebaren onjuist worden uitgevoerd of niet goed zijn uitgelijnd met de experimentele stroom. Door ervoor te zorgen dat de deelnemers vertrouwd zijn met de gebaren en de experimentele opstelling, kan gegevensruis worden geminimaliseerd en de kwaliteit van de opnamen worden verbeterd.

Een veel voorkomende uitdaging bij dit soort onderzoeken is geluidsoverlast in zowel sEMG als HKD. sEMG-signalen zijn bijzonder gevoelig voor factoren zoals spiervermoeidheid, bewegingsartefacten en omgevingsruis zoals elektromagnetische interferentie. Voorbewerkingstechnieken, zoals banddoorlaatfiltering, zijn essentieel voor het verminderen van ruis en het verbeteren van de helderheid van het signaal. Een goede plaatsing van de elektroden en het instrueren van deelnemers om ontspannen spieren te behouden tijdens rustfasen kunnen bewegingsartefacten verder verminderen. Ondanks deze voorzorgsmaatregelen is enige variabiliteit in sEMG-signalen onvermijdelijk als gevolg van individuele verschillen in anatomie, handkracht en spieractiveringspatronen. Deze variabiliteit kan worden aangepakt door middel van flexibele algoritmen die in staat zijn om deze verschillen tussen proefpersonen en aandoeningen te normaliseren.

Een belangrijke factor bij het bereiken van hoogwaardige sEMG-signalen is de initiële signaalverificatie. Traditionele protocollen met gelelektroden vereisen huidvoorbereiding, zoals exfoliëren of reinigen met alcohol, om de helderheid van het signaal te verbeteren. In een eerdere studie hebben we echter aangetoond dat met droge elektroden de voorbereiding van de huid geen significante invloed heeft op de signaalkwaliteit25. In dit protocol is huidreiniging optioneel en vereenvoudigt zo het proces. Een ander huidgerelateerd probleem dat de signaalkwaliteit beïnvloedt, is overmatig en dik armhaar. In dergelijke gevallen raden we aan om het gebied te scheren of de proefpersoon uit te sluiten van het onderzoek.

Een van de cruciale uitdagingen bij het gebruik van sEMG voor gebarenherkenning is de gevoeligheid voor handpositionering. Zelfs bij het uitvoeren van hetzelfde gebaar kunnen variaties in de oriëntatie van de hand leiden tot verschillende EMG-signaalpatronen. Om dit probleem aan te pakken, zijn machine learning-modellen die variabiliteit in handposities kunnen accommoderen essentieel22. Deze modellen moeten worden getraind met gegevens van meerdere handhoudingen om de robuustheid en generaliseerbaarheid te verbeteren. Synchronisatie van visuele en sEMG-gegevens is een andere belangrijke overweging. Consistente timing van gebaren is van cruciaal belang om discrepanties tussen de uitvoering van de gebaren en de gegevensregistratie te voorkomen. Dit protocol maakt gebruik van visuele countdowns en auditieve signalen om ervoor te zorgen dat nauwkeurige timing en herkalibratiestappen worden toegepast wanneer dat nodig is om eventuele verkeerde uitlijning tijdens het verzamelen van gegevens te corrigeren.

Ondanks zijn sterke punten heeft dit protocol verschillende beperkingen. Een belangrijke beperking is het beperkte gezichtsveld van de hand-tracking camera, waardoor de handen van de deelnemer binnen het detectiebereik van de camera moeten blijven. Dit beperkt de analyse tot een kleine reeks bewegingen. Voor experimenten buiten het lab is een complexere videobeeldvorming nodig of het gebruik van slimme handschoenen. Vermoeidheid van de deelnemer vormt ook een uitdaging tijdens langere sessies, wat mogelijk de nauwkeurigheid van gebaren en spieractivering kan beïnvloeden, wat de kwaliteit van de sEMG-gegevens kan verminderen. Om deze effecten te verzachten, kan het nodig zijn om de sessieduur te beperken of pauzes in te lassen om vermoeidheid te minimaliseren. Bovendien kan interferentie via het elektriciteitsnet ruis veroorzaken in de sEMG-signalen, vooral wanneer de deelnemers zich dicht bij de pc bevinden voor het vastleggen van gegevens. Een draadloze versie van het systeem zou dergelijke interferentie kunnen verminderen door deelnemers verder van de computer te laten zijn.

Een belangrijke methodologische beperking van EMG-gebaseerde vingergebarendetectie komt voort uit de hoge variabiliteit tussen proefpersonen in sEMG-signalen, waardoor voor elke deelnemer aangepaste modellen moeten worden ontwikkeld. Deze onderwerpspecifieke aanpak is weliswaar nauwkeuriger, maar beperkt de schaalbaarheid van het protocol en vereist extra kalibratie- en trainingstijd voor elke nieuwe gebruiker. EMG- en HKD-gegevensstromen vertonen kleine temporele synchronisatieverschillen als gevolg van dubbele procesregistratie. Deze timingverschillen hebben een minimale impact op de analyse van statische gebaren, aangezien de aangehouden houdingen in de tijd stabiel zijn. De aanhoudende aard van statische gebaren biedt voldoende tijd voor zowel EMG- als kinematische functies om te stabiliseren, in tegenstelling tot dynamische gebaren, die een nauwkeurigere synchronisatie vereisen.

Een belangrijk voordeel van deze methode is de flexibiliteit bij het vastleggen van gebaren. In tegenstelling tot andere systemen die rigide opstellingen en strikte gebarenparameters vereisen, is dit protocol geschikt voor dynamische en flexibele handposities19. Deze flexibiliteit is vooral nuttig in studies die gericht zijn op het analyseren van een breed scala aan bewegingen, waardoor het beter kan worden aangepast aan toepassingen in de echte wereld. Bovendien is dit protocol kosteneffectief in vergelijking met meer geavanceerde motion capture- en sEMG-systemen, die vaak complexe opstellingen met zich meebrengen29. Door een hand-tracking camera te integreren met semi-geautomatiseerde sEMG-algoritmen, biedt deze methode een levensvatbaar alternatief voor onderzoeken naar gebarenherkenning zonder afbreuk te doen aan de gegevenskwaliteit. Bovendien opent het potentieel van het systeem voor real-time gegevensverwerking mogelijkheden voor onmiddellijke feedback in toepassingen zoals neuroprotheses en revalidatie, waar real-time responsiviteit essentieel is. Dit protocol heeft belangrijke implicaties voor verschillende gebieden, met name neuroprotheses. Nauwkeurige voorspelling van handgebaren op basis van sEMG-signalen is cruciaal voor het besturen van prothetische ledematen, en de flexibiliteit in handpositionering die deze methode biedt, maakt het een ideale kandidaat voor real-time protheses. Bij revalidatie kan dit protocol worden gebruikt om motorisch herstel bij patiënten met hand- of vingerstoornissen te monitoren en te verbeteren. Door spieractiveringspatronen tijdens gebarenprestaties te analyseren, kan dit systeem worden gebruikt om revalidatieoefeningen af te stemmen op individuele behoeften, waardoor een gepersonaliseerde benadering van motorisch herstel wordt geboden. Voor de interactie tussen mens en computer (HCI) maakt deze methode meer natuurlijke, op gebaren gebaseerde besturingssystemen mogelijk, waardoor de intuïtiviteit en doeltreffendheid van gebruikersinterfaces worden verbeterd. Ten slotte kan het protocol worden toegepast op ergonomische onderzoeken om te beoordelen hoe verschillende handposities en gebaren de spieractiviteit en vermoeidheid beïnvloeden, wat mogelijk kan leiden tot vooruitgang in het ontwerp van de werkplek en de ergonomie van de gebruiker.

Om een consistente contractiesterkte tussen de deelnemers te garanderen, zouden toekomstige studies een handschoen met krachtgevoelige weerstanden kunnen implementeren om de kracht direct te meten. Dit zou een gestandaardiseerde inspanning voor alle proefpersonen mogelijk maken, waardoor de betrouwbaarheid van EMG-gegevens wordt verbeterd. Bovendien zou de integratie van deze krachtmeting als een label in de gewrichtskinematica een meer gedetailleerde weergave van de interne toestand van de spier opleveren, wat de analyse van spierfunctie en bewegingspatronen mogelijk zou verrijken. Deze aanpak zou niet alleen de consistentie van de gegevens verbeteren, maar ook een dieper inzicht bieden in de relatie tussen spiercontractie en gewrichtsbeweging.

Concluderend biedt dit protocol een nieuwe en flexibele benadering van herkenning van handgebaren met brede toepassingen in neuroprotheses, revalidatie, HCI en ergonomie. Hoewel het systeem beperkingen heeft, vertegenwoordigen de flexibiliteit, kosteneffectiviteit en het potentieel voor real-time gebruik aanzienlijke verbeteringen ten opzichte van bestaande methoden. Deze sterke punten maken het een veelbelovend hulpmiddel voor verdere ontwikkeling en innovatie op het gebied van gebarenherkenningstechnologieën.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yael Hanein verklaart een financieel belang te hebben in X-trodes Ltd, dat de gezeefdrukte elektrodetechnologie die in dit document wordt gebruikt, op de markt heeft gebracht. De andere auteurs hebben geen andere relevante financiële betrokkenheid bij een organisatie of entiteit met een financieel belang in of een financieel conflict met het onderwerp of de materialen die in het manuscript worden besproken, afgezien van de onthulde.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit project is mede mogelijk gemaakt met een subsidie van de ERC (OuterRetina) en ISF. De financiers hadden geen rol in de opzet van het onderzoek, het verzamelen en analyseren van gegevens, de beslissing om te publiceren of de voorbereiding van het manuscript. We danken David Buzaglo, Cheni Hermon, Liron Ben Ari en Adi Ben Ari voor hun hulp bij het ontwerpen van de originele versie van het protocol.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Adjustable Selfie StickUsed to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol padTo clean the area for electrode placement.
Data acquisition unit (DAU)X-trodes Ltd. XTR-BT V1.3Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition libraryhttps://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2Ultraleap129-SP4-00005-03Hand-tracking camera
Long Type-C to Type-C cableConnection of the hand-tracking camera to the PC.
PC MonitorsOne for guidelines, one for viewing the hand-tracking camera data 
Personal Computer (PC)WindowsWindows 10+; Processors: Inteli7 processor. BT receiver.
Python codeA script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python APIUltraleapPython API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap HyperionUltraleapTracking software
XTR EXG16X-trodes Ltd.XTELC0003405RM16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC AppX-trodes Ltd.1.1.35.0An application for connecting X-trodes DAU to PC via BT

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).">Fang, B., et al. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).
  2. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).">Yadav, D., Veer, K. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).
  3. EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).
  4. sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).
  5. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).">Zhang, X., Zhou, P. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).
  6. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).">Guo, K., et al. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).
  7. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).">Sun, T., Hu, Q., Libby, J., Atashzar, S. F. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).
  8. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).">Atzori, M., et al. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).
  9. Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).
  10. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).">Geng, W., et al. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).
  11. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).">Wei, W., et al. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).
  12. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).">Padhy, S. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).
  13. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).">Moin, A., et al. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).
  14. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).">Côté-Allard, U., et al. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).
  15. NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).
  16. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).">Dere, M. D., Lee, B. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).
  17. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).">Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).
  18. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).">Lee, K. H., Min, J. Y., Byun, S. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).
  19. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).">Zhou, X., et al. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).
  20. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).">Zhang, Z., Yang, K., Qian, J., Zhang, L. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).
  21. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).">Nieuwoudt, L., Fisher, C. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).
  22. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).">Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).
  23. Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).
  24. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).">Lin, J., Wu, Y., Huang, T. S. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).
  25. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).">Arché-Núñez, A., et al. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).
  26. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).">Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).
  27. Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).
  28. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).">Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).
  29. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).">Armitano-Lago, C., Willoughby, D., Kiefer, A. W. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Finger Gesture RecognitionSurface ElectromyographyHand TrackingDynamic Hand MovementsMuscle Activity MappingGesture Recognition SystemElectrode ArrayHuman Computer InteractionProsthetic RehabilitationDeep Learning Methods

Related Articles