Name: Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie (Video) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Ontdek hoe je EMG en visuele handtracking synchroniseert voor dynamische vingergebarenherkenning. Deze methode verbetert prothetische revalidatie en mens-computerinteractie door spieractiviteit nauwkeurig in kaart te brengen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Aanpasbare Selfie Stick</td><td></td><td></td><td>Wordt gebruikt om de hand-tracking camera in de gewenste oriëntatie te positioneren en hoeken voor optimale gegevensregistratie tijdens het experiment.</td></tr><tr><td>Alcoholdoekje</td><td></td><td></td><td>Om het gebied voor elektrodeplaatsing schoon te maken.</td></tr><tr><td>Data-acquisitie-eenheid (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp;XTR-BT V1.3</td><td>Realtime compatibele DAU 2.0.17 of 4.0.1</td></tr><tr><td>Vingergebarenherkenningsbibliotheek</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Hand-tracking camera</td></tr><tr><td>Lange Type-C naar Type-C kabel</td><td></td><td></td><td>Verbinding van de hand-tracking camera met de pc.</td></tr><tr><td>PC-monitoren</td><td></td><td></td><td>Een voor richtlijnen, een voor het bekijken van de hand-tracking cameragegevens&nbsp;</td></tr><tr><td>Persoonlijke computer (PC)</td><td>Windows</td><td></td><td>Windows 10+; Processors: Intel i7 processor. BT-ontvanger.</td></tr><tr><td>Python-code</td><td></td><td></td><td>Een script dat naadloze gegevensstreaming en opname mogelijk maakt tot 500 S/s wanneer DAU via Bluetooth is verbonden met de pc</td></tr><tr><td>Ultraleap Camera Python API</td><td>Ultraleap</td><td></td><td>Python API en instructies van Ultraleap’s GitHub-repository (https://github.com/ultraleap/leapc-python-bindings) gebruikt om gegevens te verzamelen van de Ultraleap-eenheid tijdens het experiment</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Trackingsoftware</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>16-kanaals draagbare droge elektrodenarray patch voor EMG, ECG-monitoring</td></tr><tr><td>X-trodes PC-app</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Een applicatie voor het verbinden van X-trodes DAU met de pc via BT</td></tr></tbody></table>

dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

JoVE Journal

Bioengineering

Bio-engineering

Source:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Sagol School of Neuroscience, Tel Aviv University, 2Department of Otorhinolaryngology, Jena University Hospital, Friedrich-Schiller-University Jena, 3School of Electrical Engineering, Tel Aviv University, 4Division Motor Research, Pathophysiology and Biomechanics, Department of Trauma, Hand and Reconstructive Surgery, Jena University Hospital, Friedrich-Schiller-University...

Wireless Surface Electromyography Recording of Facial Muscle Activity During Expressions

Het monitoren van hersenactiviteit tijdens rechtopstaande motorische taken is van grote waarde bij het onderzoeken van de neurale bron van bewegingsstoornissen. Hier demonstreren we een protocol dat functionele nabij-infraroodspectroscopie combineert met continue monitoring van spier- en kinematische activiteit tijdens 4 soorten motorische taken.

Functionele Near Infrared Spectroscopy van de sensorische en motorische gebieden van de hersenen met Gelijktijdig kinematische en EMG Monitoring Tijdens Motor Taken

In dit artikel wordt een nieuwe, goedkope mens-machine interface voor een interactief balansrevalidatiesysteem na een beroerte gepresenteerd. Het systeem integreert off-the-shelf goedkope sensoren voor een door de wil gedreven elektrotherapieparadigma. De proof-of-concept software-interface wordt gedemonstreerd aan gezonde vrijwilligers.

Een mens-machine-interface van Integratie Low-cost sensoren met een neuromusculaire elektrische stimulatie systeem voor Post-stroke Balance Rehabilitation

Transcraniale magnetische stimulatie, elektromyografie en 3D-bewegingsregistratie zijn veelgebruikte niet-invasieve technieken voor het onderzoeken van neuromusculaire functies bij mensen. In dit artikel beschrijven we een protocol dat gegevens die door al deze drie tools worden gegenereerd, synchronelijk samplet, samen met de unieke toevoeging van virtuele realiteitsstimuluspresentatie en feedback.

Multifunctionele Setup voor het bestuderen van Human Motor Control Met behulp van Transcraniële Magnetische Stimulatie, Elektromyografie, Motion Capture en Virtual Reality

Hier gepresenteerd is een gedragskundig paradigma dat robuuste snelle visuomotorische reacties op menselijke bovenste ledematen spieren tijdens visueel geleide bereikt elicits.

Een opkomende doel paradigma op te roepen snelle visuomotorische reacties op humane bovenste ledematen spieren

Wanneer we een object vastpakken, maken meerdere delen van de vingers en hand meestal contact met het oppervlak van het object. Het reconstrueren van dergelijke contactgebieden is een uitdaging. Hier presenteren we een methode voor het ongeveer schatten van de contactgebieden door marker-gebaseerde motion capture te combineren met bestaande deep learning-gebaseerde handmesh-reconstructie.

Schatting van contactgebieden tussen handen en objecten tijdens menselijk meercijferig grijpen

Magneto-encefalografie (MEG) en high-density elektro-encefalografie (HD-EEG) worden zelden tegelijkertijd geregistreerd, hoewel ze bevestigende en aanvullende informatie opleveren. Hier illustreren we de experimentele opzet voor het registreren van gelijktijdige MEG en HD-EEG en de methodologie voor het analyseren van deze gegevens met als doel epileptogene en welsprekende hersengebieden te lokaliseren bij kinderen met resistente epilepsie.

Beeldvorming van elektromagnetische bronnen bij preoperatieve evaluatie van kinderen met resistente epilepsie

In veel biologische en klinische situaties is het voordelig om cellulaire processen te bestuderen als ze zich ontwikkelen in hun eigen micro-omgeving. Hier beschrijven we de montage en het gebruik van een low-cost fiber-optische microscoop, die real-time beeldvorming kan bieden in celkweek, dierproeven en klinische studies de patiënt.

Hoge-resolutie Fiber-optic Microendoscopy voor In situ Cellular Imaging

Niet-destructieve volume visualisatie kan alleen worden bereikt door tomografische technieken, waarvan de meest efficiënte is de x-stralen micro gecomputeriseerde tomografie (CT).

Hoge resolutie 3D-beeldvorming van Ex-Vivo Biologische monsters door Micro CT

We beschrijven hier de werking van een microfluïdische apparaat dat continue en hoge-resolutie microscopische beeldvorming van enkele ontluikende gistcellen kunnen gedurende hun volledige replicatie en / of chronologische levensduur.

Continue hoge-resolutie Microscopische waarneming van Replicatieve Aging in Budding gist

Ontdek hoe je EMG en visuele handtracking synchroniseert voor dynamische vingergebarenherkenning. Deze methode verbetert prothetische revalidatie en mens-computerinteractie door spieractiviteit nauwkeurig in kaart te brengen.

Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie

Meer video's verkennen