Name: Capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur (Vidéo) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Découvrez une méthode de capture dynamique des gestes du doigt combinant électromyographie de surface haute résolution et vision par ordinateur. Ce protocole synchronise les données EMG et visuelles pour développer des modèles robustes de reconnaissance gestuelle.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Des participants en bonne santé (n = 18, âgés de 18 à 32 ans, hommes et femmes) ont été recrutés pour cette étude, qui a été approuvée par le comité d’éthique de l’Université de Tel Aviv (n° d’approbation 0004877-3). Le protocole respecte les lignes directrices du conseil pour la recherche impliquant des participants humains. Le consentement éclairé de tous les participants a été obtenu, conformément aux exigences de l’établissement.
1. Briefing de l’expérimentateur
<ol>
	<li>Demandez aux participants d’effectuer une série de 14 gestes distincts du doigt (voir la figure 1) et de répéter chaque geste 7 fois dans une séquence aléatoire. Demandez-leur de maintenir fermement chaque geste pendant 5 s, suivis d’une période de repos de 3 s. La durée totale de chaque séance est de 13:04 min.</li>
	<li>Une grande image du geste affichée sur un écran d’ordinateur est accompagnée d’un compte à rebours pour indiquer la performance du geste. Pendant la période de repos, demandez au participant de regarder la petite image du geste à venir affichée, ainsi qu’une minuterie indiquant le temps de repos restant. Deux bips sonores distincts signalent le début et la fin de chaque geste, aidant les participants à se préparer pour le geste suivant.</li>
	<li>Demandez à chaque participant d’exécuter la procédure dans quatre positions différentes, similaires aux22 précédemment présentées : Position 1 : Participant debout. De la main, droit et détendu. Position 2 : Participant assis dans le fauteuil. Main tendue vers l’avant à 90°, paume détendue (un dispositif de soutien peut être utilisé). Position 3 : Main repliée vers le haut (avec un coude posé sur le fauteuil), paume détendue. Position 4 : Le participant choisit l’une des positions précédentes et peut déplacer librement la main dans la plage de détection de la caméra, surveillée en temps réel sur un écran de PC (voir l’étape 1.4 pour plus de détails).</li>
	<li>Pour chaque séance, faites porter au participant un appareil d’électromyographie sur le bras et positionnez une caméra de suivi de la main vers lui. Demandez aux participants de s’assurer que leurs paumes sont toujours face à la caméra. Le logiciel de suivi des mains est affiché sur un écran séparé afin que le participant et le chef d’orchestre puissent vérifier que la main est correctement reconnue.</li>
	<li>Pour chaque position, ajustez la position et l’angle de la caméra de suivi des mains pour assurer une reconnaissance précise des mains. De plus, évaluez la qualité des signaux des électrodes à l’aide du script du spectrogramme.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Figure 1 : Représentation schématique du processus de collecte de données. Le sujet est équipé d’un réseau d’électrodes souples placé sur l’avant-bras (3), qui capte les signaux d’électromyographie de surface à haute résolution (sEMG) pendant la performance gestuelle. Le sujet effectue 14 gestes différents présentés dans un ordre aléatoire sur un écran d’ordinateur (4). Les données EMG sont transmises sans fil à un ordinateur personnel (PC) à partir de l’unité d’acquisition de données (DAU ; 1). Simultanément, les données cinématiques de la main (HKD) représentant les angles d’articulation des doigts sont capturées à l’aide d’une caméra de suivi de la main (2). <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Veuillez cliquer ici pour voir une version agrandie de cette figure.</a>
2. Mise en place des unités d’acquisition de données
<ol>
	<li>Ouvrez le dépôt Github à l’https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git et suivez les instructions détaillées dans la section Installation. Localisez le fichier Python principal data_collection.py dans le dossier finger_pose_estimation/data_acquisition. Utilisez cette spectrogram.py pour exécuter l’expérience, utilisez le script pour évaluer la qualité du signal EMG avant le début de l’expérience, et le script data_analysis.py pour le filtrage et la segmentation du signal.</li>
	<li>Assurez-vous que l’unité d’acquisition de données (DAU) EMG est complètement chargée avant chaque session et allumez-la.</li>
	<li>Connectez le DAU au PC via Bluetooth à l’aide de l’application dédiée. Réglez le débit de communication Bluetooth sur 500 échantillons par seconde (S/s).</li>
	<li>Installez et ouvrez le logiciel de la caméra de suivi des mains sur le PC. Connectez la caméra de suivi des mains au PC à l’aide d’un câble.</li>
	<li>Utilisez un seul écran pour toujours afficher le logiciel de la caméra de suivi des mains. De cette façon, le chef d’orchestre et le participant pourront s’assurer que la caméra reconnaît correctement la main pendant l’expérience.</li>
</ol>
3. Préparation du participant
<ol>
	<li>Introduction et consentement<ol>
		<li>Expliquez brièvement la pertinence de l’étude et la procédure expérimentale au participant. Obtenir un consentement éclairé conformément aux lignes directrices de l’établissement pour la recherche avec des êtres humains.</li>
	</ol>
	</li>
	<li>Placement des électrodes<ol>
		<li>Demandez au participant de fléchir sa main droite en formant un poing fort. Pendant que le participant fléchit, palpez l’avant-bras en appuyant doucement le long du muscle pour identifier l’endroit où l’activation musculaire est la plus proéminente. Cet emplacement est facilement identifiable en sentant la zone où le muscle gonfle lors de la contraction.</li>
		<li>Facultatif : Préparez la zone cutanée identifiée en la nettoyant avec un chiffon sans fibres d’alcool, un gel de préparation ou de l’eau et du savon. Laissez la zone sécher à l’air. Évitez un nettoyage excessif avec de l’alcool, car cela pourrait assécher la peau. Cette étape est facultative ; Voir la section Discussion.</li>
		<li>Décollez la couche protectrice blanche du réseau d’électrodes EMG et fixez soigneusement les électrodes à la zone identifiée de l’avant-bras, comme déterminé à l’étape 3.2.1. (voir Figure 1). Assurez-vous que le ruban adhésif est plus proche de la paume. Fixez le réseau d’électrodes à la peau en tapotant doucement.</li>
		<li>Une fois le réseau d’électrodes fixé à la peau, décollez la couche de support transparente.</li>
		<li>Insérez la carte de connecteur du réseau d’électrodes dans la prise de connecteur du DAU. Fixez le DAU au ruban adhésif à côté des électrodes.</li>
		<li>Exécutez un script de spectrogramme Python personnalisé Spectrogram.py pour vérifier la qualité du signal en temps réel. Une fenêtre apparaîtra affichant les données brutes (à gauche) et le domaine fréquentiel (à droite) pour toutes les électrodes (voir la figure supplémentaire 1 pour référence).<ol>
			<li>Vérifiez que toutes les électrodes sont détectées et fonctionnent correctement et que le signal est exempt de bruit excessif et de bruit de 50 Hz.</li>
			<li>Si nécessaire, réduisez le bruit de 50 Hz en vous éloignant des appareils électroniques susceptibles de provoquer des interférences et en débranchant les appareils inutiles de l’alimentation. Laissez le temps au signal de se stabiliser.</li>
			<li>Vérifiez la capture du signal EMG : demandez au participant de placer un coude sur le fauteuil et de bouger les doigts, puis de se détendre. Assurez-vous qu’un signal EMG clair est affiché, suivi d’un bruit de base statique.</li>
			<li>Fermez le script une fois la vérification du signal terminée.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Examen du geste et de la position de la main<ol>
		<li>Ouvrez le dossier Images en cliquant sur Finger_pose_estimation &gt; Data_acquisition. Passez en revue les images gestuelles avec les participants.</li>
		<li>Assurez-vous qu’ils comprennent chaque mouvement et qu’ils peuvent les exécuter avec précision. Expliquez clairement les quatre positions des mains au participant.</li>
		<li>Expliquez au participant comment tenir la main avant chaque séance, en veillant à ce qu’il adopte une posture et un positionnement appropriés.</li>
	</ol>
	</li>
	<li>Positionnement du participant et de la caméra<ol>
		<li>Pour la position de la main 1, demandez au participant de se tenir droit à environ 1 m de la table. Demandez au participant de tenir la main droite vers le bas, droite et détendue, la paume face à la caméra de suivi des mains. Fixez la caméra de suivi des mains sur la table à l’aide d’une perche à selfie et dirigez-la vers la main du participant.</li>
		<li>Pour la position des mains 2, demandez au participant de s’asseoir confortablement dans un fauteuil positionné à 40-70 cm des moniteurs. Demandez au participant d’étendre la main droite vers l’avant à 90° avec une paume détendue face à la caméra de suivi des mains. Utilisez un dispositif de support, si nécessaire, pour maintenir la main stable. Placez la caméra de suivi des mains sur la table vers le haut. REMARQUE : Comme le participant est prié de rester dans une posture fixe, il est important de trouver une position confortable qu’il peut maintenir tout au long de la session.</li>
		<li>Pour la position 3 de la main, demandez au participant de s’asseoir comme décrit à l’étape 3.4.2. Demandez au participant de plier la main vers le haut tout en posant le coude sur le fauteuil. La paume doit être détendue et le participant doit faire face à la caméra de suivi des mains. Fixez la caméra de suivi des mains sur la table face à la main du participant (utilisez une perche à selfie si nécessaire). Assurez-vous que la position du participant est optimale pour regarder les écrans et être dans le champ de vision de la caméra.</li>
		<li>Surveillez en permanence l’écran affichant les données de suivi des mains pour vous assurer que la caméra détecte la main et les doigts tout au long de l’expérience. Facultatif : vérifiez la qualité du signal EMG (étape 3.2.6.) dans chaque position de la main avant de commencer l’expérience.</li>
	</ol>
	</li>
</ol>
4. Collecte des données
<ol>
	<li>Déroulement de l’expérience<ol>
		<li>Ouvrez Python et chargez-data_collection.py. Vérifiez que les paramètres num_repetition, gesture_duration rest_duration sont définis comme vous le souhaitez.<ol>
			<li>num_repetition : Définissez le nombre de fois que chaque image de mouvement est affichée. Pour cette expérience, réglez-la sur 7, ce qui signifie que chaque image est affichée 7 fois. gesture_duration : Indiquez la durée (en s) pendant laquelle le participant effectue le geste de la main. Pour cette expérience, réglez-la sur 5 s, en déterminant la durée d’affichage de chaque image de mouvement. Rest_duration : Spécifiez la durée (en s) pendant laquelle le participant détend sa paume entre les gestes. Pour cette expérience, réglez-la sur 3 s.</li>
		</ol>
		</li>
		<li>Ajustez la position et l’angle de la caméra de suivi des mains en fonction de la position de la main du participant.</li>
		<li>Exécutez le script data_collection.py. Une fenêtre apparaîtra pour saisir les coordonnées du participant (numéro de série, âge, sexe, numéro de session et position de la main). Complétez ces informations et appuyez sur OK pour démarrer l’expérience automatiquement.</li>
	</ol>
	</li>
	<li>Collecte de données<ol>
		<li>Pour chaque séance, enregistrez les données EMG et de suivi des mains qui sont automatiquement enregistrées. Répétez l’expérience 4 fois pour chaque participant, une fois par position de la main.</li>
	</ol>
	</li>
</ol>
5. Fin de l’expérience et traitement des données post-expérience
<ol>
	<li>Une fois l’expérience terminée, les données sont automatiquement enregistrées. Assurez-vous que les données sont enregistrées dans un dossier étiqueté avec le numéro de série du participant. Chaque session est stockée dans un sous-dossier nommé S# (par exemple, S1), avec quatre sous-dossiers pour chaque position de main P# (P1, P2, P3 et P4). La taille du dossier pour une seule session est d’environ 160 Mo.</li>
	<li>Si un participant termine plusieurs sessions, assurez-vous que toutes les données sont enregistrées dans le dossier de session correspondant (par exemple, S1, S2).</li>
	<li>Fichiers de données Assurez-vous que chaque dossier de position de la main (P#) contient les fichiers suivants : Données EMG enregistrées dans un fichier EDF, nommé comme suit : fpe_pos{numéro de position}_{numéro de sujet}_S{numéro de session}_rep0_BT ; les données de suivi des mains enregistrées dans un fichier CSV, nommé fpe_pos{numéro de poste}_{numéro de sujet}_S{numéro de session}_rep0_BT_full ; et un fichier journal, log.txt, contenant des métadonnées sur la session.</li>
	<li>Traitement des données REMARQUE : L’utilisateur peut choisir la façon de procéder à l’analyse du signal et les outils à utiliser. Ici, nous fournissons un script pour effectuer le filtrage du signal et la segmentation des données en Python. Lorsque vous utilisez Python, assurez-vous que toutes les dépendances (par exemple, Numpy, Pandas, SciPy, MNE, Sklearn) sont installées.<ol>
		<li>Ouvrez Python, chargez-data_analysis.py et exécutez le script.</li>
		<li>La demande apparaîtra dans la console pour fournir les paramètres nécessaires au traitement des données : chemin vers le fichier EMG, chemin vers les données cinématiques de la main, chemin où les données traitées seront enregistrées, fréquence d’échantillonnage en Hz, durée de la fenêtre en ms et intervalle de foulée en ms.</li>
		<li>Après cette étape, le script effectuera le traitement des données.</li>
		<li>Filtrage du signal EMG : exécutez le script comme ci-dessus. Le script filtre d’abord le signal sEMG en appliquant un filtre passe-haut Butterworth de 4e ordre avec une coupure de 20 Hz pour supprimer les signaux non EMG, puis un filtre coupe-bande pour supprimer les harmoniques de 50 Hz et 100 Hz. De plus, le script applique la normalisation du signal EMG.</li>
		<li>Segmentation des mouvements EMG, HKD et instructions : exécutez le script comme ci-dessus. Le script applique la segmentation, en utilisant une technique de fenêtre mobile définie par la durée de la fenêtre spécifiée et l’intervalle de foulée. Dans cette expérience, réglez-les sur 512 et 2 ms, respectivement. Le script transforme ensuite l’organisation des canaux sEMG en une configuration de grille spatiale 4 x 4 tout en conservant la disposition du réseau d’électrodes. Enfin, le script génère un dictionnaire contenant des métadonnées sous la forme d’un fichier pickle.</li>
		<li>Étapes de nettoyage et de validation des données<ol>
			<li>Identifiez et excluez du jeu de données les segments contenant des artefacts, du bruit ou des étiquettes de mouvement incohérentes.</li>
			<li>Assurez l’exhaustivité des segments et la continuité temporelle entre les fenêtres pour maintenir la fiabilité des données.</li>
			<li>Vérifiez la cohérence des données de mouvement par rapport au HKD. Supprimez les fenêtres affichant des modèles de mouvement qui s’écartent des normes de session HKD.</li>
			<li>Détectez et éliminez les segments aberrants qui ne sont pas conformes aux modèles cinématiques attendus pour la session.</li>
			<li>Effectuez une analyse plus approfondie des données à l’aide d’algorithmes avancés. Ceux-ci ne sont pas prévus dans le protocole actuel.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Perche</td><td></td><td></td> à selfie réglable <td>: Utilisée pour positionner et orienter la caméra de suivi des mains dans l’orientation souhaitée pour une capture de données optimale pendant l’expérience.</td></tr><tr>Tampon <td></td><td></td><td>d’alcool</td><td>Pour nettoyer la zone de placement des électrodes.</td></tr><tr><td>Unité d’acquisition de données (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp ; XTR-BT V1.3</td><td>Compatible en temps réel DAU 2.0.17 ou 4.0.1</td></tr><tr><td>Finger Gestures Bibliothèque</td><td></td><td></td> de reconnaissance <td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Caméra de suivi des mains</td></tr><tr><td>Câble</td><td></td><td></td> long Type-C vers Type-C <td>Connexion de la caméra de suivi des mains au PC.</td></tr><tr><td>Moniteurs</td><td></td><td></td> PC <td>Un pour les directives, un pour l’affichage des données de la caméra de suivi des mains&nbsp ;</td></tr><tr><td>Ordinateur personnel (PC)</td><td>Windows</td><td></td><td>Windows 10+ ; Processeurs : Processeur Inteli7. Récepteur BT.</td></tr><tr><td>Code</td><td></td><td></td> Python <td>Un script permettant la diffusion et l’enregistrement de données sans faille jusqu’à 500 éch./s lorsque DAU est connecté au PC via Bluetooth</td></tr><tr><td>Ultraleap Camera Python API</td><td>Ultraleap</td><td></td> Python <td>et instructions d’Ultraleap (https://github.com/ultraleap/leapc-python-bindings) utilisé pour collecter les données de l’unité Ultraleap pendant l’expérience</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Logiciel de suivi</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>patch porte-électrodes sèches portable à 16 canaux pour la surveillance EMG et ECG</td></tr><tr><td>X-trodes PC App</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Une application pour connecter X-trodes DAU au PC via BT</td></tr></tbody></table>

capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

L’ensemble de données se compose de deux composants synchronisés dans le temps : un ensemble de données EMG à 16 canaux et des données provenant d’un système de caméra de suivi manuel. Les données EMG à 16 canaux capturent l’activité musculaire en enregistrant les signaux électriques de différents muscles au fil du temps. Le système de suivi de la main fournit 16 canaux de données correspondant à des points clés sur un modèle squelettique de la main. Alors que le modèle comporte 21 points, hors poignet, ce nombre a été réduit à 16 en raison des contraintes de mouvement24. Les données EMG et visuelles ont été collectées en exécutant deux processus distincts sur le même ordinateur pendant l’enregistrement afin d’établir la synchronie. Un horodatage a été utilisé pour marquer le début de chaque processus, ce qui a permis au code d’analyse des données d’aligner les données d’activité musculaire et de mouvement de la main à la fin de l’enregistrement. Les annotations d’horodatage ont été enregistrées automatiquement dans les fichiers EDF et CSV, marquant l’heure exacte à laquelle des gestes spécifiques du doigt ont été instruits et facilitant l’alignement lors de l’analyse des données. Le signal EMG filtré (filtre passe-haut Butterworth de 4e ordre 20 Hz) est caractérisé par une ligne de base basse (zones grisées), qui se situe généralement dans la plage de 3 à 9 μV25. Cette ligne de base est observée lorsque la main du sujet est immobile et que les muscles sont au repos. Cependant, si le tonus musculaire est présent même en position de repos, un signal EMG distinct peut être détecté. Les artefacts mécaniques causés par le mouvement se manifestent généralement dans la gamme 10-20 Hz et doivent être filtrés en conséquence. Des valeurs de référence significativement élevées peuvent indiquer un brouillage de ligne de 50 Hz et doivent être évitées pendant la phase de configuration expérimentale. Dans les cas où un bruit modéré de 50 Hz persiste ; Un filtre à encoche est appliqué. Les artefacts de mouvement brusques, qui sont plus difficiles à éliminer, apparaissent souvent sous la forme de pics prononcés de haute amplitude dans le signal (voir astérisque dans la figure 2A). L’amplitude du signal EMG à travers le réseau de 16 électrodes varie, reflétant la distribution spatiale de l’activité musculaire sur la région mesurée. Cette variance fournit des informations précieuses sur l’hétérogénéité de la contraction musculaire lors des gestes de la main.
La caméra de suivi de la main fournit des informations directes sur les angles des doigts (données cinématiques de la main, HKD), qui sont censées être étroitement corrélées avec les signaux EMG enregistrés. Pendant les gestes, les angles des doigts dans la plage normalesont de 26, en fonction du geste spécifique. Lorsque le chemin visuel entre la caméra de suivi de la main et la main n’est pas obstrué, le signal résultant est stable et précis, comme le montre la figure 2. Cependant, dans les cas où le contact visuel est perdu ou lorsque le système connaît des limitations techniques, le HKD peut devenir erratique, affichant des sauts entre des valeurs incorrectes. Ces données aberrantes doivent être minimisées lors de la collecte des données et éliminées dans l’analyse finale afin de préserver l’intégrité des résultats.
Le HKD est intuitif et permet une comparaison directe avec les gestes réels effectués. Il présente une faible variabilité entre les sujets et entre les différentes positions des mains. En revanche, les données EMG ont tendance à varier considérablement entre les individus en raison de différences anatomiques telles que la taille de la main et le développement musculaire27. De plus, une variabilité peut être observée entre les mains dominantes et non dominantes. Cette variabilité spécifique au sujet peut être abordée lors de l’analyse hors ligne.
Dans la figure 2, il est évident que l’EMG et le HKD sont tous deux décalés par rapport au déclencheur de mouvement indiqué. Cet écart est dû au temps de réponse et à l’exécution naturelle du mouvement28. Dans les tâches de régression, une telle variabilité pourrait contribuer à la richesse des données, tandis que dans les tâches de classification, elle peut être gérée à l’aide d’une approche de rapport de vraisemblance généralisé, telle qu’appliquée dans des scénarios similaires28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Figure 2 : SEMG et HKD représentatifs lors de l’abduction d’un doigt. Signaux d’électromyographie de surface (sEMG) et données cinématiques de la main (HKD) enregistrés pendant l’abduction dynamique des doigts et le repos effectués pendant la position 1 de la main (main vers le bas, droite et détendue) par un seul participant. (A) Signaux EMG filtrés à partir de 16 canaux en fonction du temps. L’astérisque (*) désigne un artefact mécanique détecté dans l’enregistrement EMG du canal 5. (B) HKD, montrant les angles des articulations en fonction du temps. Les angles articulaires sont mesurés au niveau de diverses articulations : trapézo-métacarpienne (TMC), métacarpo-phalangienne (MCP) et interphalangienne proximale (PIP). Les phases de l’expérience (repos et abduction) sont indiquées le long de l’axe des abscisses. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Veuillez cliquer ici pour voir une version agrandie de cette figure.</a>
Ces résultats représentatifs ont démontré l’utilité des données EMG et HKD synchronisées dans la capture des gestes de la main. L’alignement des signaux EMG avec la HKD correspondante permet de cartographier l’activité musculaire sur des mouvements spécifiques des doigts. Lors de la construction d’un modèle prédictif, les chercheurs peuvent utiliser HKD comme vérité terrain, en vérifiant et en affinant de manière itérative les prédictions de gestes basées sur l’EMG. Cette approche met en évidence l’applicabilité pratique du protocole et suggère la nécessité de poursuivre les recherches dans des contextes plus naturels.
Figure supplémentaire 1 : Fenêtres du spectrogramme affichées pendant l’étape de vérification du signal. Les panneaux de gauche affichent les données EMG brutes, tandis que les panneaux de droite affichent les domaines fréquentiels détectés. (A) Exemple d’un signal EMG très bruyant avec de forts brouillages de 50 Hz et 100 Hz. (B) Exemple du même enregistrement du signal EMG après avoir éloigné le participant des appareils électriques, ce qui a donné un signal EMG propre avec un minimum d’interférences. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Veuillez cliquer ici pour télécharger ce fichier.</a>

Capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

Recherche

JoVE Journal

Bioengineering

Bioingénierie

Source:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51École Sagol de neurosciences, Université de Tel Aviv, 2Département d’oto-rhino-laryngologie, Hôpital universitaire d’Iéna, Université Friedrich-Schiller d’Iéna, 3École de génie électrique, Université de Tel Aviv, 4Division de recherche motrice, physiopathologie et biomécanique, Département de traumatologie, de chirurgie de la main et de chirurgie reconstructive, Hôpital...

Enregistrement par électromyographie de surface sans fil de l’activité des muscles faciaux pendant les expressions

La surveillance de l’activité cérébrale pendant les tâches motrices debout est d’une grande valeur pour l’étude de la source neuronale des troubles du mouvement. Ici, nous démontrons un protocole qui combine la spectroscopie proche infrarouge fonctionnelle avec la surveillance continue de l’activité musculaire et cinématique pendant 4 types de tâches motrices.

Près fonctionnelle spectroscopie infrarouge des régions sensorielles et motrices cérébrales avec simultanée cinématique et EMG surveillance Pendant tâches motrices

Une nouvelle interface homme-machine à faible coût pour un système interactif de rééducation de l’équilibre post-AVC est présentée dans cet article. Le système intègre des capteurs prêts à l’emploi à faible coût vers un paradigme d’électrothérapie piloté volontairement. L’interface du logiciel de preuve de concept est démontrée sur des volontaires en bonne santé.

Une machine à interface humaine Intégration de capteurs à faible coût avec un système de stimulation neuromusculaire électrique pour post-AVC Solde Réhabilitation

La stimulation magnétique transcrânienne, l’électromyographie et la capture de mouvement 3D sont des techniques non invasives couramment utilisées pour étudier la fonction neuromusculaire chez l’homme. Dans cet article, nous décrivons un protocole qui échantillonne de manière synchrone les données générées par ces trois outils, ainsi que l’ajout unique de la présentation et de la rétroaction des stimuli en réalité virtuelle.

Configuration multifonctions pour l&#39;étude de contrôle du moteur humain utilisant la stimulation magnétique transcrânienne, électromyographie, Motion Capture, et Réalité Virtuelle

Présenté ici est un paradigme comportemental qui suscite des réponses visuomotrices rapides robustes sur les muscles des membres supérieurs humains au cours des portées visuellement guidées.

Un paradigme cible émergent pour évoquer des réponses visuomotrices rapides sur les muscles des membres supérieurs humains

Lorsque nous saisissons un objet, plusieurs régions des doigts et de la main entrent généralement en contact avec la surface de l’objet. La reconstruction de ces régions de contact est un défi. Ici, nous présentons une méthode pour estimer approximativement les régions de contact en combinant la capture de mouvement basée sur des marqueurs avec la reconstruction existante du maillage manuel basée sur l’apprentissage profond.

Estimation des régions de contact entre les mains et les objets lors de la préhension humaine à plusieurs chiffres

La magnétoencéphalographie (MEG) et l’électroencéphalographie à haute densité (HD-EEG) sont rarement enregistrées simultanément, bien qu’elles fournissent des informations de confirmation et complémentaires. Ici, nous illustrons le dispositif expérimental d’enregistrement simultané de la MEG et de l’HD-EEG et la méthodologie d’analyse de ces données visant à localiser les zones cérébrales épileptogènes et éloquentes chez les enfants atteints d’épilepsie résistante aux médicaments.

Imagerie de source électromagnétique dans l’évaluation préchirurgicale d’enfants atteints d’épilepsie résistante aux médicaments

Dans de nombreuses situations cliniques et biologiques, il est avantageux d'étudier les processus cellulaires à mesure qu'ils évoluent dans leur microenvironnement natale. Nous décrivons ici le montage et l'utilisation d'un faible coût par fibre optique de microscope qui peut fournir l'imagerie en temps réel dans la culture cellulaire, les études animales et des études cliniques sur le patient.

Haute résolution à fibre optique pour les Microendoscopy In situ Cellular Imaging

Visualisation de volume non destructifs peuvent être atteints que par des techniques tomographiques, dont le plus efficace est la tomographie aux rayons X micro ordinateur (TAO).

High Resolution Imaging 3D des Ex-Vivo Échantillons biologiques par Micro CT

Nous décrivons ici le fonctionnement d'un dispositif microfluidique qui permet l'imagerie microscopique continu et à haute résolution de cellules de levure en herbe simples lors de leur réplication complète et / ou chronologique durée de vie.

Continue observation microscopique à haute résolution de réplicative vieillissement chez la levure de bourgeonnement

Découvrez une méthode de capture dynamique des gestes du doigt combinant électromyographie de surface haute résolution et vision par ordinateur. Ce protocole synchronise les données EMG et visuelles pour développer des modèles robustes de reconnaissance gestuelle.

Capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur

Explorer plus de vidéos