Capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur

Notre recherche se concentre sur l’amélioration de la reconnaissance dynamique des gestes de la main à l’aide de données EMG et visuelles synchronisées. Notre objectif est de déterminer avec quelle précision l’activité musculaire correspond au mouvement du doigt dans différentes positions de la main et comment cela peut améliorer l’application dans la rééducation prothétique et l’interaction homme-machine. Notre protocole comble l’écart dans la reconnaissance des gestes de la main en permettant de cartographier l’activité musculaire sur les gestes du doigt dans diverses positions dynamiques de la main.

Notre approche collecte et synchronise les DMG et les données visuelles pendant les mouvements dynamiques, jetant ainsi les bases du développement de modèles robustes de reconnaissance gestuelle. Contrairement aux méthodes traditionnelles avec des configurations statiques, notre protocole utilise un EMGRA sans fil et le système de suivi des mains lors de mouvements dynamiques, assurant une flexibilité et une collecte de données plus réaliste pour les études de reconnaissance gestuelle. Pour commencer, ouvrez le référentiel GitHub et suivez les instructions détaillées dans la section d’installation.

Localisez le fichier Python principal, data_collection. py, dans le dossier, et préparez-le pour exécuter l’expérience. Utilisez le spectrogramme de script.

py pour évaluer l’électromyographie, en bref, la qualité du signal EMG, et le script d’analyse de données pour le filtrage et la segmentation du signal. Assurez-vous que l’unité d’acquisition de données EMG, en abrégé DAU, est complètement chargée avant chaque session. Ensuite, allumez le DAU.

Connectez le DAU au PC via Bluetooth à l’aide de l’application dédiée. Réglez le taux de communication Bluetooth sur 500 échantillons par seconde. Installez et ouvrez le logiciel de suivi des mains de la caméra sur le PC. Connectez la caméra de suivi des mains au PC à l’aide d’un câble.

Utilisez un seul écran pour toujours afficher le logiciel de suivi de la main. Pour commencer, demandez au participant de fléchir sa main droite en un poing fort. Pendant que le participant fléchit, appuyez doucement le long de son avant-bras pour palper le muscle et identifier l’endroit où l’activation est la plus proéminente.

Décollez la couche protectrice blanche du réseau d’électrodes EMG et fixez soigneusement les électrodes à la zone identifiée de l’avant-bras. Placez le ruban adhésif près de la paume et tapotez-le doucement pour fixer le réseau d’électrodes à la peau. Une fois le réseau d’électrodes fixé à la peau, décollez la couche de support transparente.

Ensuite, insérez la carte de connexion du réseau d’électrodes dans la prise du connecteur DAU. Fixez le DAU au ruban adhésif à côté des électrodes. Exécutez le script de spectrogramme Python personnalisé pour vérifier la qualité du signal en temps réel.

Observez la fenêtre affichée affichant les données brutes à gauche et les données du domaine fréquentiel à droite pour toutes les électrodes. Vérifiez que toutes les électrodes sont détectées et fonctionnent correctement et que le signal est exempt de bruit excessif et de bruit de 50 hertz. Si nécessaire, débranchez les appareils inutiles de l’alimentation et éloignez-vous des appareils électroniques pour réduire le bruit, ce qui laisse le temps au signal de se stabiliser.

Ensuite, demandez au participant de placer un coude sur le fauteuil et de bouger les doigts, puis demandez à se détendre. Assurez-vous qu’un signal EMG clair s’affiche, suivi d’un bruit de base statique. Fermez le script une fois la vérification du signal terminée.

Pour vérifier la position, cliquez sur l’estimation de la pose du doigt suivie de l’acquisition de données pour ouvrir le dossier images. Passez en revue les images du geste avec le participant. Expliquez clairement les positions de la main droite au participant.

Expliquez-leur comment tenir leur main avant chaque séance, en veillant à ce qu’ils aient une posture et un positionnement appropriés. Pour la position de la première main, demandez au participant de se tenir droit, à environ un mètre de la table. Ensuite, demandez au participant de tenir sa main droite vers le bas, droite et détendue, la paume face à la caméra de suivi de la main.

Fixez la caméra de suivi des mains sur la table à l’aide d’une perche à selfie et dirigez-la vers la main du participant. Assurez-vous que le participant fait des gestes fermes au début du bip sonore, suivis d’une paume détendue pendant la période de repos. Pour la deuxième position de la main, demandez au participant de s’asseoir confortablement dans un fauteuil, positionné à 40 à 70 centimètres des moniteurs.

Ensuite, demandez au participant d’étendre sa main droite vers l’avant à un angle de 90 degrés, la paume détendue et face à la caméra de suivi de la main. Utilisez un dispositif de support si nécessaire pour maintenir la main stable. Placez la caméra de suivi des mains sur la table vers le haut.

Assurez-vous que le participant fait des gestes fermes au début du bip sonore, suivis d’une paume détendue pendant la période de repos. Pour la position de la main trois, demandez au participant de plier sa main vers le haut tout en posant son coude sur le fauteuil. Assurez-vous que la paume est détendue et face à la caméra de suivi de la main.

Fixez la caméra de suivi des mains sur la table face à la main du participant. Assurez-vous que la position du participant est optimale pour regarder les écrans et être dans le champ de vision de la caméra. Assurez-vous que le participant fait des gestes fermes au début du bip sonore, suivi d’une paume détendue pendant la période de repos.

Pour la position de la main quatre, demandez au participant d’effectuer les gestes du doigt tout en bougeant la main librement, en choisissant soit la position dynamique de la main un, la position dynamique de la main deux ou la position dynamique de la main trois. Allumez l’ordinateur, ouvrez Python et chargez le script data_collection.py. Ajustez la position et l’angle de la caméra de suivi de la main pour l’aligner avec la position de la main du participant.

Lancez le data_collection. script py. Une fenêtre apparaîtra pour saisir les détails du participant.

Remplissez les informations requises et appuyez sur OK pour démarrer l’expérience automatiquement. Pour chaque session, enregistrez les données EMG et de suivi des mains, qui sont automatiquement enregistrées. À la fin de l’expérience, assurez-vous que les données sont automatiquement enregistrées dans un dossier étiqueté avec le numéro de série du participant.

Vérifiez que chaque session est stockée dans un sous-dossier nommé numéro S, contenant quatre sous-dossiers pour chaque position de la main étiquetée comme numéro P. Si un participant termine plusieurs sessions, vérifiez que toutes les données sont enregistrées dans le dossier de session correspondant. Assurez-vous que chaque dossier de position de la main contient les données EMG enregistrées dans un fichier EDF, les données de suivi de la main enregistrées dans un fichier CSV et un fichier journal contenant les métadonnées de la session.

Les canaux EMG ont montré une activité électrique accrue pendant les phases d’abduction par rapport aux phases de repos, comme en témoignent les signaux d’amplitude plus élevée sur tous les canaux, avec des artefacts mécaniques marqués par des pointes nettes. Les données cinématiques de la main ont démontré des changements synchronisés de l’angle des doigts correspondant aux gestes d’abduction instruits, avec des trajectoires de signal stables pendant le suivi non obstrué et une déviation visible dans les sections mal alignées.