Estimation des régions de contact entre les mains et les objets lors de la préhension humaine à plusieurs chiffres

Les recherches comportementales antérieures sur la préhension humaine ont été limitées à des mesures très contraintes dans des scénarios étroitement contrôlés. Notre protocole permet une caractérisation beaucoup plus riche du comportement de préhension naturaliste complexe. Cette technique utilise des cartes détaillées des surfaces de contact des objets à main grâce à une préhension à plusieurs chiffres.

Cela nous permet d’étudier comment les humains saisissent les objets avec un niveau de sophistication sans précédent. Des mesures précises des capacités de préhension humaines sont nécessaires pour comprendre le contrôle moteur, la perception haptique et l’interaction homme-machine. Ces données peuvent éclairer la conception de préhenseurs robotiques et de prothèses de membres supérieurs.

Kira Dehn, une étudiante diplômée qui termine sa thèse de maîtrise dans mon laboratoire, fera la démonstration de la procédure. Pour commencer, positionnez un établi avec un volume de suivi imagé sous plusieurs angles par des caméras de suivi de mouvement disposées sur un cadre entourant l’espace de travail. Préparez des marqueurs réfléchissants en attachant du ruban adhésif double face à la base de chaque marqueur.

Exécutez Qualisys Track Manager, ou QTM, en tant qu’administrateur. Placez l’objet d’étalonnage en forme de L dans le volume de suivi. Dans le QTM, cliquez sur Calibrer dans le menu Capture et attendez qu’une fenêtre d’étalonnage s’ouvre.

Sélectionnez la durée de l’étalonnage et appuyez sur OK. Agitez la baguette d’étalonnage sur le volume de suivi pendant toute la durée de l’étalonnage. Appuyez sur le bouton Exporter et spécifiez un chemin d’accès au fichier pour exporter l’étalonnage sous forme de fichier texte.

Acceptez l’étalonnage en appuyant sur OK. Pour créer un objet stimulus, construisez un modèle objet 3D virtuel sous la forme d’un maillage polygonal. Utilisez une imprimante 3D pour construire une réplique physique du modèle objet.

Pour préparer un objet stimulus, fixez quatre marqueurs réfléchissants non planaires à la surface de l’objet réel. Placez l’objet dans le volume de suivi. Dans le référentiel du projet, exécutez le script Python indiqué.

Suivez les instructions fournies par le script pour effectuer une capture d’une seconde de la position 3D des marqueurs d’objet. Sélectionnez tous les marqueurs du corps rigide. Cliquez avec le bouton droit de la souris et sélectionnez Définir le corps rigide ou 6DOF, puis Image courante.

Entrez le nom du corps rigide et appuyez sur OK. Dans le menu Fichier, sélectionnez Exporter au format TSV. Dans la nouvelle fenêtre, cochez les cases 3D, 6D et Squelette dans les paramètres Type de données.

Cochez toutes les cases dans les paramètres généraux. Appuyez sur OK, puis sur Enregistrer. Ouvrez Blender et accédez à l’espace de travail Scripting.

Ouvrez le fichier indiqué et appuyez sur Exécuter. Accédez à l’espace de travail Disposition et appuyez sur N pour basculer la barre latérale. Dans la barre latérale, accédez à l’onglet Personnalisé.

Sélectionnez le fichier obj à co-enregistrer et appuyez sur le bouton Charger l’objet. Sélectionnez le fichier de trajectoire exporté précédemment et spécifiez les noms des marqueurs attachés aux objets rigides séparés par des points-virgules. Dans l’en-tête du marqueur, spécifiez la ligne dans le fichier de trajectoire contenant les noms de colonne des données.

Ensuite, sélectionnez le fichier de corps rigide correspondant avec le suffixe 6D et spécifiez le nom du corps rigide défini à l’étape précédente. Dans l’en-tête 6D, spécifiez la ligne dans le fichier de corps rigide contenant les noms de colonne des données. Appuyez sur Charger les marqueurs, puis traduisez et faites pivoter l’objet marqueurs ou l’objet pour les aligner.

Spécifiez un fichier de sortie de maillage et appuyez sur Exécuter la co-inscription pour générer un fichier obj contenant le maillage de stimulus co-enregistré. Attachez 24 marqueurs réfléchissants sphériques sur différents repères de la main d’un participant à l’aide de ruban adhésif double face. Placez les marqueurs au centre du bout des doigts dans les articulations interphalangiennes distales, les articulations interphalangiennes proximales et les articulations métacarpophalangiennes de l’index, du majeur, de l’annulaire et du petit doigt.

Pour le pouce, placez un marqueur sur le bout du doigt et l’articulation métacarpienne basale du carpien et une paire de marqueurs chacun sur les articulations métacarpophalangienne et interphalangienne. Enfin, placez des marqueurs au centre du poignet et sur l’articulation scaphotrapézotrapézoïdale. Demandez au participant de placer sa main à plat sur l’établi, la paume tournée vers le bas, et de fermer les yeux.

Placez l’objet stimulus sur l’établi devant le participant. Pendant l’exécution du QTM, exécutez le script Python indiqué dans le référentiel du projet. Demandez au participant d’ouvrir les yeux et de suivre les instructions fournies par le script pour capturer un seul essai du participant saisissant l’objet stimulé.

Dans le QTM, faites glisser et déposez les trajectoires de marqueurs individuelles des trajectoires non identifiées vers les trajectoires étiquetées et étiquetez-les selon la convention de nommage. Sélectionnez tous les marqueurs attachés à la main, cliquez avec le bouton droit de la souris et sélectionnez Générer le modèle AIM dans la sélection. Dans la nouvelle fenêtre, sélectionnez Créer un nouveau modèle basé sur des connexions de marqueurs à partir du modèle AIM existant et appuyez sur le bouton Suivant.

Sélectionnez la définition de modèle RH_FH et appuyez sur Ouvrir. Appuyez sur Suivant, entrez un nom pour le modèle AIM, puis appuyez sur OK. Enfin, appuyez sur Terminer pour créer un modèle AIM pour la main du participant afin d’identifier automatiquement les marqueurs dans les essais successifs du même participant.

Dans le QTM, ouvrez les paramètres du projet en appuyant sur l’icône de la roue dentée. Dans la barre latérale, accédez à Skeleton Solver et appuyez sur Charger pour sélectionner un fichier de définition de squelette. Ajustez le facteur d’échelle à 100 % et appuyez sur Appliquer.

Accédez à TSV Export et cochez les cases 3D, 6D et Skeleton dans les paramètres Type de données. Cochez toutes les cases dans les paramètres généraux. Appuyez sur Appliquer et fermez les paramètres du projet.

Appuyez sur l’icône Retreat, puis cochez les cases Solve Skeletons et Export to TSV File (Résoudre les squelettes) et Exporter vers un fichier TSV, puis appuyez sur OK. Ouvrez une fenêtre de commande dans le référentiel du projet et activez l’environnement conda en exécutant la commande indiquée. Exécutez ensuite la commande indiquée et suivez les instructions fournies par le script pour générer pour chaque image de l’essai un maillage manuel reconstruisant la pose de main actuelle.

Pour les estimations de la région de contact de l’objet de la main, exécutez la commande indiquée et suivez les instructions fournies par le script pour générer des estimations de la région de contact de la main et de l’objet en calculant l’intersection entre les maillages main et objet. Dans cette étude, la dynamique de la préhension a été enregistrée à l’aide de 24 marqueurs réfléchissants sphériques attachés à différents repères de la main. Les modifications apportées au décodeur à mailles manuelles profondes pré-entraînées sont présentées ici.

Tout d’abord, comme le réseau n’est pas formé sur des participants spécifiques, le correctif générique de maillage dépendant de l’ID fourni avec le modèle pré-entraîné est utilisé. De plus, le correctif du squelette dépendant de l’ID est dérivé à l’aide du QTM Skeleton Solver. Une mise à l’échelle proportionnelle de la main avec la longueur du squelette est supposée et l’épaisseur de la maille est uniformément mise à l’échelle par un facteur dérivé de l’échelle relative du squelette.

La reconstruction 3D finale du maillage manuel de la pose de la main actuelle dans le même cadre de coordonnées que le maillage d’objet suivi en 3D est affichée. Une vidéo d’une main avec des points tracés et un maillage co-enregistré se déplaçant côte à côte lors d’une seule saisie d’une figurine de chat imprimée en 3D est montrée. Une seule image au moment du contact main-objet d’une poignée à un croissant imprimé en 3D, ainsi que les reconstructions du maillage de l’objet à main et les zones de contact estimées sur la surface du croissant.

L’objet et les marqueurs qui y sont attachés doivent être correctement co-enregistrés. Il est important de les aligner à fond, car les écarts peuvent avoir un impact important sur les estimations des régions de contact. En plus des surfaces de contact, la procédure fournit des angles d’Euler articulaires pour chaque articulation du doigt.

Ceux-ci peuvent être utilisés pour étudier comment les poses de main pendant les saisies à plusieurs chiffres se déroulent au fil du temps.