Method Article

Estimation des régions de contact entre les mains et les objets lors de la préhension humaine à plusieurs chiffres

DOI:

10.3791/64877

⸱

April 21st, 2023

 ,  ,  , 
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Lorsque nous saisissons un objet, plusieurs régions des doigts et de la main entrent généralement en contact avec la surface de l’objet. La reconstruction de ces régions de contact est un défi. Ici, nous présentons une méthode pour estimer approximativement les régions de contact en combinant la capture de mouvement basée sur des marqueurs avec la reconstruction existante du maillage manuel basée sur l’apprentissage profond.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Pour saisir un objet avec succès, nous devons sélectionner les régions de contact appropriées pour nos mains sur la surface de l’objet. Cependant, il est difficile d’identifier ces régions. Ce document décrit un flux de travail permettant d’estimer les régions de contact à partir de données de suivi basées sur des marqueurs. Les participants saisissent des objets réels, tandis que nous suivons la position 3D des objets et de la main, y compris les articulations des doigts. Nous déterminons d’abord les angles d’Euler articulaires à partir d’une sélection de marqueurs suivis positionnés sur le dos de la main. Ensuite, nous utilisons des algorithmes de reconstruction de mailles de main de pointe pour générer un modèle de maillage de la main du participant dans la pose actuelle et la position 3D.

L’utilisation d’objets imprimés en 3D ou scannés en 3D - et donc disponibles à la fois en tant qu’objets réels et données de maillage - permet de co-enregistrer les maillages de la main et de l’objet. À son tour, cela permet d’estimer les régions de contact approximatives en calculant les intersections entre le maillage manuel et le maillage d’objet 3D co-enregistré. La méthode peut être utilisée pour estimer où et comment les humains saisissent des objets dans diverses conditions. Par conséquent, la méthode pourrait intéresser les chercheurs qui étudient la perception visuelle et haptique, le contrôle moteur, l’interaction homme-machine en réalité virtuelle et augmentée et la robotique.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La capacité de saisir et de manipuler des objets est une capacité clé qui permet aux humains de remodeler l’environnement en fonction de leurs désirs et de leurs besoins. Cependant, contrôler efficacement les mains multi-articulées est une tâche difficile qui nécessite un système de contrôle sophistiqué. Ce système de contrôle moteur est guidé par plusieurs formes d’entrées sensorielles, parmi lesquelles la vision est primordiale. Grâce à la vision, les individus peuvent identifier les objets dans l’environnement et estimer leur position et leurs propriétés physiques, puis atteindre, saisir et manipuler facilement ces objets. Comprendre le système complexe qui relie l’entrée au niveau de la rétine aux commandes motrices qui contrôlent les mains est un défi clé de la neuroscience sensorimotrice. Pour modéliser, prédire et comprendre le fonctionnement de ce système, nous devons d’abord pouvoir l’étudier en détail. Cela nécessite des mesures haute fidélité des entrées visuelles et des sorties du moteur manuel.

La technologie de suivi de mouvement passée a imposé un certain nombre de limites à l’étude de la préhension humaine. Par exemple, les systèmes nécessitant des câbles attachés aux mains des participants1,2 ont tendance à restreindre l’amplitude des mouvements des doigts, modifiant potentiellement les mouvements de préhension ou les mesures elles-mêmes. Malgré ces limites, des recherches antérieures ont permis d’identifier plusieurs facteurs qui influencent la saisie guidée visuellement. Certains de ces facteurs incluent la forme de l’objet 3,4,5,6, la rugosité de surface 7,8,9, ou l’orientation d’un objet par rapport à la main4,8,10. Cependant, pour surmonter les limitations technologiques antérieures, la majorité de ces recherches antérieures ont utilisé des stimuli simples et des tâches très contraintes, se concentrant ainsi principalement sur les facteurs individuels 3,4,6,7,10, poignées de précision à deux chiffres3,4,6,9,11,12, 13,14,15,16,17,18, objets uniques19, ou formes 2D très simples 20,21. On ne sait pas comment les résultats antérieurs se généralisent au-delà de ces conditions de laboratoire réduites et artificielles. De plus, la mesure du contact main-objet est souvent réduite à l’estimation des points de contact à chiffres22. Cette simplification peut être appropriée pour décrire un petit sous-ensemble de préhensions dans lequel seuls le bout des doigts est en contact avec un objet. Cependant, dans la majorité des saisies du monde réel, de vastes régions des doigts et de la paume entrent en contact avec un objet. De plus, une étude récente23 a démontré, à l’aide d’un gant haptique, que les objets peuvent être reconnus par la façon dont leur surface empiète sur la main. Cela souligne l’importance d’étudier les régions de contact étendues entre les mains et les objets saisis, et pas seulement les points de contact entre les objets et le bout des doigts22.

Les progrès récents de la capture de mouvement et de la modélisation manuelle 3D nous ont permis de dépasser les limites précédentes et d’étudier la saisie dans toute sa complexité. Le suivi de mouvement passif basé sur des marqueurs est maintenant disponible avec des marqueurs de taille millimétrique qui peuvent être attachés à l’arrière des mains du participant pour suivre les mouvements articulaires24. De plus, les algorithmes d’identification automatique des marqueurs pour les systèmes de marqueurs passifs sont maintenant suffisamment robustes pour presque éliminer le besoin de post-traitement manuel étendu des données de marqueurs25,26,27. Les solutions sans marqueurs atteignent également des niveaux de performance impressionnants pour le suivi des parties du corps animal dans les vidéos28. Ces méthodes de suivi des mouvements permettent ainsi enfin des mesures fiables et non invasives des mouvements complexes à plusieurs chiffres de la main24. De telles mesures peuvent nous renseigner sur la cinématique des articulations et nous permettre d’estimer les points de contact entre la main et un objet. En outre, ces dernières années, la communauté de la vision par ordinateur s’est attaquée au problème de la construction de modèles de mains humaines capables de reproduire les déformations des tissus mous lors de la préhension d’objets et même lors d’un contact personnel entre les parties de la main 29,30,31,32. De telles reconstructions de maillage 3D peuvent être dérivées de différents types de données, telles que les séquences vidéo 33,34, les articulations squelettiques (dérivées du suivi35 ou sans marqueur36) et les images de profondeur37. La première avancée clé dans ce domaine a été fournie par Romero et al.38, qui ont dérivé un modèle de main paramétrique (MANO) à partir de plus de 1 000 balayages manuels de 31 sujets dans diverses poses. Le modèle contient des paramètres pour la pose et la forme de la main, facilitant la régression de différentes sources de données vers une reconstruction complète de la main. La solution DeepHandMesh29, plus récente, s’appuie sur cette approche en construisant un modèle paramétré grâce à l’apprentissage profond et en ajoutant l’évitement de la pénétration, qui reproduit plus précisément les interactions physiques entre les parties de la main. En combinant de telles reconstructions de maillage manuel avec des maillages d’objets suivis en 3D, il est donc désormais possible d’estimer les régions de contact non seulement à la surface des objets32 mais aussi à la surface de la main.

Ici, nous proposons un flux de travail qui associe le suivi 3D haute fidélité des objets et des articulations des mains avec de nouveaux algorithmes de reconstruction de maillage de main. La méthode produit des cartes détaillées des surfaces de contact main-objet. Ces mesures aideront les neuroscientifiques sensorimoteurs à approfondir notre compréhension théorique de la saisie guidée visuelle humaine. De plus, la méthode pourrait être utile aux chercheurs dans des domaines adjacents. Par exemple, les chercheurs en facteurs humains peuvent utiliser cette méthode pour construire de meilleurs systèmes d’interface homme-machine en réalité virtuelle et augmentée18. Les mesures haute fidélité des comportements de préhension humaine peuvent également aider les roboticiens à concevoir des systèmes de préhension robotiques inspirés de l’homme basés sur les principes de la perception interactive 39,40,41,42,43. Nous espérons donc que cette méthode aidera à faire progresser la recherche sur la compréhension dans les domaines des neurosciences et de l’ingénierie, des descriptions éparses de tâches très contraintes aux caractérisations plus complètes des comportements de préhension naturalistes avec des objets complexes et des tâches du monde réel. L’approche globale est décrite à la figure 1.

figure-introduction-1
Figure 1 : Principales étapes de la méthode proposée. (A) Les caméras de capture de mouvement immortalisent un établi sous plusieurs angles. (B) Un objet stimulus est imprimé en 3D à partir d’un modèle de maillage triangulé. (C) Quatre marqueurs réfléchissants sphériques sont collés à la surface de l’objet réel. Une procédure semi-automatisée identifie quatre points correspondants sur la surface de l’objet maillé. Cette correspondance nous permet de roto-traduire le modèle de maillage à la position suivie 3D de l’objet réel. (D) Des marqueurs réfléchissants sont fixés à différents repères sur le dos de la main d’un participant à l’aide de ruban adhésif double face. (E) Le système de capture de mouvement acquiert les trajectoires dans l’espace 3D de l’objet suivi et des marqueurs de la main au cours d’un seul essai. (F) Un squelette de main spécifique au participant est construit à l’aide d’un logiciel d’infographie 3D. Les poses des articulations squelettiques sont ensuite estimées pour chaque image de chaque essai dans une expérience grâce à la cinématique inverse. (G) Les poses articulaires sont entrées dans une version modifiée de DeepHandMesh29, qui produit un maillage de main 3D estimé dans la pose et la position 3D actuelles. (H) Enfin, nous utilisons l’intersection de maillage pour calculer les régions de contact main-objet. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Avant de commencer une expérience, les participants doivent fournir un consentement éclairé conformément aux directives institutionnelles et à la Déclaration d’Helsinki. Tous les protocoles décrits ici ont été approuvés par le comité d’éthique local de l’Université Justus Liebig de Giessen (LEK-FB06).

1. Installation de tous les logiciels nécessaires

  1. Téléchargez le référentiel de projet à l’adresse Data and Code Repository.
  2. Installez le logiciel répertorié dans le tableau des matériaux (notez les versions du logiciel et suivez les liens pour les options d’achat et les instructions).
  3. Dans le référentiel de données et de code, ouvrez une fenêtre de commande et exécutez la commande suivante :
    conda env create -f environment.yml
  4. Téléchargez et installez l’instanciation DeepHandMesh29 pré-entraînée en suivant les instructions fournies à https://github.com/facebookresearch/DeepHandMesh.
    1. Placez DeepHandMesh dans le dossier « deephandmesh » du référentiel de données et de code. Remplacez le fichier « main/model.py » par le fichier model.py contenu dans le référentiel de données et de code.

2. Préparation du système de capture de mouvement

  1. Placez un établi dans un volume de suivi imagé sous plusieurs angles par des caméras de suivi de mouvement disposées sur un cadre entourant l’espace de travail (Figure 1A). Préparez des marqueurs réfléchissants en attachant du ruban adhésif double face à la base de chaque marqueur.
  2. Exécutez Qualisys Track Manager (QTM) en tant qu’administrateur.
    Remarque : L’exécution de QTM en tant qu’administrateur est nécessaire pour que le SDK Python prenne le contrôle de l’interface QTM. Nous conseillons de toujours exécuter QTM en tant qu’administrateur.

3. Calibrer les caméras

  1. Placez l’objet d’étalonnage en forme de L dans le volume de suivi.
  2. Dans le QTM, cliquez sur Calibrer dans le menu Capture, ou appuyez sur l’icône de baguette dans la barre d’outils Capture. Attendez qu’une fenêtre d’étalonnage s’ouvre. Sélectionnez la durée de l’étalonnage et appuyez sur OK.
  3. Agitez la baguette d’étalonnage sur le volume de suivi pendant toute la durée de l’étalonnage. Appuyez sur le bouton Exporter et spécifiez un chemin d’accès au fichier dans lequel exporter l’étalonnage sous forme de fichier texte. Acceptez l’étalonnage en appuyant sur OK.

4. Création d’un objet stimulus

  1. Construisez un modèle objet 3D virtuel sous la forme d’un maillage polygonal. Utilisez une imprimante 3D pour construire une réplique physique du modèle objet.
    Remarque : le référentiel de données à l’étape 1.1 fournit des exemples d’objets dans les formats de fichier STL et Wavefront OBJ. Les objets au format STL sont multiples et prêts pour l’impression 3D.

5. Préparation de l’objet stimulus

  1. Fixez quatre marqueurs réfléchissants non planaires à la surface de l’objet réel. Placez l’objet dans le volume de suivi.
  2. Dans le référentiel du projet, exécutez le script Python « Acquire_Object.py ». Suivez les instructions fournies par le script pour effectuer une capture de 1 s de la position 3D des marqueurs d’objet.
  3. Sélectionnez tous les marqueurs du corps rigide. Cliquez avec le bouton droit de la souris et sélectionnez Définir le corps rigide (6DOF) | Cadre actuel. Entrez le nom du corps rigide et appuyez sur OK.
  4. Dans le menu Fichier , sélectionnez Exporter | À TSV. Dans la nouvelle fenêtre, cochez les cases 3D, 6D et Squelette dans les paramètres Type de données . Cochez toutes les cases dans les paramètres généraux . Appuyez sur OK , puis sur Enregistrer.

6. Co-enregistrement des versions du modèle réel et du modèle maillé de l’objet stimulus

  1. Ouvrez Blender et accédez à l’espace de travail Scripting . Ouvrez le fichier « Object_CoRegistration.py » et appuyez sur Exécuter. Accédez à l’espace de travail Disposition et appuyez sur n pour basculer la barre latérale. Dans la barre latérale, accédez à l’onglet Personnalisé .
  2. Sélectionnez le fichier .obj à co-enregistrer et appuyez sur le bouton Charger l’objet .
  3. Sélectionnez le fichier de trajectoire qui a été exporté à l’étape 3.3 et spécifiez les noms des marqueurs attachés à l’objet rigide séparés par des points-virgules. Dans l’en-tête Marqueur, spécifiez la ligne dans le fichier de trajectoire qui contient les noms de colonne des données (le comptage commence à 0).
  4. Sélectionnez le fichier de corps rigide correspondant avec le suffixe 6D et spécifiez le nom du corps rigide défini à l’étape 4.1. Dans l’en-tête 6D, spécifiez la ligne dans le fichier de corps rigide qui contient les noms de colonne des données.
  5. Appuyez sur Charger les marqueurs. Traduisez et faites pivoter l’objet Markers et/ou l’objet Object pour les aligner. Spécifiez un fichier de sortie de maillage et appuyez sur Exécuter la coinscription. Cela produira un fichier .obj contenant le maillage de stimulus co-enregistré.

7. Mise en place de marqueurs sur les mains

  1. Attachez 24 marqueurs réfléchissants sphériques sur différents repères de la main d’un participant à l’aide de ruban adhésif double face.
    REMARQUE : Le positionnement spécifique des marqueurs est illustré à la figure 2.
    1. Placez les marqueurs au centre du bout des doigts respectifs, ainsi que les articulations interphalangiennes distales, les articulations interphalangiennes proximales et les articulations métacarpophalangiennes de l’index, du majeur, de l’annulaire et du petit doigt.
    2. Pour le pouce, placez un marqueur sur le bout du doigt et l’articulation carpométacarpienne basale, ainsi qu’une paire de marqueurs chacun sur les articulations métacarpophalangienne et interphalangienne.
      REMARQUE: Ces paires de marqueurs doivent être déplacées dans des directions opposées perpendiculaires à l’axe principal du pouce et sont nécessaires pour estimer l’orientation du pouce.
    3. Enfin, placez des marqueurs au centre du poignet et sur l’articulation scaphotrapézotrapézoïdale.

figure-protocol-1
Figure 2 : Placement du marqueur sur la main d’un participant. Abréviation : HR = main droite. Veuillez cliquer ici pour voir une version agrandie de cette figure.

8. Acquisition d’un seul essai

  1. Demandez au participant de placer sa main à plat sur l’établi, la paume tournée vers le bas, et de fermer les yeux. Placez l’objet stimulus sur l’établi devant le participant.
  2. Pendant l’exécution du QTM, exécutez le script Python « Single_Trial_Acquisition.py » dans le référentiel du projet. Suivez les instructions fournies par le script pour capturer un seul essai du participant saisissant l’objet stimulé.
    Remarque : Le script produira un signal auditif. Cela signalera au participant d’ouvrir les yeux et d’exécuter la saisie. Dans nos démonstrations, la tâche consiste à atteindre et à saisir l’objet cible, à le soulever verticalement d’environ 10 cm, à le poser et à remettre la main à sa position de départ.

9. Étiquetage des marqueurs

  1. Dans le QTM, faites glisser et déposez les trajectoires de marqueurs individuelles des trajectoires non identifiées aux trajectoires étiquetées, et étiquetez-les conformément à la convention d’affectation de noms de la figure 2.
  2. Sélectionnez tous les marqueurs attachés à la main, cliquez avec le bouton droit de la souris et sélectionnez Générer le modèle AIM à partir de la sélection. Dans la nouvelle fenêtre, sélectionnez Créer un nouveau modèle basé sur les connexions de marqueur du modèle AIM existant et appuyez sur le bouton Suivant .
  3. Sélectionnez la définition de modèle RH_FH , puis appuyez sur Ouvrir. Appuyez sur Suivant, entrez un nom pour le modèle AIM, puis appuyez sur OK. Enfin, appuyez sur Terminer pour créer un modèle AIM pour la main du participant, qui sera utilisé pour identifier automatiquement les marqueurs dans les essais successifs du même participant.

10. Créer une définition de squelette personnalisée pour le participant

  1. Dans le QTM, accédez au menu Lecture et sélectionnez Lire avec une sortie en temps réel.
  2. Ouvrez Maya. Accédez à l’étagère QTM Connect et appuyez sur l’icône Connecter à QTM . Dans la nouvelle fenêtre, cochez Marqueurs, puis appuyez sur Connecter. Maintenant, appuyez sur l’icône Play dans l’étagère QTM Connect .
  3. Maintenez tous les marqueurs manuels tout en maintenant la touche Maj enfoncée et appuyez sur l’icône Wash Locators . Sélectionnez les marqueurs à main lavés et appuyez sur Ctrl + G. Cela créera un nœud de groupe. Nommez le groupe Marqueurs.
  4. Sélectionnez tous les marqueurs de la main. Dans le menu Modifier , cliquez sur Rechercher et remplacer les noms. Recherchez le préfixe RH_ et supprimez le préfixe des marqueurs.
  5. Appuyez sur l’icône Import Solver dans l’étagère QTM Connect . Chargez la définition du squelette « RH_FH.xml ».
  6. Dans le menu Windows , accédez à Éditeurs généraux | Éditeur d’espaces de noms. Dans la nouvelle fenêtre, cliquez sur :(root) et appuyez sur Nouveau pour créer un nouvel espace de noms, RH. Cliquez sur l’espace de noms RH , appuyez sur Nouveau et nommez le nouvel espace de noms ModelPose.
  7. Sélectionnez tous les marqueurs, cliquez sur l’espace de noms RH et appuyez sur Ajouter sélectionné pour ajouter les marqueurs à l’espace de noms RH.
  8. Sélectionnez les os du squelette, cliquez sur l’espace de noms ModelPose, puis appuyez sur Ajouter sélectionné pour ajouter les os du squelette à l’espace de noms ModelPose.
  9. Faites pivoter, traduisez et mettez à l’échelle le squelette pour l’adapter aux données du marqueur. Ensuite, pour chaque articulation du squelette individuellement, appuyez sur Maj + Sélectionnez l’articulation du squelette et ses marqueurs associés, puis appuyez sur l’icône Ajouter des pièces jointes . Enfin, appuyez sur l’icône Export Solver pour exporter la nouvelle définition de squelette vers un fichier XML pouvant être chargé dans le QTM (voir étape suivante).
    REMARQUE: Cette étape n’est pas strictement nécessaire, mais elle est utile pour augmenter la précision de l’ajustement du squelette aux données du marqueur. Lisez le QSolverQuickstartGuide sur https://github.com/qualisys/QTM-Connect-For-Maya pour plus d’informations.

11. Reconstruire les poses articulaires de l’articulation squelettique

  1. Dans le QTM, ouvrez les paramètres du projet en appuyant sur l’icône de la roue dentée . Dans la barre latérale, accédez à Skeleton Solver et appuyez sur Charger pour sélectionner un fichier de définition de squelette. Ajustez le facteur d’échelle à 100 % et appuyez sur Appliquer.
  2. Accédez à TSV Export et cochez les cases 3D, 6D et Skeleton dans les paramètres Type de données . Cochez toutes les cases dans les paramètres généraux . Appuyez sur Appliquer, puis fermez les paramètres du projet.
  3. Appuyez sur l’icône Retraiter, cochez les cases Résoudre les squelettes et Exporter vers un fichier TSV, puis appuyez sur OK.

12. Génération de reconstructions de mailles manuelles

  1. Ouvrez une fenêtre de commande dans le référentiel du projet et activez l’environnement conda en exécutant la commande :
    conda activate contact-regions
  2. Ensuite, exécutez la commande suivante et suivez les instructions fournies par le script pour générer, pour chaque image de la version d’essai, un maillage de main reconstruisant la pose de la main actuelle.
    python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4
    REMARQUE: Ces reconstructions de maillage sont générées automatiquement à l’aide d’une version modifiée de l’outil de génération de maillage manuel open-source et préentraîné, DeepHandMesh29.

13. Génération d’estimations de la région de contact main-objet

  1. Ouvrez une fenêtre de commande dans le référentiel du projet, exécutez la commande suivante et suivez les instructions fournies par le script pour générer des estimations de la région de contact de la main et de l’objet en calculant l’intersection entre les maillages main et objet.
    blender --background --python « Contact_Region_Estimation.py »

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La première exigence pour la méthode proposée est un système permettant de suivre avec précision la position des objets 3D et des mains. La configuration spécifique est illustrée à la figure 1A et utilise du matériel et des logiciels produits par la société de capture de mouvement Qualisys. Nous positionnons un établi dans un volume de suivi (100 cm x 100 cm x 100 cm), qui est imagé sous plusieurs angles par huit caméras de suivi et six caméras vidéo disposées sur un cadre cubique entourant l’espace de travail. Les caméras de suivi suivent la position 3D des marqueurs réfléchissants dans le volume de suivi à 180 images / s et avec une résolution spatiale 3D inférieure au millimètre. Nous utilisons des marqueurs réfléchissants de 4 mm, qui sont fixés aux objets et aux mains à l’aide de ruban adhésif double face respectueux de la peau. Les positions des marqueurs 3D sont traitées par le logiciel de capture de mouvement. La section de discussion examine également les systèmes de capture de mouvement alternatifs qui pourraient être utilisés avec la méthode proposée.

Pour obtenir des reconstructions 3D précises d’objets réels saisis et manipulés, nous proposons deux options. La première, qui est celle adoptée ici, consiste à partir d’un modèle objet 3D virtuel sous la forme d’un maillage polygonal. Ces modèles 3D peuvent être construits à l’aide d’un logiciel approprié (par exemple, Blender 3D44), puis imprimés en 3D (Figure 1B). La deuxième option consiste à prendre un objet 3D réel existant et à utiliser la technologie de numérisation 3D pour construire une réplique de modèle maillé de l’objet. Quelle que soit la stratégie, l’objectif final est d’obtenir à la fois un objet 3D réel et le modèle de maillage d’objet 3D virtuel correspondant. Il convient de noter que l’approche décrite ici ne fonctionne qu’avec des objets rigides (c’est-à-dire non déformables).

Une fois que la surface 3D d’un objet est disponible en tant que modèle de maillage, sa position doit être suivie et co-enregistrée (Figure 1C). Pour ce faire, quatre marqueurs réfléchissants non planaires sont fixés à la surface de l’objet réel et l’objet est placé dans le volume de suivi. Les positions 3D des marqueurs d’objet sont ensuite brièvement capturées. Cette capture est utilisée pour établir la correspondance entre les quatre marqueurs et les quatre sommets du modèle de maillage d’objets. Cela se fait à l’aide d’une route logicielle ad hoc simple écrite dans l’API Python de Blender. Dans la fenêtre d’affichage de Blender, le programme présente l’objet virtuel avec les positions des marqueurs qui sont représentées comme un objet à maillage unique composé d’une sphère pour chaque marqueur. L’utilisateur peut ensuite faire pivoter et traduire l’objet et/ou les marqueurs pour les aligner de manière à ce qu’ils co-alignent avec les marqueurs réels placés sur l’objet réel. Le programme enregistrera les rotations et la traduction qui sont appliquées pour calculer une seule roto-translation qui est finalement appliquée au maillage d’objet d’origine, fournissant un maillage d’objet qui est co-enregistré avec la définition de corps rigide dans QTM.

Après avoir établi la correspondance, chaque fois que l’objet réel est déplacé dans le volume de suivi, l’objet virtuel peut être placé dans la nouvelle position en calculant la roto-translation entre les marqueurs suivis et les quatre sommets de maillage correspondants. Pour enregistrer la dynamique de la préhension, un total de 24 marqueurs réfléchissants sphériques sont fixés sur différents repères de la main à l’aide de ruban adhésif double face (Figure 1D et Figure 2).

Au début d’un essai (Figure 1E), un participant pose sa main à plat sur l’établi, la paume tournée vers le bas, et ferme les yeux. L’expérimentateur place un objet cible sur l’établi devant le participant. Ensuite, un signal auditif signale au participant d’ouvrir les yeux et d’exécuter la saisie. Dans nos démonstrations, la tâche consiste à atteindre et à saisir l’objet cible, à le soulever verticalement d’environ 10 cm, à le poser et à remettre la main à sa position de départ. Un script écrit en Python 3.7 contrôle l’expérience. À chaque essai, le script sélectionne et communique les paramètres de condition actuels à l’expérimentateur (par exemple, l’identité et le positionnement de l’objet). Le script contrôle également le calendrier de l’essai, y compris les indices auditifs et le début et la fin des enregistrements de capture de mouvement.

Les membres ne sont pas seulement caractérisés par leur position dans l’espace 3D, mais aussi par leur pose. Ainsi, pour obtenir une reconstruction 3D complète d’une main humaine exécutant une prise réelle, nous avons besoin non seulement des positions de chaque articulation dans l’espace 3D mais aussi de la pose relative (translation et rotation) de chaque articulation par rapport à son articulation mère (Figure 1F). Les positions et les orientations des articulations squelettiques peuvent être déduites des positions des marqueurs à l’aide de la cinématique inverse. Pour ce faire, nous utilisons ici le solveur squelette fourni par le logiciel QTM. Pour que le solveur fonctionne, nous devons d’abord fournir une définition du squelette qui relie la position et l’orientation de chaque articulation à plusieurs positions de marqueur. Une définition du squelette est donc construite, et la plate-forme squelette est liée aux données du marqueur à l’aide du plugin QTM Connect pour Maya. Nous créons des définitions de squelette personnalisées pour chaque participant afin de maximiser la précision des ajustements du squelette aux données du marqueur. Pour chaque participant, nous ajustons manuellement un squelette de main à une seule image de données de capture de mouvement. Après avoir obtenu une définition du squelette spécifique au participant, nous exécutons ensuite le solveur de squelette pour estimer les poses des articulations squelettiques pour chaque image de chaque essai de l’expérience.

Pour chaque image de chaque essai d’une expérience, nous générons un maillage de main qui reconstruit la pose de main actuelle à l’aide de l’outil de génération de mailles de main open source et préentraîné, DeepHandMesh28 (Figure 1G). DeepHandMesh est un réseau d’encodeur-décodeur profond qui génère des maillages manuels personnalisés à partir d’images. Tout d’abord, l’encodeur estime la pose d’une main dans une image (c’est-à-dire les angles d’Euler articulaires). Ensuite, la pose de la main estimée et un vecteur d’identification personnalisé sont entrés dans le décodeur, qui estime un ensemble de trois correctifs additifs à un maillage de gabarit truqué. Enfin, le maillage du gabarit est déformé en fonction de la pose de la main estimée et des correctifs à l’aide d’un revêtement linéaire par mélange. Le premier correctif est un correctif de squelette dépendant de l’ID à travers lequel l’engin squelettique est ajusté pour incorporer les positions articulaires spécifiques à la personne. Les deux autres correctifs sont des correctifs de maillage à travers lesquels les sommets de maillage sont ajustés pour mieux représenter la surface de la main du participant. L’un des correctifs de maillage est un correctif de maillage dépendant de l’ID qui tient compte de la structure de surface de la main d’un participant individuel. Le correctif final du maillage est plutôt un correctif de sommet dépendant de la pose qui tient compte des déformations de la surface de la main dues à la pose actuelle de la main.

DeepHandMesh est formé en utilisant une supervision faible avec des points clés de joint 2D et des cartes de profondeur de scène. Ici, nous utilisons uniquement le décodeur DeepHandMesh préentraîné pour générer des reconstructions de maillage manuel, modifiées de la manière suivante (Figure 3). Tout d’abord, comme le réseau n’est pas formé sur des participants spécifiques, le correctif générique de maillage dépendant de l’ID fourni avec le modèle préentraîné est utilisé (figure 3A). De plus, le correctif du squelette dépendant de l’ID est dérivé à l’aide du solveur squelette QTM tel que décrit ci-dessus (Figure 3B). On suppose une mise à l’échelle proportionnelle de la main avec la longueur du squelette, et l’épaisseur de la maille est uniformément mise à l’échelle par un facteur dérivé de l’échelle relative du squelette de sorte que la maille se rapproche mieux de la taille de la main du participant (Figure 3C). Ce maillage modifié est entré dans le décodeur, avec la pose actuelle de la main (dérivée des données du marqueur) et la position et l’orientation 3D du poignet. Ainsi, le décodeur calcule le correctif actuel dépendant de la pose, applique tous les correctifs et roto-translations, et produit une reconstruction 3D du maillage de la main de la pose de la main actuelle dans le même cadre de coordonnées que le maillage d’objet suivi 3D (Figure 3D).

figure-results-1
Figure 3 : Modifications apportées au décodeur DeepHandMesh préentraîné. (A) Correction de maillage fixe et générique dépendante de l’ID. (B) Correctif du squelette dépendant de l’ID dérivé de la cinématique inverse à l’étape 10. (C) La taille de la maille des mains est mise à l’échelle par le même facteur que les articulations squelettiques. (D) Reconstruction finale en maille de main 3D de la pose de main actuelle. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Après avoir reconstruit des modèles de maillage 3D pour la main d’un participant et un objet saisi, les régions de contact main-objet peuvent être estimées en calculant l’intersection entre les mailles main et objet (Figure 1H). L’hypothèse derrière cela est que la vraie main est déformée par contact avec la surface, ce qui signifie que le squelette peut se rapprocher de la surface que ce qui serait possible si la main était rigide, ce qui permet à des parties du maillage de la main de passer à travers le maillage de l’objet. En conséquence, les zones de contact peuvent être approchées comme les régions de chevauchement entre les deux mailles.

Plus précisément, pour calculer ces régions de chevauchement, nous définissons les sommets de maillage d’objets contenus dans le volume 3D du maillage de la main comme étant en contact avec la main. Ces sommets sont identifiés à l’aide d’une approche standard de raytracing45. Pour chaque sommet du maillage d’objet, un rayon est projeté à partir de ce sommet vers un point 3D arbitraire à l’extérieur du maillage manuel. Nous évaluons ensuite le nombre d’intersections qui se produisent entre le rayon coulé et les triangles composant la surface de la main. Si le nombre d’intersections est impair, le sommet de l’objet est contenu à l’intérieur du maillage de la main. Si le nombre d’intersections est pair, le sommet de l’objet se trouve à l’extérieur du maillage manuel. Les régions de contact à la surface de l’objet peuvent donc être approchées comme l’ensemble des faces triangulaires dont les sommets sont tous contenus dans le maillage de la main. Nous pouvons appliquer le même raisonnement aux sommets du maillage manuel contenus dans le volume 3D du maillage d’objet pour estimer les régions de contact à la surface de la main. Notamment, des approches plus avancées des opérations de maillage booléen pourraient également être utilisées31.

La vidéo 1 montre une vidéo d’une main, de points suivis et d’un maillage co-enregistré se déplaçant côte à côte au cours d’une seule saisie d’une figurine de chat imprimée en 3D. La figure 4A montre plutôt une seule image au moment du contact main-objet d’une poignée à un croissant imprimé en 3D, ainsi que les reconstructions du maillage main-objet (Figure 4B) et les régions de contact estimées à la surface du croissant (Figure 4C).

figure-results-2
Figure 4 : Régions de contact entre la main et l’objet. (A) Main et objet suivis vus par l’une des caméras de suivi lors d’une saisie. (B) Maillage manuel reconstruit et maillage d’objets suivis rendus du même point de vue que la caméra de suivi. (C) Régions de contact sur la surface de l’objet vu de plusieurs points de vue. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Vidéo 1 : Reconstitutions en mailles de la main et de l’objet. Animation Gif de la main, des marqueurs suivis et des reconstructions de mailles de la main et de l’objet au cours d’une seule prise vue du même point de vue de la caméra. Veuillez cliquer ici pour télécharger cette vidéo.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nous proposons une méthode qui permet d’estimer les régions de contact pour les interactions main-objet lors de préhensions à plusieurs chiffres. Comme le suivi complet de toute la surface d’une main est actuellement intraitable, nous proposons d’utiliser une reconstruction d’un maillage de main dont la pose est déterminée par des points clés clairsemés sur la main. Pour suivre ces points clés clairsemés, notre solution utilise un système de capture de mouvement de qualité recherche basé sur le suivi passif des marqueurs. Bien entendu, d’autres systèmes de capture de mouvement pourraient également être utilisés avec la méthode proposée, à condition qu’ils fournissent des données de position 3D suffisamment précises. Nous déconseillons les systèmes de capture de mouvement de marqueurs actifs (tels que le populaire mais abandonné Optotrak Certus), car ils nécessitent de fixer des câbles et / ou des appareils électroniques aux mains des participants, ce qui peut restreindre les mouvements ou au moins donner des préhensions moins typiques car les participants sont rendus plus conscients de la pose de leurs mains. Des gants de suivi de mouvement utilisant des unités de mesure inertielle peuvent être une possibilité, même si ces systèmes sont connus pour souffrir de dérive, peuvent également restreindre les mouvements de la main et ne permettent pas à la surface de la main d’entrer en contact complet et direct avec les surfaces de l’objet. Les solutions commerciales de suivi des mains sans marqueur (p. ex., le Leap Motion46,47,48) peuvent également être une possibilité, bien qu’il ne soit pas possible de suivre la position des objets avec ces systèmes seuls. L’option alternative la plus prometteuse à un système de capture de mouvement de qualité recherche est donnée par des solutions de suivi open source sans marqueur (par exemple, Mathis et al.28). S’ils sont utilisés avec plusieurs caméras co-enregistrées49, ces systèmes pourraient potentiellement suivre les positions des articulations des mains et des objets en 3D sans avoir besoin de marqueurs, de gants ou de câbles. Ces solutions, ainsi que ce système basé sur des marqueurs, peuvent toutefois souffrir de problèmes de perte de données dus à des occlusions.

Limites et orientations futures
Comme les reconstructions manuelles obtenues par cette méthode ne seront pas entièrement précises, il existe certaines limites aux types d’expériences pour lesquelles la méthode devrait être utilisée. Les écarts dans les reconstructions de mailles manuelles par rapport à la réalité du terrain se manifesteront par des écarts dans les régions estimées de contact main/objet. Ainsi, l’application de cette méthode pour calculer des mesures absolues nécessiterait d’évaluer la fidélité des estimations de la région de contact. Cependant, même des estimations approximatives peuvent toujours être utiles dans les plans expérimentaux intra-participants, car les biais potentiels de la méthode sont susceptibles d’affecter différentes conditions expérimentales au sein d’un participant de la même manière. Par conséquent, les analyses statistiques et les inférences ne doivent être effectuées que sur des mesures telles que les différences de surface de contact entre les conditions, où la direction d’un effet sera corrélée avec la réalité de terrain respective. Dans les recherches futures, nous prévoyons de valider davantage notre approche, par exemple en comparant les estimations de la région de contact aux empreintes thermiques sur les objets recouverts de peinture thermochromique.

La plupart des étapes de traitement, de la collecte des données à l’estimation finale de la région de contact, sont entièrement automatisées et, par conséquent, offrent des contributions importantes à une procédure normalisée pour l’estimation de la région de contact main-objet. Cependant, un ajustement initial des squelettes individualisés aux positions 3D des marqueurs suivis doit toujours être effectué manuellement pour obtenir une définition du squelette pour chaque participant. À mesure que le nombre de participants à une expérience augmente, le nombre d’ajustements manuels augmente également, et il s’agit actuellement de l’étape la plus longue de la procédure et nécessite une certaine familiarité avec le gréement manuel dans le logiciel Autodesk Maya. À l’avenir, nous visons à automatiser cette étape pour éviter toute influence humaine sur la procédure en ajoutant une procédure d’étalonnage automatique du squelette.

Le flux de travail décrit ici repose sur le matériel et les logiciels Qualisys (par exemple, le solveur squelette QTM). Cela limite actuellement l’accessibilité de notre méthode aux laboratoires qui ont une configuration similaire. En principe, cependant, la méthode peut être appliquée à n’importe quelle source de données de capture de mouvement. Pour élargir l’accessibilité, dans le cadre des travaux en cours, nous explorons des alternatives qui devraient généraliser notre flux de travail et le rendre moins dépendant de licences matérielles et logicielles spécifiques.

Une autre limitation importante de la méthode est que, dans sa forme actuelle, elle ne peut être appliquée qu’à des objets rigides (non déformables). À l’avenir, cette limitation pourrait être surmontée en utilisant des méthodes pour enregistrer la forme de surface de l’objet saisi à mesure qu’il se déforme. De plus, en raison de sa nature approximative, la méthode n’est actuellement pas bien adaptée aux objets très petits ou minces.

En conclusion, en intégrant le suivi de mouvement de pointe à la modélisation haute fidélité de la surface de la main, nous fournissons une méthode pour estimer les régions de contact main-objet pendant la préhension et la manipulation. Dans les recherches futures, nous prévoyons de déployer cette méthode pour étudier et modéliser le comportement de préhension visuellement guidé chez l’homme16. Nous prévoyons également d’intégrer ces outils avec le suivi oculaire 46,50,51,52 et les systèmes de réalité virtuelle / augmentée 53,54,55 pour étudier le contrôle moteur des mouvements des mains et des yeux guidé visuellement dans des environnements naturalistes réels et virtuels 18,46,56,57 . Pour ces raisons, la méthode proposée pourrait intéresser les chercheurs qui étudient la perception haptique58, le contrôle moteur et l’interaction homme-machine en réalité virtuelle et augmentée. Enfin, des mesures précises des capacités de préhension humaines pourraient éclairer la conception de systèmes robotiques robustes basés sur les principes de perception interactive 39,40,41,42,43 et pourraient avoir des applications translationnelles pour les prothèses des membres supérieurs.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs déclarent qu’il n’existe pas d’intérêts concurrents.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cette recherche a été financée par Deutsche Forschungsgemeinschaft (DFG, Fondation allemande pour la recherche: projet n ° 222641018-SFB / TRR 135 TP C1 et IRTG-1901 « Le cerveau en action ») et par le groupe de recherche « L’esprit adaptatif » financé par le programme d’excellence du ministère hessois de l’enseignement supérieur, des sciences, de la recherche et des arts. Les auteurs remercient l’équipe de support de Qualisys, y compris Mathias Bankay et Jeffrey Thingvold, pour leur aide dans le développement de nos méthodes. Les auteurs remercient également Michaela Jeschke d’avoir posé comme modèle de la main. Toutes les données et les scripts d’analyse pour reproduire la méthode et les résultats présentés dans le manuscrit sont disponibles sur Zenodo (doi: 10.5281 / zenodo.7458911).

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Distribution Python d’Anaconda  ;(Anaconda 5.3.1 ou version ultérieure) ; https://repo.anaconda.com/archive/les scripts et les fonctions ont été générés dans Python version 3.7
Autodesk MayaAutodesk, Inc.Maya2022 ; https://www.autodesk.com/products/maya/overviewapplication d’infographie 3D.   ;
Mélangeur  ;Fondation Blender  ;Blender 2.92 ; https://download.blender.org/release/application d’infographie 3D.  ;   ;
Station de travail informatiqueN/AN/AOS : Windows 10 ou supérieur.
DeepHandMeshMeta Platforms, Inc. (Meta Open Source)https://github.com/facebookresearch/DeepHandMeshoutil de génération de maillage à la main pré-entraîné.
Miqus M5Qualisys Abhttps://www.qualisys.com/cameras/miqus/  ;Caméra passive de suivi de mouvement (8 unités).
Caméra vidéo MiqusQualisys Abhttps://www.qualisys.com/cameras/miqus-video/Caméra vidéo couleur, synchronisée avec les caméras de suivi Miquis M5 (6 unités).
Référentiel du projet  ;N/ARéférentiel de données et de code  ;Données et code pour répliquer le projet en cours. Le dépôt est actuellement en construction, mais nous fournissons un lien privé où les réviseurs peuvent télécharger la version actuelle et la plus récente du dépôt. Le dépôt final sera mis à la disposition du public dès son acceptation.
Python 3Python Software FoundationPython Version 3.7Python3 et bibliothèques intégrées associées.
QTM Connect pour MayaQualisys Abhttps://github.com/qualisys/QTM-Connect-For-Maya  ;Squelette de flux, corps rigides et données de marqueur de QTM à Maya
QTM Qualisys Track ManagerQualisys AbQualisys Track Manager 2021.2 ; https://www.qualisys.com/software/qualisys-track-manager/  ;Logiciel de capture de mouvement
Qualisys SDK pour PythonQualisys Abhttps://github.com/qualisys/qualisys_python_sdk  ;Implémente la communication entre QTM et Python

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23(2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898(2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081(2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027(2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564(2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219(2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218(2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49(2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245(2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849(2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861(2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634(2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699(2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230(2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13(2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Multi Digit GraspingContact Region EstimationHand Mesh ReconstructionMarker Based Tracking3D Object MeshHuman GraspingMotion Tracking CamerasJoint Euler AnglesHaptic PerceptionMotor Control

Related Articles