Method Article

Schatting van contactgebieden tussen handen en objecten tijdens menselijk meercijferig grijpen

DOI:

10.3791/64877

⸱

April 21st, 2023

 ,  ,  , 
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wanneer we een object vastpakken, maken meerdere delen van de vingers en hand meestal contact met het oppervlak van het object. Het reconstrueren van dergelijke contactgebieden is een uitdaging. Hier presenteren we een methode voor het ongeveer schatten van de contactgebieden door marker-gebaseerde motion capture te combineren met bestaande deep learning-gebaseerde handmesh-reconstructie.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Om een object met succes te begrijpen, moeten we geschikte contactgebieden selecteren voor onze handen op het oppervlak van het object. Het identificeren van dergelijke regio's is echter een uitdaging. In dit document wordt een workflow beschreven om de contactgebieden te schatten op basis van op markeringen gebaseerde trackinggegevens. Deelnemers grijpen echte objecten, terwijl we de 3D-positie van zowel de objecten als de hand volgen, inclusief de gewrichten van de vingers. We bepalen eerst de gezamenlijke Euler-hoeken uit een selectie van gevolgmarkeringen die op de rug van de hand zijn geplaatst. Vervolgens gebruiken we state-of-the-art handmesh-reconstructiealgoritmen om een mesh-model te genereren van de hand van de deelnemer in de huidige pose en de 3D-positie.

Met behulp van objecten die 3D-geprint of 3D gescand zijn - en dus beschikbaar zijn als zowel echte objecten als mesh-gegevens - kunnen de hand- en objectnetten samen worden geregistreerd. Dit maakt op zijn beurt de schatting van geschatte contactgebieden mogelijk door de snijpunten tussen het handgaas en het mede-geregistreerde 3D-objectgaas te berekenen. De methode kan worden gebruikt om in te schatten waar en hoe mensen objecten onder verschillende omstandigheden grijpen. Daarom kan de methode van belang zijn voor onderzoekers die visuele en haptische perceptie, motorische controle, mens-computerinteractie in virtuele en augmented reality en robotica bestuderen.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het vermogen om objecten te grijpen en te manipuleren is een belangrijk vermogen dat mensen in staat stelt om de omgeving te hervormen naar hun wensen en behoeften. Het effectief besturen van handen met meerdere gewrichten is echter een uitdagende taak die een geavanceerd besturingssysteem vereist. Dit motorbesturingssysteem wordt geleid door verschillende vormen van sensorische input, waaronder het gezichtsvermogen van het grootste belang is. Door middel van visie kunnen individuen de objecten in de omgeving identificeren en hun positie en fysieke eigenschappen schatten en kunnen ze die objecten vervolgens gemakkelijk bereiken, grijpen en manipuleren. Het begrijpen van het complexe systeem dat de input op het netvlies verbindt met de motorische commando's die de handen besturen, is een belangrijke uitdaging van de sensomotorische neurowetenschappen. Om te modelleren, te voorspellen en te begrijpen hoe dit systeem werkt, moeten we het eerst in detail kunnen bestuderen. Dit vereist high-fidelity metingen van zowel visuele ingangen als handmotoruitgangen.

Eerdere motion-tracking-technologie heeft een aantal beperkingen opgelegd aan de studie van menselijk grijpen. Systemen die kabels vereisen die aan de handen van de deelnemerszijn bevestigd 1,2, hebben bijvoorbeeld de neiging om het bereik van vingerbewegingen te beperken, waardoor mogelijk de grijpbewegingen of de metingen zelf worden gewijzigd. Ondanks dergelijke beperkingen heeft eerder onderzoek verschillende factoren kunnen identificeren die van invloed zijn op visueel geleid grijpen. Enkele van deze factoren zijn objectvorm 3,4,5,6, oppervlakteruwheid 7,8,9 of de oriëntatie van een object ten opzichte van de hand 4,8,10. Om eerdere technologische beperkingen te overwinnen, heeft het grootste deel van dit eerdere onderzoek echter eenvoudige stimuli en zeer beperkte taken gebruikt, waarbij voornamelijk de nadruk ligt op individuele factoren 3,4,6,7,10, tweecijferige precisiegrepen3,4,6,9,11,12, 13,14,15,16,17,18, enkele objecten19, of zeer eenvoudige 2D-vormen 20,21. Hoe eerdere bevindingen generaliseren voorbij dergelijke gereduceerde en kunstmatige laboratoriumomstandigheden is onbekend. Bovendien wordt de meting van hand-objectcontact vaak beperkt tot de schatting van cijfercontactpunten22. Deze vereenvoudiging kan geschikt zijn om een kleine deelverzameling van grepen te beschrijven waarin alleen de vingertoppen in contact staan met een object. In de meeste grepen in de echte wereld komen echter uitgebreide gebieden van de vingers en de handpalm in contact met een object. Verder heeft een recente studie23 aangetoond, met behulp van een haptische handschoen, dat objecten kunnen worden herkend aan hoe hun oppervlak op de hand botst. Dit benadrukt het belang van het bestuderen van de uitgebreide contactgebieden tussen de handen en de gegrepen objecten, niet alleen de contactpunten tussen de objecten en de vingertoppen22.

Recente ontwikkelingen in motion capture en 3D-handmodellering hebben ons in staat gesteld om voorbij eerdere beperkingen te gaan en het grijpen in zijn volledige complexiteit te bestuderen. Passieve marker-gebaseerde motion tracking is nu beschikbaar met millimetergrote markers die aan de achterkant van de handen van de deelnemer kunnen worden bevestigd om gewrichtsbewegingen te volgen24. Verder zijn automatische markeridentificatie-algoritmen voor passieve markersystemen nu voldoende robuust om de noodzaak voor de uitgebreide handmatige nabewerking van markergegevens bijna te elimineren25,26,27. Markerless oplossingen bereiken ook indrukwekkende prestatieniveaus bij het volgen van dierlijke lichaamsdelen in video's28. Deze motion-tracking methoden maken dus eindelijk betrouwbare en niet-invasieve metingen van complexe meercijferige handbewegingen mogelijk24. Dergelijke metingen kunnen ons informeren over gewrichtskinematica en ons in staat stellen om de contactpunten tussen de hand en een object te schatten. Bovendien heeft de computervisiegemeenschap de afgelopen jaren het probleem aangepakt van het construeren van modellen van de menselijke handen die de vervormingen van zacht weefsel kunnen repliceren tijdens het grijpen van objecten en zelfs tijdens zelfcontact tussen handdelen 29,30,31,32. Dergelijke 3D-mesh-reconstructies kunnen worden afgeleid uit verschillende soorten gegevens, zoals videobeelden 33,34, skeletgewrichten (afgeleid van marker-based 35 of markerless tracking 36) en dieptebeelden 37. De eerste belangrijke vooruitgang op dit gebied werd geleverd door Romero et al.38, die een parametrisch handmodel (MANO) afleidden van meer dan 1.000 handscans van 31 proefpersonen in verschillende houdingen. Het model bevat parameters voor zowel de houding als de vorm van de hand, waardoor regressie van verschillende gegevensbronnen naar een volledige handreconstructie mogelijk wordt. De meer recente DeepHandMesh29-oplossing bouwt voort op deze aanpak door een geparametriseerd model te construeren door middel van deep learning en door penetratievermijding toe te voegen, die fysieke interacties tussen handonderdelen nauwkeuriger repliceert. Door dergelijke handgaasreconstructies te combineren met 3D-gevolgde objectnetten, is het nu dus mogelijk om contactgebieden niet alleen op het oppervlak van objecten32, maar ook op het oppervlak van de hand te schatten.

Hier stellen we een workflow voor die de high-fidelity 3D-tracking van objecten en handgewrichten samenbrengt met nieuwe handmesh-reconstructiealgoritmen. De methode levert gedetailleerde kaarten op van hand-object contactoppervlakken. Deze metingen zullen sensomotorische neurowetenschappers helpen bij het uitbreiden van ons theoretisch begrip van menselijk visueel geleid grijpen. Verder kan de methode nuttig zijn voor onderzoekers in aangrenzende velden. Menselijke factoronderzoekers kunnen deze methode bijvoorbeeld gebruiken om betere mens-machine-interfacesystemen te bouwen in virtuele en augmented reality18. High-fidelity metingen van menselijk grijpgedrag kunnen robotici ook helpen bij het ontwerpen van door mensen geïnspireerde robotgrijpsystemen op basis van de principes van interactieve waarneming 39,40,41,42,43. We hopen dus dat deze methode zal helpen bij het bevorderen van begrijpend onderzoek op neurowetenschappelijke en technische gebieden, van spaarzame beschrijvingen van zeer beperkte taken tot volledigere karakteriseringen van naturalistisch grijpgedrag met complexe objecten en taken uit de echte wereld. De algemene aanpak is weergegeven in figuur 1.

figure-introduction-1
Figuur 1: Belangrijkste stappen in de voorgestelde methode . (A) Motion capture-camera's beelden een werkbank vanuit meerdere hoeken af. (B) Een stimulusobject wordt 3D-geprint vanuit een driehoekig mesh-model. (C) Vier bolvormige reflecterende markeringen worden op het oppervlak van het echte object gelijmd. Een semi-geautomatiseerde procedure identificeert vier overeenkomstige punten op het oppervlak van het netobject. Deze correspondentie stelt ons in staat om het mesh-model roto-te vertalen naar de 3D-gevolgde positie van het echte object. (D) Reflecterende markeringen worden bevestigd aan verschillende oriëntatiepunten op de rug van de hand van een deelnemer met behulp van dubbelzijdige tape. (E) Het motion capture-systeem verwerft de trajecten in de 3D-ruimte van het gevolgde object en de handmarkeringen tijdens een enkele proef. (F) Een deelnemerspecifiek handskelet wordt geconstrueerd met behulp van 3D-computergrafische software. Skeletgewrichtshoudingen worden vervolgens geschat voor elk frame van elke proef in een experiment door middel van inverse kinematica. (G) Gezamenlijke poses worden ingevoerd in een aangepaste versie van DeepHandMesh29, die een geschat 3D-handgaas in de huidige 3D-pose en -positie uitvoert. (H) Ten slotte gebruiken we mesh-kruising om de hand-objectcontactgebieden te berekenen. Klik hier om een grotere versie van deze figuur te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Alvorens met een experiment te beginnen, moeten de deelnemers geïnformeerde toestemming geven in overeenstemming met de institutionele richtlijnen en de Verklaring van Helsinki. Alle hier beschreven protocollen zijn goedgekeurd door de lokale ethische commissie van Justus Liebig Universiteit Giessen (LEK-FB06).

1. Installatie van alle benodigde software

  1. Download de projectrepository op Data and Code Repository.
  2. Installeer de software die wordt vermeld in de materiaaltabel (let op de softwareversies en volg de koppelingen voor aankoopopties en instructies).
  3. Open in de opslagplaats voor gegevens en code een opdrachtvenster en voer de volgende opdracht uit:
    conda env create -f environment.yml
  4. Download en installeer de voorgetrainde DeepHandMesh29-instantiatie volgens de instructies op https://github.com/facebookresearch/DeepHandMesh.
    1. Plaats DeepHandMesh in de map "deephandmesh" van de Data and Code Repository. Vervang het bestand "main/model.py" door het model.py bestand in de Data and Code Repository.

2. Het motion capture-systeem voorbereiden

  1. Plaats een werkbank binnen een trackingvolume dat vanuit meerdere hoeken wordt afgebeeld door camera's voor het volgen van bewegingen die op een frame rond de werkruimte zijn geplaatst (figuur 1A). Bereid reflecterende markers voor door dubbelzijdig plakband aan de basis van elke marker te bevestigen.
  2. Voer Qualisys Track Manager (QTM) uit als beheerder.
    OPMERKING: Het uitvoeren van QTM als beheerder is noodzakelijk voor de Python SDK om de controle over de QTM-interface over te nemen. Wij adviseren om QTM altijd als beheerder uit te voeren.

3. De camera's kalibreren

  1. Plaats het L-vormige kalibratieobject binnen het trackingvolume.
  2. Klik in de QTM op Kalibreren in het menu Capture of druk op het toverstokpictogram in de Capture werkbalk. Wacht tot er een kalibratievenster wordt geopend. Selecteer de duur van de kalibratie en druk op OK.
  3. Zwaai met de kalibratiestaaf over het trackingvolume voor de duur van de kalibratie. Druk op de knop Exporteren en geef een bestandspad op waarin u de kalibratie als tekstbestand wilt exporteren. Accepteer de kalibratie door op OK te drukken.

4. Een stimulusobject maken

  1. Construeer een virtueel 3D-objectmodel in de vorm van een polygoonnet. Gebruik een 3D-printer om een fysieke replica van het objectmodel te maken.
    OPMERKING: De gegevensopslagplaats in stap 1.1 biedt voorbeeldobjecten in STL- en Wavefront OBJ-bestandsindelingen. Objecten in STL-formaat zijn talrijk en klaar voor 3D-printen.

5. Het stimulusobject voorbereiden

  1. Bevestig vier niet-vlakke reflecterende markeringen aan het oppervlak van het echte object. Plaats het object binnen het traceervolume.
  2. Voer in de projectrepository het Python-script "Acquire_Object.py" uit. Volg de instructies van het script om de 3D-positie van de objectmarkeertekens 1 s vast te leggen.
  3. Selecteer alle markeringen van het stijve lichaam. Klik met de rechtermuisknop op en selecteer Define Rigid Body (6DOF) | Huidig frame. Voer de naam van het stijve lichaam in en druk op OK.
  4. Selecteer in het menu Bestand de optie Exporteren | Naar TSV. Schakel in het nieuwe venster de selectievakjes 3D, 6D en Skelet in de instellingen voor gegevenstype in. Vink alle vakjes aan in de algemene instellingen. Druk op OK en vervolgens op Opslaan.

6. Co-registratie van echte en mesh-modelversies van het stimulusobject

  1. Open Blender en navigeer naar de werkruimte Scripting . Open het bestand "Object_CoRegistration.py" en druk op Uitvoeren. Navigeer naar de werkruimte Indeling en druk op n om de navigatiekolom in te schakelen. Ga in de navigatiekolom naar het tabblad Aangepast .
  2. Selecteer het .obj-bestand dat u wilt co-registreren en druk op de knop Object laden .
  3. Selecteer het trajectbestand dat in stap 3.3 is geëxporteerd en geef de namen op van de markeringen die aan het rigide object zijn gekoppeld, gescheiden door puntkomma's. Geef in de markeringskop de regel op in het trajectbestand dat de kolomnamen van de gegevens bevat (tellen begint bij 0).
  4. Selecteer de overeenkomstige stijve carrosserie met het 6D-achtervoegsel en geef de naam op van de stijve behuizing die is gedefinieerd in stap 4.1. Geef in de 6D-koptekst de regel op in het rigide hoofdtekstbestand dat de kolomnamen van de gegevens bevat.
  5. Druk op Load Markers. Vertaal en roteer het object Markers en/of het object Object om ze uit te lijnen. Geef een mesh-uitvoerbestand op en druk op Coregistratie uitvoeren. Hiermee wordt een .obj-bestand uitgevoerd dat het co-geregistreerde stimulusnet bevat.

7. Markeringen op de handen instellen

  1. Bevestig 24 bolvormige reflecterende markeringen op verschillende oriëntatiepunten van de hand van een deelnemer met behulp van dubbelzijdige tape.
    OPMERKING: De specifieke positionering van de markers wordt gedemonstreerd in figuur 2.
    1. Plaats de markers centraal bovenop de respectieve vingertoppen, evenals de distale interfalangeale gewrichten, proximale interfalangeale gewrichten en metacarpofalangeale gewrichten van de wijsvinger, middelvinger, ringvinger en kleine vinger.
    2. Plaats voor de duim elk één marker op de vingertop en het basale carpometacarpale gewricht, evenals een paar markers elk op de metacarpofalangeale en de interfalangeale gewrichten.
      OPMERKING: Deze markerparen moeten in tegengestelde richtingen loodrecht op de hoofdas van de duim worden verplaatst en zijn nodig om de oriëntatie van de duim te schatten.
    3. Plaats ten slotte markeringen in het midden van de pols en op het scaphotrapeziotrapeziumgewricht.

figure-protocol-1
Figuur 2: Plaatsing van markers op de hand van een deelnemer. Afkorting: RH = rechterhand. Klik hier om een grotere versie van deze figuur te bekijken.

8. Eén proefversie aanschaffen

  1. Vraag de deelnemer om zijn hand plat op de werkbank te leggen met de handpalm naar beneden gericht en zijn ogen te sluiten. Plaats het stimulusobject op de werkbank voor de deelnemer.
  2. Terwijl de QTM wordt uitgevoerd, voert u het Python-script "Single_Trial_Acquisition.py" uit in de projectrepository. Volg de instructies in het script om een enkele proef vast te leggen waarbij de deelnemer het stimulusobject vastpakt.
    OPMERKING: Het script produceert een auditieve aanwijzing. Dit zal een signaal zijn aan de deelnemer om zijn ogen te openen en de greep uit te voeren. In onze demonstraties is het de taak om het doelobject te bereiken en vast te pakken, het verticaal met ongeveer 10 cm op te tillen, neer te zetten en de hand terug te brengen naar zijn beginpositie.

9. Labelen van de markers

  1. Binnen de QTM sleept u de afzonderlijke markeringstrajecten van niet-geïdentificeerde trajecten naar gelabelde trajecten en labelt u ze volgens de naamgevingsconventie in figuur 2.
  2. Selecteer alle markeringen die aan de hand zijn bevestigd, klik met de rechtermuisknop op en selecteer AIM-model genereren uit selectie. Selecteer in het nieuwe venster Nieuw model maken op basis van markeringsverbindingen van bestaand AIM-model en druk op de knop Volgende .
  3. Selecteer de definitie van het RH_FH model en druk op Openen. Druk op Volgende, voer een naam in voor het AIM-model en druk op OK. Druk ten slotte op Voltooien om een AIM-model voor de hand van de deelnemer te maken, dat wordt gebruikt om automatisch markers te identificeren in opeenvolgende onderzoeken van dezelfde deelnemer.

10. Het creëren van een gepersonaliseerde skeletdefinitie voor de deelnemer

  1. Navigeer in QTM naar het menu Afspelen en selecteer Afspelen met real-time uitvoer.
  2. Open Maya. Navigeer naar de QTM Connect-plank en druk op het pictogram Verbinden met QTM. Vink in het nieuwe venster Markeringen aan en druk op Verbinden. Druk nu op het pictogram Afspelen in de QTM Connect-plank.
  3. Houd Shift ingedrukt en selecteer alle handmarkeringen en druk op het pictogram Wash Locators . Selecteer de gewassen handmarkeringen en druk op Ctrl + G. Hiermee wordt een groepsknooppunt gemaakt. Geef de groep markeringen een naam.
  4. Selecteer alle handmarkeringen. Klik in het menu Wijzigen op Namen zoeken en vervangen. Zoek naar het RH_ voorvoegsel en verwijder het voorvoegsel voor de markeringen.
  5. Druk op het pictogram Oplosser importeren in de QTM Connect-plank . Laad de skeletdefinitie "RH_FH.xml".
  6. Ga in het Windows-menu naar Algemene editors | Naamruimte-editor. Klik in het nieuwe venster op :(root) en druk op Nieuw om een nieuwe naamruimte, RH, te maken. Klik op de RH-naamruimte , druk op Nieuw en geef de nieuwe naamruimte de naam ModelPose.
  7. Selecteer alle markeringen, klik op de RH-naamruimte en druk op Add Selected om de markeringen aan de RH-naamruimte toe te voegen.
  8. Selecteer de skeletbotten, klik op de naamruimte ModelPose en druk op Selectie toevoegen om de skeletbotten toe te voegen aan de ModelPose-naamruimte.
  9. Roteer, vertaal en schaal het skelet zodat het past bij de markeringsgegevens. Vervolgens selecteert u voor elk skeletgewricht afzonderlijk Shift + Selecteer het skeletgewricht en de bijbehorende markeringen en drukt u op het pictogram Bijlagen toevoegen . Druk ten slotte op het pictogram Oplosser exporteren om de nieuwe skeletdefinitie te exporteren naar een XML-bestand dat in de QTM kan worden geladen (zie volgende stap).
    OPMERKING: Deze stap is niet strikt noodzakelijk, maar het is nuttig om de nauwkeurigheid van het skelet dat past bij de markeringsgegevens te vergroten. Lees de QSolverQuickstartGuide op https://github.com/qualisys/QTM-Connect-For-Maya voor meer informatie.

11. Reconstrueer de gewrichtshoudingen van het gewrichtsgewricht

  1. Open in de QTM de projectinstellingen door op het tandwielpictogram te drukken. Navigeer in de navigatiekolom naar Skeletoplosser en druk op Laden om een skeletdefinitiebestand te selecteren. Stel de schaalfactor in op 100% en druk op Toepassen.
  2. Navigeer naar TSV-export en vink de vakjes 3D, 6D en Skeleton aan in de instellingen voor gegevenstype . Vink alle vakjes aan in de algemene instellingen. Druk op Toepassen en sluit de projectinstellingen.
  3. Druk op het pictogram Opnieuw verwerken, vink de vakjes Skeletten oplossen en Exporteren naar TSV-bestand aan en druk op OK.

12. Het genereren van reconstructies van handgaas

  1. Open een opdrachtvenster in de projectrepository en activeer de conda-omgeving door de opdracht uit te voeren:
    conda activeren contact-regio's
  2. Voer vervolgens de volgende opdracht uit en volg de instructies in het script om voor elk frame van de proef een handgaas te genereren dat de huidige handhouding reconstrueert.
    python Hand_Mesh_Reconstruction.py --GPU 0 --test_epoch 4
    OPMERKING: Deze mesh-reconstructies worden automatisch gegenereerd met behulp van een aangepaste versie van de open-source en voorgetrainde tool voor het genereren van handgaas, DeepHandMesh29.

13. Schattingen van het hand-objectcontactgebied genereren

  1. Open een opdrachtvenster in de projectopslagplaats, voer de volgende opdracht uit en volg de instructies van het script om schattingen van het hand- en objectcontactgebied te genereren door het snijpunt tussen de hand- en objectnetten te berekenen.
    blender --achtergrond --python "Contact_Region_Estimation.py"

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De eerste vereiste voor de voorgestelde methode is een systeem om de positie van 3D-objecten en handen nauwkeurig te volgen. De specifieke opstelling is weergegeven in figuur 1A en maakt gebruik van hardware en software geproduceerd door het motion capture-bedrijf Qualisys. We plaatsen een werkbank binnen een volgvolume (100 cm x 100 cm x 100 cm), dat vanuit meerdere hoeken wordt afgebeeld door acht trackingcamera's en zes videocamera's die zijn gerangschikt op een kubusvormig frame rond de werkruimte. De trackingcamera's volgen de 3D-positie van de reflecterende markeringen binnen het trackingvolume met 180 frames / s en met sub-millimeter 3D-ruimtelijke resolutie. We maken gebruik van 4 mm reflecterende markers, die met huidvriendelijk dubbelzijdig plakband aan de objecten en handen worden bevestigd. De 3D-markeringsposities worden verwerkt door de motion capture-software. De discussiesectie bespreekt ook alternatieve motion capture-systemen die met de voorgestelde methode kunnen worden gebruikt.

Om nauwkeurige 3D-reconstructies te verkrijgen van echte objecten die worden gegrepen en gemanipuleerd, stellen we twee opties voor. De eerste, die hier wordt gebruikt, is om te beginnen met een virtueel 3D-objectmodel in de vorm van een polygoonnet. Dergelijke 3D-modellen kunnen worden geconstrueerd met behulp van geschikte software (bijv. Blender 3D44) en vervolgens 3D-geprint (figuur 1B). De tweede optie is om een bestaand, echt 3D-object te nemen en 3D-scantechnologie te gebruiken om een mesh-modelreplica van het object te maken. Wat de strategie ook is, het einddoel is om zowel een echt 3D-object als het bijbehorende virtuele 3D-objectmesh-model te verkrijgen. Van belang is dat de hier beschreven aanpak alleen werkt met stijve (d.w.z. niet-vervormbare) objecten.

Zodra het 3D-oppervlak van een object beschikbaar is als een netmodel, moet de positie ervan worden gevolgd en mede worden geregistreerd (figuur 1C). Om dit te doen, worden vier niet-vlakke reflecterende markeringen bevestigd aan het oppervlak van het echte object en wordt het object binnen het trackingvolume geplaatst. De 3D-posities van de objectmarkeringen worden vervolgens kort vastgelegd. Deze opname wordt gebruikt om de overeenstemming tussen de vier markeringen en vier hoekpunten van het objectnetmodel vast te stellen. Dit wordt gedaan met behulp van een eenvoudige ad hoc softwareroute geschreven in Blender's Python API. Binnen Blender's Viewport presenteert het programma het virtuele object samen met de markeringsposities die worden weergegeven als een enkel mesh-object dat bestaat uit één bol voor elke marker. De gebruiker kan vervolgens het object en/of de markeringen roteren en vertalen om ze zo uit te lijnen dat ze samen worden uitgelijnd met de echte markeringen die op het echte object zijn geplaatst. Het programma registreert de rotaties en translatie die worden toegepast om een enkele roto-translatie te berekenen die uiteindelijk wordt toegepast op het oorspronkelijke objectgaas, waardoor een objectgaas wordt verkregen dat samen met de rigide lichaamsdefinitie in QTM is geregistreerd.

Na het tot stand brengen van correspondentie, wanneer het echte object binnen het volgvolume wordt verplaatst, kan het virtuele object in de nieuwe positie worden geplaatst door de roto-translatie tussen de gevolgde markeringen en de vier overeenkomstige nethoekpunten te berekenen. Om de dynamiek van de greep vast te leggen, zijn in totaal 24 bolvormige reflecterende markeringen bevestigd op verschillende oriëntatiepunten van de hand met behulp van dubbelzijdige tape (figuur 1D en figuur 2).

Aan het begin van een proef (figuur 1E) legt een deelnemer zijn hand plat op de werkbank met de handpalm naar beneden gericht en sluit zijn ogen. De experimentator plaatst een doelobject op de werkbank voor de deelnemer. Vervolgens geeft een auditieve cue een signaal aan de deelnemer om zijn ogen te openen en de greep uit te voeren. In onze demonstraties is het de taak om het doelobject te bereiken en vast te pakken, het verticaal met ongeveer 10 cm op te tillen, neer te zetten en de hand terug te brengen naar zijn beginpositie. Een script geschreven in Python 3.7 bestuurt het experiment. Bij elke proef selecteert en communiceert het script de huidige conditie-instellingen aan de experimentator (bijvoorbeeld objectidentiteit en -positionering). Het script regelt ook de timing van de proef, inclusief auditieve aanwijzingen en het begin en einde van de motion capture-opnames.

Ledematen worden niet alleen gekenmerkt door hun positie in de 3D-ruimte, maar ook door hun houding. Om een volledige 3D-reconstructie te verkrijgen van een menselijke hand die een echte greep uitvoert, hebben we dus niet alleen de posities van elk gewricht in de 3D-ruimte nodig, maar ook de relatieve houding (translatie en rotatie) van elk gewricht ten opzichte van het moedergewricht (figuur 1F). Skeletgewrichtsposities en oriëntaties kunnen worden afgeleid uit markerposities met behulp van inverse kinematica. Om dit te doen, gebruiken we hier de skeletoplosser die wordt geleverd door de QTM-software. Om de solver te laten werken, moeten we eerst een skeletdefinitie geven die de positie en oriëntatie van elk gewricht koppelt aan meerdere markerposities. Er wordt dus een skeletdefinitie geconstrueerd en de skeletinstallatie wordt gekoppeld aan de markergegevens met behulp van de QTM Connect-plug-in voor Maya. We maken gepersonaliseerde skeletdefinities voor elke deelnemer om de nauwkeurigheid van het skelet dat past bij de markergegevens te maximaliseren. Voor elke deelnemer passen we handmatig een handskelet toe aan een enkel frame van motion capture-gegevens. Nadat we een deelnemerspecifieke skeletdefinitie hebben verkregen, voeren we vervolgens de skeletoplosser uit om de skeletgewrichtshoudingen voor elk frame van elk onderzoek in het experiment te schatten.

Voor elk frame van elke proef in een experiment genereren we een handgaas dat de huidige handhouding reconstrueert met behulp van de open-source en voorgetrainde tool voor het genereren van handgaas, DeepHandMesh28 (Figuur 1G). DeepHandMesh is een diep encoder-decodernetwerk dat gepersonaliseerde handnetten genereert uit afbeeldingen. Ten eerste schat de encoder de houding van een hand binnen een afbeelding (d.w.z. de gezamenlijke Euler-hoeken). Vervolgens worden de geschatte handhouding en een gepersonaliseerde ID-vector ingevoerd in de decoder, die een set van drie additieve correcties op een gemanipuleerd sjabloongaas schat. Ten slotte wordt het sjabloongaas vervormd volgens de geschatte handhouding en corrigerende maatregelen met behulp van lineaire blend-skinning. De eerste correctie is een ID-afhankelijke skeletcorrectie waarbij de skeletachtige rig wordt aangepast om de persoonsspecifieke gewrichtsposities op te nemen. De andere twee correcties zijn mesh-correcties waarbij de mesh-hoekpunten worden aangepast om het handoppervlak van de deelnemer beter weer te geven. Een van de mesh-correcties is een ID-afhankelijke mesh-correctie die rekening houdt met de oppervlaktestructuur van de hand van een individuele deelnemer. De laatste mesh-correctie is in plaats daarvan een pose-afhankelijke vertexcorrectie die rekening houdt met vervormingen van het handoppervlak als gevolg van de huidige handhouding.

DeepHandMesh wordt getraind met behulp van zwak toezicht met 2D-gezamenlijke sleutelpunten en scènedieptekaarten. Hier gebruiken we alleen de voorgetrainde DeepHandMesh-decoder om handgaasreconstructies te genereren, die op de volgende manieren zijn aangepast (figuur 3). Ten eerste, aangezien het netwerk niet is getraind op specifieke deelnemers, wordt de generieke ID-afhankelijke mesh-correctie gebruikt die bij het voorgetrainde model wordt geleverd (figuur 3A). Verder wordt de ID-afhankelijke skeletcorrectie afgeleid met behulp van de QTM-skeletoplosser zoals hierboven beschreven (figuur 3B). Er wordt uitgegaan van proportionele schaalvergroting van de hand met de skeletlengte en de maaswijdte wordt uniform geschaald met een factor die is afgeleid van de relatieve schaal van het skelet, zodat het gaas de handgrootte van de deelnemer beter benadert (figuur 3C). Dit aangepaste gaas wordt ingevoerd in de decoder, samen met de huidige handhouding (afgeleid van de markergegevens) en de 3D-positie en oriëntatie van de pols. De decoder berekent dus de huidige pose-afhankelijke correctie, past alle correcties en roto-vertalingen toe en voert een 3D-handgaasreconstructie uit van de huidige handpose in hetzelfde coördinatenkader als het 3D-gevolgde objectgaas (figuur 3D).

figure-results-1
Figuur 3: Wijzigingen aan de voorgetrainde DeepHandMesh-decoder . (A) Vaste, generieke ID-afhankelijke mesh-correctie. (B) ID-afhankelijke skeletcorrectie afgeleid door inverse kinematica in stap 10. (C) De grootte van het handgaas wordt geschaald met dezelfde factor als de skeletgewrichten. (D) Definitieve 3D-handgaasreconstructie van de huidige handhouding. Klik hier om een grotere versie van deze figuur te bekijken.

Na gereconstrueerde 3D-mesh-modellen voor zowel de hand van een deelnemer als een vastgepakt object, kunnen hand-objectcontactgebieden worden geschat door de kruising tussen de hand- en objectnetten te berekenen (figuur 1H). De veronderstelling hierachter is dat de echte hand wordt vervormd door contact met het oppervlak, wat betekent dat het skelet dichter bij het oppervlak kan komen dan mogelijk zou zijn als de hand stijf zou zijn, waardoor delen van het handgaas door het objectgaas kunnen gaan. Als gevolg hiervan kunnen de contactgebieden worden benaderd als de gebieden van overlap tussen de twee mazen.

Specifiek, om deze gebieden van overlap te berekenen, definiëren we objectnethoekpunten die zich in het 3D-volume van het handgaas bevinden als in contact met de hand. Deze hoekpunten worden geïdentificeerd met behulp van een standaard raytracing-benadering45. Voor elk hoekpunt van het objectnet wordt een straal van dat hoekpunt naar een willekeurig 3D-punt buiten het handgaas gegoten. Vervolgens beoordelen we het aantal snijpunten dat optreedt tussen de gegoten straal en de driehoeken die het oppervlak van de hand vormen. Als het aantal snijpunten oneven is, bevindt het objectpunt zich in het handnet. Als het aantal snijpunten even is, bevindt het objectpunt zich buiten het handnet. De contactgebieden op het oppervlak van het object kunnen dus worden benaderd als de reeks driehoekige vlakken waarvan de hoekpunten zich allemaal in het handgaas bevinden. We kunnen dezelfde redenering toepassen op de hoekpunten van het handnet in het 3D-volume van het objectgaas om de contactgebieden op het oppervlak van de hand te schatten. Met name meer geavanceerde benaderingen van Booleaanse mesh-bewerkingen kunnen ook worden gebruikt31.

Video 1 toont een video van een hand, bijgehouden punten en mede-geregistreerd gaas die allemaal naast elkaar bewegen tijdens een enkele greep naar een 3D-geprint kattenbeeldje. Figuur 4A toont in plaats daarvan een enkel frame op het moment van hand-objectcontact van een greep naar een 3D-geprinte croissant, samen met de hand-object mesh-reconstructies (figuur 4B) en de geschatte contactgebieden op het oppervlak van de croissant (figuur 4C).

figure-results-2
Figuur 4: Geschatte hand-object contactgebieden. (A) Gevolgde hand en object bekeken vanaf een van de volgcamera's tijdens een greep. (B) Gereconstrueerd gaas van de hand en het gaas van gevolgde objecten weergegeven vanuit hetzelfde gezichtspunt als de volgcamera. (C) Contactgebieden op het oppervlak van het object gezien vanuit meerdere gezichtspunten. Klik hier om een grotere versie van deze figuur te bekijken.

Video 1: Mesh reconstructies van de hand en het object. Gif-animatie van de hand, gevolgde markeringen en reconstructies van het gaas van de hand en het object tijdens een enkele greep bekeken vanuit hetzelfde camerastandpunt. Klik hier om deze video te downloaden.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We stellen een methode voor die het mogelijk maakt om contactgebieden te schatten voor hand-object interacties tijdens meercijferige grepen. Omdat het volledige volgen van het hele oppervlak van een hand momenteel onhandelbaar is, stellen we voor om een reconstructie te gebruiken van een handgaas waarvan de houding wordt bepaald door schaarse sleutelpunten op de hand. Om deze schaarse belangrijke punten te volgen, maakt onze oplossing gebruik van een motion capture-systeem van onderzoekskwaliteit op basis van passieve markertracking. Natuurlijk kunnen ook andere motion capture-systemen worden gebruikt met de voorgestelde methode, mits ze voldoende nauwkeurige 3D-positiegegevens opleveren. We raden actieve marker motion capture-systemen af (zoals de populaire maar stopgezette Optotrak Certus), omdat deze kabels en / of elektronische apparaten aan de handen van de deelnemers moeten bevestigen, wat bewegingen kan beperken of op zijn minst minder typische grepen kan opleveren naarmate deelnemers bewuster worden gemaakt van de houding van hun handen. Motion-tracking handschoenen met behulp van traagheidsmeeteenheden kunnen een mogelijkheid zijn, hoewel bekend is dat deze systemen last hebben van drift, ook handbewegingen kunnen beperken en niet toestaan dat het oppervlak van de hand volledig en direct in contact komt met de objectoppervlakken. Commerciële markerless hand-tracking oplossingen (bijv. de Leap Motion46,47,48) kunnen ook een mogelijkheid zijn, hoewel het misschien niet mogelijk is om objectposities alleen met deze systemen te volgen. De meest veelbelovende alternatieve optie voor een motion capture-systeem van onderzoekskwaliteit wordt gegeven door open-source, markerloze trackingoplossingen (bijv. Mathis et al.28). Bij gebruik met meerdere co-geregistreerde camera's49 kunnen dergelijke systemen mogelijk handgewrichtposities en objectposities in 3D volgen zonder dat markeringen, handschoenen of kabels nodig zijn. Deze oplossingen, evenals dit op markers gebaseerde systeem, kunnen echter last hebben van problemen met gegevensverlies als gevolg van occlusies.

Beperkingen en toekomstige richtingen
Aangezien de handreconstructies die met deze methode worden verkregen niet volledig nauwkeurig zijn, zijn er enkele beperkingen aan de soorten experimenten waarvoor de methode moet worden gebruikt. Afwijkingen in handgaasreconstructies van grondwaarheid zullen zich uiten in afwijkingen in de geschatte hand/object contactgebieden. Het toepassen van deze methode om absolute metingen af te leiden, zou dus een beoordeling van de betrouwbaarheid van de schattingen van het contactgebied vereisen. Zelfs schattingen bij benadering kunnen echter nog steeds nuttig zijn in experimentele ontwerpen binnen de deelnemer, omdat de potentiële vooroordelen van de methode waarschijnlijk verschillende experimentele omstandigheden binnen een deelnemer op een vergelijkbare manier beïnvloeden. Daarom moeten statistische analyses en gevolgtrekkingen alleen worden uitgevoerd op metingen zoals de verschillen in contactgebied tussen omstandigheden, waarbij de richting van een effect zal correleren met de respectieve grondwaarheid. In toekomstig onderzoek zijn we van plan onze aanpak verder te valideren, bijvoorbeeld door schattingen van contactgebieden te vergelijken met thermische vingerafdrukken op objecten bedekt met thermochrome verf.

De meeste verwerkingsstappen van de gegevensverzameling tot de uiteindelijke schatting van het contactgebied zijn volledig geautomatiseerd en bieden dus belangrijke bijdragen aan een gestandaardiseerde procedure voor het schatten van het hand-objectcontactgebied. Een eerste aanpassing van de geïndividualiseerde skeletten aan de 3D-posities van de gevolgde markers moet echter nog steeds handmatig worden uitgevoerd om een skeletdefinitie voor elke deelnemer te verkrijgen. Naarmate het aantal deelnemers voor een experiment toeneemt, neemt ook het aantal handmatige aanpassingen toe, en dit is momenteel de meest tijdrovende stap in de procedure en vereist enige bekendheid met handmatige rigging in de Autodesk Maya-software. In de toekomst willen we deze stap automatiseren om menselijke invloed op de procedure te voorkomen door een automatische skeletkalibratieprocedure toe te voegen.

De hier beschreven workflow is afhankelijk van de Qualisys hardware en software (bijvoorbeeld de QTM skeleton solver). Dit beperkt momenteel de toegankelijkheid van onze methode tot laboratoria die een vergelijkbare opzet hebben. In principe kan de methode echter worden toegepast op elke bron van motion capture-gegevens. Om de toegankelijkheid uit te breiden, onderzoeken we in lopende werkzaamheden alternatieven die onze workflow moeten generaliseren en minder afhankelijk moeten maken van specifieke hardware- en softwarelicenties.

Een andere belangrijke beperking van de methode is dat deze in zijn huidige vorm alleen kan worden toegepast op stijve (niet-vervormbare) objecten. In de toekomst kan deze beperking worden overwonnen met behulp van methoden voor het registreren van de oppervlaktevorm van het gegrepen object terwijl het vervormt. Bovendien is de methode, vanwege de geschatte aard, momenteel niet goed geschikt voor zeer kleine of dunne objecten.

Kortom, door state-of-the-art motion tracking te integreren met high-fidelity handoppervlakmodellering, bieden we een methode om hand-objectcontactgebieden te schatten tijdens grijpen en manipulatie. In toekomstig onderzoek zijn we van plan deze methode in te zetten om visueel geleid grijpgedrag bij mensen te onderzoeken en te modelleren16. We zijn verder van plan om deze tools te integreren met eye tracking 46,50,51,52 en virtual / augmented reality-systemen 53,54,55 om visueel geleide hand- en oogbewegingsmotorbesturing in echte en virtuele naturalistische omgevingen te onderzoeken18,46,56,57. Om deze redenen kan de voorgestelde methode van belang zijn voor onderzoekers die haptische perceptie58, motorische controle en mens-computerinteractie in virtuele en augmented reality bestuderen. Ten slotte kunnen nauwkeurige metingen van menselijke grijpvermogens het ontwerp van robuuste robotsystemen op basis van de principes van interactieve waarneming 39,40,41,42,43 informeren en kunnen translationele toepassingen hebben voor prothesen voor de bovenste ledematen.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs verklaren dat er geen tegenstrijdige belangen bestaan.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek werd gefinancierd door Deutsche Forschungsgemeinschaft (DFG, German Research Foundation: project No. 222641018-SFB/TRR 135 TP C1 en IRTG-1901 "The Brain in Action") en door het Research Cluster "The Adaptive Mind" gefinancierd door het Excellence Program van het Hessische Ministerie van Hoger Onderwijs, Wetenschap, Onderzoek en Kunst. De auteurs bedanken het ondersteuningsteam van Qualisys, waaronder Mathias Bankay en Jeffrey Thingvold, voor hun hulp bij het ontwikkelen van onze methoden. De auteurs bedanken ook Michaela Jeschke voor het poseren als het handmodel. Alle gegevens en analysescripts om de methode en de resultaten in het manuscript te reproduceren zijn beschikbaar op Zenodo (doi: 10.5281/zenodo.7458911).

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Anaconda Python distribution (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/scripts and functions were generated in Python version 3.7
Autodesk MayaAutodesk, Inc.Maya2022; https://www.autodesk.com/products/maya/overview3D computer graphics application.  
Blender Blender Foundation Blender 2.92; https://download.blender.org/release/3D computer graphics application.  
Computer WorkstationN/AN/AOS: Windows 10 or higher.
DeepHandMeshMeta Platforms, Inc. (Meta Open Source)https://github.com/facebookresearch/DeepHandMeshPre-trained hand mesh generation tool.
Miqus M5Qualisys Abhttps://www.qualisys.com/cameras/miqus/ Passive marker motion tracking camera (8 units).
Miqus video cameraQualisys Abhttps://www.qualisys.com/cameras/miqus-video/Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository N/AData and Code Repository Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. 
Python 3Python Software FoundationPython Version 3.7Python3 and associated built-in libraries.
QTM Connect for MayaQualisys Abhttps://github.com/qualisys/QTM-Connect-For-Maya Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track ManagerQualisys AbQualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ Motion capture software
Qualisys SDK for PythonQualisys Abhttps://github.com/qualisys/qualisys_python_sdk Implements communication between QTM and Python

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).">Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).">Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).">Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).">Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).">Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).">Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).">Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).">Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).">Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).">Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).">Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).">Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Human grasp point selection. Journal of Vision. 13 (8), 23(2013).">Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23(2013).
  14. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).">Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898(2021).">Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898(2021).
  16. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081(2020).">Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081(2020).
  17. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027(2018).">Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027(2018).
  18. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).">Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).">Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).">Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).">Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).">Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).">Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564(2020).">Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564(2020).
  25. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).">Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).">Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. https://www.qualisys.com/ (2022).">Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).">Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).">Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219(2020).">Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219(2020).
  31. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).">Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).">Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218(2020).">Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218(2020).
  34. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).">Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).">Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).">Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49(2019).">Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49(2019).
  38. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245(2017).">Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245(2017).
  39. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).">Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).">Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).">Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).">Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).">Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. https://www.blender.org (2022).">Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).">Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).">Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).">Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).">Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849(2020).">Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849(2020).
  50. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861(2016).">Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861(2016).
  51. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634(2020).">Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634(2020).
  52. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).">Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).">Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699(2020).">Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699(2020).
  55. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230(2015).">Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230(2015).
  56. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13(2014).">Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13(2014).
  57. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).">Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).">Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Multi Digit GraspingContact Region EstimationHand Mesh ReconstructionMarker Based Tracking3D Object MeshHuman GraspingMotion Tracking CamerasJoint Euler AnglesHaptic PerceptionMotor Control

Related Articles