Waiting
Login-Verarbeitung ...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Estimering af kontaktområder mellem hænder og genstande under menneskelig flercifret greb

Published: April 21, 2023 doi: 10.3791/64877
Automatic Translation
1, 1, 2, 1,3
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

Summary

Når vi griber fat i et objekt, kommer flere områder af fingrene og hånden typisk i kontakt med objektets overflade. Det er en udfordring at rekonstruere sådanne kontaktregioner. Her præsenterer vi en metode til tilnærmelsesvis estimering af kontaktregionerne ved at kombinere markørbaseret motion capture med eksisterende deep learning-baseret håndnetrekonstruktion.

Abstract

For at forstå et objekt med succes skal vi vælge passende kontaktområder til vores hænder på objektets overflade. Det er imidlertid en udfordring at identificere sådanne regioner. I dette dokument beskrives en arbejdsproces til estimering af kontaktområderne ud fra markørbaserede sporingsdata. Deltagerne griber fat i virkelige objekter, mens vi sporer 3D-positionen for både objekterne og hånden, herunder fingrenes led. Vi bestemmer først Euler-leddets vinkler ud fra et udvalg af sporede markører placeret på bagsiden af hånden. Derefter bruger vi state-of-the-art håndnetrekonstruktionsalgoritmer til at generere en mesh-model af deltagerens hånd i den aktuelle stilling og 3D-positionen.

Brug af objekter, der enten er 3D-printet eller 3D-scannet - og dermed er tilgængelige som både virkelige objekter og maskedata - gør det muligt at samregistrere hånd- og objektmaskerne. Dette gør det igen muligt at estimere omtrentlige kontaktregioner ved at beregne skæringspunkterne mellem håndmasken og det samregistrerede 3D-objektnet. Metoden kan bruges til at estimere, hvor og hvordan mennesker griber genstande under forskellige forhold. Derfor kan metoden være af interesse for forskere, der studerer visuel og haptisk opfattelse, motorisk kontrol, menneske-computer-interaktion i virtuel og augmented reality og robotik.

Introduction

Evnen til at forstå og manipulere objekter er en nøgleevne, der gør det muligt for mennesker at omforme miljøet til deres ønsker og behov. Imidlertid er effektiv styring af flerleddede hænder en udfordrende opgave, der kræver et sofistikeret kontrolsystem. Dette motorstyringssystem styres af flere former for sensorisk input, blandt hvilke synet er altafgørende. Gennem vision kan enkeltpersoner identificere objekterne i miljøet og estimere deres position og fysiske egenskaber og kan derefter nå, forstå og manipulere disse objekter med lethed. At forstå det komplekse system, der forbinder input ved nethinden med de motoriske kommandoer, der styrer hænderne, er en nøgleudfordring for sensorimotorisk neurovidenskab. For at modellere, forudsige og forstå, hvordan dette system fungerer, skal vi først være i stand til at studere det i detaljer. Dette kræver high-fidelity-målinger af både visuelle input og håndmotoriske output.

Tidligere bevægelsessporingsteknologi har pålagt en række begrænsninger for studiet af menneskelig forståelse. For eksempel har systemer, der kræver kabler fastgjort til deltagernes hænder1,2, tendens til at begrænse rækkevidden af fingerbevægelser, hvilket potentielt ændrer gribebevægelserne eller selve målingerne. På trods af sådanne begrænsninger har tidligere forskning været i stand til at identificere flere faktorer, der påvirker visuelt styret forståelse. Nogle af disse faktorer omfatter objektform 3,4,5,6, overfladeruhed 7,8,9 eller orienteringen af et objekt i forhold til hånden 4,8,10. For at overvinde tidligere teknologiske begrænsninger har størstedelen af denne tidligere forskning imidlertid anvendt enkle stimuli og stærkt begrænsede opgaver og således overvejende fokuseret på individuelle faktorer 3,4,6,7,10, tocifrede præcisionsgreb3,4,6,9,11,12, 13,14,15,16,17,18, enkelte objekter19 eller meget enkle 2D-former 20,21. Hvordan tidligere resultater generaliserer ud over sådanne reducerede og kunstige laboratorieforhold er ukendt. Desuden reduceres målingen af kontakt mellem hånd og genstand ofte til estimering af cifferkontaktpunkter22. Denne forenkling kan være hensigtsmæssig til at beskrive en lille delmængde af greb, hvor kun fingerspidserne er i kontakt med en genstand. Men i de fleste virkelige greb kommer omfattende områder af fingrene og håndfladen i kontakt med et objekt. Desuden har en nylig undersøgelse23 demonstreret ved hjælp af en haptisk handske, at objekter kan genkendes på, hvordan deres overflade påvirker hånden. Dette understreger vigtigheden af at studere de udvidede kontaktområder mellem hænderne og de grebne genstande, ikke kun kontaktpunkterne mellem objekterne og fingerspidserne22.

Nylige fremskridt inden for motion capture og 3D-håndmodellering har gjort det muligt for os at bevæge os forbi tidligere begrænsninger og studere forståelse i sin fulde kompleksitet. Passiv markørbaseret bevægelsessporing er nu tilgængelig med millimeterstore markører, der kan fastgøres til bagsiden af deltagerens hænder for at spore ledbevægelser24. Desuden er automatiske markøridentifikationsalgoritmer til passive markørsystemer nu tilstrækkeligt robuste til næsten at eliminere behovet for den omfattende manuelle efterbehandling af markørdata25,26,27. Markørløse løsninger når også imponerende niveauer af ydeevne til sporing af dyrekropsdele i videoer28. Disse bevægelsessporingsmetoder tillader således endelig pålidelige og ikke-invasive målinger af komplekse flercifrede håndbevægelser24. Sådanne målinger kan informere os om fælles kinematik og gøre det muligt for os at estimere kontaktpunkterne mellem hånden og et objekt. Derudover har computersynssamfundet i de senere år tacklet problemet med at konstruere modeller af de menneskelige hænder, der kan replikere blødt vævsdeformationer under objektgreb og endda under selvkontakt mellem hånddele 29,30,31,32. Sådanne 3D-mesh-rekonstruktioner kan udledes af forskellige typer data, såsom videooptagelser33,34, skeletled (afledt af markørbaseret 35 eller markørløs sporing 36) og dybdebilleder 37. Det første vigtige fremskridt på dette område blev leveret af Romero et al.38, der afledte en parametrisk håndmodel (MANO) fra over 1.000 håndscanninger fra 31 forsøgspersoner i forskellige stillinger. Modellen indeholder parametre for både håndens positur og form, hvilket letter regression fra forskellige datakilder til en fuld håndrekonstruktion. Den nyere DeepHandMesh29-løsning bygger videre på denne tilgang ved at konstruere en parametrisk model gennem dyb læring og ved at tilføje penetrationsundgåelse, som mere præcist replikerer fysiske interaktioner mellem hånddele. Ved at kombinere sådanne håndnetsrekonstruktioner med 3D-sporede objektmasker er det således nu muligt at estimere kontaktområder ikke kun på overfladen af objekter32, men også på overfladen af hånden.

Her foreslår vi en arbejdsgang, der samler high-fidelity 3D-sporing af objekter og håndled med nye algoritmer til rekonstruktion af håndnet. Metoden giver detaljerede kort over kontaktflader mellem hånd og objekt. Disse målinger vil hjælpe sensorimotoriske neuroforskere med at udvide vores teoretiske forståelse af menneskelig visuelt guidet forståelse. Desuden kan metoden være nyttig for forskere inden for tilstødende områder. For eksempel kan forskere i menneskelige faktorer bruge denne metode til at konstruere bedre menneske-maskine-grænsefladesystemer i virtuel og augmented reality18. High-fidelity-målinger af menneskelig gribeadfærd kan også hjælpe robotforskere med at designe menneskeinspirerede robotgribesystemer baseret på principperne om interaktiv opfattelse 39,40,41,42,43. Vi håber således, at denne metode vil hjælpe med at fremme gribeforskning på tværs af neurovidenskab og ingeniørområder fra sparsomme beskrivelser af stærkt begrænsede opgaver til fyldigere karakteriseringer af naturalistisk gribeadfærd med komplekse objekter og virkelige opgaver. Den overordnede fremgangsmåde er skitseret i figur 1.

Figure 1
Figur 1: De vigtigste trin i den foreslåede metode . (A) Motion capture-kameraer afbilder et arbejdsbord fra flere vinkler. (B) Et stimulusobjekt er 3D-printet fra en trianguleret maskemodel. (C) Fire sfæriske reflekterende markører limes på overfladen af det virkelige objekt. En halvautomatisk procedure identificerer fire tilsvarende punkter på overfladen af maskeobjektet. Denne korrespondance giver os mulighed for at roto-oversætte mesh-modellen til den 3D-sporede position af det virkelige objekt. (D) Reflekterende markører fastgøres til forskellige vartegn på bagsiden af en deltagers hånd ved hjælp af dobbeltklæbende tape. (E) Motion capture-systemet erhverver banerne i 3D-rummet for det sporede objekt og håndmarkører under et enkelt forsøg. (F) Et deltagerspecifikt håndskelet konstrueres ved hjælp af 3D-computergrafiksoftware. Skeletledsstillinger estimeres derefter for hver ramme i hvert forsøg i et eksperiment gennem invers kinematik. (G) Fælles stillinger er input til en modificeret version af DeepHandMesh29, som udsender et estimeret 3D-håndnet i den aktuelle 3D-stilling og position. (H) Endelig bruger vi mesh-skæringspunktet til at beregne kontaktregionerne mellem håndobjekt og objekt. Klik her for at se en større version af denne figur.

Protocol

Før et eksperiment påbegyndes, skal deltagerne give informeret samtykke i overensstemmelse med de institutionelle retningslinjer og Helsingfors-erklæringen. Alle de protokoller, der er beskrevet her, er godkendt af den lokale etiske komité ved Justus Liebig University Giessen (LEK-FB06).

1. Installation af al den nødvendige software

  1. Download projektlageret på Data and Code Repository.
  2. Installer softwaren, der er angivet i materialefortegnelsen (bemærk softwareversionerne og følg linkene til købsmuligheder og instruktioner).
  3. Åbn et kommandovindue i data- og kodelageret, og kør følgende kommando:
    conda env oprette -f environment.yml
  4. Download og installer den forudtrænede DeepHandMesh29-instantiering ved at følge instruktionerne i https://github.com/facebookresearch/DeepHandMesh.
    1. Placer DeepHandMesh i mappen "deephandmesh" i data- og kodelageret. Udskift filen "main/model.py" med den model.py fil, der er indeholdt i data- og kodelageret.

2. Klargøring af motion capture-systemet

  1. Placer et arbejdsbord inden for en sporingsvolumen, der afbildes fra flere vinkler af bevægelsessporingskameraer arrangeret på en ramme, der omgiver arbejdsområdet (figur 1A). Forbered reflekterende markører ved at fastgøre dobbeltklæbende tape til bunden af hver markør.
  2. Udfør Qualisys Track Manager (QTM) som administrator.
    BEMÆRK: Det er nødvendigt at udføre QTM som administrator, for at Python SDK kan overtage kontrollen over QTM-grænsefladen. Vi anbefaler, at du altid kører QTM som administrator.

3. Kalibrering af kameraerne

  1. Placer det L-formede kalibreringsobjekt inden for sporingsvolumenet.
  2. Inden for QTM skal du klikke på Kalibrer i menuen Capture eller trykke på tryllestavsikonet i Capture-værktøjslinjen. Vent på, at et kalibreringsvindue åbnes. Vælg kalibreringens varighed, og tryk på OK.
  3. Sving kalibreringsstaven hen over sporingsdiskenheden under kalibreringen. Tryk på knappen Eksporter, og angiv en filsti, hvor kalibreringen skal eksporteres som en tekstfil. Accepter kalibreringen ved at trykke på OK.

4. Oprettelse af et stimulusobjekt

  1. Konstruer en virtuel 3D-objektmodel i form af et polygonnet. Brug en 3D-printer til at konstruere en fysisk kopi af objektmodellen.
    BEMÆRK: Datalageret i trin 1.1 indeholder eksempelobjekter i STL- og Wavefront OBJ-filformater. Objekter i STL-format er mangfoldige og klar til 3D-udskrivning.

5. Forberedelse af stimulusobjektet

  1. Fastgør fire ikke-plane reflekterende markører til overfladen af det virkelige objekt. Placer objektet inden for sporingsvolumen.
  2. I projektlageret skal du udføre Python-scriptet "Acquire_Object.py". Følg instruktionerne i scriptet for at udføre en 1 s optagelse af 3D-positionen af objektmarkørerne.
  3. Vælg alle markørerne på den stive krop. Højreklik på og vælg Definer stiv krop (6DOF) | Nuværende ramme. Indtast navnet på den stive krop, og tryk på OK.
  4. I menuen Filer skal du vælge Eksportér | Til TSV. I det nye vindue skal du markere afkrydsningsfelterne 3D, 6D og Skelet i indstillingerne for datatype . Marker alle felterne i de generelle indstillinger. Tryk på OK og derefter på Gem.

6. Samregistrering af reelle og mesh-modelversioner af stimulusobjektet

  1. Åbn Blender, og naviger til arbejdsrummet Scripting . Åbn filen "Object_CoRegistration.py", og tryk på Kør. Gå til arbejdsrummet Layout , og tryk på n for at slå sidepanelet til/fra. I sidebjælken skal du navigere til fanen Brugerdefineret .
  2. Vælg den .obj-fil, der skal registreres samtidig, og tryk på knappen Indlæs objekt .
  3. Vælg den banefil, der blev eksporteret i trin 3.3, og angiv navnene på de mærker, der er knyttet til det stive objekt adskilt af semikolon. I markøroverskriften skal du angive den linje i banefilen, der indeholder kolonnenavnene på dataene (optællingen starter ved 0).
  4. Vælg den tilsvarende stive kropsfil med 6D-suffikset , og angiv navnet på det stive legeme, der er defineret i trin 4.1. I 6D-headeren skal du angive linjen i den stive brødtekstfil, der indeholder kolonnenavnene på dataene.
  5. Tryk på Indlæs markører. Oversæt og roter mærkeobjektet og/eller objektobjektet for at justere dem. Angiv en mesh-outputfil, og tryk på Kør samregistrering. Dette udsender en .obj-fil, der indeholder det medregistrerede stimulusnet.

7. Opsætning af markører på hænderne

  1. Fastgør 24 sfæriske reflekterende markører på forskellige vartegn for en deltagers hånd ved hjælp af dobbeltklæbende tape.
    BEMÆRK: Den specifikke placering af markørerne er vist i figur 2.
    1. Placer markørerne centralt oven på de respektive fingerspidser såvel som de distale interphalangeale led, proksimale interphalangeale led og metacarpophalangeale led i pegefingeren, langfingeren, ringfingeren og lillefingeren.
    2. For tommelfingeren skal du placere en markør hver på fingerspidsen og det basale carpometacarpale led samt et par markører hver på metacarpophalangeal og interphalangeal leddene.
      BEMÆRK: Disse markørpar skal forskydes i modsatte retninger vinkelret på tommelfingerens hovedakse og er nødvendige for at estimere tommelfingerens retning.
    3. Til sidst skal du placere markører i midten af håndleddet og på scaphotrapeziotrapezleddet.

Figure 2
Figur 2: Markørplacering på en deltagers hånd. Forkortelse: RH = højre hånd. Klik her for at se en større version af denne figur.

8. Erhvervelse af et enkelt forsøg

  1. Bed deltageren om at lægge hånden fladt på arbejdsbordet med håndfladen nedad og lukke øjnene. Placer stimulusobjektet på arbejdsbordet foran deltageren.
  2. Mens QTM kører, skal du udføre Python-scriptet "Single_Trial_Acquisition.py" i projektlageret. Følg instruktionerne i scriptet for at fange et enkelt forsøg med deltageren, der griber stimulusobjektet.
    BEMÆRK: Scriptet producerer et auditivt signal. Dette vil signalere til deltageren at åbne øjnene og udføre grebet. I vores demonstrationer er opgaven at nå og gribe fat i målobjektet, løfte det lodret med ca. 10 cm, sætte det ned og returnere hånden til sin startposition.

9. Mærkning af markørerne

  1. Inden for QTM skal du trække og slippe de enkelte markørbaner fra uidentificerede baner til mærkede baner og mærke dem i henhold til navngivningskonventionen i figur 2.
  2. Vælg alle markører, der er knyttet til hånden, og højreklik på og vælg Generer AIM-model fra markering. I det nye vindue skal du vælge Opret ny model baseret på markørforbindelser fra eksisterende AIM-model og trykke på knappen Næste .
  3. Vælg RH_FH modeldefinitionen, og tryk på Åbn. Tryk på Næste, indtast et navn til AIM-modellen, og tryk på OK. Til sidst skal du trykke på Udfør for at oprette en AIM-model til deltagerens hånd, som vil blive brugt til automatisk at identificere markører i successive forsøg fra den samme deltager.

10. Oprettelse af en personlig skeletdefinition for deltageren

  1. I QTM skal du navigere til menuen Afspil og vælge Spil med output i realtid.
  2. Åbn Maya. Naviger til QTM Connect-hylden , og tryk på ikonet Opret forbindelse til QTM . I det nye vindue skal du markere Markører og trykke på Opret forbindelse. Tryk nu på ikonet Afspil i QTM Connect-hylden .
  3. Skift-vælg alle håndmarkørerne, og tryk på ikonet Wash Locators . Vælg de vaskede håndmarkører, og tryk på Ctrl + G. Dette opretter en gruppenode. Navngiv gruppen Margener.
  4. Vælg alle håndmarkørerne. I menuen Rediger skal du klikke på Søg og erstat navne. Søg efter præfikset RH_ , og slet præfikset for mærkerne.
  5. Tryk på ikonet Importer problemløser på QTM Connect-hylden . Indlæs skeletdefinitionen "RH_FH.xml".
  6. I Windows-menuen skal du navigere til Generelle redaktører | Redaktør af navneområde. I det nye vindue skal du klikke på :(root) og trykke på Ny for at oprette et nyt navneområde, RH. Klik på RH-navneområdet , tryk på Ny, og navngiv det nye navneområde ModelPose.
  7. Vælg alle markørerne, klik på RH-navneområdet, og tryk på Tilføj valgte for at føje mærkerne til RH-navneområdet.
  8. Vælg skeletknoglerne, klik på navneområdet ModelPose, og tryk på Tilføj valgte for at føje skeletknoglerne til ModelPose-navneområdet.
  9. Roter, oversæt og skaler skelettet, så det passer til markørdataene. Dernæst for hvert skeletled individuelt, Skift + Vælg skeletleddet og dets tilknyttede markører, og tryk på ikonet Tilføj vedhæftede filer . Til sidst skal du trykke på ikonet Eksporter problemløser for at eksportere den nye skeletdefinition til en XML-fil, der kan indlæses i QTM (se næste trin).
    BEMÆRK: Dette trin er ikke strengt nødvendigt, men det er nyttigt at øge nøjagtigheden af skelettilpasningen til markørdataene. Læs QSolverQuickstartGuide på https://github.com/qualisys/QTM-Connect-For-Maya for at få flere oplysninger.

11. Rekonstruer leddets ledstilling

  1. Inden for QTM skal du åbne projektindstillingerne ved at trykke på tandhjulsikonet . Gå til Skeletproblemløser i indholdsoversigten, og tryk på Indlæs for at vælge en skeletdefinitionsfil. Juster skaleringsfaktoren til 100 %, og tryk på Anvend.
  2. Naviger til TSV Export, og marker afkrydsningsfelterne 3D, 6D og Skelet i indstillingerne for datatype . Marker alle felterne i de generelle indstillinger. Tryk på Anvend, og luk projektindstillingerne.
  3. Tryk på ikonet Oparbejd igen, marker afkrydsningsfelterne Løs skeletter og eksporter til TSV-fil, og tryk på OK.

12. Generering af håndnetrekonstruktioner

  1. Åbn et kommandovindue i projektlageret, og aktiver conda-miljøet ved at udføre kommandoen:
    Conda aktiverer kontaktregioner
  2. Udfør derefter følgende kommando, og følg instruktionerne i scriptet for for hver ramme i forsøget at generere et håndnet, der rekonstruerer den aktuelle håndstilling.
    python Hand_Mesh_Reconstruction.py --GPU 0 --test_epoch 4
    BEMÆRK: Disse mesh-rekonstruktioner genereres automatisk ved hjælp af en modificeret version af open source- og pretrained handnet-genereringsværktøjet, DeepHandMesh29.

13. Generering af estimater for hånd-objekt-kontaktregion

  1. Åbn et kommandovindue i projektlageret, udfør følgende kommando, og følg instruktionerne i scriptet for at generere estimater for hånd- og objektkontaktområder ved at beregne skæringspunktet mellem hånd- og objektmasker.
    blender --baggrund --python "Contact_Region_Estimation.py"

Representative Results

Det første krav til den foreslåede metode er et system til nøjagtigt at spore placeringen af 3D-objekter og hænder. Den specifikke opsætning er vist i figur 1A og bruger hardware og software produceret af motion capture-firmaet Qualisys. Vi placerer et arbejdsbord inden for en sporingsvolumen (100 cm x 100 cm x 100 cm), som afbildes fra flere vinkler af otte sporingskameraer og seks videokameraer arrangeret på en kubisk ramme, der omgiver arbejdsområdet. Sporingskameraerne sporer 3D-positionen af de reflekterende markører inden for sporingsvolumen ved 180 billeder / s og med sub-millimeter 3D rumlig opløsning. Vi anvender 4 mm reflekterende markører, som fastgøres til genstande og hænder ved hjælp af hudvenlig dobbeltklæbende tape. 3D-markørpositionerne behandles af motion capture-softwaren. Diskussionsafsnittet gennemgår også alternative motion capture-systemer, der kan anvendes med den foreslåede metode.

For at opnå nøjagtige 3D-rekonstruktioner af virkelige objekter, der gribes og manipuleres, foreslår vi to muligheder. Den første, som er den, der er vedtaget her, er at starte fra en virtuel 3D-objektmodel i form af et polygonnet. Sådanne 3D-modeller kan konstrueres ved hjælp af passende software (f.eks. Blender 3D44) og derefter 3D-printes (figur 1B). Den anden mulighed er at tage et eksisterende, ægte 3D-objekt og bruge 3D-scanningsteknologi til at konstruere en maskemodelreplika af objektet. Uanset strategien er slutmålet at opnå både et ægte 3D-objekt og den tilsvarende virtuelle 3D-objektnetmodel. Bemærk, at tilgangen beskrevet her kun fungerer med stive (dvs. ikke-deformerbare) objekter.

Når et objekts 3D-overflade er tilgængelig som en maskemodel, skal dets position spores og registreres samtidig (figur 1C). For at gøre dette er fire ikke-plane reflekterende markører fastgjort til overfladen af det virkelige objekt, og objektet placeres inden for sporingsvolumenet. 3D-positionerne for objektmarkørerne registreres derefter kort. Denne registrering bruges til at etablere korrespondancen mellem de fire markører og fire hjørner af objektnetmodellen. Dette gøres ved hjælp af en simpel ad hoc-softwarerute skrevet i Blenders Python API. Inden for Blenders Viewport præsenterer programmet det virtuelle objekt sammen med markørpositionerne, der er repræsenteret som et enkelt maskeobjekt, der består af en kugle for hver markør. Brugeren kan derefter rotere og oversætte objektet og / eller markørerne for at justere dem, så de flugter med de rigtige markører, der er placeret på det virkelige objekt. Programmet registrerer de rotationer og oversættelser, der anvendes til at beregne en enkelt roto-oversættelse, der endelig anvendes på det originale objektnet, hvilket giver et objektnet, der er co-registreret med den stive kropsdefinition i QTM.

Efter at have etableret korrespondance, når det virkelige objekt flyttes inden for sporingsvolumenet, kan det virtuelle objekt placeres i den nye position ved at beregne roto-oversættelsen mellem de sporede markører og de fire tilsvarende maskehjørner. For i stedet at registrere grebets dynamik er i alt 24 sfæriske reflekterende markører fastgjort på forskellige vartegn på hånden ved hjælp af dobbeltsidet tape (figur 1D og figur 2).

I begyndelsen af et forsøg (figur 1E) placerer en deltager hånden fladt på arbejdsbordet med håndfladen nedad og lukker øjnene. Eksperimentatoren placerer et målobjekt på arbejdsbordet foran deltageren. Dernæst signalerer et auditivt signal til deltageren om at åbne øjnene og udføre grebet. I vores demonstrationer er opgaven at nå og gribe fat i målobjektet, løfte det lodret med ca. 10 cm, sætte det ned og returnere hånden til sin startposition. Et script skrevet i Python 3.7 styrer eksperimentet. På hvert forsøg vælger og kommunikerer scriptet de aktuelle tilstandsindstillinger til eksperimentatoren (f.eks. Objektidentitet og positionering). Scriptet styrer også prøvetimingen, herunder auditive signaler og start og stop af motion capture-optagelserne.

Lemmer er ikke kun kendetegnet ved deres position i 3D-rummet, men også ved deres positur. For at opnå en komplet 3D-rekonstruktion af en menneskelig hånd, der udfører et reelt greb, kræver vi således ikke kun positionerne for hvert led i 3D-rummet, men også den relative stilling (oversættelse og rotation) af hvert led i forhold til dets moderled (figur 1F). Skeletledspositioner og orienteringer kan udledes af markørpositioner ved hjælp af invers kinematik. For at gøre det anvender vi her skeletløseren, der leveres af QTM-softwaren. For at løseren skal fungere, skal vi først give en skeletdefinition, der forbinder positionen og orienteringen af hvert led med flere markørpositioner. En skeletdefinition er således konstrueret, og skeletriggen er knyttet til markørdataene ved hjælp af QTM Connect-pluginet til Maya. Vi opretter personlige skeletdefinitioner for hver deltager for at maksimere nøjagtigheden af skelettilpasningerne til markørdataene. For hver deltager tilpasser vi manuelt et håndskelet til en enkelt ramme med motion capture-data. Efter at have opnået en deltagerspecifik skeletdefinition, kører vi derefter skeletløseren for at estimere skeletledsstillingerne for hver ramme i hvert forsøg i eksperimentet.

For hver ramme i hvert forsøg i et eksperiment genererer vi et håndnet, der rekonstruerer den aktuelle håndstilling ved hjælp af open source- og prætrænede håndnetgenereringsværktøjet, DeepHandMesh28 (figur 1G). DeepHandMesh er et dybt encoder-dekodernetværk, der genererer personlige håndmasker fra billeder. For det første estimerer koderen en hånds stilling i et billede (dvs. de fælles Euler-vinkler). Derefter indtastes den estimerede håndstilling og en personlig ID-vektor til dekoderen, som estimerer et sæt af tre additive korrektioner til et rigget skabelonnet. Endelig deformeres skabelonmasken i henhold til den estimerede håndstilling og korrektioner ved hjælp af lineær blandingsflåning. Det første korrigerende er et ID-afhængigt skeletkorrektion, hvorigennem skeletriggen justeres for at inkorporere de personspecifikke fælles positioner. De to andre korrektioner er maskekorrektioner, hvorigennem maskehjørnerne justeres for bedre at repræsentere deltagerens håndoverflade. Et af maskekorrektionerne er et ID-afhængigt maskekorrektion, der tager højde for overfladestrukturen af en individuel deltagers hånd. Den endelige maskekorrektion er i stedet en poseafhængig toppunktkorrektion, der tager højde for deformationer af håndoverfladen på grund af den aktuelle håndstilling.

DeepHandMesh trænes ved hjælp af svag overvågning med 2D-lednøglepunkter og scenedybdekort. Her bruger vi kun den forudtrænede DeepHandMesh-dekoder til at generere håndnetrekonstruktioner, modificeret på følgende måder (figur 3). For det første, da netværket ikke er trænet på specifikke deltagere, anvendes det generiske ID-afhængige mesh-korrektion, der leveres med den forudtrænede model (figur 3A). Endvidere udledes det ID-afhængige skeletkorrektion ved hjælp af QTM-skeletløseren som beskrevet ovenfor (figur 3B). Proportional skalering af hånden med skeletlængden antages, og masketykkelsen skaleres ensartet med en faktor afledt af skeletets relative skalering, således at masken bedre tilnærmer deltagerens håndstørrelse (figur 3C). Dette modificerede net indtastes til dekoderen sammen med den aktuelle håndstilling (afledt af markørdataene) og håndleddets 3D-position og orientering. Dekoderen beregner således det aktuelle poseafhængige korrektiv, anvender alle korrektioner og roto-oversættelser og udsender en 3D-håndnetrekonstruktion af den aktuelle håndstilling i samme koordinatramme som det 3D-sporede objektnet (figur 3D).

Figure 3
Figur 3: Ændringer af den forudtrænede DeepHandMesh-dekoder . (A) Fast, generisk ID-afhængig maskekorrektion. B) ID-afhængig skeletkorrektion udledt ved invers kinematik i trin 10. (C) Håndmaskernes størrelse skaleres med samme faktor som skeletleddene. (D) Endelig 3D-håndnetrekonstruktion af den aktuelle håndstilling. Klik her for at se en større version af denne figur.

Efter at have rekonstrueret 3D-mesh-modeller for både en deltagers hånd og et grebet objekt, kan hånd-objekt-kontaktregioner estimeres ved at beregne skæringspunktet mellem hånd- og objektmaskerne (figur 1H). Antagelsen bag dette er, at den virkelige hånd deformeres ved kontakt med overfladen, hvilket betyder, at skelettet kan komme tættere på overfladen, end det ville være muligt, hvis hånden var stiv, hvilket gør det muligt for dele af håndnettet at passere gennem objektnet. Som følge heraf kan kontaktområderne approksimeres som overlappende områder mellem de to masker.

For at beregne disse overlappende områder definerer vi specifikt objektnethjørner, der er indeholdt i håndmaskens 3D-volumen, som værende i kontakt med hånden. Disse hjørner identificeres ved hjælp af en standard raytracing-tilgang45. For hvert toppunkt i objektmasken kastes en stråle fra dette toppunkt til et vilkårligt 3D-punkt uden for håndmasken. Vi vurderer derefter antallet af skæringspunkter, der opstår mellem den støbte stråle og trekanterne, der udgør håndens overflade. Hvis antallet af skæringspunkter er ulige, er objektets toppunkt indeholdt i håndmasken. Hvis antallet af kryds er lige, er objektets toppunkt uden for håndmasken. Kontaktområderne på objektets overflade kan således approksimeres som det sæt trekantflader, hvis hjørner alle er indeholdt i håndmasken. Vi kan anvende den samme begrundelse på håndnethjørnerne indeholdt i 3D-volumenet af objektnettet for at estimere kontaktområderne på håndens overflade. Navnlig kan der også anvendes mere avancerede tilgange til boolske maskeoperationer31.

Video 1 viser en video af en hånd, sporede punkter og medregistreret net, der alle bevæger sig side om side under et enkelt greb til en 3D-printet kattefigur. Figur 4A viser i stedet en enkelt ramme på tidspunktet for kontakt mellem hånd og genstand fra et greb til en 3D-printet croissant sammen med rekonstruktionerne af håndobjektets net (figur 4B) og de estimerede kontaktområder på croissantens overflade (figur 4C).

Figure 4
Figur 4: Estimerede kontaktområder for hånd-objekt. (A) Sporet hånd og genstand set fra et af sporingskameraerne under et greb. (B) Rekonstrueret håndmaske og bæltenet gengivet fra samme synsvinkel som sporingskameraet. (C) Kontaktområder på objektets overflade set fra flere synsvinkler. Klik her for at se en større version af denne figur.

Video 1: Mesh-rekonstruktioner af hånd og genstand. Gif-animation af hånden, sporede markører og rekonstruktioner af hånd- og objektnet under et enkelt greb set fra samme kamerasynspunkt. Klik her for at downloade denne video.

Discussion

Vi foreslår en metode, der muliggør estimering af kontaktregioner for hånd-objekt-interaktioner under flercifrede greb. Da fuld sporing af hele overfladen af en hånd i øjeblikket er uhåndterlig, foreslår vi at bruge en rekonstruktion af et håndnet, hvis stilling bestemmes af sparsomme nøglepunkter på hånden. For at spore disse sparsomme nøglepunkter anvender vores løsning et motion capture-system i forskningskvalitet baseret på passiv markørsporing. Selvfølgelig kan andre motion capture-systemer også anvendes med den foreslåede metode, forudsat at de giver tilstrækkeligt nøjagtige 3D-positionsdata. Vi fraråder aktive markør motion capture-systemer (såsom den populære, men ophørte Optotrak Certus), da disse kræver fastgørelse af kabler og / eller elektroniske enheder til deltagernes hænder, hvilket kan begrænse bevægelser eller i det mindste give mindre typiske greb, da deltagerne gøres mere bevidste om deres hænders stilling. Bevægelsessporingshandsker ved hjælp af inertimåleenheder kan være en mulighed, selvom disse systemer vides at lide af drift, kan også begrænse håndbevægelser og ikke tillade, at håndens overflade kommer i fuld og direkte kontakt med objektoverfladerne. Kommercielle markørløse håndsporingsløsninger (f.eks. Leap Motion46,47,48) kan også være en mulighed, selvom det muligvis ikke er muligt at spore objektpositioner med disse systemer alene. Den mest lovende alternativ til et motion capture-system af forskningskvalitet gives af open source, markørløse sporingsløsninger (f.eks. Mathis et al.28). Hvis sådanne systemer anvendes sammen med flere samregistrerede kameraer49, kan de potentielt spore håndledspositioner og objektpositioner i 3D uden behov for markører, handsker eller kabler. Disse løsninger såvel som dette markørbaserede system kan dog lide af datatabsproblemer på grund af okklusioner.

Begrænsninger og fremtidige retninger
Da de håndrekonstruktioner, der opnås ved hjælp af denne metode, ikke vil være helt nøjagtige, er der nogle begrænsninger for de typer eksperimenter, som metoden skal bruges til. Afvigelser i håndmaskerekonstruktioner fra jordsandheden vil manifestere sig i afvigelser i de estimerede hånd/objekt-kontaktregioner. Anvendelse af denne metode til at udlede absolutte mål ville således kræve en vurdering af nøjagtigheden af kontaktregionens skøn. Selv omtrentlige estimater kan dog stadig være nyttige i eksperimentelle designs inden for deltagerne, fordi metodens potentielle bias sandsynligvis vil påvirke forskellige eksperimentelle betingelser inden for en deltager på en lignende måde. Derfor bør statistiske analyser og slutninger kun udføres på mål såsom forskellene i kontaktområde mellem forhold, hvor retningen af en effekt vil korrelere med den respektive grundlæggende sandhed. I fremtidig forskning planlægger vi at validere vores tilgang yderligere, for eksempel ved at sammenligne estimater af kontaktregioner med termiske fingeraftryk på genstande, der er dækket af termokrom maling.

De fleste behandlingstrin fra dataindsamlingen til den endelige estimering af kontaktregionen er fuldt automatiserede og tilbyder således vigtige bidrag til en standardiseret procedure til estimering af kontaktregion mellem hånd og objekt. Imidlertid skal en indledende tilpasning af de individualiserede skeletter til 3D-positionerne for de sporede markører stadig udføres manuelt for at opnå en skeletdefinition for hver deltager. Efterhånden som antallet af deltagere i et eksperiment stiger, øges antallet af manuelle tilpasninger også, og dette er i øjeblikket det mest tidskrævende trin i proceduren og kræver en vis fortrolighed med manuel rigning i Autodesk Maya-softwaren. I fremtiden sigter vi mod at automatisere dette trin for at undgå menneskelig indflydelse på proceduren ved at tilføje en automatisk skeletkalibreringsprocedure.

Den arbejdsgang, der beskrives her, er afhængig af Qualisys-hardwaren og -softwaren (f.eks. QTM-skeletløseren). Dette begrænser i øjeblikket tilgængeligheden af vores metode til laboratorier, der har en lignende opsætning. I princippet kan metoden dog anvendes på enhver kilde til motion capture-data. For at udvide tilgængeligheden undersøger vi i det igangværende arbejde alternativer, der skal generalisere vores arbejdsgang og gøre den mindre afhængig af specifikke hardware- og softwarelicenser.

En anden vigtig begrænsning af metoden er, at den i sin nuværende form kun kan anvendes på stive (ikke-deformerbare) objekter. I fremtiden kan denne begrænsning overvindes ved hjælp af metoder til registrering af overfladeformen af det grebne objekt, når det deformeres. På grund af sin omtrentlige karakter er metoden i øjeblikket ikke velegnet til meget små eller tynde genstande.

Afslutningsvis giver vi ved at integrere avanceret bevægelsessporing med high-fidelity håndoverflademodellering en metode til at estimere kontaktområder med håndgenstande under greb og manipulation. I fremtidig forskning planlægger vi at anvende denne metode til at undersøge og modellere visuelt guidet gribeadfærd hos mennesker16. Vi planlægger yderligere at integrere disse værktøjer med eye tracking 46,50,51,52 og virtuelle / augmented reality-systemer 53,54,55 for at undersøge visuelt guidet hånd- og øjenbevægelsesmotorisk kontrol i virkelige og virtuelle naturalistiske miljøer 18,46,56,57 . Af disse grunde kan den foreslåede metode være af interesse for forskere, der studerer haptisk opfattelse58, motorstyring og interaktion mellem mennesker og computere i virtuel og augmented reality. Endelig kan nøjagtige målinger af menneskelige gribeevner informere designet af robuste robotsystemer baseret på principperne om interaktiv opfattelse 39,40,41,42,43 og kan have translationelle anvendelser til proteser i overekstremiteterne.

Disclosures

Forfatterne erklærer, at der ikke findes konkurrerende interesser.

Acknowledgments

Denne forskning blev finansieret af Deutsche Forschungsgemeinschaft (DFG, German Research Foundation: projekt nr. 222641018-SFB / TRR 135 TP C1 og IRTG-1901 "The Brain in Action") og af forskningsklyngen "The Adaptive Mind" finansieret af Excellence Program fra det hessiske ministerium for videregående uddannelse, videnskab, forskning og kunst. Forfatterne takker Qualisys supportteam, herunder Mathias Bankay og Jeffrey Thingvold, for hjælp med at udvikle vores metoder. Forfatterne takker også Michaela Jeschke for at posere som håndmodel. Alle data og analysescripts til gengivelse af metoden og resultaterne præsenteret i manuskriptet er tilgængelige på Zenodo (doi: 10.5281/zenodo.7458911).

Materials

Name Company Catalog Number Comments
Anaconda Python distribution  (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ scripts and functions were generated in Python version 3.7
Autodesk Maya Autodesk, Inc. Maya2022; https://www.autodesk.com/products/maya/overview 3D computer graphics application.  
Blender  Blender Foundation  Blender 2.92; https://download.blender.org/release/ 3D computer graphics application.  
Computer Workstation N/A N/A OS: Windows 10 or higher.
DeepHandMesh Meta Platforms, Inc. (Meta Open Source) https://github.com/facebookresearch/DeepHandMesh Pre-trained hand mesh generation tool.
Miqus M5 Qualisys Ab https://www.qualisys.com/cameras/miqus/  Passive marker motion tracking camera (8 units).
Miqus video camera Qualisys Ab https://www.qualisys.com/cameras/miqus-video/ Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository  N/A Data and Code Repository  Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. 
Python 3 Python Software Foundation Python Version 3.7 Python3 and associated built-in libraries.
QTM Connect for Maya Qualisys Ab https://github.com/qualisys/QTM-Connect-For-Maya  Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager Qualisys Ab Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/  Motion capture software
Qualisys SDK for Python Qualisys Ab https://github.com/qualisys/qualisys_python_sdk  Implements communication between QTM and Python

DOWNLOAD MATERIALS LIST

References

  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23 (2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027 (2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Tags

Adfærd udgave 194
Estimering af kontaktområder mellem hænder og genstande under menneskelig flercifret greb
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Hartmann, F., Maiello, G., Rothkopf, … More

Hartmann, F., Maiello, G., Rothkopf, C. A., Fleming, R. W. Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping. J. Vis. Exp. (194), e64877, doi:10.3791/64877 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter