Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Estimering av kontaktregioner mellom hender og gjenstander under menneskelig flersifret griping

Published: April 21, 2023 doi: 10.3791/64877
Automatic Translation
1, 1, 2, 1,3
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

Summary

Når vi griper et objekt, kommer flere regioner av fingrene og hånden vanligvis i kontakt med objektets overflate. Å rekonstruere slike kontaktregioner er utfordrende. Her presenterer vi en metode for tilnærmet estimering av kontaktregionene ved å kombinere markørbasert bevegelsesopptak med eksisterende dyplæringsbasert rekonstruksjon av håndnetting.

Abstract

For å gripe et objekt vellykket, må vi velge passende kontaktområder for hendene våre på overflaten av objektet. Det er imidlertid utfordrende å identifisere slike regioner. Dette dokumentet beskriver en arbeidsflyt for å estimere kontaktområdene fra markørbaserte sporingsdata. Deltakerne griper virkelige objekter, mens vi sporer 3D-posisjonen til både objektene og hånden, inkludert fingrenes ledd. Vi bestemmer først de felles Euler-vinklene fra et utvalg av sporede markører plassert på baksiden av hånden. Deretter bruker vi state-of-the-art rekonstruksjonsalgoritmer for håndnett for å generere en maskemodell av deltakerens hånd i gjeldende positur og 3D-posisjon.

Ved å bruke objekter som enten ble 3D-printet eller 3D-skannet - og dermed er tilgjengelige som både virkelige objekter og mesh-data - kan hånd- og objektmaskene samregistreres. I sin tur tillater dette estimering av omtrentlige kontaktområder ved å beregne skjæringspunktene mellom håndnettet og det samregistrerte 3D-objektnettet. Metoden kan brukes til å estimere hvor og hvordan mennesker griper objekter under en rekke forhold. Derfor kan metoden være av interesse for forskere som studerer visuell og haptisk persepsjon, motorisk kontroll, menneske-maskin-interaksjon i virtuell og forstørret virkelighet og robotikk.

Introduction

Kapasiteten til å gripe og manipulere objekter er en nøkkelevne som gjør at mennesker kan omforme miljøet til deres ønsker og behov. Å kontrollere flerleddede hender effektivt er imidlertid en utfordrende oppgave som krever et sofistikert kontrollsystem. Dette motorstyringssystemet styres av flere former for sensorisk inngang, blant annet visjon er avgjørende. Gjennom visjon kan enkeltpersoner identifisere objektene i miljøet og estimere deres posisjon og fysiske egenskaper og kan deretter nå, gripe og manipulere disse objektene med letthet. Å forstå det komplekse systemet som forbinder inngangen på netthinnen med motorkommandoene som styrer hendene, er en sentral utfordring for sensorimotorisk nevrovitenskap. For å modellere, forutsi og forstå hvordan dette systemet fungerer, må vi først kunne studere det i detalj. Dette krever hi-fidelity-målinger av både visuelle innganger og håndmotorutganger.

Tidligere bevegelsessporingsteknologi har pålagt en rekke begrensninger på studiet av menneskelig forståelse. For eksempel har systemer som krever kabler festet til deltakernes hender1,2 en tendens til å begrense rekkevidden av fingerbevegelser, potensielt endre gripebevegelsene eller selve målingene. Til tross for slike begrensninger har tidligere forskning vært i stand til å identifisere flere faktorer som påvirker visuelt styrt griping. Noen av disse faktorene inkluderer objektform 3,4,5,6, overflateruhet 7,8,9, eller orienteringen til et objekt i forhold til hånden 4,8,10. For å overvinne tidligere teknologiske begrensninger har imidlertid flertallet av denne tidligere forskningen benyttet enkle stimuli og svært begrensede oppgaver, og fokuserer derfor hovedsakelig på individuelle faktorer 3,4,6,7,10, tosifrede presisjonsgrep3,4,6,9,11,12, 13,14,15,16,17,18, enkeltobjekter 19, eller svært enkle 2D-figurer 20,21. Hvordan tidligere funn generaliserer utover slike reduserte og kunstige laboratorieforhold er ukjent. I tillegg reduseres målingen av hånd-objektkontakt ofte til estimering av sifferkontaktpunkter22. Denne forenklingen kan være hensiktsmessig for å beskrive en liten delmengde av grep der bare fingertuppene er i kontakt med et objekt. Men i de fleste virkelige grep kommer store områder av fingrene og håndflaten i kontakt med et objekt. Videre har en nylig studie23 vist, ved hjelp av en haptisk hanske, at gjenstander kan gjenkjennes av hvordan overflaten deres påvirker hånden. Dette understreker viktigheten av å studere de utvidede kontaktområdene mellom hendene og gjenstandene som gripes, ikke bare kontaktpunktene mellom objektene og fingertuppene22.

Nylige fremskritt innen bevegelsesopptak og 3D-håndmodellering har gjort det mulig for oss å bevege oss forbi tidligere begrensninger og å studere grep i sin fulle kompleksitet. Passiv markørbasert bevegelsessporing er nå tilgjengelig med millimeterstore markører som kan festes på baksiden av deltakerens hender for å spore leddbevegelser24. Videre er automatiske markøridentifikasjonsalgoritmer for passive markørsystemer nå tilstrekkelig robuste til nesten å eliminere behovet for omfattende manuell etterbehandling av markørdata25,26,27. Markørløse løsninger når også imponerende ytelsesnivåer ved sporing av dyrs kroppsdeler i videoer28. Disse bevegelsessporingsmetodene tillater dermed endelig pålitelige og ikke-invasive målinger av komplekse flersifrede håndbevegelser24. Slike målinger kan informere oss om felles kinematikk og gjøre oss i stand til å estimere kontaktpunktene mellom hånden og en gjenstand. I tillegg har datasynssamfunnet de siste årene taklet problemet med å konstruere modeller av de menneskelige hendene som kan replikere bløtvevsdeformasjonene under objektgrep og til og med under selvkontakt mellom hånddeler 29,30,31,32. Slike 3D-nettrekonstruksjoner kan utledes fra forskjellige typer data, for eksempel videoopptak 33,34, skjelettledd (avledet fra markørbasert 35 eller markørløs sporing 36) og dybdebilder 37. Det første viktige fremskrittet i dette domenet ble gitt av Romero et al.38, som avledet en parametrisk håndmodell (MANO) fra over 1000 håndskanninger fra 31 i forskjellige positurer. Modellen inneholder parametere for både positur og form på hånden, noe som letter regresjon fra ulike datakilder til en full håndrekonstruksjon. Den nyere DeepHandMesh29-løsningen bygger på denne tilnærmingen ved å konstruere en parametrisert modell gjennom dyp læring og ved å legge til penetrasjonsunngåelse, som mer nøyaktig replikerer fysiske interaksjoner mellom hånddeler. Ved å kombinere slike rekonstruksjoner av håndnett med 3D-sporede objektmasker, er det dermed nå mulig å estimere kontaktregioner ikke bare på overflaten av objekter32, men også på overflaten av hånden.

Her foreslår vi en arbeidsflyt som kombinerer high-fidelity 3D-sporing av objekter og håndledd med nye rekonstruksjonsalgoritmer for håndnetting. Metoden gir detaljerte kart over kontaktflater for hånd-objekter. Disse målingene vil hjelpe sensorimotoriske nevrologer til å utvide vår teoretiske forståelse av menneskelig visuelt styrt griping. Videre kan metoden være nyttig for forskere i tilstøtende felt. For eksempel kan menneskelige faktorforskere bruke denne metoden til å konstruere bedre menneske-maskingrensesnittsystemer i virtuell og forstørret virkelighet18. Hi-fidelity-målinger av menneskelig gripeatferd kan også hjelpe robotikere med å designe menneskeinspirerte robotgripesystemer basert på prinsippene for interaktiv oppfatning 39,40,41,42,43. Vi håper derfor at denne metoden vil bidra til å fremme forståelse av forskning på tvers av nevrovitenskap og ingeniørfelt fra sparsomme beskrivelser av svært begrensede oppgaver til fyldigere karakteriseringer av naturalistisk gripende atferd med komplekse objekter og virkelige oppgaver. Den overordnede tilnærmingen er skissert i figur 1.

Figure 1
Figur 1: Viktige trinn i den foreslåtte metoden . (A) Motion capture-kameraer viser en arbeidsbenk fra flere vinkler. (B) Et stimulusobjekt er 3D-trykt fra en triangulert nettmodell. (C) Fire sfæriske reflekterende markører limes til overflaten av det virkelige objektet. En semi-automatisert prosedyre identifiserer fire tilsvarende punkter på overflaten av maskeobjektet. Denne korrespondansen lar oss roto-oversette mesh-modellen til 3D-sporet posisjon av det virkelige objektet. (D) Reflekterende markører er festet til forskjellige landemerker på baksiden av en deltakers hånd ved hjelp av dobbeltsidig tape. (E) Motion capture-systemet innhenter banene i 3D-rommet til det sporede objektet og håndmarkørene under et enkelt forsøk. (F) Et deltakerspesifikt håndskjelett er konstruert ved hjelp av 3D-datagrafikkprogramvare. Skjelettleddstillinger estimeres deretter for hver ramme i hvert forsøk i et eksperiment gjennom invers kinematikk. (G) Leddstillinger legges inn i en modifisert versjon av DeepHandMesh29, som gir ut et estimert 3D-håndnett i gjeldende 3D-positur og posisjon. (H) Til slutt bruker vi maskeskjæringspunkt for å beregne kontaktregionene for håndobjekter. Klikk her for å se en større versjon av denne figuren.

Protocol

Før et eksperiment påbegynnes, må deltakerne gi informert samtykke i samsvar med institusjonelle retningslinjer og Helsinkideklarasjonen. Alle protokollene beskrevet her er godkjent av den lokale etiske komiteen ved Justus Liebig University Giessen (LEK-FB06).

1. Installasjon av all nødvendig programvare

  1. Last ned prosjektlageret på Data and Code Repository.
  2. Installer programvaren som er oppført i materialfortegnelsen (merk programvareversjonene og følg koblingene for kjøpsalternativer og instruksjoner).
  3. Åpne et kommandovindu i data- og koderepositoriet, og kjør følgende kommando:
    conda env create -f environment.yml
  4. Last ned og installer den forhåndstrente DeepHandMesh29-forekomsten ved å følge instruksjonene i https://github.com/facebookresearch/DeepHandMesh.
    1. Plasser DeepHandMesh i mappen "deephandmesh" i data- og kodelageret. Erstatt filen "hoved / modell.py" med den model.py filen som finnes i data- og kodelageret.

2. Klargjøre motion capture-systemet

  1. Plasser en arbeidsbenk innenfor et oppfølgingsvolum som er avbildet fra flere vinkler av bevegelsessporingskameraer som er plassert på en ramme rundt arbeidsområdet (figur 1A). Forbered reflekterende markører ved å feste dobbeltsidig tape til bunnen av hver markør.
  2. Utfør Qualisys Track Manager (QTM) som administrator.
    MERK: Utføring av QTM som administrator er nødvendig for at Python SDK skal ta kontroll over QTM-grensesnittet. Vi anbefaler at du alltid kjører QTM som administrator.

3. Kalibrere kameraene

  1. Plasser det L-formede kalibreringsobjektet i sporingsvolumet.
  2. I QTM klikker du på Kalibrer i Capture-menyen, eller trykker på tryllestavikonet i Capture-verktøylinjen. Vent til et kalibreringsvindu åpnes. Velg varigheten av kalibreringen, og trykk på OK.
  3. Bølger kalibreringsstaven over sporingsvolumet så lenge kalibreringen varer. Trykk på Eksporter-knappen, og angi en filbane der kalibreringen skal eksporteres som en tekstfil. Godta kalibreringen ved å trykke på OK.

4. Opprette et stimulusobjekt

  1. Konstruer en virtuell 3D-objektmodell i form av et polygonnett. Bruk en 3D-skriver til å konstruere en fysisk kopi av objektmodellen.
    MERK: Datarepositoriet i trinn 1.1 gir eksempelobjekter i filformatene STL og Wavefront OBJ. Objekter i STL-format er mangfoldige og klare for 3D-utskrift.

5. Forbereder stimulusobjektet

  1. Fest fire ikke-plane reflekterende markører til overflaten av det virkelige objektet. Plasser objektet i sporingsvolumet.
  2. I prosjektlageret, utfør Python-skriptet "Acquire_Object.py". Følg instruksjonene i skriptet for å utføre en 1 s fangst av 3D-posisjonen til objektmarkørene.
  3. Velg alle markørene til den stive kroppen. Høyreklikk på og velg Definer stiv kropp (6DOF) | Gjeldende ramme. Skriv inn navnet på den stive kroppen, og trykk OK.
  4. I Fil-menyen velger du Eksporter | Til TSV. I det nye vinduet merker du av i boksene 3D, 6D og Skeleton i datatypeinnstillingene . Merk av i alle boksene i Generelle innstillinger. Trykk OK og deretter Lagre.

6. Samregistrering av ekte og mesh-modellversjoner av stimulusobjektet

  1. Åpne Blender, og naviger til skriptarbeidsområdet . Åpne filen "Object_CoRegistration.py", og trykk Kjør. Naviger til Layout-arbeidsområdet , og trykk n for å veksle mellom sidefeltet. I sidefeltet navigerer du til Egendefinert-fanen .
  2. Velg OBJ-filen som skal samregistreres, og trykk på Last inn objekt-knappen .
  3. Velg banefilen som ble eksportert i trinn 3.3, og angi navnene på indikatorene som er knyttet til det stive objektet, atskilt med semikolon. I Markør-overskriften angir du linjen i banefilen som inneholder kolonnenavnene for dataene (tellingen starter på 0).
  4. Velg den tilsvarende stive brødtekstfilen med 6D-suffikset , og angi navnet på det stive legemet som er definert i trinn 4.1. I 6D-overskriften angir du linjen i den stive brødtekstfilen som inneholder kolonnenavnene til dataene.
  5. Trykk på Last inn markører. Oversett og roter -objektet og/ eller objektobjektet for å justere dem. Angi en mesh-utdatafil, og trykk Kjør samregistrering. Dette vil sende ut en .obj-fil som inneholder det samregistrerte stimulusnettet.

7. Sette opp markører på hendene

  1. Fest 24 sfæriske reflekterende markører på forskjellige landemerker av en deltakers hånd ved hjelp av dobbeltsidig tape.
    MERK: Den spesifikke plasseringen av markørene er vist i figur 2.
    1. Plasser markørene sentralt på toppen av de respektive fingertuppene, samt de distale interfalangeale leddene, proksimale interfalangeale ledd og metakarpofalangeale ledd i pekefingeren, langfingeren, ringfingeren og lillefingeren.
    2. For tommelen, plasser en markør hver på fingertuppen og det basale karpometakarpalleddet, samt et par markører hver på metakarpofalangeal og interfalangealleddene.
      MERK: Disse markørparene må forskyves i motsatte retninger vinkelrett på tommelens hovedakse og er nødvendige for å estimere tommelens retning.
    3. Til slutt, plasser markører i midten av håndleddet og på scaphotrapeziotrapezoidal ledd.

Figure 2
Figur 2: Markørplassering på en deltakers hånd. Forkortelse: RH = høyre hånd. Klikk her for å se en større versjon av denne figuren.

8. Anskaffelse av én enkelt studie

  1. Be deltakeren om å legge hånden flatt på arbeidsbenken med håndflaten vendt nedover og lukke øynene. Plasser stimulusobjektet på arbeidsbenken foran deltakeren.
  2. Mens QTM kjører, kjør Python-skriptet "Single_Trial_Acquisition.py" i prosjektlageret. Følg instruksjonene fra skriptet for å fange en enkelt prøve av deltakeren som griper stimulusobjektet.
    MERK: Manuset vil produsere et auditivt signal. Dette vil signalisere til deltakeren å åpne øynene og utføre grepet. I våre demonstrasjoner er oppgaven å nå og gripe målobjektet, løfte det vertikalt med omtrent 10 cm, sette det ned og returnere hånden til startposisjonen.

9. Merking av markørene

  1. I QTM drar og slipper du de individuelle markørbanene fra Uidentifiserte baner til Merkede baner, og merk dem i henhold til navnekonvensjonen i figur 2.
  2. Velg alle markørene som er festet til hånden, og høyreklikk på og velg Generer AIM-modell fra valget. I det nye vinduet velger du Opprett ny modell basert på markørtilkoblinger fra eksisterende AIM-modell og trykker på Neste-knappen .
  3. Velg RH_FH modelldefinisjonen, og trykk Åpne. Trykk Neste, skriv inn et navn for AIM-modellen, og trykk OK. Til slutt trykker du på Fullfør for å lage en AIM-modell for deltakerens hånd, som vil bli brukt til å automatisk identifisere markører i påfølgende forsøk fra samme deltaker.

10. Opprette en personlig skjelettdefinisjon for deltakeren

  1. I QTM navigerer du til Play-menyen og velger Play with Real-Time Output.
  2. Åpne Maya. Naviger til QTM Connect-hyllen, og trykk på Koble til QTM-ikonet. I det nye vinduet merker du av for Markører og trykker på Koble til. Trykk nå på Play-ikonet i QTM Connect-hyllen.
  3. Skift-velg alle håndmarkørene og trykk på Vask lokalisatorer-ikonet . Velg de vaskede håndmarkørene, og trykk Ctrl + G. Dette vil opprette en gruppenode. Gi gruppen navnet Markører.
  4. Merk alle håndmarkørene. I Endre-menyen klikker du Søk og erstatt navn. Søk etter det RH_ prefikset, og slett prefikset for markørene.
  5. Trykk på Importproblemløser-ikonet i QTM Connect-hyllen . Last inn skjelettdefinisjonen "RH_FH.xml".
  6. I Windows-menyen navigerer du til Generelle redaktører | Redaktør for navnerom. I det nye vinduet, klikk på :(root), og trykk Ny for å opprette et nytt navneområde, RH. Klikk på RH-navneområdet, trykk Ny, og gi det nye navneområdet navnet ModelPose.
  7. Velg alle markørene, klikk på RH-navneområdet, og trykk på Legg til valgte for å legge til markørene i RH-navneområdet.
  8. Velg skjelettbenene, klikk på ModelPose-navneområdet, og trykk på Legg til valgt for å legge til skjelettbenene i ModelPose-navneområdet.
  9. Roter, oversett og skaler skjelettet slik at det passer til markørdataene. Deretter for hvert skjelettledd individuelt, Shift + Velg skjelettleddet og tilhørende markører, og trykk på Legg til vedlegg-ikonet . Til slutt trykker du på Eksporter problemløser-ikonet for å eksportere den nye skjelettdefinisjonen til en XML-fil som kan lastes inn i QTM (se neste trinn).
    MERK: Dette trinnet er ikke strengt nødvendig, men det er nyttig å øke nøyaktigheten av skjeletttilpasningen til markørdataene. Les QSolverQuickstartGuide på https://github.com/qualisys/QTM-Connect-For-Maya hvis du vil ha mer informasjon.

11. Rekonstruer leddskjelettleddstillingene

  1. I QTM åpner du prosjektinnstillingene ved å trykke på tannhjulikonet . I sidefeltet navigerer du til Skeleton Solver, og trykker på Last inn for å velge en skjelettdefinisjonsfil. Juster skaleringsfaktoren til 100 %, og trykk på Bruk.
  2. Naviger til TSV Export, og merk av i boksene 3D, 6D og Skeleton i datatypeinnstillingene . Merk av i alle boksene i Generelle innstillinger. Trykk Bruk, og lukk prosjektinnstillingene.
  3. Trykk på Reprosesser-ikonet, merk av i boksene Løs skjeletter og Eksporter til TSV-fil, og trykk OK.

12. Generere rekonstruksjoner av håndnett

  1. Åpne et kommandovindu i prosjektrepositoriet, og aktiver conda-miljøet ved å utføre kommandoen:
    Conda aktiverer kontakt-regioner
  2. Deretter utfører du følgende kommando, og følger instruksjonene i skriptet for å generere, for hver ramme i forsøket, et håndnett som rekonstruerer gjeldende håndstilling.
    python Hand_Mesh_Reconstruction.py --GPU 0 --test_epoch 4
    MERK: Disse mesh-rekonstruksjonene genereres automatisk ved hjelp av en modifisert versjon av åpen kildekode og forhåndstrent håndnettgenereringsverktøy, DeepHandMesh29.

13. Generere estimater for kontaktregion for håndobjekter

  1. Åpne et kommandovindu i prosjektrepositoriet, utfør følgende kommando, og følg instruksjonene i skriptet for å generere estimater for hånd- og objektkontaktområde ved å beregne skjæringspunktet mellom hånd- og objektnettene.
    blender --bakgrunn --python "Contact_Region_Estimation.py"

Representative Results

Det første kravet til den foreslåtte metoden er et system for nøyaktig å spore posisjonen til 3D-objekter og hender. Det spesifikke oppsettet er vist i figur 1A og bruker maskinvare og programvare produsert av motion capture-selskapet Qualisys. Vi plasserer en arbeidsbenk innenfor et sporingsvolum (100 cm x 100 cm x 100 cm), som er avbildet fra flere vinkler av åtte sporingskameraer og seks videokameraer arrangert på en kubisk ramme som omgir arbeidsområdet. Sporingskameraene sporer 3D-posisjonen til de reflekterende markørene innenfor sporingsvolumet ved 180 bilder / s og med sub-millimeter 3D romlig oppløsning. Vi bruker 4 mm refleksmarkører, som festes til gjenstandene og hendene ved hjelp av hudvennlig dobbeltsidig tape. 3D-markørposisjonene behandles av motion capture-programvaren. Diskusjonsdelen gjennomgår også alternative motion capture-systemer som kan brukes med den foreslåtte metoden.

For å oppnå nøyaktige 3D-rekonstruksjoner av virkelige objekter som blir grepet og manipulert, foreslår vi to alternativer. Den første, som er den som er vedtatt her, er å starte fra en virtuell 3D-objektmodell i form av et polygonnett. Slike 3D-modeller kan konstrueres ved hjelp av passende programvare (f.eks. Blender 3D44) og deretter 3D-printet (figur 1B). Det andre alternativet er å ta et eksisterende, ekte 3D-objekt og bruke 3D-skanningsteknologi for å konstruere en maskemodellkopi av objektet. Uansett strategi, er sluttmålet å skaffe både et ekte 3D-objekt og den tilsvarende virtuelle 3D-objektnettmodellen. Merk at tilnærmingen beskrevet her bare fungerer med stive (dvs. ikke-deformerbare) objekter.

Når 3D-overflaten til et objekt er tilgjengelig som en maskemodell, må posisjonen spores og samregistreres (figur 1C). For å gjøre dette er fire ikke-plane reflekterende markører festet til overflaten av det virkelige objektet, og objektet er plassert innenfor sporingsvolumet. 3D-posisjonene til objektmarkørene fanges deretter kort opp. Denne fangsten brukes til å etablere korrespondansen mellom de fire markørene og fire hjørnene i objektnettmodellen. Dette gjøres ved hjelp av en enkel ad hoc-programvarerute skrevet i Blenders Python API. Innenfor Blender's Viewport, presenterer programmet det virtuelle objektet sammen med markør posisjoner som er representert som en enkelt mesh objekt består av en sfære for hver markør. Brukeren kan deretter rotere og oversette objektet og / eller markørene for å justere dem slik at de stemmer overens med de virkelige markørene som er plassert på det virkelige objektet. Programmet vil registrere rotasjonene og oversettelsen som brukes til å beregne en enkelt roto-oversettelse som til slutt brukes på det opprinnelige objektnettet, og gir et objektnett som er samregistrert med den stive kroppsdefinisjonen i QTM.

Etter å ha etablert korrespondanse, når det virkelige objektet flyttes innenfor sporingsvolumet, kan det virtuelle objektet plasseres i den nye posisjonen ved å beregne roto-oversettelsen mellom de sporede markørene og de fire tilsvarende maskehjørnene. For å registrere dynamikken i grepet i stedet, er totalt 24 sfæriske reflekterende markører festet på forskjellige landemerker av hånden ved hjelp av dobbeltsidig tape (figur 1D og figur 2).

I begynnelsen av en prøve (figur 1E) legger en deltaker hånden flatt på arbeidsbenken med håndflaten vendt nedover og lukker øynene. Eksperimentøren plasserer et målobjekt på arbeidsbenken foran deltakeren. Deretter signaliserer et auditivt signal til deltakeren om å åpne øynene og utføre grepet. I våre demonstrasjoner er oppgaven å nå og gripe målobjektet, løfte det vertikalt med omtrent 10 cm, sette det ned og returnere hånden til startposisjonen. Et skript skrevet i Python 3.7 styrer eksperimentet. På hvert forsøk velger skriptet og kommuniserer gjeldende tilstandsinnstillinger til eksperimentøren (f.eks. objektidentitet og posisjonering). Manuset styrer også prøvetidspunktet, inkludert lydsignaler og start og stopp av motion capture-opptakene.

Lemmer er ikke bare preget av deres posisjon i 3D-rom, men også av deres positur. For å oppnå en fullstendig 3D-rekonstruksjon av en menneskelig hånd som utfører et reelt grep, trenger vi ikke bare posisjonene til hvert ledd i 3D-rom, men også den relative posituren (oversettelse og rotasjon) av hvert ledd i forhold til dets overordnede ledd (figur 1F). Skjelettleddposisjoner og orienteringer kan utledes fra markørposisjoner ved hjelp av invers kinematikk. For å gjøre det, bruker vi her skjelettløseren levert av QTM-programvaren. For at løseren skal fungere, må vi først gi en skjelettdefinisjon som knytter posisjonen og orienteringen til hvert ledd til flere markørposisjoner. En skjelettdefinisjon er dermed konstruert, og skjelettriggen kobles til markørdataene ved hjelp av QTM Connect-plugin for Maya. Vi lager personlige skjelettdefinisjoner for hver deltaker for å maksimere nøyaktigheten av skjelettet som passer til markørdataene. For hver deltaker tilpasser vi manuelt et håndskjelett til en enkelt ramme med bevegelsesopptaksdata. Etter å ha fått en deltakerspesifikk skjelettdefinisjon, kjører vi deretter skjelettløseren for å estimere skjelettleddstillingene for hver ramme i hvert forsøk i forsøket.

For hver ramme i hvert forsøk i et eksperiment genererer vi et håndnett som rekonstruerer den nåværende håndposituren ved hjelp av verktøyet for åpen kildekode og forhåndstrent håndnettgenerering, DeepHandMesh28 (figur 1G). DeepHandMesh er et dypt koder-dekodernettverk som genererer personlige håndmasker fra bilder. Først estimerer koderen posituren til en hånd i et bilde (dvs. de felles Euler-vinklene). Deretter legges den estimerte håndstillingen og en personlig ID-vektor inn i dekoderen, som estimerer et sett med tre additive korrektiver til et rigget malnett. Til slutt deformeres malnettet i henhold til estimert håndstilling og korrektiver ved hjelp av lineær blandingsskinning. Det første korrektivet er et ID-avhengig skjelettkorrektiv der skjelettriggen justeres for å innlemme de personspesifikke leddposisjonene. De to andre korrektivene er mesh-korrektiver der nettinghjørnene justeres for bedre å representere deltakerens håndflate. Et av maskekorrektivene er et ID-avhengig mesh-korrektiv som står for overflatestrukturen til en individuell deltakers hånd. Det endelige mesh-korrektivet er i stedet et poseavhengig toppunktkorrigerende som tar hensyn til håndoverflatedeformasjoner på grunn av den nåværende håndstillingen.

DeepHandMesh trenes ved hjelp av svak veiledning med 2D-leddnøkkelpunkter og scenedybdekart. Her bruker vi kun den forhåndstrente DeepHandMesh-dekoderen til å generere rekonstruksjoner av håndnetting, modifisert på følgende måter (figur 3). For det første, siden nettverket ikke er trent på bestemte deltakere, brukes det generiske ID-avhengige mesh-korrigerende som følger med den forhåndstrente modellen (figur 3A). Videre er det ID-avhengige skjelettkorrigerende avledet ved hjelp av QTM-skjelettløseren som beskrevet ovenfor (figur 3B). Proporsjonal skalering av hånden med skjelettlengden antas, og masketykkelsen er jevnt skalert av en faktor avledet fra den relative skaleringen av skjelettet slik at nettet bedre tilnærmer deltakerens håndstørrelse (figur 3C). Dette modifiserte nettet er inngang til dekoderen, sammen med gjeldende håndstilling (avledet fra markørdataene) og 3D-posisjonen og orienteringen til håndleddet. Dekoderen beregner dermed det nåværende posituravhengige korrektivet, bruker alle korrektivene og roto-oversettelsene, og sender ut en 3D-håndnettrekonstruksjon av gjeldende håndpositur i samme koordinatramme som det 3D-sporede objektnettet (figur 3D).

Figure 3
Figur 3: Endringer i den forhåndstrente DeepHandMesh-dekoderen . (A) Fast, generisk ID-avhengig mesh-korrektiv. (B) ID-avhengig skjelettkorrigerende avledet gjennom invers kinematikk i trinn 10. (C) Størrelsen på håndnettet er skalert med samme faktor som skjelettleddene. (D) Endelig 3D-håndnettrekonstruksjon av gjeldende håndpositur. Klikk her for å se en større versjon av denne figuren.

Etter å ha rekonstruert 3D-nettmodeller for både en deltakers hånd og et grepet objekt, kan hånd-objekt-kontaktregioner estimeres ved å beregne skjæringspunktet mellom hånd- og objektmaskene (figur 1H). Antagelsen bak dette er at den virkelige hånden deformeres ved kontakt med overflaten, noe som betyr at skjelettet kan komme nærmere overflaten enn det som ville være mulig hvis hånden var stiv, noe som gjør at deler av håndnettet kan passere gjennom gjenstandsnettet. Som et resultat kan kontaktområdene tilnærmes som overlappingsområdene mellom de to maskene.

Spesielt, for å beregne disse områdene av overlapping, definerer vi objektnetthjørner som finnes i 3D-volumet av håndnettet som å være i kontakt med hånden. Disse toppunktene er identifisert ved hjelp av en standard raytracing-tilnærming45. For hvert toppunkt i objektnettet kastes en stråle fra toppunktet til et vilkårlig 3D-punkt utenfor håndnettet. Vi vurderer deretter antall skjæringspunkter som oppstår mellom den støpte strålen og trekantene som komponerer håndens overflate. Hvis antall skjæringspunkter er oddetall, er objekttoppunktet inne i håndnettet. Hvis antall kryss er jevnt, er objekttoppunktet utenfor håndnettet. Kontaktområdene på overflaten av objektet kan dermed tilnærmes som settet med trekantflater hvis hjørner alle er inneholdt i håndnettet. Vi kan bruke samme begrunnelse på håndnetthjørnene som finnes i 3D-volumet til objektnettet for å estimere kontaktområdene på overflaten av hånden. Spesielt kan mer avanserte tilnærminger til boolske maskeoperasjoner også brukes31.

Video 1 viser en video av en hånd, sporede punkter og samregistrert nett som alle beveger seg side om side under et enkelt grep til en 3D-printet kattefigur. Figur 4A viser i stedet en enkelt ramme på tidspunktet for hånd-objektkontakt fra et grep til en 3D-trykt croissant, sammen med rekonstruksjonene av hånd-objektnett (figur 4B) og de estimerte kontaktområdene på overflaten av croissanten (figur 4C).

Figure 4
Figur 4: Estimerte kontaktregioner for hånd-objekt. (A) Sporet hånd og gjenstand sett fra et av sporingskameraene under et grep. (B) Rekonstruert håndnett og sporet objektnett gjengitt fra samme synspunkt som sporingskameraet. (C) Kontaktregioner på overflaten av objektet sett fra flere synspunkter. Klikk her for å se en større versjon av denne figuren.

Video 1: Mesh rekonstruksjoner av hånd og gjenstand. Gif-animasjon av hånden, sporede markører og rekonstruksjoner av hånd- og objektnett under ett enkelt grep sett fra samme kamerasynspunkt. Vennligst klikk her for å laste ned denne videoen.

Discussion

Vi foreslår en metode som muliggjør estimering av kontaktregioner for hånd-objekt-interaksjoner under flersifrede grep. Siden full sporing av hele overflaten av en hånd for øyeblikket er ugjennomtrengelig, foreslår vi å bruke en rekonstruksjon av et håndnett hvis positur bestemmes av sparsomme nøkkelpunkter på hånden. For å spore disse sparsomme nøkkelpunktene bruker løsningen vår et bevegelsesopptakssystem av forskningskvalitet basert på passiv markørsporing. Selvfølgelig kan andre bevegelsesfangstsystemer også brukes med den foreslåtte metoden, gitt at de gir tilstrekkelig nøyaktige 3D-posisjonsdata. Vi fraråder aktive markørbevegelsesopptakssystemer (som den populære, men utgåtte Optotrak Certus), siden disse krever å feste kabler og / eller elektroniske enheter til deltakernes hender, noe som kan begrense bevegelser eller i det minste gi mindre typiske grep ettersom deltakerne blir gjort mer bevisst på hendenes positur. Bevegelsessporingshansker ved hjelp av treghetsmåleenheter kan være en mulighet, selv om disse systemene er kjent for å lide av drift, kan også begrense håndbevegelser, og tillater ikke at overflaten av hånden kommer i full og direkte kontakt med gjenstandens overflater. Kommersielle markørløse håndsporingsløsninger (f.eks. Leap Motion46,47,48) kan også være en mulighet, selv om det kanskje ikke er mulig å spore objektposisjoner med disse systemene alene. Det mest lovende alternativet til et bevegelsesopptakssystem av forskningskvalitet er gitt av åpen kildekode, markørløse sporingsløsninger (f.eks. Mathis et al.28). Hvis de brukes med flere samregistrerte kameraer49, kan slike systemer potensielt spore håndleddposisjoner og objektposisjoner i 3D uten behov for markører, hansker eller kabler. Disse løsningene, så vel som dette markørbaserte systemet, kan imidlertid lide av tap av data på grunn av okklusjoner.

Begrensninger og fremtidige retninger
Siden håndrekonstruksjonene oppnådd gjennom denne metoden ikke vil være helt nøyaktige, er det noen begrensninger for hvilke typer eksperimenter metoden skal brukes til. Avvik i håndnettrekonstruksjoner fra grunnsannhet vil manifestere seg i avvik i de estimerte kontaktregionene mellom hender og objekter. Anvendelse av denne metoden for å utlede absolutte mål vil derfor kreve en vurdering av trofastheten til kontaktregionens estimater. Selv omtrentlige estimater kan imidlertid fortsatt være nyttige i eksperimentelle design fordi metodens potensielle skjevheter sannsynligvis vil påvirke forskjellige eksperimentelle forhold hos en deltaker på lignende måte. Derfor bør statistiske analyser og slutninger bare utføres på målinger som forskjellene i kontaktområde mellom forhold, der retningen på en effekt vil korrelere med den respektive grunnsannheten. I fremtidig forskning planlegger vi å validere tilnærmingen vår ytterligere, for eksempel ved å sammenligne kontaktområdeestimater med termiske fingeravtrykk på objekter dekket av termokrom maling.

De fleste behandlingstrinnene fra datainnsamlingen til estimeringen av det endelige kontaktområdet er helautomatiserte og gir dermed viktige bidrag til en standardisert prosedyre for estimering av kontaktområde for håndobjekter. Imidlertid må en innledende tilpasning av de individuelle skjelettene til 3D-posisjonene til de sporede markørene fortsatt utføres manuelt for å oppnå en skjelettdefinisjon for hver deltaker. Etter hvert som antall deltakere for et eksperiment øker, øker også antall manuelle tilpasninger, og dette er for tiden det mest tidkrevende trinnet i prosedyren og krever litt kjennskap til manuell rigging i Autodesk Maya-programvaren. I fremtiden tar vi sikte på å automatisere dette trinnet for å unngå menneskelig påvirkning på prosedyren ved å legge til en automatisk skjelettkalibreringsprosedyre.

Arbeidsflyten som beskrives her, er avhengig av Qualisisys-maskinvaren og -programvaren (f.eks. QTM-skjelettløseren). Dette begrenser i dag tilgjengeligheten av vår metode til laboratorier som har et lignende oppsett. I prinsippet kan metoden imidlertid brukes på hvilken som helst kilde til bevegelsesopptaksdata. For å utvide tilgjengeligheten utforsker vi i pågående arbeid alternativer som bør generalisere arbeidsflyten vår og gjøre den mindre avhengig av spesifikke maskinvare- og programvarelisenser.

En annen viktig begrensning av metoden er at den i sin nåværende form bare kan brukes på stive (ikke-deformerbare) objekter. I fremtiden kan denne begrensningen overvinnes ved hjelp av metoder for å registrere overflateformen til det grepne objektet når det deformeres. I tillegg, på grunn av sin omtrentlige natur, er metoden for tiden ikke godt egnet til svært små eller tynne gjenstander.

For å konkludere, ved å integrere toppmoderne bevegelsessporing med hi-fidelity håndoverflatemodellering, gir vi en metode for å estimere kontaktområder for håndobjekter under griping og manipulering. I fremtidig forskning planlegger vi å distribuere denne metoden for å undersøke og modellere visuelt styrt gripeatferd hos mennesker16. Vi planlegger videre å integrere disse verktøyene med øyesporing 46,50,51,52 og virtuelle / forstørrede virkelighetssystemer 53,54,55 for å undersøke visuelt guidet hånd- og øyebevegelsesmotorkontroll i virkelige og virtuelle naturalistiske miljøer 18,46,56,57 . Av disse grunner kan den foreslåtte metoden være av interesse for forskere som studerer haptisk oppfatning58, motorstyring og menneskelig-datamaskin-interaksjon i virtuell og forstørret virkelighet. Endelig kan nøyaktige målinger av menneskelige gripeevner informere utformingen av robuste robotsystemer basert på prinsippene for interaktiv oppfatning 39,40,41,42,43 og kan ha translasjonsapplikasjoner for øvre lemproteser.

Disclosures

Forfatterne erklærer at ingen konkurrerende interesser eksisterer.

Acknowledgments

Denne forskningen ble finansiert av Deutsche Forschungsgemeinschaft (DFG, tysk forskningsstiftelse: prosjekt nr. 222641018-SFB / TRR 135 TP C1 og IRTG-1901 "The Brain in Action") og av forskningsklyngen "The Adaptive Mind" finansiert av Excellence Program of the Hessian Ministry of Higher Education, Science, Research and Art. Forfatterne takker Qualisys supportteam, inkludert Mathias Bankay og Jeffrey Thingvold, for hjelp til å utvikle våre metoder. Forfatterne takker også Michaela Jeschke for å posere som håndmodell. Alle data og analyseskript for å gjengi metoden og resultatene som presenteres i manuskriptet er tilgjengelige på Zenodo (doi: 10.5281/zenodo.7458911).

Materials

Name Company Catalog Number Comments
Anaconda Python distribution  (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ scripts and functions were generated in Python version 3.7
Autodesk Maya Autodesk, Inc. Maya2022; https://www.autodesk.com/products/maya/overview 3D computer graphics application.  
Blender  Blender Foundation  Blender 2.92; https://download.blender.org/release/ 3D computer graphics application.  
Computer Workstation N/A N/A OS: Windows 10 or higher.
DeepHandMesh Meta Platforms, Inc. (Meta Open Source) https://github.com/facebookresearch/DeepHandMesh Pre-trained hand mesh generation tool.
Miqus M5 Qualisys Ab https://www.qualisys.com/cameras/miqus/  Passive marker motion tracking camera (8 units).
Miqus video camera Qualisys Ab https://www.qualisys.com/cameras/miqus-video/ Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository  N/A Data and Code Repository  Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. 
Python 3 Python Software Foundation Python Version 3.7 Python3 and associated built-in libraries.
QTM Connect for Maya Qualisys Ab https://github.com/qualisys/QTM-Connect-For-Maya  Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager Qualisys Ab Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/  Motion capture software
Qualisys SDK for Python Qualisys Ab https://github.com/qualisys/qualisys_python_sdk  Implements communication between QTM and Python

DOWNLOAD MATERIALS LIST

References

  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23 (2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027 (2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Tags

Atferd utgave 194
Estimering av kontaktregioner mellom hender og gjenstander under menneskelig flersifret griping
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Hartmann, F., Maiello, G., Rothkopf, … More

Hartmann, F., Maiello, G., Rothkopf, C. A., Fleming, R. W. Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping. J. Vis. Exp. (194), e64877, doi:10.3791/64877 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter