Summary
När vi tar tag i ett föremål kommer flera regioner av fingrarna och handen vanligtvis i kontakt med objektets yta. Att rekonstruera sådana kontaktregioner är utmanande. Här presenterar vi en metod för att ungefär uppskatta kontaktregionerna genom att kombinera markörbaserad motion capture med befintlig djupinlärningsbaserad handnätsrekonstruktion.
Abstract
För att förstå ett objekt framgångsrikt måste vi välja lämpliga kontaktregioner för våra händer på objektets yta. Att identifiera sådana regioner är dock utmanande. I det här dokumentet beskrivs ett arbetsflöde för att uppskatta kontaktregionerna från markörbaserade spårningsdata. Deltagarna greppar riktiga föremål, medan vi spårar 3D-positionen för både föremålen och handen, inklusive fingrarnas leder. Vi bestämmer först de gemensamma Euler-vinklarna från ett urval av spårade markörer placerade på baksidan av handen. Sedan använder vi toppmoderna rekonstruktionsalgoritmer för handnät för att generera en nätmodell av deltagarens hand i den aktuella posen och 3D-positionen.
Genom att använda objekt som antingen 3D-printats eller 3D-skannats – och därmed är tillgängliga som både riktiga objekt och nätdata – kan hand- och objektnäten samregistreras. Detta möjliggör i sin tur uppskattning av ungefärliga kontaktregioner genom att beräkna skärningspunkterna mellan handnätet och det samregistrerade 3D-objektnätet. Metoden kan användas för att uppskatta var och hur människor griper tag i föremål under olika förhållanden. Därför kan metoden vara av intresse för forskare som studerar visuell och haptisk perception, motorisk kontroll, människa-datorinteraktion i virtuell och förstärkt verklighet samt robotik.
Introduction
Förmågan att förstå och manipulera föremål är en nyckelförmåga som gör det möjligt för människor att omforma miljön till sina önskemål och behov. Att styra flerledade händer effektivt är dock en utmanande uppgift som kräver ett sofistikerat styrsystem. Detta motoriska styrsystem styrs av flera former av sensorisk inmatning, bland vilka syn är avgörande. Genom syn kan individer identifiera objekten i miljön och uppskatta deras position och fysiska egenskaper och kan sedan nå, förstå och manipulera dessa objekt med lätthet. Att förstå det komplexa systemet som länkar ingången vid näthinnan med de motoriska kommandon som styr händerna är en viktig utmaning för sensorimotorisk neurovetenskap. För att modellera, förutsäga och förstå hur detta system fungerar måste vi först kunna studera det i detalj. Detta kräver hifi-mätningar av både visuella ingångar och handmotorutgångar.
Tidigare rörelsespårningsteknik har infört ett antal begränsningar för studien av mänsklig grepp. Till exempel tenderar system som kräver kablar fästa vid deltagarnas händer 1,2 att begränsa fingerrörelsernas räckvidd, vilket kan ändra grepprörelserna eller själva mätningarna. Trots sådana begränsningar har tidigare forskning kunnat identifiera flera faktorer som påverkar visuellt styrt grepp. Några av dessa faktorer inkluderar objektform 3,4,5,6, ytjämnhet 7,8,9 eller orienteringen av ett objekt i förhållande till handen 4,8,10. Men för att övervinna tidigare tekniska begränsningar har majoriteten av denna tidigare forskning använt enkla stimuli och mycket begränsade uppgifter, vilket främst fokuserar på enskilda faktorer 3,4,6,7,10, tvåsiffriga precisionsgrepp3,4,6,9,11,12, 13,14,15,16,17,18, enstaka objekt19 eller mycket enkla 2D-former 20,21. Hur tidigare fynd generaliseras utöver sådana reducerade och artificiella laboratorieförhållanden är okänt. Dessutom reduceras mätningen av hand-objekt-kontakt ofta till uppskattningen av sifferkontaktpunkter22. Denna förenkling kan vara lämplig för att beskriva en liten delmängd av grepp där endast fingertopparna är i kontakt med ett objekt. Men i de flesta verkliga grepp kommer omfattande regioner av fingrarna och handflatan i kontakt med ett föremål. Vidare har en nyligen genomförd studie23 visat, med hjälp av en haptisk handske, att föremål kan kännas igen av hur deras yta träffar handen. Detta belyser vikten av att studera de utökade kontaktregionerna mellan händerna och föremålen som greppas, inte bara kontaktpunkterna mellan föremålen och fingertopparna22.
De senaste framstegen inom motion capture och 3D-handmodellering har gjort det möjligt för oss att gå förbi tidigare begränsningar och studera grepp i sin fulla komplexitet. Passiv markörbaserad rörelsespårning är nu tillgänglig med millimeterstora markörer som kan fästas på baksidan av deltagarens händer för att spåra ledrörelser24. Vidare är algoritmer för automatisk marköridentifiering för passiva markörsystem nu tillräckligt robusta för att nästan eliminera behovet av omfattande manuell efterbehandling av markördata25,26,27. Markörlösa lösningar når också imponerande prestandanivåer när det gäller att spåra djurkroppsdelar i videor28. Dessa rörelsespårningsmetoder möjliggör således slutligen tillförlitliga och icke-invasiva mätningar av komplexa flersiffriga handrörelser24. Sådana mätningar kan informera oss om ledkinematik och göra det möjligt för oss att uppskatta kontaktpunkterna mellan handen och ett föremål. Dessutom har datorsyngemenskapen under de senaste åren tagit itu med problemet med att konstruera modeller av mänskliga händer som kan replikera mjukvävnadsdeformationerna under objektgrepp och till och med under självkontakt mellan handdelarna 29,30,31,32. Sådana 3D-nätrekonstruktioner kan härledas från olika typer av data, såsom videofilmer 33,34, skelettleder (härledda från markörbaserad 35 eller markörlös spårning 36) och djupbilder 37. Det första viktiga framsteget inom detta område tillhandahölls av Romero et al.38, som härledde en parametrisk handmodell (MANO) från över 1 000 handskanningar från 31 ämnen i olika poser. Modellen innehåller parametrar för både handens ställning och form, vilket underlättar regression från olika datakällor till en fullständig handrekonstruktion. Den nyare DeepHandMesh29-lösningen bygger på detta tillvägagångssätt genom att konstruera en parametrisk modell genom djupinlärning och genom att lägga till penetrationsundvikande, vilket mer exakt replikerar fysiska interaktioner mellan handdelar. Genom att kombinera sådana handnätsrekonstruktioner med 3D-spårade objektnät är det nu möjligt att uppskatta kontaktregioner inte bara på ytan av objekt32 utan också på handens yta.
Här föreslår vi ett arbetsflöde som sammanför högkvalitativ 3D-spårning av objekt och handfogar med nya rekonstruktionsalgoritmer för handnät. Metoden ger detaljerade kartor över handobjektkontaktytor. Dessa mätningar kommer att hjälpa sensorimotoriska neuroforskare att utöka vår teoretiska förståelse av mänsklig visuellt guidad grepp. Vidare kan metoden vara användbar för forskare inom angränsande områden. Till exempel kan forskare av mänskliga faktorer använda denna metod för att konstruera bättre gränssnittssystem mellan människa och maskin i virtuell och förstärkt verklighet18. Hifi-mätningar av mänskliga greppbeteenden kan också hjälpa robotister att utforma mänskligt inspirerade robotgreppsystem baserat på principerna för interaktiv uppfattning 39,40,41,42,43. Vi hoppas därför att denna metod kommer att bidra till att främja forskning inom neurovetenskap och teknikområden från glesa beskrivningar av mycket begränsade uppgifter till mer fullständiga karakteriseringar av naturalistiska greppbeteenden med komplexa objekt och verkliga uppgifter. Den övergripande strategin beskrivs i figur 1.
Figur 1: Viktiga steg i den föreslagna metoden . (A) Motion capture-kameror avbildar en arbetsbänk från flera vinklar. (B) Ett stimulusobjekt är 3D-tryckt från en triangulerad nätmodell. (C) Fyra sfäriska reflekterande markörer limmas på ytan av det verkliga objektet. En halvautomatiserad procedur identifierar fyra motsvarande punkter på nätobjektets yta. Denna korrespondens gör det möjligt för oss att roto-översätta nätmodellen till det verkliga objektets 3D-spårade position. (D) Reflekterande markörer fästs på olika landmärken på baksidan av en deltagares hand med dubbelhäftande tejp. (E) Motion capture-systemet förvärvar banorna i 3D-rymden för det spårade objektet och handmarkörerna under en enda försök. (F) Ett deltagarspecifikt handskelett konstrueras med hjälp av 3D-datorgrafikprogram. Skelettledsställningar uppskattas sedan för varje ram i varje försök i ett experiment genom omvänd kinematik. (G) Gemensamma poser matas in till en modifierad version av DeepHandMesh29, som matar ut ett uppskattat 3D-handnät i den aktuella 3D-positionen och positionen. (H) Slutligen använder vi nätskärning för att beräkna kontaktregionerna mellan handobjekt och objekt. Klicka här för att se en större version av denna figur.
Protocol
Innan ett experiment inleds måste deltagarna ge informerat samtycke i enlighet med de institutionella riktlinjerna och Helsingforsdeklarationen. Alla protokoll som beskrivs här har godkänts av den lokala etiska kommittén vid Justus Liebig University Giessen (LEK-FB06).
1. Installation av all nödvändig programvara
- Ladda ned projektdatabasen på Data- och koddatabasen.
- Installera programvaran som anges i materialförteckningen (notera programvaruversionerna och följ länkarna för köpalternativ och instruktioner).
- Öppna ett kommandofönster i Data- och koddatabasen och kör följande kommando:
conda env create -f environment.yml - Ladda ned och installera den förtränade DeepHandMesh29-instansieringen enligt anvisningarna i https://github.com/facebookresearch/DeepHandMesh.
- Placera DeepHandMesh i mappen "deephandmesh" i data- och koddatabasen. Ersätt filen "main/model.py" med den model.py filen som finns i data- och koddatabasen.
2. Förbereda motion capture-systemet
- Placera en arbetsbänk i en spårningsvolym avbildad från flera vinklar av rörelsespårningskameror arrangerade på en ram som omger arbetsytan (figur 1A). Förbered reflekterande markörer genom att fästa dubbelhäftande tejp på basen av varje markör.
- Kör Qualisys Track Manager (QTM) som administratör.
Körning av QTM som administratör är nödvändig för att Python SDK ska ta kontroll över QTM-gränssnittet. Vi rekommenderar att du alltid kör QTM som administratör.
3. Kalibrera kamerorna
- Placera det L-formade kalibreringsobjektet i spårningsvolymen.
- I QTM klickar du på Kalibrera i menyn Capture eller trycker på trollstavsikonen i verktygsfältet Capture. Vänta tills ett kalibreringsfönster öppnas. Välj kalibreringens varaktighet och tryck på OK.
- Vifta med kalibreringsstaven över spårningsvolymen under kalibreringstiden. Tryck på knappen Exportera och ange en filsökväg där kalibreringen ska exporteras som en textfil. Acceptera kalibreringen genom att trycka på OK.
4. Skapa ett stimulansobjekt
- Konstruera en virtuell 3D-objektmodell i form av ett polygonnät. Använd en 3D-skrivare för att konstruera en fysisk replik av objektmodellen.
Datalagret i steg 1.1 innehåller exempelobjekt i filformaten STL och Wavefront OBJ. Objekt i STL-format är mångfaldiga och redo för 3D-utskrift.
5. Förbereda stimulansobjektet
- Fäst fyra icke-plana reflekterande markörer på ytan av det verkliga objektet. Placera objektet i spårningsvolymen.
- I projektförvaret kör du Python-skriptet "Acquire_Object.py". Följ instruktionerna från skriptet för att utföra en 1 s fånga 3D-positionen för objektmarkörerna.
- Välj alla markörer på den styva kroppen. Högerklicka på och välj Definiera styv kropp (6DOF) | Aktuell ram. Ange namnet på den styva kroppen och tryck på OK.
- I menyn Arkiv väljer du Exportera | Till TSV. I det nya fönstret markerar du rutorna 3D, 6D och Skeleton i inställningarna för datatyp . Markera alla rutor i Allmänna inställningar . Tryck på OK och sedan på Spara.
6. Samregistrering av verkliga och nätmodellversioner av stimulansobjektet
- Öppna Blender och navigera till arbetsytan Skript. Öppna filen "Object_CoRegistration.py" och tryck på Kör. Navigera till arbetsytan Layout och tryck på n för att växla sidofältet. I sidofältet navigerar du till fliken Anpassad .
- Välj den .obj-fil som ska samregistreras och tryck på knappen Ladda objekt .
- Markera banfilen som exporterades i steg 3.3 och ange namnen på markörerna som är kopplade till det stela objektet avgränsade med semikolon. I rubriken Markör anger du raden i banfilen som innehåller kolumnnamnen för data (räkningen börjar på 0).
- Välj motsvarande styva kroppsfil med 6D-suffixet och ange namnet på den styva kroppen som definierades i steg 4.1. I 6D-huvudet anger du raden i den stela brödtextfilen som innehåller kolumnnamnen för data.
- Tryck på Ladda markörer. Översätt och rotera Markers-objektet och/eller Object-objektet för att justera dem. Ange en mesh-utdatafil och tryck på Kör samregistrering. Detta matar ut en .obj-fil som innehåller det samregistrerade stimulansnätet.
7. Ställa in markörer på händerna
- Fäst 24 sfäriska reflekterande markörer på olika landmärken i en deltagares hand med dubbelhäftande tejp.
OBS: Den specifika placeringen av markörerna visas i figur 2.- Placera markörerna centralt ovanpå respektive fingertoppar, liksom de distala interfalangeala lederna, proximala interfalangeala leder och metakarpophalangeala leder i pekfingret, långfingret, ringfingret och lillfingret.
- För tummen, placera en markör vardera på fingertoppen och den basala karpometakarpalleden, samt ett par markörer vardera på metacarpophalangeal och interfalangeal leder.
OBS: Dessa markörpar måste förskjutas i motsatta riktningar vinkelrätt mot tummens huvudaxel och är nödvändiga för att uppskatta tummens orientering. - Slutligen placera markörer i mitten av handleden och på scaphotrapeziotrapezoidal led.
Figur 2: Markörplacering på en deltagares hand. Förkortning: RH = höger. Klicka här för att se en större version av denna figur.
8. Skaffa en enda provperiod
- Be deltagaren att lägga handen platt på arbetsbänken med handflatan nedåt och blunda. Placera stimulansobjektet på arbetsbänken framför deltagaren.
- Medan QTM körs kör du Python-skriptet "Single_Trial_Acquisition.py" i projektdatabasen. Följ instruktionerna från skriptet för att fånga en enda prövning av deltagaren som tar tag i stimulansobjektet.
OBS: Skriptet kommer att producera en auditiv ledtråd. Detta kommer att signalera till deltagaren att öppna ögonen och utföra greppet. I våra demonstrationer är uppgiften att nå och ta tag i målobjektet, lyfta det vertikalt med cirka 10 cm, sätta ner det och återföra handen till startpositionen.
9. Märkning av markörerna
- Dra och släpp de enskilda markörbanorna i QTM från Oidentifierade banor till Märkta banor och märk dem enligt namngivningskonventionen i figur 2.
- Markera alla markörer som är fästa vid handen och högerklicka på och välj Generera AIM-modell från markering. I det nya fönstret väljer du Skapa ny modell baserat på marköranslutningar från befintlig AIM-modell och trycker på knappen Nästa .
- Välj den RH_FH modelldefinitionen och tryck på Öppna. Tryck på Nästa, ange ett namn för AIM-modellen och tryck på OK. Tryck slutligen på Slutför för att skapa en AIM-modell för deltagarens hand, som kommer att användas för att automatiskt identifiera markörer i successiva försök från samma deltagare.
10. Skapa en personlig skelettdefinition för deltagaren
- I QTM navigerar du till menyn Spela upp och väljer Spela med realtidsutdata.
- Öppna Maya. Gå till QTM Connect-hyllan och tryck på ikonen Anslut till QTM. I det nya fönstret markerar du Markörer och trycker på Anslut. Tryck nu på Play-ikonen på QTM Connect-hyllan.
- Skift-markera alla handmarkörer och tryck på ikonen Tvättsökare . Välj de tvättade handmarkörerna och tryck på Ctrl + G. Detta skapar en gruppnod. Ge gruppen namnet Markörer.
- Markera alla handmarkörer. På menyn Ändra klickar du på Sök och ersätt namn. Sök efter prefixet RH_ och ta bort prefixet för markörerna.
- Tryck på ikonen Importera problemlösare på QTM Connect-hyllan . Ladda skelettdefinitionen "RH_FH.xml".
- I Windows-menyn navigerar du till Allmänna redigerare | Namnområdesredigerare. I det nya fönstret klickar du på :(root) och trycker på Nytt för att skapa ett nytt namnområde, RH. Klicka på RH-namnområdet , tryck på Nytt och ge det nya namnområdet namnet ModelPose.
- Markera alla markörer, klicka på RH-namnområdet och tryck på Lägg till markerade för att lägga till markörerna i RH-namnområdet.
- Markera skelettbenen, klicka på namnområdet ModelPose och tryck på Lägg till markerade för att lägga till skelettbenen i ModelPose-namnområdet.
- Rotera, översätt och skala skelettet så att det passar markördata. Nästa, för varje skelettled individuellt, Skift + Välj skelettleden och dess tillhörande markörer och tryck på ikonen Lägg till bilagor . Tryck slutligen på ikonen Exportera problemlösaren för att exportera den nya skelettdefinitionen till en XML-fil som kan läsas in i QTM (se nästa steg).
OBS: Detta steg är inte absolut nödvändigt, men det är användbart för att öka noggrannheten hos skelettpassningen till markördata. Läs QSolverQuickstartGuide på https://github.com/qualisys/QTM-Connect-For-Maya för mer information.
11. Rekonstruera de gemensamma skelettlederna
- Öppna projektinställningarna i QTM genom att trycka på kugghjulsikonen. I sidofältet navigerar du till Skeleton Solver och trycker på Läs in för att välja en skelettdefinitionsfil. Justera skalningsfaktorn till 100 % och tryck på Använd.
- Navigera till TSV-export och markera rutorna 3D, 6D och Skeleton i inställningarna för datatyp . Markera alla rutor i Allmänna inställningar . Tryck på Apply och stäng projektinställningarna.
- Tryck på ikonen Reprocess, markera rutorna Lös skelett och Exportera till TSV-fil och tryck på OK.
12. Generera rekonstruktioner av handnät
- Öppna ett kommandofönster i projektdatabasen och aktivera conda-miljön genom att köra kommandot:
Conda aktiverar kontaktregioner - Kör sedan följande kommando och följ instruktionerna från skriptet för att generera, för varje bildruta i testperioden, ett handnät som rekonstruerar den aktuella handposen.
Python Hand_Mesh_Reconstruction.py --GPU 0 --test_epoch 4
OBS: Dessa nätrekonstruktioner genereras automatiskt med hjälp av en modifierad version av verktyget för generering av handnät med öppen källkod och förtränad handnät, DeepHandMesh29.
13. Generera uppskattningar av kontaktregioner för handobjekt
- Öppna ett kommandofönster i projektdatabasen, kör följande kommando och följ instruktionerna i skriptet för att generera uppskattningar av hand- och objektkontaktregioner genom att beräkna skärningspunkten mellan hand- och objektnäten.
blender --background --python "Contact_Region_Estimation.py"
Representative Results
Det första kravet för den föreslagna metoden är ett system för att exakt spåra positionen för 3D-objekt och händer. Den specifika installationen visas i figur 1A och använder hårdvara och mjukvara som produceras av motion capture-företaget Qualisys. Vi placerar en arbetsbänk inom en spårningsvolym (100 cm x 100 cm x 100 cm), som avbildas från flera vinklar av åtta spårningskameror och sex videokameror arrangerade på en kubisk ram som omger arbetsytan. Spårningskamerorna spårar 3D-positionen för de reflekterande markörerna inom spårningsvolymen vid 180 bilder / s och med 3D-rumslig upplösning under millimeter. Vi använder 4 mm reflekterande markörer, som fästs på föremål och händer med hudvänlig dubbelhäftande tejp. 3D-markörpositionerna bearbetas av programvaran för motion capture. Diskussionsavsnittet granskar också alternativa motion capture-system som kan användas med den föreslagna metoden.
För att få exakta 3D-rekonstruktioner av verkliga objekt som greppas och manipuleras föreslår vi två alternativ. Den första, som är den som antas här, är att utgå från en virtuell 3D-objektmodell i form av ett polygonnät. Sådana 3D-modeller kan konstrueras med lämplig programvara (t.ex. Blender 3D44) och sedan 3D-skrivas ut (figur 1B). Det andra alternativet är att ta ett befintligt, verkligt 3D-objekt och använda 3D-skanningsteknik för att konstruera en nätmodellreplika av objektet. Oavsett strategi är slutmålet att få både ett verkligt 3D-objekt och motsvarande virtuella 3D-objektnätmodell. Observera att tillvägagångssättet som beskrivs här endast fungerar med styva (dvs. icke-deformerbara) objekt.
När ett objekts 3D-yta är tillgänglig som en nätmodell måste dess position spåras och samregistreras (figur 1C). För att göra det fästs fyra icke-plana reflekterande markörer på ytan av det verkliga objektet och objektet placeras inom spårningsvolymen. Objektmarkörernas 3D-positioner fångas sedan kort. Den här avbildningen används för att fastställa korrespondensen mellan de fyra markörerna och de fyra hörnen i objektnätsmodellen. Detta görs med hjälp av en enkel ad hoc-programvaruväg skriven i Blenders Python API. Inom Blenders Viewport presenterar programmet det virtuella objektet tillsammans med markörpositionerna som representeras som ett enda nätobjekt bestående av en sfär för varje markör. Användaren kan sedan rotera och översätta objektet och/eller markörerna för att justera dem så att de samjusteras med de verkliga markörerna som placerats på det verkliga objektet. Programmet kommer att registrera rotationer och translation som tillämpas för att beräkna en enda roto-translation som slutligen appliceras på det ursprungliga objektnätet, vilket ger ett objektnät som är samregistrerat med rigid body-definitionen i QTM.
Efter att ha etablerat korrespondens, när det verkliga objektet flyttas inom spårningsvolymen, kan det virtuella objektet placeras i den nya positionen genom att beräkna roto-översättningen mellan de spårade markörerna och de fyra motsvarande näthörnen. För att istället registrera greppets dynamik fästs totalt 24 sfäriska reflekterande markörer på olika landmärken i handen med dubbelhäftande tejp (figur 1D och figur 2).
I början av en prövning (figur 1E) lägger en deltagare handen platt på arbetsbänken med handflatan nedåt och stänger ögonen. Experimenten placerar ett målobjekt på arbetsbänken framför deltagaren. Därefter signalerar en auditiv signal till deltagaren att öppna ögonen och utföra greppet. I våra demonstrationer är uppgiften att nå och ta tag i målobjektet, lyfta det vertikalt med cirka 10 cm, sätta ner det och återföra handen till startpositionen. Ett skript skrivet i Python 3.7 styr experimentet. Vid varje försök väljer skriptet och kommunicerar de aktuella villkorsinställningarna till experimentet (t.ex. objektidentitet och positionering). Skriptet styr också provtiden, inklusive auditiva signaler och start och stopp av motion capture-inspelningarna.
Lemmar kännetecknas inte bara av sin position i 3D-rymden utan också av deras ställning. Således, för att få en fullständig 3D-rekonstruktion av en mänsklig hand som utför ett verkligt grepp, behöver vi inte bara positionerna för varje led i 3D-rymden utan också den relativa posen (översättning och rotation) för varje led med avseende på dess förälderled (Figur 1F). Skelettledspositioner och orienteringar kan härledas från markörpositioner med hjälp av omvänd kinematik. För att göra det använder vi här skelettlösaren som tillhandahålls av QTM-programvaran. För att lösaren ska fungera måste vi först tillhandahålla en skelettdefinition som länkar positionen och orienteringen för varje led till flera markörpositioner. En skelettdefinition konstrueras således och skelettriggen länkas till markördata med hjälp av QTM Connect-plugin för Maya. Vi skapar personliga skelettdefinitioner för varje deltagare för att maximera noggrannheten i skelettpassningarna till markördata. För varje deltagare passar vi manuellt ett handskelett till en enda ram med rörelseinspelningsdata. Efter att ha fått en deltagarspecifik skelettdefinition kör vi sedan skelettlösaren för att uppskatta skelettledsställningarna för varje ram i varje försök i experimentet.
För varje bildruta i varje försök i ett experiment genererar vi ett handnät som rekonstruerar den aktuella handställningen med hjälp av verktyget för generering av handnät med öppen källkod och förtränat handnät, DeepHandMesh28 (figur 1G). DeepHandMesh är ett djupt kodaravkodarnätverk som genererar personliga handnät från bilder. Först uppskattar kodaren positionen för en hand i en bild (dvs. de gemensamma Euler-vinklarna). Sedan matas den uppskattade handställningen och en personlig ID-vektor in i avkodaren, som uppskattar en uppsättning med tre additiva korrigeringsmedel till ett riggat mallnät. Slutligen deformeras mallnätet enligt den uppskattade handställningen och korrigeringsmedel med linjär blandningsskalning. Den första korrigeringen är en ID-beroende skelettkorrigering genom vilken skelettriggen justeras för att införliva de personspecifika ledpositionerna. De andra två korrigeringarna är nätkorrigerare genom vilka näthörnen justeras för att bättre representera deltagarens handyta. En av nätkorrigeringarna är en ID-beroende nätkorrigering som står för ytstrukturen hos en enskild deltagares hand. Den slutliga nätkorrigeringen är istället en pose-beroende vertexkorrigering som står för deformationer av handytan på grund av den aktuella handposen.
DeepHandMesh tränas med svag övervakning med 2D-gemensamma nyckelpunkter och scendjupskartor. Här använder vi endast den förtränade DeepHandMesh-avkodaren för att generera rekonstruktioner av handnät, modifierade på följande sätt (figur 3). För det första, eftersom nätverket inte är utbildat på specifika deltagare, används den generiska ID-beroende nätkorrigering som tillhandahålls med den förtränade modellen (figur 3A). Vidare härleds den ID-beroende skelettkorrigeringen med hjälp av QTM-skelettlösaren enligt beskrivningen ovan (figur 3B). Proportionell skalning av handen med skelettlängden antas och masktjockleken skalas jämnt av en faktor härledd från skelettets relativa skalning så att nätet bättre approximerar deltagarens handstorlek (figur 3C). Detta modifierade nät matas in i avkodaren, tillsammans med den aktuella handställningen (härledd från markördata) och handledens 3D-position och orientering. Avkodaren beräknar således den aktuella poseringsberoende korrigeringen, tillämpar alla korrektiv och roto-translationer och matar ut en 3D-handnätrekonstruktion av den aktuella handställningen i samma koordinatram som det 3D-spårade objektnätet (figur 3D).
Bild 3: Ändringar av den förtränade DeepHandMesh-avkodaren . (A) Fast, generisk ID-beroende nätkorrigering. (B) ID-beroende skelettkorrigering härledd genom invers kinematik i steg 10. (C) Handmaskans storlek skalas med samma faktor som skelettlederna. (D) Slutlig 3D-rekonstruktion av handnät av den aktuella handställningen. Klicka här för att se en större version av denna figur.
Efter att ha rekonstruerat 3D-nätmodeller för både en deltagares hand och ett greppat objekt kan kontaktområden mellan hand och objekt uppskattas genom att beräkna skärningspunkten mellan hand- och objektmaskorna (figur 1H). Antagandet bakom detta är att den verkliga handen deformeras genom kontakt med ytan, vilket innebär att skelettet kan komma närmare ytan än vad som skulle vara möjligt om handen var styv, vilket gör att delar av handnätet kan passera genom föremålsnätet. Som ett resultat kan kontaktytorna approximeras som överlappningsområdena mellan de två maskorna.
Specifikt, för att beräkna dessa överlappningsområden, definierar vi objektnäthörn som finns i handnätets 3D-volym som i kontakt med handen. Dessa hörn identifieras med hjälp av en standardmetod för strålspårning45. För varje hörn i objektnätet kastas en stråle från det hörnet till en godtycklig 3D-punkt utanför handnätet. Vi bedömer sedan antalet skärningspunkter som uppstår mellan den gjutna strålen och trianglarna som utgör handens yta. Om antalet korsningar är udda finns objektets toppunkt inuti handnätet. Om antalet korsningar är jämnt, är objektets toppunkt utanför handnätet. Kontaktområdena på objektets yta kan således approximeras som uppsättningen triangelytor vars hörn alla finns i handnätet. Vi kan tillämpa samma resonemang på handnätens hörn som finns i 3D-volymen på objektnätet för att uppskatta kontaktregionerna på handens yta. I synnerhet kan mer avancerade metoder för booleska nätoperationer också användas31.
Video 1 visar en video av en hand, spårade punkter och samregistrerade nät som alla rör sig sida vid sida under ett enda grepp till en 3D-tryckt kattfigur. Figur 4A visar istället en enda ram vid tidpunkten för handobjektskontakt från ett grepp till en 3D-printad croissant, tillsammans med rekonstruktionerna av handobjektsnät (figur 4B) och de uppskattade kontaktområdena på croissantens yta (figur 4C).
Figur 4: Uppskattade kontaktregioner för handobjekt. (A) Spårad hand och föremål sedda från en av spårningskamerorna under ett grepp. (B) Rekonstruerat handnät och nät för spårade föremål återgivna från samma synvinkel som spårningskameran. (C) Kontaktregioner på objektets yta sett från flera synvinklar. Klicka här för att se en större version av denna figur.
Video 1: Nätrekonstruktioner av handen och föremålet. Gif-animering av handen, spårade markörer och rekonstruktioner av hand- och objektnät under ett enda grepp sett från samma kameraperspektiv. Klicka här för att ladda ner den här videon.
Discussion
Vi föreslår en metod som möjliggör uppskattning av kontaktregioner för hand-objekt-interaktioner under flersiffriga grepp. Eftersom full spårning av hela ytan av en hand för närvarande är svårhanterlig, föreslår vi att man använder en rekonstruktion av ett handnät vars ställning bestäms av glesa nyckelpunkter på handen. För att spåra dessa glesa nyckelpunkter använder vår lösning ett rörelseinspelningssystem av forskningskvalitet baserat på passiv markörspårning. Naturligtvis kan andra motion capture-system också användas med den föreslagna metoden, förutsatt att de ger tillräckligt exakta 3D-positionsdata. Vi avråder från aktiva markörrörelseinspelningssystem (som den populära men avvecklade Optotrak Certus), eftersom dessa kräver att kablar och / eller elektroniska enheter fästs på deltagarnas händer, vilket kan begränsa rörelser eller åtminstone ge mindre typiska grepp eftersom deltagarna görs mer medvetna om händernas ställning. Rörelsespårningshandskar som använder tröghetsmätningsenheter kan vara en möjlighet, även om dessa system är kända för att lida av drift, kan också begränsa handrörelser och tillåter inte att handens yta kommer i full och direkt kontakt med föremålets ytor. Kommersiella markörlösa handspårningslösningar (t.ex. Leap Motion46,47,48) kan också vara en möjlighet, även om det kanske inte är möjligt att spåra objektpositioner med dessa system ensam. Det mest lovande alternativet till ett motion capture-system av forskningskvalitet ges av markörlösa spårningslösningar med öppen källkod (t.ex. Mathis et al.28). Om de används med flera samregistrerade kameror49 kan sådana system potentiellt spåra handledspositioner och objektpositioner i 3D utan behov av markörer, handskar eller kablar. Dessa lösningar, liksom detta markörbaserade system, kan dock drabbas av problem med dataförlust på grund av ocklusioner.
Begränsningar och framtida riktningar
Eftersom handrekonstruktionerna som erhålls genom denna metod inte kommer att vara helt exakta, finns det vissa begränsningar för de typer av experiment för vilka metoden ska användas. Avvikelser i handnätsrekonstruktioner från marksanningen kommer att manifestera sig i avvikelser i de uppskattade kontaktregionerna mellan hand och objekt. Att tillämpa denna metod för att härleda absoluta åtgärder skulle därför kräva en bedömning av tillförlitligheten hos uppskattningarna av kontaktregionen. Men även ungefärliga uppskattningar kan fortfarande vara användbara i experimentella mönster inom deltagaren eftersom metodens potentiella fördomar sannolikt kommer att påverka olika experimentella förhållanden inom en deltagare på ett liknande sätt. Därför bör statistiska analyser och slutsatser endast utföras på mått som skillnaderna i kontaktyta mellan förhållandena, där effektriktningen kommer att korrelera med respektive grundsanning. I framtida forskning planerar vi att ytterligare validera vårt tillvägagångssätt, till exempel genom att jämföra uppskattningar av kontaktregioner med termiska fingeravtryck på föremål täckta av termokrom färg.
De flesta bearbetningsstegen från datainsamlingen till den slutliga uppskattningen av kontaktregionen är helt automatiserade och erbjuder därför viktiga bidrag till en standardiserad procedur för uppskattning av kontaktregioner för handobjekt. En första anpassning av de individualiserade skeletten till 3D-positionerna för de spårade markörerna måste dock fortfarande utföras manuellt för att få en skelettdefinition för varje deltagare. När antalet deltagare för ett experiment ökar, ökar också antalet manuella passningar, och detta är för närvarande det mest tidskrävande steget i proceduren och kräver viss förtrogenhet med manuell riggning i Autodesk Maya Software. I framtiden strävar vi efter att automatisera detta steg för att undvika mänsklig påverkan på proceduren genom att lägga till en automatisk skelettkalibreringsprocedur.
Arbetsflödet som beskrivs här förlitar sig på Qualisys maskinvara och programvara (t.ex. QTM-skelettlösaren). Detta begränsar för närvarande tillgängligheten av vår metod till laboratorier som har en liknande inställning. I princip kan metoden dock tillämpas på alla källor till motion capture-data. För att utöka tillgängligheten undersöker vi i pågående arbete alternativ som bör generalisera vårt arbetsflöde och göra det mindre beroende av specifika hårdvaru- och programvarulicenser.
En annan viktig begränsning av metoden är att den i sin nuvarande form endast kan tillämpas på styva (icke-deformerbara) objekt. I framtiden kan denna begränsning övervinnas med hjälp av metoder för att registrera ytformen på det greppade objektet när det deformeras. Dessutom, på grund av dess ungefärliga natur, är metoden för närvarande inte väl lämpad för mycket små eller tunna föremål.
Sammanfattningsvis, genom att integrera toppmodern rörelsespårning med högkvalitativ handytemodellering, tillhandahåller vi en metod för att uppskatta kontaktregioner mellan hand och objekt under grepp och manipulation. I framtida forskning planerar vi att använda denna metod för att undersöka och modellera visuellt styrt greppbeteende hos människor16. Vi planerar vidare att integrera dessa verktyg med eyetracking 46,50,51,52 och virtuella/augmented reality-system 53,54,55 för att undersöka visuellt styrd hand- och ögonrörelsemotorstyrning i verkliga och virtuella naturalistiska miljöer 18,46,56,57 . Av dessa skäl kan den föreslagna metoden vara av intresse för forskare som studerar haptisk perception58, motorisk kontroll och människa-datorinteraktion i virtuell och förstärkt verklighet. Slutligen kan noggranna mätningar av mänskliga greppförmågor informera utformningen av robusta robotsystem baserade på principerna för interaktiv uppfattning 39,40,41,42,43 och kan ha translationella tillämpningar för proteser i övre extremiteter.
Disclosures
Författarna förklarar att det inte finns några konkurrerande intressen.
Acknowledgments
Denna forskning finansierades av Deutsche Forschungsgemeinschaft (DFG, German Research Foundation: projekt nr 222641018-SFB/TRR 135 TP C1 och IRTG-1901 "The Brain in Action") och av forskningsklustret "The Adaptive Mind" finansierat av Excellence Program of the Hessian Ministry of Higher Education, Science, Research and Art. Författarna tackar Qualisys supportteam, inklusive Mathias Bankay och Jeffrey Thingvold, för hjälp med att utveckla våra metoder. Författarna tackar också Michaela Jeschke för att hon poserade som handmodell. Alla data- och analysskript för att reproducera metoden och resultaten som presenteras i manuskriptet finns tillgängliga på Zenodo (doi: 10.5281/zenodo.7458911).
Materials
| Name | Company | Catalog Number | Comments |
| Anaconda Python distribution | (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ | scripts and functions were generated in Python version 3.7 | |
| Autodesk Maya | Autodesk, Inc. | Maya2022; https://www.autodesk.com/products/maya/overview | 3D computer graphics application. |
| Blender | Blender Foundation | Blender 2.92; https://download.blender.org/release/ | 3D computer graphics application. |
| Computer Workstation | N/A | N/A | OS: Windows 10 or higher. |
| DeepHandMesh | Meta Platforms, Inc. (Meta Open Source) | https://github.com/facebookresearch/DeepHandMesh | Pre-trained hand mesh generation tool. |
| Miqus M5 | Qualisys Ab | https://www.qualisys.com/cameras/miqus/ | Passive marker motion tracking camera (8 units). |
| Miqus video camera | Qualisys Ab | https://www.qualisys.com/cameras/miqus-video/ | Color video camera, synchronized with Miquis M5 tracking cameras (6 units). |
| Project repository | N/A | Data and Code Repository | Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. |
| Python 3 | Python Software Foundation | Python Version 3.7 | Python3 and associated built-in libraries. |
| QTM Connect for Maya | Qualisys Ab | https://github.com/qualisys/QTM-Connect-For-Maya | Stream skeleton, rigid bodies and marker data from QTM to Maya |
| QTM Qualisys Track Manager | Qualisys Ab | Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ | Motion capture software |
| Qualisys SDK for Python | Qualisys Ab | https://github.com/qualisys/qualisys_python_sdk | Implements communication between QTM and Python |
References
- Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
- Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
- Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
- Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
- Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
- Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
- Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
- Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
- Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
- Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
- Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
- Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
- Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R.
- Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
- Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
- Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
- Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W.
- Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
- Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
- Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
- Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
- Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
- Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
- Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
- Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
- Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
- Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
- Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
- Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
- Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
- Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
- Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
- Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
- Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
- Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
- Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
- Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
- Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
- Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
- Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
- Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
- Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
- Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
- Blender Foundation. , Available from: https://www.blender.org (2022).
- Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
- Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
- Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
- Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
- Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
- Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
- Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
- Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
- Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
- Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
- Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
- Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
- Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
- Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).
