Method Article

Ocena obszarów kontaktu między rękami a przedmiotami podczas chwytania wielocyfrowego przez człowieka

DOI:

10.3791/64877

⸱

April 21st, 2023

 ,  ,  , 
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gdy chwytamy obiekt, wiele obszarów palców i dłoni zazwyczaj styka się z powierzchnią obiektu. Rekonstrukcja takich obszarów kontaktu jest wyzwaniem. W tym miejscu przedstawiamy metodę przybliżonego szacowania obszarów kontaktu poprzez połączenie przechwytywania ruchu opartego na znacznikach z istniejącą rekonstrukcją siatki ręcznej opartą na głębokim uczeniu.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aby skutecznie uchwycić obiekt, musimy wybrać odpowiednie obszary kontaktu dla naszych dłoni na powierzchni obiektu. Identyfikacja takich regionów jest jednak trudna. W tym artykule opisano proces pracy służący do szacowania regionów kontaktu na podstawie danych śledzenia opartych na znacznikach. Uczestnicy chwytają rzeczywiste obiekty, podczas gdy my śledzimy pozycję 3D zarówno obiektów, jak i dłoni, w tym stawów palców. Najpierw określamy wspólne kąty Eulera na podstawie wybranych śledzonych znaczników umieszczonych na grzbiecie dłoni. Następnie wykorzystujemy najnowocześniejsze algorytmy rekonstrukcji siatki dłoni, aby wygenerować siatkowy model dłoni uczestnika w aktualnej pozie i pozycji 3D.

Korzystanie z obiektów, które zostały wydrukowane w 3D lub zeskanowane w 3D - a więc są dostępne zarówno jako rzeczywiste obiekty, jak i dane siatki - pozwala na jednoczesne rejestrowanie siatki dłoni i obiektów. To z kolei pozwala na oszacowanie przybliżonych obszarów kontaktu poprzez obliczenie przecięć między siatką ręczną a współrejestrowaną siatką obiektów 3D. Metoda ta może być stosowana do oszacowania, gdzie i jak ludzie chwytają przedmioty w różnych warunkach. W związku z tym metoda ta może być interesująca dla naukowców zajmujących się percepcją wzrokową i dotykową, kontrolą motoryczną, interakcją człowiek-komputer w rzeczywistości wirtualnej i rozszerzonej oraz robotyką.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zdolność do chwytania i manipulowania obiektami jest kluczową umiejętnością, która pozwala ludziom przekształcać środowisko zgodnie z ich pragnieniami i potrzebami. Jednak skuteczne kontrolowanie wielostawowych rąk jest trudnym zadaniem, które wymaga wyrafinowanego systemu kontroli. Ten system sterowania motorycznego jest kierowany przez kilka form bodźców sensorycznych, wśród których wzrok jest najważniejszy. Poprzez wzrok osoby mogą identyfikować obiekty w otoczeniu i oceniać ich położenie oraz właściwości fizyczne, a następnie mogą z łatwością sięgać, chwytać i manipulować tymi obiektami. Zrozumienie złożonego systemu, który łączy dane wejściowe w siatkówce z poleceniami motorycznymi, które kontrolują ręce, jest kluczowym wyzwaniem neuronauki sensomotorycznej. Aby modelować, przewidywać i rozumieć, jak działa ten system, musimy najpierw być w stanie go szczegółowo zbadać. Wymaga to wysokiej dokładności pomiarów zarówno sygnałów wizualnych, jak i wyjść silnika ręcznego.

Wcześniejsza technologia śledzenia ruchu nakładała szereg ograniczeń na badania nad ludzkim chwytaniem. Na przykład systemy wymagające podłączonych do dłoni uczestników1,2 mają tendencję do ograniczania zakresu ruchów palców, potencjalnie zmieniając ruchy chwytania lub same pomiary. Pomimo takich ograniczeń, wcześniejsze badania były w stanie zidentyfikować kilka czynników, które wpływają na chwytanie kierowane wizualnie. Niektóre z tych czynników obejmują kształt obiektu3,4,5,6, chropowatość powierzchni7,8,9, lub orientacja obiektu względem dłoni4,8,10. Jednak, aby przezwyciężyć wcześniejsze ograniczenia technologiczne, większość tych wcześniejszych badań wykorzystywała proste bodźce i wysoce ograniczone zadania, skupiając się głównie na indywidualnych czynnikach3,4,6,7,10, dwucyfrowe precyzyjne uchwyty3,4,6,9,11,12,13,14,15,16,17,18, pojedyncze obiekty19, lub bardzo proste kształty 2D20,21. Nie wiadomo, w jaki sposób poprzednie odkrycia wykraczają poza takie ograniczone i sztuczne warunki laboratoryjne. Dodatkowo, pomiar kontaktu ręka-przedmiot jest często sprowadzany do oszacowania cyfrowych punktów styku22. To uproszczenie może być odpowiednie do opisania małego podzbioru chwytów, w których tylko opuszki palców stykają się z przedmiotem. Jednak w większości chwytów w świecie rzeczywistym rozległe obszary palców i dłoni stykają się z przedmiotem. Co więcej, niedawne badanie23 wykazało, przy użyciu rękawicy dotykowej, że obiekty można rozpoznać po tym, jak ich powierzchnia styka się z dłonią. Podkreśla to znaczenie badania rozszerzonych obszarów kontaktu między dłońmi a chwytanymi przedmiotami, a nie tylko punktów kontaktowych między przedmiotami a opuszkami palców22.

Ostatnie postępy w przechwytywaniu ruchu i modelowaniu dłoni 3D pozwoliły nam przezwyciężyć poprzednie ograniczenia i poznać chwytanie w pełnej jego złożoności. Pasywne śledzenie ruchu oparte na znacznikach jest teraz dostępne z milimetrowymi znacznikami, które można przymocować do grzbietu dłoni uczestnika, aby śledzić ruchy stawów24. Co więcej, algorytmy automatycznej identyfikacji znaczników dla pasywnych systemów znaczników są teraz wystarczająco solidne, aby prawie wyeliminować potrzebę obszernego ręcznego przetwarzania danych znaczników25,26,27. Rozwiązania bezznacznikowe osiągają również imponujący poziom wydajności w śledzeniu części ciała zwierząt w filmach28. Te metody śledzenia ruchu pozwalają zatem na wiarygodne i nieinwazyjne pomiary złożonych, wielocyfrowych ruchów dłoni24. Takie pomiary mogą dostarczyć nam informacji na temat kinematyki stawów i umożliwić oszacowanie punktów styku dłoni z przedmiotem. Dodatkowo, w ostatnich latach, społeczność zajmująca się widzeniem komputerowym zajmowała się problemem konstruowania modeli ludzkich dłoni, które mogą replikować deformacje tkanek miękkich podczas chwytania obiektów, a nawet podczas samodzielnego kontaktu między częściami dłoni29,30,31,32. Takie rekonstrukcje siatki 3D mogą pochodzić z różnych typów danych, takich jak materiał wideo33,34, stawy szkieletowe (pochodzące z marker-based35 lub śledzenie bez znaczników36) oraz obrazy głębi37. Pierwszy kluczowy postęp w tej dziedzinie został dostarczony przez Romero et al.38, którzy uzyskali parametryczny model dłoni (MANO) z ponad 1000 skanów dłoni od 31 osób w różnych pozach. Model zawiera parametry zarówno dla ułożenia, jak i kształtu dłoni, ułatwiając regresję z różnych źródeł danych do pełnej rekonstrukcji dłoni. Nowsze rozwiązanie DeepHandMesh29 opiera się na tym podejściu, konstruując sparametryzowany model za pomocą głębokiego uczenia i dodając unikanie penetracji, które dokładniej odwzorowuje fizyczne interakcje między częściami dłoni. Łącząc takie rekonstrukcje siatki ręcznej z siatkami obiektów śledzonych w 3D, możliwe jest teraz oszacowanie obszarów kontaktu nie tylko na powierzchni obiektów32, ale także na powierzchni dłoni.

Tutaj proponujemy przepływ pracy, który łączy w sobie wysokiej jakości śledzenie 3D obiektów i połączeń dłoni z nowatorskimi algorytmami rekonstrukcji siatki ręcznej. Metoda pozwala uzyskać szczegółowe mapy powierzchni styku dłoni z przedmiotem. Pomiary te pomogą neuronaukowcom sensomotorycznym w poszerzeniu naszej teoretycznej wiedzy na temat ludzkiego chwytania kierowanego wzrokowo. Co więcej, metoda ta może być przydatna dla naukowców z pokrewnych dziedzin. Na przykład badacze czynnika ludzkiego mogą wykorzystać tę metodę do konstruowania lepszych systemów interfejsu człowiek-maszyna w rzeczywistości wirtualnej i rozszerzonej18. Wysokiej jakości pomiary ludzkich zachowań chwytania mogą również pomóc robotykom w projektowaniu inspirowanych przez człowieka robotycznych systemów chwytania opartych na zasadach interaktywnej percepcji39,40,41,42,43. Mamy zatem nadzieję, że ta metoda pomoże posunąć naprzód badania nad chwytaniem w różnych dziedzinach neuronauki i inżynierii, od rzadkich opisów wysoce ograniczonych zadań do pełniejszych charakterystyk naturalistycznych zachowań chwytania ze złożonymi obiektami i zadaniami w świecie rzeczywistym. Ogólne podejście jest opisane w Rysunek 1.

figure-introduction-1
Rysunek 1: Kluczowe kroki w proponowanej metodzie. (A) Kamery przechwytujące ruch obrazują środowisko pracy pod wieloma kątami. (B) Obiekt bodźca jest drukowany w 3D z triangulowanego modelu siatki. (C) Cztery kuliste znaczniki odblaskowe przyklejone są do powierzchni rzeczywistego obiektu. Procedura półautomatyczna identyfikuje cztery odpowiadające sobie punkty na powierzchni obiektu siatki. Ta zgodność pozwala nam na rotacyjną translację modelu siatki na śledzoną pozycję 3D rzeczywistego obiektu. (D) Odblaskowe znaczniki są przymocowane do różnych punktów orientacyjnych na grzbiecie dłoni uczestnika za pomocą taśmy dwustronnej. (E) System przechwytywania ruchu rejestruje trajektorie w przestrzeni 3D śledzonego obiektu i znaczników ręcznych podczas pojedynczej próby. (F) Szkielet dłoni specyficzny dla uczestnika jest konstruowany przy użyciu oprogramowania do grafiki komputerowej 3D. Ułożenie stawów szkieletowych jest następnie szacowane dla każdej klatki każdej próby w eksperymencie za pomocą kinematyki odwrotnej. (G) Ułożenie połączeń jest wprowadzane do zmodyfikowanej wersji klasy DeepHandMesh29, która generuje szacunkową siatkę dłoni 3D w bieżącym ułożeniu i pozycji 3D. (H) Na koniec używamy przecięcia siatki do obliczenia obszarów kontaktu ręka-obiekt. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przed rozpoczęciem eksperymentu, uczestnicy muszą wyrazić świadomą zgodę zgodnie z wytycznymi instytucji i Deklaracją Helsińską. Wszystkie opisane tutaj protokoły zostały zatwierdzone przez lokalną komisję etyczną Uniwersytetu Justusa Liebiga w Giessen (LEK-FB06).

1. Instalacja całego niezbędnego oprogramowania

  1. Pobierz repozytorium projektu ze strony Repozytorium danych i kodu.
  2. Zainstaluj oprogramowanie wymienione w Tabeli materiałów (zwróć uwagę na wersje oprogramowania i skorzystaj z łączy, aby uzyskać informacje o opcjach zakupu i instrukcjach).
  3. W repozytorium danych i kodu otwórz okno polecenia i uruchom następujące polecenie:
    conda env create -f environment.yml
  4. Pobierz i zainstaluj wstępnie wytrenowane wystąpienie DeepHandMesh29, postępując zgodnie z instrukcjami podanymi na stronie https://github.com/facebookresearch/DeepHandMesh.
    1. Umieść DeepHandMesh w folderze "deephandmesh" w Repozytorium Danych i Kodu. Zastąp plik "main/model.py" plikiem model.py zawartym w Repozytorium Danych i Kodu.

2. Przygotowanie systemu motion capture

  1. Umieść stół warsztatowy w objętości śledzenia obrazowanej pod wieloma kątami przez kamery śledzące ruch umieszczone na ramce otaczającej obszar roboczy (Rysunek 1A). Przygotuj odblaskowe znaczniki, przyklejając dwustronną taśmę klejącą do podstawy każdego markera.
  2. Uruchom Qualisys Track Manager (QTM) jako administrator.
    UWAGA: Wykonywanie QTM jako administrator jest konieczne, aby zestaw SDK języka Python mógł przejąć kontrolę nad interfejsem QTM. Zalecamy, aby zawsze korzystać z QTM jako administrator.

3. Kalibracja kamer

  1. Umieść obiekt kalibracyjny w kształcie litery L w objętości śledzenia.
  2. W QTM kliknij Kalibruj w menu Przechwytywanie lub naciśnij ikonę różdżki na pasku narzędzi Przechwyć. Poczekaj, aż otworzy się okno kalibracji. Wybierz czas trwania kalibracji i naciśnij przycisk OK.
  3. Pomachaj różdżką kalibracyjną po objętości śledzenia na czas trwania kalibracji. Naciśnij przycisk Eksportuj i określ ścieżkę do pliku, w którym kalibracja ma zostać wyeksportowana jako plik tekstowy. Zatwierdź kalibrację, naciskając OK.

4. Tworzenie obiektu stymulującego

  1. Skonstruuj wirtualny model obiektu 3D w postaci siatki wielokątów. Użyj drukarki 3D, aby skonstruować fizyczną replikę modelu obiektu.
    UWAGA: Repozytorium danych w kroku 1.1 zawiera przykładowe obiekty w formatach plików STL i Wavefront OBJ. Obiekty w formacie STL są różnorodne i gotowe do druku 3D.

5. Przygotowanie obiektu stymulującego

  1. Przymocuj cztery niepłaskie znaczniki odblaskowe do powierzchni rzeczywistego obiektu. Umieść obiekt w objętości śledzenia.
  2. W repozytorium projektu wykonaj skrypt języka Python "Acquire_Object.py". Postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wykonać przechwytywanie pozycji 3D znaczników obiektów w ciągu 1 sekundy.
  3. Wybrać wszystkie znaczniki bryły sztywnej. Kliknij prawym przyciskiem myszy i wybierz Zdefiniuj bryłę sztywną (6DOF) | Bieżąca klatka. Wprowadź nazwę bryły sztywnej i naciśnij przycisk OK.
  4. Z menu Plik wybierz polecenie Eksportuj | Do TSV. W nowym oknie zaznacz pola 3D, 6D i Szkielet w ustawieniach Typ danych. Zaznacz wszystkie pola w ustawieniach ogólnych. Naciśnij OK, a następnie Zapisz.

6. Współrejestrowanie rzeczywistych i siatkowych wersji obiektu bodźca

  1. Otwórz program Blender i przejdź do obszaru roboczego Skrypty. Otwórz plik "Object_CoRegistration.py" i naciśnij Uruchom. Przejdź do przestrzeni roboczej Układ i naciśnij n, aby przełączyć pasek boczny. Na pasku bocznym przejdź do zakładki Niestandardowe.
  2. Wybierz plik .obj, który ma zostać współzarejestrowany, a następnie naciśnij przycisk Załaduj obiekt.
  3. Wybierz plik trajektorii, który został wyeksportowany w kroku 3.3, i określ nazwy znaczników dołączonych do sztywnego obiektu, oddzielając je średnikami. W nagłówku Marker określ wiersz w pliku trajektorii, który zawiera nazwy kolumn danych (inwentaryzacja rozpoczyna się od 0).
  4. Wybierz odpowiedni plik bryły sztywnej z przyrostkiem 6D i określ nazwę obiektu sztywnego zdefiniowanego w kroku 4.1. W nagłówku 6D określ linię w pliku bryły sztywnej, która zawiera nazwy kolumn danych.
  5. Naciśnij przycisk Załaduj znaczniki. Przesuń i obróć obiekt Markers i/lub obiekt Object, aby je wyrównać. Określ plik wyjściowy siatki i naciśnij przycisk Uruchom współrejestrację. Spowoduje to wyświetlenie pliku .obj, który zawiera współzarejestrowaną siatkę bodźców.

7. Ustawianie znaczników na wskazówkach

  1. Przymocuj 24 sferyczne znaczniki odblaskowe do różnych punktów orientacyjnych dłoni uczestnika za pomocą taśmy dwustronnej.
    UWAGA: Konkretne rozmieszczenie znaczników jest pokazane w Rysunek 2.
    1. Umieść znaczniki centralnie na odpowiednich opuszkach palców, a także w dystalnych stawach międzypaliczkowych, bliższych stawach międzypaliczkowych i stawach śródręczno-paliczkowych palca wskazującego, środkowego palca, palca serdecznego i małego palca.
    2. W przypadku kciuka umieść po jednym znaczniku na opuszku palca i stawie podstawno-śródręcznym, a także po parze markerów na stawach śródręczno-paliczkowym i międzypaliczkowym.
      UWAGA: Te pary znaczników muszą być przemieszczone w przeciwnych kierunkach prostopadłych do głównej osi kciuka i są niezbędne do oszacowania orientacji kciuka.
    3. Na koniec umieść znaczniki na środku nadgarstka i na stawie łódeczkowato-trapezowym.

figure-protocol-1
Rysunek 2: Umieszczenie znacznika na dłoni uczestnika. Skrót: RH = prawa ręka. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

8. Uzyskanie pojedynczej próby

  1. Poproś uczestnika, aby położył dłoń płasko na stole warsztatowym z dłonią skierowaną w dół i zamknął oczy. Umieść bodziec na stole warsztatowym przed uczestnikiem.
  2. Gdy QTM jest uruchomiony, wykonaj skrypt Pythona "Single_Trial_Acquisition.py" w repozytorium projektu. Postępuj zgodnie z instrukcjami zawartymi w skrypcie, aby uchwycić pojedynczą próbę, w której uczestnik chwyta obiekt bodźca.
    UWAGA: Skrypt wygeneruje wskazówkę dźwiękową. To zasygnalizuje uczestnikowi, aby otworzył oczy i wykonał chwyt. W naszych pokazach zadanie polega na dotarciu i uchwyceniu docelowego przedmiotu, podniesieniu go pionowo o około 10 cm, odłożeniu i przywróceniu ręki do pozycji wyjściowej.

9. Oznaczanie znaczników

  1. W ramach QTM przeciągnij i upuść poszczególne trajektorie znaczników od Trajektorii niezidentyfikowanych do trajektorii oznaczonych etykietami i oznacz je zgodnie z konwencją nazewnictwa w Rysunek 2.
  2. Zaznacz wszystkie znaczniki dołączone do dłoni, a następnie kliknij prawym przyciskiem myszy i wybierz Generuj model AIM z wyboru. W nowym oknie wybierz Utwórz nowy model na podstawie połączeń Marker z istniejącego modelu AIM i naciśnij przycisk Dalej.
  3. Wybierz RH_FH definicję modelu i naciśnij przycisk Otwórz. Naciśnij przycisk Dalej, wprowadź nazwę modelu AIM i naciśnij przycisk OK. Na koniec naciśnij Zakończ, aby utworzyć model AIM dla ręki uczestnika, który posłuży do automatycznej identyfikacji markerów w kolejnych próbach od tego samego uczestnika.

10. Tworzenie spersonalizowanej definicji szkieletu dla uczestnika

  1. W QTM przejdź do menu Odtwórz i wybierz opcję Odtwarzaj z wyjściem w czasie rzeczywistym.
  2. Otwórz aplikację Maya. Przejdź do półki QTM Connect i naciśnij ikonę Połącz z QTM. W nowym oknie zaznacz Znaczniki i naciśnij Połącz. Teraz naciśnij ikonę Odtwórz na półce QTM Connect.
  3. Zaznacz wszystkie znaczniki dłoni z wciśniętym Shift i naciśnij ikonę Wash Locators. Zaznacz znaczniki umytych rąk i naciśnij Ctrl + G. Spowoduje to utworzenie węzła grupy. Nazwij grupę Znaczniki.
  4. Zaznacz wszystkie znaczniki wskazówek. W menu Modyfikuj kliknij polecenie Wyszukaj i zamień nazwy. Wyszukaj prefiks RH_ i usuń prefiks znaczników.
  5. Naciśnij ikonę Importuj Solver na półce QTM Connect. Załaduj definicję szkieletu "RH_FH.xml".
  6. W menu Windows przejdź do Edytory ogólne | Edytor przestrzeni nazw. W nowym oknie kliknij :(root) i naciśnij Nowy, aby utworzyć nową przestrzeń nazw, RH. Kliknij przestrzeń nazw RH, naciśnij przycisk Nowy i nadaj nowej przestrzeni nazw ModelPose.
  7. Zaznacz wszystkie znaczniki, kliknij przestrzeń nazw RH i naciśnij Dodaj wybrane, aby dodać znaczniki do przestrzeni nazw RH.
  8. Wybierz kości szkieletu, kliknij przestrzeń nazw ModelPose i naciśnij przycisk Dodaj wybrane, aby dodać kości szkieletu do przestrzeni nazw ModelPose.
  9. Obracaj, przesuwaj i skaluj szkielet, aby dopasować go do danych znacznika. Następnie dla każdego połączenia szkieletowego z osobna, Shift + Wybierz połączenie szkieletowe i powiązane z nim znaczniki, a następnie naciśnij ikonę Dodaj załączniki. Na koniec naciśnij ikonę Eksportuj solver, aby wyeksportować nową definicję szkieletu do pliku XML, który można załadować do QTM (patrz następny krok).
    UWAGA: Ten krok nie jest bezwzględnie konieczny, ale jest przydatny do zwiększenia dokładności dopasowania szkieletu do danych znacznika. Aby uzyskać więcej informacji, zapoznaj się z przewodnikiem QSolverQuickstartGuide na https://github.com/qualisys/QTM-Connect-For-Maya.

11. Zrekonstruowanie pozycji stawów szkieletowych

  1. W QTM otwórz ustawienia projektu, naciskając ikonę koła zębatego. Na pasku bocznym przejdź do Skeleton Solver i naciśnij Załaduj, aby wybrać plik definicji szkieletu. Dostosuj współczynnik skali do 100% i naciśnij przycisk Zastosuj.
  2. Przejdź do sekcji Eksport TSV i zaznacz pola 3D, 6D i Szkielet w ustawieniach Typ danych. Zaznacz wszystkie pola w ustawieniach ogólnych. Naciśnij przycisk Zastosuj i zamknij ustawienia projektu.
  3. Naciśnij ikonę Przetwarzaj ponownie, zaznacz pola Rozwiąż szkielety i Eksportuj do pliku TSV, a następnie naciśnij OK.

12. Generowanie rekonstrukcji siatki ręcznej

  1. Otwórz okno polecenia w repozytorium projektu i aktywuj środowisko conda, wykonując polecenie:
    conda aktywuje regiony kontaktów
  2. Następnie wykonaj następujące polecenie i postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wygenerować, dla każdej klatki próby, siatkę dłoni rekonstruującą bieżącą pozycję dłoni.
    python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4
    UWAGA: Te rekonstrukcje siatki są generowane automatycznie przy użyciu zmodyfikowanej wersji narzędzia do generowania siatek ręcznych o otwartym kodzie źródłowym, DeepHandMesh29.

13. Generowanie szacunków obszaru kontaktu ręka-obiekt

  1. Otwórz okno poleceń w repozytorium projektu, wykonaj następujące polecenie i postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wygenerować oszacowania obszaru kontaktu dłoni i obiektu, obliczając przecięcie między siatkami dłoni i obiektów.
    blender --background --python "Contact_Region_Estimation.py"

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Pierwszym wymaganiem dla proponowanej metody jest system do dokładnego śledzenia pozycji obiektów 3D i rąk. Konkretna konfiguracja jest pokazana w Rysunek 1A i wykorzystuje sprzęt i oprogramowanie wyprodukowane przez firmę Qualisys, zajmującą się przechwytywaniem ruchu. Stół warsztatowy umieszczamy w przestrzeni śledzenia (100 cm x 100 cm x 100 cm), która jest obrazowana pod różnymi kątami przez osiem kamer śledzących i sześć kamer wideo umieszczonych na sześciennej ramie otaczającej przestrzeń roboczą. Kamery śledzące śledzą pozycję 3D znaczników odblaskowych w przestrzeni śledzenia z prędkością 180 klatek/s i z submilimetrową rozdzielczością przestrzenną 3D. Stosujemy markery odblaskowe o średnicy 4 mm, które są mocowane do przedmiotów i dłoni za pomocą przyjaznej dla skóry dwustronnej taśmy klejącej. Pozycje znaczników 3D są przetwarzane przez oprogramowanie do przechwytywania ruchu. W sekcji dyskusji omówiono również alternatywne systemy przechwytywania ruchu, które można zastosować przy użyciu proponowanej metody.

Aby uzyskać dokładne rekonstrukcje 3D rzeczywistych obiektów, które są chwytane i manipulowane, proponujemy dwie opcje. Pierwsza, która jest tutaj przyjęta, polega na rozpoczęciu od wirtualnego modelu obiektu 3D w postaci siatki wielokątów. Takie modele 3D można konstruować za pomocą odpowiedniego oprogramowania (np. Blender 3D44), a następnie drukować w 3D (Rysunek 1B). Drugą opcją jest wzięcie istniejącego, rzeczywistego obiektu 3D i użycie technologii skanowania 3D do skonstruowania repliki modelu siatkowego obiektu. Niezależnie od strategii, celem końcowym jest uzyskanie zarówno rzeczywistego obiektu 3D, jak i odpowiadającego mu wirtualnego modelu siatki obiektów 3D. Warto zauważyć, że opisane tutaj podejście działa tylko w przypadku sztywnych (tj. nieodkształcalnych) obiektów.

Gdy powierzchnia 3D obiektu jest dostępna jako model siatki, jej pozycja musi być śledzona i rejestrowana (Rysunek 1C). W tym celu do powierzchni rzeczywistego obiektu przymocowane są cztery niepłaskie znaczniki odblaskowe, a obiekt jest umieszczany w objętości śledzenia. Pozycje 3D znaczników obiektów są następnie na krótko rejestrowane. To przechwytywanie służy do ustalenia zgodności między czterema znacznikami i czterema wierzchołkami modelu siatki obiektów. Odbywa się to za pomocą prostej trasy programowej ad hoc napisanej w API Pythona Blendera. W rzutni Blendera program prezentuje wirtualny obiekt wraz z pozycjami znaczników, które są reprezentowane jako pojedynczy obiekt siatki składający się z jednej sfery dla każdego znacznika. Użytkownik może następnie obrócić i przesunąć obiekt i/lub znaczniki, aby wyrównać je tak, aby były wyrównane z rzeczywistymi znacznikami umieszczonymi na rzeczywistym obiekcie. Program zarejestruje obroty i translację, które są stosowane do obliczenia pojedynczej translacji rotacyjnej, która jest ostatecznie stosowana do oryginalnej siatki obiektów, zapewniając siatkę obiektu, która jest współzarejestrowana z definicją ciała sztywnego w QTM.

Po ustaleniu zgodności, za każdym razem, gdy rzeczywisty obiekt jest przesuwany w obrębie objętości śledzenia, wirtualny obiekt może zostać umieszczony w nowej pozycji, obliczając translację rotacyjną między śledzonymi znacznikami a czterema odpowiadającymi im wierzchołkami siatki. Aby zamiast tego zarejestrować dynamikę chwytu, za pomocą dwustronnej taśmy na różnych punktach orientacyjnych dłoni przymocowano w sumie 24 sferyczne znaczniki odblaskowe (Rysunek 1D i Rysunek 2).

Na początku próby (Rysunek 1E), uczestnik kładzie rękę płasko na stole warsztatowym z dłonią skierowaną w dół i zamyka oczy. Eksperymentator umieszcza obiekt docelowy na stole warsztatowym przed uczestnikiem. Następnie sygnał dźwiękowy sygnalizuje uczestnikowi, aby otworzył oczy i wykonał chwyt. W naszych pokazach zadanie polega na dotarciu i uchwyceniu docelowego przedmiotu, podniesieniu go pionowo o około 10 cm, odłożeniu i przywróceniu ręki do pozycji wyjściowej. Skrypt napisany w Pythonie 3.7 steruje eksperymentem. W każdej próbie skrypt wybiera i przekazuje eksperymentatorowi bieżące ustawienia warunków (np. tożsamość obiektu i pozycjonowanie). Skrypt steruje również czasem próby, w tym sygnałami dźwiękowymi oraz początkiem i końcem nagrań przechwytywania ruchu.

Kończyny charakteryzują się nie tylko swoją pozycją w przestrzeni 3D, ale także pozą. Tak więc, aby uzyskać kompletną rekonstrukcję 3D ludzkiej ręki wykonującej prawdziwy chwyt, potrzebujemy nie tylko pozycji każdego stawu w przestrzeni 3D, ale także względnej pozycji (translacji i obrotu) każdego stawu w stosunku do jego stawu macierzystego (Rysunek 1F). Pozycje i orientacje stawów szkieletowych można wywnioskować z pozycji znaczników za pomocą kinematyki odwrotnej. Aby to zrobić, używamy tutaj solvera szkieletowego dostarczonego przez oprogramowanie QTM. Aby solver działał, musimy najpierw dostarczyć definicję szkieletu, która łączy położenie i orientację każdego połączenia z wieloma pozycjami znaczników. W ten sposób konstruowana jest definicja szkieletu, a szkielet jest łączony z danymi znacznika za pomocą wtyczki QTM Connect dla programu Maya. Tworzymy spersonalizowane definicje szkieletu dla każdego uczestnika, aby zmaksymalizować dokładność dopasowań szkieletu do danych znacznika. Dla każdego uczestnika ręcznie dopasowujemy szkielet dłoni do pojedynczej klatki danych motion capture. Po uzyskaniu definicji szkieletu specyficznej dla uczestnika, uruchamiamy solver szkieletu, aby oszacować ułożenie stawów szkieletowych dla każdej klatki każdej próby w eksperymencie.

Dla każdej klatki każdej próby w eksperymencie generujemy siatkę dłoni, która rekonstruuje aktualną pozycję dłoni za pomocą narzędzia do generowania siatki dłoni o otwartym kodzie źródłowym, DeepHandMesh28 (Rysunek 1G). DeepHandMesh to głęboka sieć kodera-dekodera, która generuje spersonalizowane siatki dłoni na podstawie obrazów. Po pierwsze, enkoder szacuje ułożenie dłoni w obrazie (tj. wspólne kąty Eulera). Następnie szacowana pozycja ręki i spersonalizowany wektor identyfikatora są wprowadzane do dekodera, który szacuje zestaw trzech dodatkowych korekt do sfałszowanej siatki szablonu. Na koniec siatka szablonu jest deformowana zgodnie z szacowanym ułożeniem dłoni i poprawkami za pomocą liniowego skórowania mieszania. Pierwszą korekcją jest korekcja szkieletu zależna od ID, za pomocą której szkielet jest dostosowywany do pozycji stawów specyficznych dla danej osoby. Pozostałe dwie korekcje to korekcje siatki, za pomocą których wierzchołki siatki są dostosowywane tak, aby lepiej reprezentowały powierzchnię dłoni uczestnika. Jedną z korekcji siatki jest korekcja siatki zależna od identyfikatora, która uwzględnia strukturę powierzchni dłoni indywidualnego uczestnika. Ostatnia korekcja siatki to korekcja wierzchołków zależna od ułożenia, która uwzględnia deformacje powierzchni dłoni spowodowane bieżącym ułożeniem dłoni.

DeepHandMesh jest trenowany przy użyciu słabego nadzoru z kluczowymi punktami połączeń 2D i mapami głębi sceny. W tym przypadku używamy tylko wstępnie wytrenowanego dekodera DeepHandMesh do generowania rekonstrukcji siatki ręcznej, zmodyfikowanych w następujący sposób (Rysunek 3). Po pierwsze, ponieważ sieć nie jest trenowana na konkretnych uczestnikach, stosowana jest ogólna korekcja siatki zależnej od identyfikatora dostarczana ze wstępnie wytrenowanym modelem (Rysunek 3A). Co więcej, korekcja szkieletu zależna od ID jest wyprowadzana przy użyciu solvera szkieletu QTM, jak opisano powyżej (Rysunek 3B). Zakłada się proporcjonalne skalowanie dłoni wraz z długością szkieletu, a grubość siatki jest równomiernie skalowana przez współczynnik wynikający ze względnego skalowania szkieletu tak, aby siatka lepiej przybliżała rozmiar dłoni uczestnika (Rysunek 3C). Ta zmodyfikowana siatka jest wprowadzana do dekodera wraz z aktualną pozycją ręki (pochodzącą z danych znacznika) oraz pozycją i orientacją 3D nadgarstka. W ten sposób dekoder oblicza bieżącą korektę zależną od pozy, stosuje wszystkie korekty i translacje rotacyjne, a następnie wyprowadza rekonstrukcję siatki 3D bieżącego ułożenia ręki w tej samej ramce współrzędnych, co siatka śledzonych obiektów 3D (Rysunek 3D).

figure-results-1
Rysunek 3: Modyfikacje wstępnie wytrenowanego dekodera DeepHandMesh. (A) Poprawiona, ogólna korekta siatki zależnej od ID. (B) Korekta szkieletu zależna od ID uzyskana za pomocą kinematyki odwrotnej w kroku 10. (C) Rozmiar siatki ręcznej jest skalowany za pomocą tego samego współczynnika, co stawy szkieletowe. (D) Ostateczna rekonstrukcja 3D obecnej pozycji dłoni za pomocą siatki. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Po zrekonstruowaniu modeli siatki 3D zarówno dla dłoni uczestnika, jak i chwytanego obiektu, obszary kontaktu ręka-obiekt można oszacować, obliczając przecięcie między siatką dłoni i obiektu (Rysunek 1H). Założenie jest takie, że prawdziwa ręka jest zdeformowana przez kontakt z powierzchnią, co oznacza, że szkielet może zbliżyć się do powierzchni, niż byłoby to możliwe, gdyby ręka była sztywna, co pozwala częściom siatki dłoni przejść przez siatkę obiektu. W rezultacie obszary kontaktu można przybliżyć jako obszary nakładania się dwóch siatek.

W szczególności, aby obliczyć te obszary nakładania się, definiujemy wierzchołki siatki obiektów, które są zawarte w objętości 3D siatki dłoni, jako stykające się z dłonią. Te wierzchołki są identyfikowane przy użyciu standardowego podejścia do śledzenia promieni45. Dla każdego wierzchołka siatki obiektu promień jest rzutowany z tego wierzchołka do dowolnego punktu 3D poza siatką ręczną. Następnie oceniamy liczbę przecięć, które występują między rzuconym promieniem a trójkątami tworzącymi powierzchnię dłoni. Jeśli liczba przecięć jest nieparzysta, wierzchołek obiektu znajduje się wewnątrz siatki ręcznej. Jeśli liczba przecięć jest parzysta, oznacza to, że wierzchołek obiektu znajduje się poza siatką ręczną. Obszary kontaktowe na powierzchni obiektu można zatem przybliżyć jako zbiór ścian trójkątów, których wszystkie wierzchołki są zawarte w siatce ręcznej. Możemy zastosować to samo uzasadnienie do wierzchołków siatki dłoni zawartych w objętości 3D siatki obiektu, aby oszacować obszary kontaktu na powierzchni dłoni. Warto zauważyć, że można również zastosować bardziej zaawansowane podejścia do operacji siatki logicznej31.

Wideo 1 pokazuje film przedstawiający rękę, śledzone punkty i wspólnie zarejestrowaną siatkę, które poruszają się obok siebie podczas jednego chwytu do wydrukowanej w 3D figurki kota. Rysunek 4A zamiast tego pokazuje pojedynczą klatkę w momencie kontaktu dłoni z obiektem od uchwytu do wydrukowanego w 3D rogalika, wraz z rekonstrukcjami siatki ręka-obiekt (Rysunek 4B) i szacowanymi obszarami kontaktu na powierzchni rogalika (Rysunek 4C).

figure-results-2
Rysunek 4: Szacowane obszary kontaktu dłoni z obiektem. (A) Śledzona ręka i przedmiot oglądane z jednej z kamer śledzących podczas chwytania. (B) Zrekonstruowana siatka ręczna i siatka śledzonych obiektów renderowana z tego samego punktu widzenia, co kamera śledząca. (C) Obszary kontaktowe na powierzchni obiektu widziane z wielu punktów widzenia. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wideo 1: Siatki rekonstrukcje dłoni i obiektu. Animacja GIF przedstawiająca dłoń, śledzone znaczniki oraz rekonstrukcje dłoni i siatki obiektów podczas pojedynczego chwytu, oglądane z tego samego punktu widzenia kamery. Kliknij tutaj, aby pobrać ten film.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Proponujemy metodę, która umożliwia oszacowanie obszarów kontaktu dla interakcji ręka-przedmiot podczas chwytów wielocyfrowych. Ponieważ pełne śledzenie całej powierzchni dłoni jest obecnie niemożliwe, proponujemy użycie rekonstrukcji siatki dłoni, której pozycja jest określana przez rzadkie kluczowe punkty na dłoni. Aby śledzić te rzadkie kluczowe punkty, nasze rozwiązanie wykorzystuje system przechwytywania ruchu klasy badawczej oparty na pasywnym śledzeniu znaczników. Oczywiście, inne systemy przechwytywania ruchu mogą być również stosowane z proponowaną metodą, pod warunkiem, że dostarczają wystarczająco dokładnych danych o położeniu 3D. Odradzamy aktywne systemy przechwytywania ruchu markerów (takie jak popularny, ale wycofany z produkcji Optotrak Certus), ponieważ wymagają one podłączenia kabli i/lub urządzeń elektronicznych do dłoni uczestników, co może ograniczać ruchy lub przynajmniej powodować mniej typowe chwyty, ponieważ uczestnicy są bardziej świadomi ułożenia swoich rąk. Rękawice śledzące ruch wykorzystujące inercyjne jednostki pomiarowe mogą być możliwe, mimo że systemy te są znane z tego, że cierpią z powodu znoszenia, mogą również ograniczać ruchy dłoni i nie pozwalać na pełny i bezpośredni kontakt powierzchni dłoni z powierzchniami przedmiotu. Komercyjne rozwiązania do śledzenia ręcznego bez znaczników (np. Leap Motion 46,47,48) mogą być również możliwe, chociaż śledzenie pozycji obiektów za pomocą samych tych systemów może nie być możliwe. Najbardziej obiecującą alternatywą dla systemu przechwytywania ruchu klasy badawczej są rozwiązania śledzenia bez znaczników o otwartym kodzie źródłowym (np. Mathis i wsp.28). W przypadku użycia z wieloma współrejestrowanymi kamerami49, takie systemy mogą potencjalnie śledzić pozycje złączy dłoni i pozycje obiektów w 3D bez potrzeby stosowania markerów, rękawic lub kabli. Te rozwiązania, jak również ten system oparty na markerach, mogą jednak cierpieć z powodu problemów z utratą danych z powodu okluzji.

Ograniczenia i kierunki na przyszłość
Ze względu na to, że rekonstrukcje dłoni uzyskane tą metodą nie będą w pełni dokładne, istnieją pewne ograniczenia co do rodzajów eksperymentów, do których metoda ta powinna być stosowana. Odchylenia w rekonstrukcjach siatki dłoni od prawdy gruntowej będą przejawiać się w odchyleniach w szacowanych obszarach kontaktu dłoni z przedmiotem. W związku z tym zastosowanie tej metody do wyprowadzenia miar bezwzględnych wymagałoby oceny wierności oszacowań obszaru kontaktu. Jednak nawet przybliżone szacunki mogą być nadal przydatne w projektach eksperymentalnych z udziałem uczestników, ponieważ potencjalne odchylenia metody prawdopodobnie wpłyną w podobny sposób na różne warunki eksperymentalne w obrębie uczestnika. W związku z tym analizy statystyczne i wnioskowanie powinny być przeprowadzane wyłącznie na podstawie takich miar, jak różnice w powierzchni kontaktu między warunkami, w których kierunek efektu będzie skorelowany z odpowiednią prawdą podstawową. W przyszłych badaniach planujemy dalszą walidację naszego podejścia, na przykład poprzez porównanie oszacowań obszaru kontaktu z termicznymi odciskami palców na obiektach pokrytych farbą termochromową.

Większość etapów przetwarzania, od zbierania danych do końcowego oszacowania obszaru kontaktu, jest w pełni zautomatyzowana, a tym samym stanowi ważny wkład w ustandaryzowaną procedurę szacowania obszaru kontaktu ręka-przedmiot. Jednak wstępne dopasowanie zindywidualizowanych szkieletów do pozycji 3D śledzonych znaczników musi być nadal wykonywane ręcznie, aby uzyskać definicję szkieletu dla każdego uczestnika. Wraz ze wzrostem liczby uczestników eksperymentu rośnie liczba pasowań ręcznych, a jest to obecnie najbardziej czasochłonny etap procedury i wymaga pewnej znajomości ręcznego montażu w oprogramowaniu Autodesk Maya. W przyszłości zamierzamy zautomatyzować ten krok, aby uniknąć wpływu człowieka na procedurę, dodając procedurę automatycznej kalibracji szkieletu.

Opisany tutaj przepływ pracy opiera się na sprzęcie i oprogramowaniu Qualisys (np. solverze szkieletu QTM). Ogranicza to obecnie dostępność naszej metody do laboratoriów, które mają podobną konfigurację. W zasadzie jednak metodę tę można zastosować do dowolnego źródła danych motion capture. Aby zwiększyć dostępność, w ramach trwających prac badamy alternatywy, które powinny uogólnić nasz przepływ pracy i sprawić, że będzie on mniej zależny od określonych licencji na sprzęt i oprogramowanie.

Innym ważnym ograniczeniem metody jest to, że w obecnej formie można ją stosować tylko do sztywnych (nieodkształcalnych) obiektów. W przyszłości ograniczenie to można przezwyciężyć za pomocą metod rejestrowania kształtu powierzchni chwytanego obiektu w miarę jego deformacji. Dodatkowo, ze względu na swój przybliżony charakter, metoda ta nie nadaje się obecnie dobrze do bardzo małych lub cienkich obiektów.

Podsumowując, integrując najnowocześniejsze śledzenie ruchu z modelowaniem powierzchni dłoni o wysokiej wierności, zapewniamy metodę szacowania obszarów kontaktu dłoni z obiektem podczas chwytania i manipulacji. W przyszłych badaniach planujemy zastosować tę metodę do badania i modelowania wizualnie kierowanych zachowań chwytania u ludzi16. Ponadto planujemy zintegrować te narzędzia ze śledzeniem ruchu gałek ocznych46, 50,51,52 oraz systemami rzeczywistości wirtualnej/rozszerzonej 53,54,55 w celu zbadania wizualnie sterowanej kontroli motorycznej ruchów rąk i oczu w rzeczywistych i wirtualnych środowiskach naturalistycznych 18,46,56,57 . Z tych powodów proponowana metoda może być interesująca dla naukowców zajmujących się percepcją dotykową58, kontrolą motoryczną i interakcją człowiek-komputer w rzeczywistości wirtualnej i rozszerzonej. Wreszcie, dokładne pomiary ludzkich zdolności chwytania mogą pomóc w projektowaniu solidnych systemów robotycznych opartych na zasadach interaktywnej percepcji 39,40,41,42,43 i mogą mieć zastosowania translacyjne w protezach kończyn górnych.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy oświadczają, że nie istnieją konkurencyjne interesy.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie zostało sfinansowane przez Deutsche Forschungsgemeinschaft (DFG, Niemiecka Fundacja Badawcza: projekt nr 222641018-SFB/TRR 135 TP C1 i IRTG-1901 "The Brain in Action") oraz przez Klaster Badawczy "The Adaptive Mind" finansowany przez Program Doskonałości Heskiego Ministerstwa Szkolnictwa Wyższego, Nauki, Badań i Sztuki. Autorzy dziękują zespołowi wsparcia Qualisys, w tym Mathiasowi Bankayowi i Jeffreyowi Thingvoldowi, za pomoc w rozwijaniu naszych metod. Autorzy dziękują również Michaeli Jeschke za upozowanie jako modelka. Wszystkie dane i skrypty analityczne do odtworzenia metody i wyników przedstawionych w manuskrypcie są dostępne na stronie Zenodo (doi: 10.5281/zenodo.7458911).

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Dystrybucja Anaconda Python (Anaconda 5.3.1 lub nowsza); https://repo.anaconda.com/archive/skrypty i funkcje zostały wygenerowane w języku Python w wersji 3.7
Autodesk MayaAutodesk, Inc.Maya2022; https://www.autodesk.com/products/maya/overviewaplikacja do grafiki komputerowej 3D.   
Blender Fundacja Blendera Blender 2.92; https://download.blender.org/release/Aplikacja do grafiki komputerowej 3D.   
Komputerowa stacja roboczaNiedotyczysystemu operacyjnego: Windows 10 lub nowszy.
DeepHandMeshMeta Platforms, Inc. (Meta Open Source)https://github.com/facebookresearch/DeepHandMeshWstępnie wyszkolone narzędzie do generowania siatki ręcznej.
Miqus M5Qualisys Abhttps://www.qualisys.com/cameras/miqus/ Pasywna kamera śledząca ruch znaczników (8 sztuk).
Kamera wideo MiqusQualisys Abhttps://www.qualisys.com/cameras/miqus-video/Kolorowa kamera wideo, zsynchronizowana z kamerami śledzącymi Miquis M5 (6 sztuk).
Repozytorium projektu N/A Dane i kod do replikacji bieżącego projektu. Repozytorium jest obecnie w budowie, ale udostępniamy prywatny link, z którego recenzenci mogą pobrać aktualną i najbardziej aktualną wersję repozytorium. Ostateczne repozytorium zostanie udostępnione publicznie po akceptacji. 
Python 3Python Software FoundationPython w wersji 3.7Python3 i skojarzone wbudowane biblioteki.
QTM Connect dla MayaQualisys Abhttps://github.com/qualisys/QTM-Connect-For-Maya Przesyłanie strumieniowe danych szkieletu, brył sztywnych i znaczników z QTM do programu Maya
Menedżer toru QTM Qualisys QualisysAbQualisys Menedżer toru 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ Oprogramowanie do przechwytywania ruchu
Qualisys SDK dla języka PythonQualisys abhttps://github.com/qualisys/qualisys_python_sdk Implementuje komunikację między QTM a Pythonem
Repozytorium danych i kodu , , ,

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23(2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898(2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081(2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027(2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564(2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219(2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218(2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49(2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245(2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849(2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861(2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634(2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699(2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230(2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13(2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Multi Digit GraspingContact Region EstimationHand Mesh ReconstructionMarker Based Tracking3D Object MeshHuman GraspingMotion Tracking CamerasJoint Euler AnglesHaptic PerceptionMotor Control

Related Articles