Name: Ocena obszarów kontaktu między rękami a przedmiotami podczas chwytania wielocyfrowego przez człowieka (Wideo) | JoVE Journal
Uploaded: 2023-04-21T14:00:00.000+00:00
Duration: 9 min 41 s
Description: Poznaj metodę oceny obszarów kontaktu dłoni z przedmiotami podczas chwytania wielocyfrowego. Technika łączy przechwytywanie ruchu ze znacznikami i głębokie uczenie, umożliwiając szczegółową analizę mechaniki chwytania człowieka.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie zostało sfinansowane przez Deutsche Forschungsgemeinschaft (DFG, Niemiecka Fundacja Badawcza: projekt nr 222641018-SFB/TRR 135 TP C1 i IRTG-1901 "The Brain in Action") oraz przez Klaster Badawczy "The Adaptive Mind" finansowany przez Program Doskonałości Heskiego Ministerstwa Szkolnictwa Wyższego, Nauki, Badań i Sztuki. Autorzy dziękują zespołowi wsparcia Qualisys, w tym Mathiasowi Bankayowi i Jeffreyowi Thingvoldowi, za pomoc w rozwijaniu naszych metod. Autorzy dziękują również Michaeli Jeschke za upozowanie jako modelka. Wszystkie dane i skrypty analityczne do odtworzenia metody i wyników przedstawionych w manuskrypcie są dostępne na stronie Zenodo (doi: 10.5281/zenodo.7458911).

Przed rozpoczęciem eksperymentu uczestnicy muszą wyrazić świadomą zgodę zgodnie z wytycznymi instytucjonalnymi oraz Deklaracją Helsińską. Wszystkie opisane tutaj protokoły zostały zatwierdzone przez lokalną komisję etyki Uniwersytetu Justusa Liebiga w Gießen (LEK-FB06).
1. Instalacja całego niezbędnego oprogramowania
<ol>
	<li>Pobierz repozytorium projektu z repozytorium danych i kodu (Data and Code Repository).</li>
	<li>Zainstaluj oprogramowanie wymienione w tabeli materiałów (zwróć uwagę na wersje oprogramowania i skorzystaj z linków w celu uzyskania opcji zakupu oraz instrukcji).</li>
	<li>Wewnątrz repozytorium danych i kodu otwórz okno wiersza poleceń i uruchom następującą komendę: 
	conda env create -f environment.yml</li>
	<li>Pobierz i zainstaluj wstępnie wytrenowaną instancję DeepHandMesh29, postępując zgodnie z instrukcjami zamieszczonymi pod adresem https://github.com/facebookresearch/DeepHandMesh.
	<ol>
		<li>Umieść DeepHandMesh w folderze „deephandmesh” w repozytorium danych i kodu. Zastąp plik „main/model.py” plikiem model.py zawartym w repozytorium danych i kodu.</li>
	</ol>
	</li>
</ol>
2. Przygotowanie systemu przechwytywania ruchu
<ol>
	<li>Ustaw stół warsztatowy w obrębie objętości śledzenia obrazowanej z wielu kątów przez kamery do śledzenia ruchu, rozmieszczone na ramie otaczającej przestrzeń roboczą (Rysunek 1A). Przygotuj markery refleksyjne, przyklejając dwustronną taśmę klejącą do podstawy każdego markera.</li>
	<li>Uruchom program Qualisys Track Manager (QTM) jako Administrator. 
	UWAGA: Uruchomienie programu QTM jako Administrator jest niezbędne, aby Python SDK mógł przejąć kontrolę nad interfejsem QTM. Zalecamy zawsze uruchamianie programu QTM jako Administrator.</li>
</ol>
3. Kalibracja kamer
<ol>
	<li>Umieść L-kształtny obiekt kalibracyjny w obszarze śledzenia.</li>
	<li>W programie QTM kliknij Calibrate w menu Capture lub naciśnij ikonę różdżki na pasku narzędzi Capture. Poczekaj na otwarcie okna kalibracji. Wybierz czas trwania kalibracji i naciśnij OK.</li>
	<li>Przesuwaj różdżkę kalibracyjną w obrębie obszaru śledzenia przez cały czas trwania kalibracji. Naciśnij przycisk Export i określ ścieżkę pliku, w której ma zostać wyeksportowana kalibracja jako plik tekstowy. Zatwierdź kalibrację, naciskając OK.</li>
</ol>
4. Tworzenie obiektu bodźca
<ol>
	<li>Stwórz wirtualny trójwymiarowy model obiektu w formie siatki wielokątów. Wykorzystaj drukarkę 3D do wykonania fizycznej repliki modelu obiektu. 
	​UWAGA: Repozytorium danych w kroku 1.1 zawiera przykładowe obiekty w formatach plików STL oraz Wavefront OBJ. Obiekty w formacie STL są rozmaitościami i są gotowe do druku 3D.</li>
</ol>
5. Przygotowanie obiektu bodźca
<ol>
	<li>Przymocuj cztery niepłaszczyznowe markery odblaskowe do powierzchni badanego obiektu. Umieść obiekt w obszarze śledzenia.</li>
	<li>W repozytorium projektu uruchom skrypt Python „Acquire_Object.py”. Postępuj zgodnie z instrukcjami wyświetlanymi przez skrypt, aby przeprowadzić 1 s rejestrację trójwymiarowej pozycji markerów obiektu.</li>
	<li>Zaznacz wszystkie markery ciała sztywnego. Kliknij prawym przyciskiem myszy i wybierz Define Rigid Body (6DOF) | Current Frame. Wprowadź nazwę ciała sztywnego i naciśnij OK.</li>
	<li>W menu File wybierz Export | To TSV. W nowym oknie w ustawieniach Data Type zaznacz pola 3D, 6D oraz Skeleton. Zaznacz wszystkie pola w ustawieniach General. Naciśnij OK, a następnie Save.</li>
</ol>
6. Współrejestracja rzeczywistej wersji obiektu bodźca oraz jego modelu siatkowego
<ol>
	<li>Otwórz program Blender i przejdź do przestrzeni roboczej Scripting. Otwórz plik „Object_CoRegistration.py” i naciśnij Run. Przejdź do przestrzeni roboczej Layout i naciśnij klawisz n, aby przełączyć widoczność paska bocznego. W pasku bocznym przejdź do karty Custom.</li>
	<li>Wybierz plik .obj przeznaczony do korejestracji i naciśnij przycisk Load Object.</li>
	<li>Wybierz plik trajektorii wyeksportowany w kroku 3.3, a następnie określ nazwy markerów przymocowanych do obiektu sztywnego, oddzielając je średnikami. W polu Marker header określ numer linii w pliku trajektorii, która zawiera nazwy kolumn danych (odliczanie zaczyna się od 0).</li>
	<li>Wybierz odpowiadający mu plik ciała sztywnego z sufiksem 6D i określ nazwę ciała sztywnego zdefiniowaną w kroku 4.1. W polu 6D header określ numer linii w pliku ciała sztywnego, która zawiera nazwy kolumn danych.</li>
	<li>Naciśnij Load Markers. Przesuń i obróć obiekt Markers i/lub obiekt Object, aby je wyrównać. Określ plik wyjściowy siatki i naciśnij Run Coregistration. Operacja ta wygeneruje plik .obj zawierający skorejestrowaną siatkę bodźca.</li>
</ol>
7. Umieszczanie markerów na dłoniach
<ol>
	<li>Przymocuj 24 sferyczne markery odblaskowe do różnych punktów orientacyjnych na dłoni uczestnika, używając dwustronnej taśmy. 
	UWAGA: Dokładne rozmieszczenie markerów przedstawiono na Rysunku 2.
	<ol>
		<li>Umieść markery centralnie na opuszkach palców oraz na stawach międzyprzypalcowych dalszych, stawach międzyprzypalcowych bliższych i stawach śródciupustnych palca wskazującego, środkowego, serdecznego i małego.</li>
		<li>W przypadku kciuka umieść po jednym markerze na opuszce oraz na stawie nadgarstkowo-śródpaznokciowym, a także po parze markerów na stawach śródciupustnych i międzyprzypalcowych. 
		​UWAGA: Pary markerów te muszą być przesunięte w przeciwnych kierunkach prostopadle do głównej osi kciuka; są one niezbędne do oszacowania orientacji kciuka.</li>
		<li>Na koniec umieść markery w centrum nadgarstka oraz na stawie łódkowato-trapezowo-kościowym.</li>
	</ol>
	</li>
</ol>
<img alt="Schemat konfiguracji systemu przechwytywania ruchu prawej ręki; oznaczone punkty markerów do śledzenia stawów w biomechanice." class="xfigimg" src="/files/ftp_upload/64877/64877fig2v2.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 2"> 
Rycina 2: Rozmieszczenie markerów na dłoni uczestnika. Skrót: RH = prawa ręka. <a href="https://www.jove.com/files/ftp_upload/64877/64877fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
8. Pozyskiwanie pojedynczej próby
<ol>
	<li>Poproś uczestnika o położenie dłoni płasko na blacie roboczym wnętrzem do dołu i zamknięcie oczu. Umieść obiekt bodźca na blacie przed uczestnikiem.</li>
	<li>Podczas działania systemu QTM uruchom skrypt Pythona „Single_Trial_Acquisition.py” znajdujący się w repozytorium projektu. Postępuj zgodnie z instrukcjami wyświetlanymi przez skrypt, aby zarejestrować pojedynczą próbę chwytania obiektu bodźca przez uczestnika. 
	UWAGA: Skrypt wygeneruje sygnał dźwiękowy. Będzie on sygnałem dla uczestnika do otwarcia oczu i wykonania chwytu. W naszych demonstracjach zadaniem jest sięgnięcie i chwycenie obiektu docelowego, podniesienie go pionowo o około 10 cm, odłożenie go i powrót dłoni do pozycji wyjściowej.</li>
</ol>
9. Etykietowanie markerów
<ol>
	<li>W module QTM przeciągnij poszczególne trajektorie markerów z grupy Unidentified (Niezidentyfikowane) do grupy Labeled (Oznaczone) i nazwij je zgodnie z konwencją nazewnictwa przedstawioną na Rysunku 2.</li>
	<li>Zaznacz wszystkie markery przymocowane do dłoni, kliknij prawym przyciskiem myszy i wybierz opcję Generate AIM model from selection (Generuj model AIM z zaznaczenia). W nowym oknie wybierz Create new model based on Marker connections from existing AIM model (Utwórz nowy model na podstawie połączeń markerów z istniejącego modelu AIM) i kliknij przycisk Next (Dalej).</li>
	<li>Wybierz definicję modelu RH_FH i kliknij Open (Otwórz). Kliknij Next (Dalej), wprowadź nazwę modelu AIM i kliknij OK. Na koniec kliknij Finish (Zakończ), aby utworzyć model AIM dla dłoni uczestnika, który będzie służył do automatycznej identyfikacji markerów w kolejnych próbach z tym samym uczestnikiem.</li>
</ol>
10. Tworzenie spersonalizowanej definicji szkieletu dla uczestnika
<ol>
	<li>W programie QTM przejdź do menu Play i wybierz opcję Play with Real-Time Output.</li>
	<li>Uruchom program Maya. Przejdź do zakładki QTM Connect i kliknij ikonę Connect to QTM. W nowym oknie zaznacz opcję Markers i kliknij Connect. Następnie kliknij ikonę Play w zakładce QTM Connect.</li>
	<li>Zaznacz z Shiftem wszystkie markery dłoni i kliknij ikonę Wash Locators. Wybierz wyczyszczone markery dłoni i naciśnij Ctrl + G. Spowoduje to utworzenie węzła grupy. Nazwij grupę Markers.</li>
	<li>Zaznacz wszystkie markery dłoni. W menu Modify kliknij Search and Replace Names. Wyszukaj prefiks RH_ i usuń go z nazw markerów.</li>
	<li>Kliknij ikonę Import Solver w zakładce QTM Connect. Załaduj definicję szkieletu „RH_FH.xml”.</li>
	<li>W menu Windows przejdź do General Editors | Namespace Editor. W nowym oknie kliknij :(root) i naciśnij New, aby utworzyć nową przestrzeń nazw RH. Kliknij przestrzeń nazw RH, naciśnij New i nazwij nową przestrzeń nazw ModelPose.</li>
	<li>Zaznacz wszystkie markery, kliknij przestrzeń nazw RH i naciśnij Add Selected, aby dodać markery do przestrzeni nazw RH.</li>
	<li>Zaznacz kości szkieletu, kliknij przestrzeń nazw ModelPose i naciśnij Add Selected, aby dodać kości szkieletu do przestrzeni nazw ModelPose.</li>
	<li>Obróć, przesuń i przeskaluj szkielet tak, aby dopasować go do danych z markerów. Następnie dla każdego stawu szkieletu z osobna zaznacz z Shiftem staw oraz powiązane z nim markery i kliknij ikonę Add Attachments. Na koniec kliknij ikonę Export Solver, aby wyeksportować nową definicję szkieletu do pliku XML, który można załadować w QTM (patrz następny krok). 
	UWAGA: Ten krok nie jest ściśle wymagany, ale jest przydatny dla zwiększenia dokładności dopasowania szkieletu do danych z markerów. Więcej informacji znajduje się w przewodniku QSolverQuickstartGuide na stronie https://github.com/qualisys/QTM-Connect-For-Maya.</li>
</ol>
11. Rekonstrukcja pozycji stawów szkieletu
<ol>
	<li>W programie QTM otwórz ustawienia projektu, klikając ikonę koła zębatego. W panelu bocznym przejdź do sekcji Skeleton Solver i naciśnij Load, aby wybrać plik definicji szkieletu. Ustaw Scale Factor na 100% i naciśnij Apply.</li>
	<li>Przejdź do sekcji TSV Export i w ustawieniach Data Type zaznacz pola 3D, 6D oraz Skeleton. Zaznacz wszystkie pola w ustawieniach General. Naciśnij Apply i zamknij ustawienia projektu.</li>
	<li>Naciśnij ikonę Reprocess, zaznacz pola Solve Skeletons oraz Export to TSV file i naciśnij OK.</li>
</ol>
12. Generowanie rekonstrukcji siatki dłoni
<ol>
	<li>Otwórz okno wiersza poleceń w repozytorium projektu i aktywuj środowisko conda, wykonując polecenie: 
	conda activate contact-regions</li>
	<li>Następnie wykonaj poniższe polecenie i postępuj zgodnie z instrukcjami podawanymi przez skrypt, aby dla każdej klatki próby wygenerować siatkę dłoni rekonstruującą aktualną pozę dłoni. 
	python Hand_Mesh_Reconstruction.py --gpu 0 --test_epoch 4 
	UWAGA: Rekonstrukcje tych siatek są generowane automatycznie przy użyciu zmodyfikowanej wersji narzędzia do generowania siatek dłoni DeepHandMesh29, które jest narzędziem otwartoźródłowym i przeszkolonym.</li>
</ol>
13. Generowanie szacunków obszaru kontaktu dłoni z obiektem
<ol>
	<li>Otwórz okno wiersza poleceń w repozytorium projektu, wykonaj poniższą komendę i postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wygenerować szacunki obszarów kontaktu dłoni i obiektu poprzez obliczenie części wspólnej siatek dłoni i obiektu. 
	blender --background --python "Contact_Region_Estimation.py"</li>
</ol>

Autorzy oświadczają, że nie istnieją konkurencyjne interesy.

Proponujemy metodę, która umożliwia oszacowanie obszarów kontaktu dla interakcji ręka-przedmiot podczas chwytów wielocyfrowych. Ponieważ pełne śledzenie całej powierzchni dłoni jest obecnie niemożliwe, proponujemy użycie rekonstrukcji siatki dłoni, której pozycja jest określana przez rzadkie kluczowe punkty na dłoni. Aby śledzić te rzadkie kluczowe punkty, nasze rozwiązanie wykorzystuje system przechwytywania ruchu klasy badawczej oparty na pasywnym śledzeniu znaczników. Oczywiście, inne systemy przechwytywania ruchu mogą być również stosowane z proponowaną metodą, pod warunkiem, że dostarczają wystarczająco dokładnych danych o położeniu 3D. Odradzamy aktywne systemy przechwytywania ruchu markerów (takie jak popularny, ale wycofany z produkcji Optotrak Certus), ponieważ wymagają one podłączenia kabli i/lub urządzeń elektronicznych do dłoni uczestników, co może ograniczać ruchy lub przynajmniej powodować mniej typowe chwyty, ponieważ uczestnicy są bardziej świadomi ułożenia swoich rąk. Rękawice śledzące ruch wykorzystujące inercyjne jednostki pomiarowe mogą być możliwe, mimo że systemy te są znane z tego, że cierpią z powodu znoszenia, mogą również ograniczać ruchy dłoni i nie pozwalać na pełny i bezpośredni kontakt powierzchni dłoni z powierzchniami przedmiotu. Komercyjne rozwiązania do śledzenia ręcznego bez znaczników (np. Leap Motion 46,47,48) mogą być również możliwe, chociaż śledzenie pozycji obiektów za pomocą samych tych systemów może nie być możliwe. Najbardziej obiecującą alternatywą dla systemu przechwytywania ruchu klasy badawczej są rozwiązania śledzenia bez znaczników o otwartym kodzie źródłowym (np. Mathis i wsp.28). W przypadku użycia z wieloma współrejestrowanymi kamerami49, takie systemy mogą potencjalnie śledzić pozycje złączy dłoni i pozycje obiektów w 3D bez potrzeby stosowania markerów, rękawic lub kabli. Te rozwiązania, jak również ten system oparty na markerach, mogą jednak cierpieć z powodu problemów z utratą danych z powodu okluzji.
Ograniczenia i kierunki na przyszłość Ze względu na to, że rekonstrukcje dłoni uzyskane tą metodą nie będą w pełni dokładne, istnieją pewne ograniczenia co do rodzajów eksperymentów, do których metoda ta powinna być stosowana. Odchylenia w rekonstrukcjach siatki dłoni od prawdy gruntowej będą przejawiać się w odchyleniach w szacowanych obszarach kontaktu dłoni z przedmiotem. W związku z tym zastosowanie tej metody do wyprowadzenia miar bezwzględnych wymagałoby oceny wierności oszacowań obszaru kontaktu. Jednak nawet przybliżone szacunki mogą być nadal przydatne w projektach eksperymentalnych z udziałem uczestników, ponieważ potencjalne odchylenia metody prawdopodobnie wpłyną w podobny sposób na różne warunki eksperymentalne w obrębie uczestnika. W związku z tym analizy statystyczne i wnioskowanie powinny być przeprowadzane wyłącznie na podstawie takich miar, jak różnice w powierzchni kontaktu między warunkami, w których kierunek efektu będzie skorelowany z odpowiednią prawdą podstawową. W przyszłych badaniach planujemy dalszą walidację naszego podejścia, na przykład poprzez porównanie oszacowań obszaru kontaktu z termicznymi odciskami palców na obiektach pokrytych farbą termochromową.
Większość etapów przetwarzania, od zbierania danych do końcowego oszacowania obszaru kontaktu, jest w pełni zautomatyzowana, a tym samym stanowi ważny wkład w ustandaryzowaną procedurę szacowania obszaru kontaktu ręka-przedmiot. Jednak wstępne dopasowanie zindywidualizowanych szkieletów do pozycji 3D śledzonych znaczników musi być nadal wykonywane ręcznie, aby uzyskać definicję szkieletu dla każdego uczestnika. Wraz ze wzrostem liczby uczestników eksperymentu rośnie liczba pasowań ręcznych, a jest to obecnie najbardziej czasochłonny etap procedury i wymaga pewnej znajomości ręcznego montażu w oprogramowaniu Autodesk Maya. W przyszłości zamierzamy zautomatyzować ten krok, aby uniknąć wpływu człowieka na procedurę, dodając procedurę automatycznej kalibracji szkieletu.
Opisany tutaj przepływ pracy opiera się na sprzęcie i oprogramowaniu Qualisys (np. solverze szkieletu QTM). Ogranicza to obecnie dostępność naszej metody do laboratoriów, które mają podobną konfigurację. W zasadzie jednak metodę tę można zastosować do dowolnego źródła danych motion capture. Aby zwiększyć dostępność, w ramach trwających prac badamy alternatywy, które powinny uogólnić nasz przepływ pracy i sprawić, że będzie on mniej zależny od określonych licencji na sprzęt i oprogramowanie.
Innym ważnym ograniczeniem metody jest to, że w obecnej formie można ją stosować tylko do sztywnych (nieodkształcalnych) obiektów. W przyszłości ograniczenie to można przezwyciężyć za pomocą metod rejestrowania kształtu powierzchni chwytanego obiektu w miarę jego deformacji. Dodatkowo, ze względu na swój przybliżony charakter, metoda ta nie nadaje się obecnie dobrze do bardzo małych lub cienkich obiektów.
Podsumowując, integrując najnowocześniejsze śledzenie ruchu z modelowaniem powierzchni dłoni o wysokiej wierności, zapewniamy metodę szacowania obszarów kontaktu dłoni z obiektem podczas chwytania i manipulacji. W przyszłych badaniach planujemy zastosować tę metodę do badania i modelowania wizualnie kierowanych zachowań chwytania u ludzi16. Ponadto planujemy zintegrować te narzędzia ze śledzeniem ruchu gałek ocznych46, 50,51,52 oraz systemami rzeczywistości wirtualnej/rozszerzonej 53,54,55 w celu zbadania wizualnie sterowanej kontroli motorycznej ruchów rąk i oczu w rzeczywistych i wirtualnych środowiskach naturalistycznych 18,46,56,57 . Z tych powodów proponowana metoda może być interesująca dla naukowców zajmujących się percepcją dotykową58, kontrolą motoryczną i interakcją człowiek-komputer w rzeczywistości wirtualnej i rozszerzonej. Wreszcie, dokładne pomiary ludzkich zdolności chwytania mogą pomóc w projektowaniu solidnych systemów robotycznych opartych na zasadach interaktywnej percepcji 39,40,41,42,43 i mogą mieć zastosowania translacyjne w protezach kończyn górnych.

Zdolność do chwytania i manipulowania przedmiotami jest kluczową umiejętnością, która pozwala ludziom dostosowywać otoczenie do swoich pragnień i potrzeb. Jednak skuteczne sterowanie wielostawowymi dłońmi jest trudnym zadaniem, wymagającym zaawansowanego systemu kontroli. Ten system sterowania motorycznego jest kierowany przez kilka form sygnałów sensorycznych, wśród których najważniejszy jest wzrok. Dzięki wzrokowi ludzie mogą identyfikować obiekty w otoczeniu, szacować ich położenie oraz właściwości fizyczne, a następnie z łatwością do nich sięgać, chwytać je i nimi manipulować. Zrozumienie złożonego systemu łączącego sygnały wejściowe z siatkówki oka z poleceniami ruchowymi sterującymi dłońmi jest kluczowym wyzwaniem neuronauki sensoryczno-motorycznej. Aby modelować, przewidywać i rozumieć działanie tego systemu, musimy najpierw być w stanie zbadać go szczegółowo. Wymaga to wysokiej precyzji pomiarów zarówno bodźców wzrokowych, jak i ruchów dłoni.
Dotychczasowa technologia śledzenia ruchu nakładała szereg ograniczeń na badania nad ludzkim chwytaniem. Na przykład systemy wymagające przymocowania kabli do dłoni uczestników1,2 mają tendencję do ograniczania zakresu ruchów palców, co może potencjalnie zmieniać ruchy chwytne lub same pomiary. Mimo takich ograniczeń, wcześniejsze badania pozwoliły zidentyfikować kilka czynników wpływających na chwytanie sterowane wzrokowo. Niektóre z tych czynników to kształt obiektu3,4,5,6, chropowatość powierzchni7,8,9 lub orientacja obiektu względem dłoni4,8,10. Jednak aby pokonać wcześniejsze ograniczenia technologiczne, większość tych badań wykorzystywała proste bodźce i wysoce ograniczone zadania, koncentrując się tym samym głównie na pojedynczych czynnikach3,4,6,7,10, chwytach precyzyjnych dwupalcowych3,4,6,9,11,12,13,14,15,16,17,18, pojedynczych obiektach19 lub bardzo prostych kształtach 2D20,21. Nie wiadomo, w jaki sposób wcześniejsze wyniki generalizują się poza tak zredukowanymi i sztucznymi warunkami laboratoryjnymi. Ponadto pomiar kontaktu dłoni z obiektem jest często sprowadzany do szacowania punktów kontaktu palców22. Takie uproszczenie może być odpowiednie do opisania niewielkiego podzbioru chwytów, w których tylko opuszki palców stykają się z obiektem. Jednak w większości rzeczywistych chwytów z obiektem kontaktują się rozległe obszary palców i wnętrza dłoni. Co więcej, niedawne badanie23 wykazało, przy użyciu rękawicy haptycznej, że obiekty mogą być rozpoznawane na podstawie tego, jak ich powierzchnia oddziałuje na dłoń. Podkreśla to znaczenie badania rozległych obszarów kontaktu między dłońmi a chwytanymi obiektami, a nie tylko punktów kontaktu między obiektami a opuszkami palców22.
Ostatnie postępy w przechwytywaniu ruchu i 3D modelowaniu dłoni pozwoliły nam przekroczyć wcześniejsze ograniczenia i badać chwytanie w pełnej jego złożoności. Pasywne śledzenie ruchu oparte na markerach jest obecnie dostępne dzięki markerom o rozmiarach milimetrowych, które można przymocować do grzbietu dłoni uczestnika w celu śledzenia ruchów stawów24. Co więcej, algorytmy automatycznej identyfikacji markerów dla systemów markerowych są obecnie na tyle odporne, że niemal całkowicie eliminują potrzebę rozległego, ręcznego przetwarzania danych markerowych po pomiarach25,26,27. Rozwiązania bezmarkerowe osiągają również imponujący poziom wydajności w śledzeniu części ciała zwierząt na nagraniach wideo28. Metody śledzenia ruchu te pozwalają zatem wreszcie na niezawodne i nieinwazyjne pomiary złożonych ruchów wielopalczastych dłoni24. Takie pomiary mogą dostarczyć informacji o kinematyce stawów i umożliwić oszacowanie punktów styku między dłonią a obiektem. Dodatkowo w ostatnich latach środowisko wizji komputerowej zajmowało się problemem konstruowania modeli ludzkich dłoni, które potrafią odwzorować deformacje tkanek miękkich podczas chwytania obiektów, a nawet podczas kontaktu między poszczególnymi częściami dłoni29,30,31,32. Takie rekonstrukcje siatek 3D mogą być wyprowadzane z różnych typów danych, takich jak nagrania wideo33,34, stawy szkieletowe (pochodzące z trackingu opartego na markerach35 lub bezmarkerowego36) oraz obrazy głębi37. Pierwszy kluczowy postęp w tej dziedzinie został dokonany przez Romero i współpracowników38, którzy opracowali parametryczny model dłoni (MANO) na podstawie ponad 1000 skanów dłoni od 31 osób w różnych pozach. Model ten zawiera parametry zarówno dla pozy, jak i kształtu dłoni, co ułatwia regresję z różnych źródeł danych do pełnej rekonstrukcji dłoni. Nowsze rozwiązanie DeepHandMesh29 opiera się na tym podejściu, konstruując zparametryzowany model za pomocą głębokiego uczenia i dodając funkcję unikania przenikania, co dokładniej oddaje fizyczne interakcje między częściami dłoni. Dzięki połączeniu takich rekonstrukcji siatek dłoni z 3D śledzonymi siatkami obiektów możliwe jest obecnie szacowanie obszarów kontaktu nie tylko na powierzchni obiektów32, ale także na powierzchni dłoni.
W niniejszej pracy proponujemy schemat postępowania, który łączy wysokowierność śledzenie obiektów i stawów dłoni z nowatorskimi algorytmami rekonstrukcji siatki dłoni. Metoda ta pozwala na uzyskanie szczegółowych map powierzchni kontaktu dłoni z obiektem. Pomiary te pomogą neurobiologom zajmującym się sensoromotoryką w rozszerzeniu teoretycznego rozumienia procesu chwytania sterowanego wzrokowo u ludzi. Ponadto metoda ta może być przydatna badaczom w dziedzinach pokrewnych. Na przykład badacze ergonomii mogą wykorzystać tę metodę do konstruowania lepszych systemów interfejsu człowiek-maszyna w rzeczywistości wirtualnej i rozszerzonej18. Wysokowierne pomiary zachowań chwytania u ludzi mogą również pomóc robotykom w projektowaniu inspirowanych ludźmi systemów chwytania robotycznego w oparciu o zasady percepcji interaktywnej39,40,41,42,43. Mamy zatem nadzieję, że metoda ta przyczyni się do rozwoju badań nad chwytaniem w dziedzinach neuronauki i inżynierii – od szczątkowych opisów zadań o wysokim stopniu ograniczeń, po pełniejszą charakterystykę naturalnych zachowań chwytania z udziałem złożonych obiektów i zadań z życia codziennego. Ogólne podejście przedstawiono na Rysunku 1.
<img alt="Schemat konfiguracji systemu przechwytywania ruchu; modelowanie 3D, markery dłoni, obliczenia siatki, szacowanie kontaktu." class="xfigimg" src="/files/ftp_upload/64877/64877fig01.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 1"> 
Rysunek 1: Kluczowe etapy proponowanej metody. (A) Kamery systemu przechwytywania ruchu obrazują stół warsztatowy pod różnymi kątami. (B) Obiekt stymulujący jest drukowany w 3D na podstawie triangulowanego modelu siatki. (C) Cztery sferyczne markery refleksyjne są przyklejane do powierzchni rzeczywistego obiektu. Półautomatyczna procedura identyfikuje cztery odpowiadające im punkty na powierzchni obiektu w formie siatki. Ta odpowiedniość pozwala na rototranslację modelu siatki do śledzonej pozycji 3D rzeczywistego obiektu. (D) Markery refleksyjne są mocowane do różnych punktów orientacyjnych na grzbiecie dłoni uczestnika za pomocą dwustronnej taśmy klejącej. (E) System przechwytywania ruchu rejestruje trajektorie śledzonego obiektu i markerów dłoni w przestrzeni 3D podczas jednej próby. (F) Szkielet dłoni specyficzny dla uczestnika jest konstruowany przy użyciu oprogramowania do komputerowej grafiki 3D. Następnie pozy stawów szkieletowych są szacowane dla każdej klatki każdej próby w eksperymencie poprzez kinematykę odwrotną. (G) Pozy stawów są wprowadzane do zmodyfikowanej wersji DeepHandMesh29, która generuje szacowaną siatkę 3D dłoni w aktualnej pozycji i orientacji 3D. (H) Na koniec wykorzystujemy przecięcie siatek do obliczenia obszarów kontaktu dłoni z obiektem. <a href="https://www.jove.com/files/ftp_upload/64877/64877fig01large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>

<table><tbody><tr><td>Dystrybucja Anaconda Python&nbsp;</td><td></td><td>(Anaconda 5.3.1 lub nowsza); https://repo.anaconda.com/archive/</td> <td>skrypty i funkcje zostały wygenerowane w języku Python w wersji 3.7</td></tr><tr><td>Autodesk Maya</td><td>Autodesk, Inc.</td><td>Maya2022; https://www.autodesk.com/products/maya/overview</td><td>aplikacja do grafiki komputerowej 3D.&nbsp; &nbsp;</td></tr><tr><td>Blender&nbsp;</td><td>Fundacja Blendera&nbsp;</td><td>Blender 2.92; https://download.blender.org/release/</td> <td>Aplikacja do grafiki komputerowej 3D.&nbsp; &nbsp;</td></tr><tr><td>Komputerowa stacja robocza</td><td>Nie</td><td>dotyczy</td><td>systemu operacyjnego: Windows 10 lub nowszy.</td></tr><tr><td>DeepHandMesh</td><td>Meta Platforms, Inc. (Meta Open Source)</td><td>https://github.com/facebookresearch/DeepHandMesh</td><td>Wstępnie wyszkolone narzędzie do generowania siatki ręcznej.</td></tr><tr><td>Miqus M5</td><td>Qualisys Ab</td><td>https://www.qualisys.com/cameras/miqus/&nbsp;</td><td>Pasywna kamera śledząca ruch znaczników (8 sztuk).</td></tr><tr><td>Kamera wideo Miqus</td><td>Qualisys Ab</td><td>https://www.qualisys.com/cameras/miqus-video/</td> <td>Kolorowa kamera wideo, zsynchronizowana z kamerami śledzącymi Miquis M5 (6 sztuk).</td></tr><tr><td>Repozytorium projektu&nbsp;</td>Repozytorium danych i kodu <td>N/A</td><td>&nbsp;</td><td>Dane i kod do replikacji bieżącego projektu. Repozytorium jest obecnie w budowie, ale udostępniamy prywatny link, z którego recenzenci mogą pobrać aktualną i najbardziej aktualną wersję repozytorium. Ostateczne repozytorium zostanie udostępnione publicznie po akceptacji.&nbsp;</td></tr><tr><td>Python 3</td>, <td>Python Software Foundation</td>, <td>Python w wersji 3.7</td>, <td>Python3 i skojarzone wbudowane biblioteki.</td></tr><tr><td>QTM Connect dla Maya</td><td>Qualisys Ab</td><td>https://github.com/qualisys/QTM-Connect-For-Maya&nbsp;</td><td>Przesyłanie strumieniowe danych szkieletu, brył sztywnych i znaczników z QTM do programu Maya</td></tr><tr><td>Menedżer toru QTM Qualisys Qualisys</td><td>Ab</td><td>Qualisys Menedżer toru 2021.2; https://www.qualisys.com/software/qualisys-track-manager/&nbsp;</td><td>Oprogramowanie do przechwytywania ruchu</td></tr><tr><td>Qualisys SDK dla języka Python</td><td>Qualisys ab</td><td>https://github.com/qualisys/qualisys_python_sdk&nbsp;</td><td>Implementuje komunikację między QTM a Pythonem</td></tr></tbody></table>

ocena obszarów kontaktu między rękami a przedmiotami podczas chwytania wielocyfrowego przez człowieka

Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping

Aby skutecznie uchwycić obiekt, musimy wybrać odpowiednie obszary kontaktu dla naszych dłoni na powierzchni obiektu. Identyfikacja takich regionów jest jednak trudna. W tym artykule opisano proces pracy służący do szacowania regionów kontaktu na podstawie danych śledzenia opartych na znacznikach. Uczestnicy chwytają rzeczywiste obiekty, podczas gdy my śledzimy pozycję 3D zarówno obiektów, jak i dłoni, w tym stawów palców. Najpierw określamy wspólne kąty Eulera na podstawie wybranych śledzonych znaczników umieszczonych na grzbiecie dłoni. Następnie wykorzystujemy najnowocześniejsze algorytmy rekonstrukcji siatki dłoni, aby wygenerować siatkowy model dłoni uczestnika w aktualnej pozie i pozycji 3D. 
Korzystanie z obiektów, które zostały wydrukowane w 3D lub zeskanowane w 3D - a więc są dostępne zarówno jako rzeczywiste obiekty, jak i dane siatki - pozwala na jednoczesne rejestrowanie siatki dłoni i obiektów. To z kolei pozwala na oszacowanie przybliżonych obszarów kontaktu poprzez obliczenie przecięć między siatką ręczną a współrejestrowaną siatką obiektów 3D. Metoda ta może być stosowana do oszacowania, gdzie i jak ludzie chwytają przedmioty w różnych warunkach. W związku z tym metoda ta może być interesująca dla naukowców zajmujących się percepcją wzrokową i dotykową, kontrolą motoryczną, interakcją człowiek-komputer w rzeczywistości wirtualnej i rozszerzonej oraz robotyką.

Pierwszym wymaganiem dla proponowanej metody jest system do dokładnego śledzenia pozycji obiektów 3D i dłoni. Specyficzna konfiguracja przedstawiona jest na Rysunku 1A i wykorzystuje sprzęt oraz oprogramowanie firmy Qualisys zajmującej się systemami przechwytywania ruchu. Wewnątrz obszaru śledzenia (100 cm x 100 cm x 100 cm) ustawiamy stół warsztatowy, który jest obrazowany z wielu kątów przez osiem kamer śledzących i sześć kamer wideo rozmieszczonych na sześcianowej ramie otaczającej przestrzeń roboczą. Kamery śledzące monitorują pozycję 3D markerów refleksyjnych wewnątrz obszaru śledzenia z częstotliwością 180 frames/s i z podmilimetrową rozdzielczością przestrzenną 3D. Stosujemy 4 mm markery refleksyjne, które są mocowane do obiektów i dłoni za pomocą przyjaznej dla skóry dwustronnej taśmy klejącej. Pozycje markerów w 3D są przetwarzane przez oprogramowanie do przechwytywania ruchu. W sekcji dyskusji omówiono również alternatywne systemy przechwytywania ruchu, które mogłyby zostać zastosowane w proponowanej metodzie.
Aby uzyskać dokładne rekonstrukcje 3D rzeczywistych obiektów będących chwytanych i manipulowanych, proponujemy dwa rozwiązania. Pierwsze z nich, zastosowane w niniejszej pracy, polega na rozpoczęciu od wirtualnego modelu 3D obiektu w formie siatki wielokątów. Takie modele 3D mogą być tworzone przy użyciu odpowiedniego oprogramowania (np. Blender 3D44), a następnie wydrukowane w technologii 3D (Rycina 1B). Drugą opcją jest wykorzystanie istniejącego, rzeczywistego obiektu 3D i zastosowanie technologii skanowania 3D w celu stworzenia repliki obiektu w formie modelu siatki. Niezależnie od wybranej strategii, celem końcowym jest uzyskanie zarówno rzeczywistego obiektu 3D, jak i odpowiadającego mu wirtualnego modelu siatki 3D. Należy zaznaczyć, że opisane tutaj podejście działa wyłącznie w przypadku obiektów sztywnych (tj. niedodawalnych).
Gdy powierzchnia 3D obiektu jest już dostępna w formie modelu siatki (mesh), jego pozycja musi zostać śledzona i zarejestrowana współrzędnie (Rysunek 1C). W tym celu do powierzchni rzeczywistego obiektu przymocowuje się cztery nieleżące na jednej płaszczyźnie markery refleksyjne, a następnie obiekt umieszcza się w obszarze śledzenia. Następnie krótko rejestrowane są pozycje 3D markerów obiektu. Rejestracja ta służy do ustalenia odpowiedniości między czterema markerami a czterema wierzchołkami modelu siatki obiektu. Jest to realizowane za pomocą prostego, dedykowanego skryptu napisanego w API Pythona programu Blender. W oknie Viewport programu Blender, program wyświetla wirtualny obiekt wraz z pozycjami markerów, które są reprezentowane jako pojedynczy obiekt siatki składający się z jednej sfery dla każdego markera. Użytkownik może następnie obracać i przesuwać obiekt i/lub markery, aby wyrównać je tak, by pokrywały się z rzeczywistymi markerami umieszczonymi na rzeczywistym obiekcie. Program zarejestruje zastosowane obroty i przesunięcia, aby obliczyć jedną roto-translację, która zostanie ostatecznie zastosowana do oryginalnej siatki obiektu, dostarczając model siatki współzarejestrowany z definicją ciała sztywnego w systemie QTM.
Po ustanowieniu odpowiedniości, podczas każdego ruchu obiektu rzeczywistego w obrębie objętości śledzenia, obiekt wirtualny może zostać umieszczony w nowej pozycji poprzez obliczenie roto-translacji pomiędzy śledzonymi markerami a czterema odpowiadającymi im wierzchołkami siatki. Aby zamiast tego zarejestrować dynamikę chwytu, łącznie 24 sferyczne markery odblaskowe zostają przymocowane do różnych punktów orientacyjnych dłoni za pomocą dwustronnej taśmy (Rysunek 1D i Rysunek 2).
Na początku próby (Rysunek 1E) uczestnik kładzie dłoń płasko na stole roboczym wnętrzem do dołu i zamyka oczy. Eksperymentator kładzie obiekt docelowy na stole roboczym przed uczestnikiem. Następnie sygnał dźwiękowy informuje uczestnika o konieczności otwarcia oczu i wykonania chwytu. W naszych demonstracjach zadaniem jest sięgnięcie i chwycenie obiektu docelowego, podniesienie go pionowo o około 10 cm, odłożenie go i powrót dłoni do pozycji wyjściowej. Przebieg eksperymentu kontroluje skrypt napisany w języku Python 3.7. W każdej próbie skrypt wybiera i przekazuje eksperymentatorowi aktualne ustawienia warunków (np. tożsamość i rozmieszczenie obiektu). Skrypt kontroluje również czas trwania prób, w tym sygnały dźwiękowe oraz rozpoczęcie i zakończenie nagrań z systemu przechwytywania ruchu.
Kończyny charakteryzują się nie tylko położeniem w przestrzeni 3D, ale także pozą. Zatem, aby uzyskać pełną rekonstrukcję 3D ludzkiej dłoni wykonującej rzeczywisty chwyt, wymagamy nie tylko pozycji każdego stawu w przestrzeni 3D, ale także względnej pozy (translacji i rotacji) każdego stawu względem stawu nadrzędnego (Rycina 1F). Pozycje i orientacje stawów szkieletu można wywnioskować z pozycji markerów za pomocą kinematyki odwrotnej. W tym celu wykorzystujemy rozwiązywacz szkieletu (skeleton solver) dostarczony przez oprogramowanie QTM. Aby rozwiązywacz mógł działać, musimy najpierw dostarczyć definicję szkieletu, która wiąże pozycję i orientację każdego stawu z pozycjami wielu markerów. W związku z tym konstruowana jest definicja szkieletu, a szkielet (skeleton rig) zostaje powiązany z danymi markerów za pomocą wtyczki QTM Connect dla programu Maya. Tworzymy spersonalizowane definicje szkieletu dla każdego uczestnika, aby zmaksymalizować dokładność dopasowania szkieletu do danych markerów. Dla każdego uczestnika ręcznie dopasowujemy szkielet dłoni do pojedynczej klatki danych z systemu motion capture. Po uzyskaniu specyficznej dla uczestnika definicji szkieletu uruchamiamy rozwiązywacz szkieletu, aby oszacować pozy stawów szkieletu dla każdej klatki każdej próby w eksperymencie.
Dla każdej klatki każdego powtórzenia w eksperymencie generujemy siatkę dłoni, która rekonstruuje aktualną pozę dłoni przy użyciu otwartoźródłowego i wstępnie wytrenowanego narzędzia do generowania siatek dłoni, DeepHandMesh28 (Rycina 1G). DeepHandMesh to głęboka sieć typu enkoder-dekoder, która generuje spersonalizowane siatki dłoni na podstawie obrazów. Najpierw enkoder szacuje pozę dłoni na obrazie (tj. kąty Eulera stawów). Następnie oszacowana poza dłoni oraz spersonalizowany wektor identyfikacyjny (ID) są wprowadzane do dekodera, który szacuje zestaw trzech addytywnych korekt dla szablonowej siatki z rigiem. Ostatecznie siatka szablonowa jest deformowana zgodnie z oszacowaną pozą dłoni i korektami przy użyciu liniowego mieszania skóry (linear blend skinning). Pierwsza korekta to zależna od ID korekta szkieletu, dzięki której rig szkieletowy jest dostosowywany tak, aby uwzględnić specyficzne dla danej osoby pozycje stawów. Pozostałe dwie korekty to korekty siatki, dzięki którym wierzchołki siatki są dostosowywane w celu lepszego odwzorowania powierzchni dłoni uczestnika. Jedna z korekt siatki jest zależną od ID korektą siatki, która uwzględnia strukturę powierzchni dłoni poszczególnego uczestnika. Ostatnia korekta siatki jest natomiast zależną od pozy korektą wierzchołków, która uwzględnia deformacje powierzchni dłoni wynikające z aktualnej pozy dłoni.
DeepHandMesh jest trenowany przy użyciu słabej superwizji z wykorzystaniem 2D punktów kluczowych stawów oraz map głębi sceny. W tym przypadku wykorzystujemy jedynie pretrenowany dekoder DeepHandMesh do generowania rekonstrukcji siatki dłoni, zmodyfikowany w następujący sposób (Rycina 3). Po pierwsze, ponieważ sieć nie była trenowana na konkretnych uczestnikach, zastosowano ogólną korektę siatki zależną od ID, dostarczoną z pretrenowanym modelem (Rycina 3A). Ponadto korekta szkieletu zależna od ID jest wyznaczana przy użyciu solvera szkieletu QTM, zgodnie z opisaną powyżej procedurą (Rycina 3B). Przyjęto proporcjonalne skalowanie dłoni wraz z długością szkieletu, a grubość siatki jest skalowana jednorodnie przez czynnik pochodzący z względnego skalowania szkieletu, tak aby siatka lepiej przybliżała rozmiar dłoni uczestnika (Rycina 3C). Ta zmodyfikowana siatka jest wprowadzana do dekodera wraz z aktualną pozą dłoni (wyznaczoną na podstawie danych z markerów) oraz 3D pozycją i orientacją nadgarstka. Dekoder oblicza zatem aktualną korektę zależną od pozy, stosuje wszystkie korekty i roto-translacje, a następnie generuje 3D rekonstrukcję siatki dłoni dla aktualnej pozy w tym samym układzie współrzędnych, co 3D siatka śledzonego obiektu (Rycina 3D).
<img alt="Schemat morfometrii dłoni; A, B, C, D; analiza wariancji anatomicznej struktury dłoni." class="xfigimg" src="/files/ftp_upload/64877/64877fig03.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 3"> 
Rycina 3: Modyfikacje dekodera DeepHandMesh z wstępnym przeszkoleniem. (A) Stała, generyczna korekta siatki zależna od ID. (B) Zależna od ID korekta szkieletu wyprowadzona za pomocą kinematyki odwrotnej w kroku 10. (C) Rozmiar siatki dłoni jest skalowany tym samym współczynnikiem co stawy szkieletowe. (D) Końcowa rekonstrukcja trójwymiarowej siatki dłoni dla aktualnej pozy dłoni. <a href="https://www.jove.com/files/ftp_upload/64877/64877fig03large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
Po zrekonstruowaniu trójwymiarowych modeli siatki (mesh) zarówno dłoni uczestnika, jak i chwyconego obiektu, obszary kontaktu dłoni z obiektem można oszacować, obliczając przecięcie się siatek dłoni i obiektu (Rysunek 1H). Przyjęto założenie, że rzeczywista dłoń ulega odkształceniu w wyniku kontaktu z powierzchnią, co oznacza, że szkielet może znaleźć się bliżej powierzchni, niż byłoby to możliwe w przypadku dłoni sztywnej; pozwala to fragmentom siatki dłoni przeniknąć przez siatkę obiektu. W rezultacie obszary kontaktu można przybliżyć jako regiony nakładania się obu siatek.
Konkretnie, aby obliczyć te obszary nakładania się, definiujemy wierzchołki siatki obiektu, które znajdują się wewnątrz objętości 3D siatki dłoni, jako będące w kontakcie z dłonią. Wierzchołki te są identyfikowane przy użyciu standardowej metody raytracingu45. Dla każdego wierzchołka siatki obiektu rzucany jest promień z tego wierzchołka do dowolnego punktu 3D na zewnątrz siatki dłoni. Następnie oceniamy liczbę przecięć, które występują między rzuconym promieniem a trójkątami tworzącymi powierzchnię dłoni. Jeśli liczba przecięć jest nieparzysta, wierzchołek obiektu znajduje się wewnątrz siatki dłoni. Jeśli liczba przecięć jest parzysta, wierzchołek obiektu znajduje się na zewnątrz siatki dłoni. Obszary kontaktu na powierzchni obiektu można zatem przybliżyć jako zbiór ścian trójkątnych, których wszystkie wierzchołki znajdują się wewnątrz siatki dłoni. Tę samą logikę możemy zastosować do wierzchołków siatki dłoni znajdujących się w objętości 3D siatki obiektu, aby oszacować obszary kontaktu na powierzchni dłoni. Warto zauważyć, że można byłoby również zastosować bardziej zaawansowane podejścia do operacji boolowskich na siatkach31.
Film 1 przedstawia nagranie dłoni, śledzonych punktów oraz zarejestrowanej siatki, które poruszają się równolegle podczas pojedynczego chwytu wydrukowanej w 3D figurki kota. Rycina 4A pokazuje natomiast pojedynczą klatkę w momencie kontaktu dłoni z obiektem podczas chwytu wydrukowanego w 3D rogalika, wraz z rekonstrukcjami siatek dłoni i obiektu (Rycina 4B) oraz szacowanymi obszarami kontaktu na powierzchni rogalika (Rycina 4C).
<img alt="Eksperyment chwytu dłonią; równowaga statyczna; schemat różnych chwytów palców na obiektach; badanie motoryczne." class="xfigimg" src="/files/ftp_upload/64877/64877fig04.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 4"> 
Rysunek 4: Szacowane obszary kontaktu dłoni z obiektem. (A) Śledzona dłoń i obiekt widziane z jednej z kamer śledzących podczas chwytu. (B) Zrekonstruowana siatka dłoni i śledzona siatka obiektu wyrenderowane z tego samego punktu widzenia co kamera śledząca. (C) Obszary kontaktu na powierzchni obiektu widziane z wielu punktów widzenia. <a href="https://www.jove.com/files/ftp_upload/64877/64877fig04large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.</a>
Wideo 1: Rekonstrukcje siatki dłoni i obiektu. Animacja GIF przedstawiająca dłoń, śledzone markery oraz rekonstrukcje siatki dłoni i obiektu podczas jednego chwytu, widziane z perspektywy tej samej kamery. <a href="https://www.jove.com/files/ftp_upload/64877/Movie01.gif" target="_blank">Kliknij tutaj, aby pobrać to wideo.</a>

Gdy chwytamy obiekt, wiele obszarów palców i dłoni zazwyczaj styka się z powierzchnią obiektu. Rekonstrukcja takich obszarów kontaktu jest wyzwaniem. W tym miejscu przedstawiamy metodę przybliżonego szacowania obszarów kontaktu poprzez połączenie przechwytywania ruchu opartego na znacznikach z istniejącą rekonstrukcją siatki ręcznej opartą na głębokim uczeniu.

Ocena obszarów kontaktu między rękami a przedmiotami podczas chwytania wielocyfrowego przez człowieka

To grasp an object successfully, we must select appropriate contact regions for our hands on the surface of the object. However, identifying such regions ...

Wcześniejsze badania behawioralne nad chwytaniem człowieka ograniczały się do bardzo ograniczonych pomiarów w ściśle kontrolowanych scenariuszach. Nasz protokół pozwala na znacznie bogatszą charakterystykę złożonych, naturalistycznych zachowań chwytnych. Technika ta wykorzystuje szczegółowe mapy powierzchni styku dłoni z obiektem dzięki chwytaniu wielocyfrowemu.To pozwala nam zbadać, w jaki sposób ludzie chwytają przedmioty z niespotykanym dotąd poziomem wyrafinowania. Dokładne pomiary ludzkich zdolności chwytania są niezbędne do zrozumienia kontroli motorycznej, percepcji dotykowej i interakcji człowiek-komputer. Dane te mogą być przydatne przy projektowaniu chwytaków robotycznych i protez kończyn górnych.Procedurę zademonstruje Kira Dehn, doktorantka kończąca pracę magisterską w moim laboratorium. Na początek ustaw stół warsztatowy z objętością śledzenia obrazowaną pod różnymi kątami przez kamery śledzące ruch umieszczone na ramie otaczającej przestrzeń roboczą. Przygotuj odblaskowe znaczniki, przyklejając dwustronną taśmę klejącą do podstawy każdego markera.Uruchom aplikację Qualisys Track Manager (QTM) jako administrator. Umieść obiekt kalibracyjny w kształcie litery L w objętości śledzenia. W QTM kliknij Kalibruj w menu Przechwytywanie i poczekaj na otwarcie okna kalibracji.Wybierz czas trwania kalibracji i naciśnij OK. Pomachaj różdżką kalibracyjną po objętości śledzenia na czas trwania kalibracji. Naciśnij przycisk Eksportuj i określ ścieżkę do pliku, aby wyeksportować kalibrację jako plik tekstowy.Zatwierdź kalibrację, naciskając przycisk OK. Aby utworzyć obiekt bodźca, skonstruuj wirtualny model obiektu 3D w postaci siatki wielokątów. Użyj drukarki 3D, aby skonstruować fizyczną replikę modelu obiektowego.Aby przygotować obiekt bodźca, przymocuj cztery niepłaskie znaczniki odblaskowe do powierzchni rzeczywistego obiektu. Umieść obiekt w objętości śledzenia. W repozytorium projektu należy wykonać wskazany skrypt języka Python.Postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wykonać jednosekundowe przechwycenie pozycji 3D znaczników obiektów. Wybrać wszystkie znaczniki bryły sztywnej. Kliknij prawym przyciskiem myszy i wybierz Zdefiniuj bryłę sztywną lub 6DOF, a następnie Bieżąca klatka.Wprowadź nazwę bryły sztywnej i naciśnij przycisk OK. W menu Plik wybierz pozycję Eksportuj do TSV. W nowym oknie zaznacz pola 3D, 6D i Szkielet w ustawieniach Typ danych.Zaznacz wszystkie pola w ustawieniach ogólnych. Naciśnij OK, a następnie Zapisz. Otwórz Blendera i przejdź do przestrzeni roboczej Skrypty.Otwórz wskazany plik i naciśnij Uruchom. Przejdź do przestrzeni roboczej Układ i naciśnij N, aby przełączyć pasek boczny. Na pasku bocznym przejdź do zakładki Niestandardowe.Wybierz plik obj, który ma zostać współzarejestrowany, i naciśnij przycisk Załaduj obiekt. Wybierz wyeksportowany wcześniej plik trajektorii i określ nazwy znaczników dołączonych do sztywnych obiektów, oddzielając je średnikami. W nagłówku znacznika określ linię w pliku trajektorii zawierającym nazwy kolumn danych.Następnie należy wybrać odpowiedni plik bryły sztywnej z przyrostkiem 6D i określić nazwę obiektu sztywnego zdefiniowanego we wcześniejszym kroku. W nagłówku 6D określ linię w pliku bryły sztywnej zawierającej nazwy kolumn danych. Naciśnij przycisk Załaduj znaczniki, a następnie przesuń i obróć obiekt znaczników lub obiekt, aby je wyrównać.Określ plik wyjściowy siatki i naciśnij przycisk Uruchom współrejestrację, aby wyprowadzić plik obj, który zawiera współzarejestrowaną siatkę bodźców. Przymocuj 24 sferyczne znaczniki odblaskowe do różnych punktów orientacyjnych dłoni uczestnika za pomocą taśmy dwustronnej. Umieść markery centralnie na opuszkach palców w dystalnych stawach międzypaliczkowych, bliższych stawach międzypaliczkowych i stawach śródręczno-paliczkowych palca wskazującego, środkowego palca, palca serdecznego i małego palca.W przypadku kciuka umieść po jednym znaczniku na opuszku palca i stawie podstawnym nadgarstka śródręcza oraz po parze markerów na stawach śródręczno-paliczkowym i międzypaliczkowym. Na koniec umieść znaczniki na środku nadgarstka i na stawie łódeczkowato-trapezowym. Poproś uczestnika, aby położył dłoń płasko na stole roboczym z dłonią skierowaną w dół i zamknął oczy.Umieść bodziec na stole warsztatowym przed uczestnikiem. Gdy QTM jest uruchomiony, wykonaj wskazany skrypt Pythona w repozytorium projektu. Poproś uczestnika, aby otworzył oczy i postępował zgodnie z instrukcjami zawartymi w scenariuszu, aby uchwycić pojedynczą próbę, w której uczestnik chwyta obiekt bodźca.W ramach QTM przeciągnij i upuść poszczególne trajektorie znaczników od niezidentyfikowanych trajektorii do oznaczonych trajektorii i oznacz je zgodnie z konwencją nazewnictwa. Zaznacz wszystkie znaczniki dołączone do dłoni, kliknij prawym przyciskiem myszy i wybierz Generuj model AIM z Zaznaczenia. W nowym oknie wybierz Utwórz nowy model na podstawie połączeń znaczników z istniejącego modelu AIM i naciśnij przycisk Dalej.Wybierz RH_FH definicję modelu i naciśnij przycisk Otwórz. Naciśnij przycisk Dalej, wprowadź nazwę modelu AIM i naciśnij przycisk OK. Na koniec naciśnij Zakończ, aby utworzyć model AIM dla ręki uczestnika, aby automatycznie identyfikować markery w kolejnych próbach od tego samego uczestnika.W QTM otwórz ustawienia projektu, naciskając ikonę koła zębatego. Na pasku bocznym przejdź do Skeleton Solver i naciśnij Załaduj, aby wybrać plik definicji szkieletu. Dostosuj współczynnik skali do 100% i naciśnij Zastosuj.Przejdź do sekcji Eksport TSV i zaznacz pola 3D, 6D i Szkielet w ustawieniach Typ danych. Zaznacz wszystkie pola w ustawieniach ogólnych. Naciśnij Zastosuj i zamknij ustawienia projektu.Naciśnij ikonę Przetwarzaj ponownie, a następnie zaznacz pola Rozwiąż szkielety i Eksportuj do pliku TSV i naciśnij OK. Otwórz okno polecenia w repozytorium projektu i aktywuj środowisko conda, wykonując wskazane polecenie. Następnie wykonaj wskazane polecenie i postępuj zgodnie z instrukcjami dostarczonymi przez skrypt, aby wygenerować dla każdej klatki próby siatkę dłoni rekonstruującą aktualną pozycję dłoni.W przypadku oszacowań obszaru kontaktu dłoni z obiektem należy wykonać wskazane polecenie i postępować zgodnie z instrukcjami dostarczonymi przez skrypt, aby wygenerować oszacowania obszaru kontaktu dłoni i obiektu, obliczając przecięcie między siatką dłoni i obiektu. W tym badaniu dynamika chwytu została zarejestrowana za pomocą 24 sferycznych znaczników odblaskowych przymocowanych do różnych punktów orientacyjnych dłoni. Modyfikacje wstępnie wytrenowanego dekodera z głęboką siatką ręczną przedstawiono tutaj.Po pierwsze, ponieważ sieć nie jest trenowana na konkretnych uczestnikach, stosowana jest ogólna korekcja siatki zależna od identyfikatora dostarczana ze wstępnie wytrenowanym modelem. Co więcej, korekcja szkieletu zależna od ID jest uzyskiwana przy użyciu QTM Skeleton Solver. Zakłada się proporcjonalne skalowanie dłoni do długości szkieletu, a grubość siatki jest równomiernie skalowana przez współczynnik wynikający ze względnego skalowania szkieletu.Pokazana jest ostateczna rekonstrukcja 3D bieżącego ułożenia dłoni w tej samej ramce współrzędnych, co siatka obiektów śledzonych w 3D. Pokazano film przedstawiający rękę ze śledzonymi punktami i współzarejestrowaną siatką, które poruszają się obok siebie podczas jednego chwytu do wydrukowanej w 3D figurki kota. Pojedyncza klatka w momencie kontaktu dłoni z obiektem od uchwytu do wydrukowanego w 3D rogalika, wraz z rekonstrukcjami siatki obiektu dłoni i szacowanymi obszarami kontaktu na powierzchni rogalika.Obiekt i przymocowane do niego znaczniki muszą być odpowiednio zarejestrowane. Dokładne ich wyrównanie jest ważne, ponieważ odchylenia mogą mieć duży wpływ na oszacowania obszaru kontaktu. Oprócz powierzchni kontaktowych, procedura zapewnia wspólne kąty Eulera dla każdego stawu palcowego.Można je wykorzystać do zbadania, jak ułożenie rąk podczas chwytów wielocyfrowych rozwija się w czasie.

estimation-contact-regions-between-hands-objects-during-human-multi

Research

JoVE Journal

Behavior

Zachowanie

Testy manipulacji Vermicelli i Capellini służące do oceny sprawności przednich łap wykorzystują naturalną skłonność gryzoni do manipulowania produktami spożywczymi za pomocą precyzyjnych ruchów przednich łap i palców. Zwierzęta są nagrywane podczas manipulowania krótkimi nitkami surowego, suchego makaronu. Odtwarzanie wideo w zwolnionym tempie umożliwia ilościową ocenę korekt ułożenia przednich łap.

Testy manipulacji nitkami vermicelli i capellini: proste ilościowe pomiary sprawności chwytnej przedniej łapy u szczurów i myszy

Tutaj badamy kontralateralne maskowanie dotykowe między przedramionami, w którym progi wykrywania dotykowego są modulowane przez wibracje stosowane do odległego miejsca. Szczegółowe informacje o tym, które odległe miejsca mają wpływ, mogą nam powiedzieć o tym, jak ciało jest reprezentowane w mózgu.

Testowanie maskowania dotykowego między przedramionami

Ten protokół opisuje, jak używać analizy wideo klatka po klatce do ilościowego określenia idiosynkratycznych ruchów od zasięgu do uchwycenia u ludzi. Do zademonstrowania techniki wykorzystuje się analizę porównawczą dotarcia u osób widzących i niewidzących zdrowych dorosłych, ale metoda ta może być również zastosowana do badania populacji rozwojowych i klinicznych.

Klatka po klatce analiza wideo idiosynkratycznych ruchów sięgających do chwytania u ludzi

Obiektywny pomiar funkcji mięśni jest wyzwaniem, szczególnie u dzieci. W oparciu o dostępny na rynku cyfrowy czujnik 3D, opracowano przyjazny dla dzieci test do gier, aby ocenić funkcję kończyny górnej na potrzeby badań klinicznych.

Obiektywna i przyjazna dla dziecka ocena funkcji ramienia za pomocą czujnika 3D

Celem tego protokołu jest pomiar wymiany środka nacisku (COP) za pomocą arkusza czujnika o wysokiej rozdzielczości przestrzennej, aby odzwierciedlić stabilność przestrzenną w precyzyjnym uchwycie. Zastosowanie tego protokołu może przyczynić się do lepszego zrozumienia fizjologii i patofizjologii chwytania.

Pomiar stabilności przestrzennej w chwycie precyzyjnym

Prezentowany tutaj jest protokół budowy automatycznego urządzenia, które prowadzi małpę do wykonania elastycznego zadania polegającego na sięganiu i chwytaniu. Aparat łączy w sobie urządzenie translacyjne 3D i stół obrotowy w celu prezentacji wielu obiektów w dowolnej pozycji w przestrzeni 3D.

Projektowanie i wykorzystanie aparatu do prezentacji chwytalnych obiektów w przestrzeni roboczej 3D

Podczas gdy poprzednie badania nad samoświadomością ciała zakładały, że ruchy własne i pochodzące od innych osób są percepcyjnie rozróżnialne, ten protokół pozwala im być niejednoznacznym na wirtualnej ręce z niezamierzonymi niewielkimi ruchami. To pozwala nam obserwować czyjeś doświadczenie utworzone przez SoO i inne wytworzone SoA, a nie brak SoA.

Wirtualna ręka z niejednoznacznym ruchem między sobą a innym pochodzeniem: poczucie własności i sprawczość "wyprodukowana przez innych"

Tutaj prezentujemy ustandaryzowaną metodę pomiaru drgań przenoszonych przez ręce z uchwytów jednoosiowego ciągnika ze szczególnym odniesieniem do zmian siły chwytu i częstotliwości wibracji.

Pomiar drgań przenoszonych przez rękę w układzie ręka-ramię podczas pracy ciągnika ręcznego

Artykuł przedstawia kompleksowy protokół jednoczesnego rejestrowania elektromiografii dłoni (EMG) i wizualnego śledzenia palców podczas naturalnej gestykulacji palcami. Dane wizualne mają służyć jako podstawa do opracowania dokładnych modeli obliczeniowych opartych na EMG do rozpoznawania gestów palców.

Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego

Ważne jest, aby uzyskać bezstronne szacunki wizualnych pól recepcyjnych populacji (pRF) za pomocą funkcjonalnego rezonansu magnetycznego. Używamy łagodnych ograniczeń regularyzacji do oszacowania topografii pRF bez apriorycznych założeń dotyczących kształtu pRF, co pozwala nam wybrać konkretne modele pRF post hoc. Jest to szczególnie korzystne u osób z uszkodzeniami drogi wzrokowej.

Topograficzne oszacowanie wizualnych pól recepcyjnych populacji za pomocą fMRI

Poznaj metodę oceny obszarów kontaktu dłoni z przedmiotami podczas chwytania wielocyfrowego. Technika łączy przechwytywanie ruchu ze znacznikami i głębokie uczenie, umożliwiając szczegółową analizę mechaniki chwytania człowieka.

Ocena obszarów kontaktu między rękami a przedmiotami podczas chwytania wielocyfrowego przez człowieka

Przeglądaj więcej filmów