Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

मानव बहु-अंकीय समझ के दौरान हाथों और वस्तुओं के बीच संपर्क क्षेत्रों का अनुमान

Published: April 21, 2023 doi: 10.3791/64877
Automatic Translation
1, 1, 2, 1,3
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

Summary

जब हम किसी वस्तु को पकड़ते हैं, तो उंगलियों और हाथ के कई क्षेत्र आमतौर पर वस्तु की सतह के साथ संपर्क करते हैं। ऐसे संपर्क क्षेत्रों का पुनर्निर्माण चुनौतीपूर्ण है। यहां, हम मौजूदा गहरी शिक्षा-आधारित हाथ जाल पुनर्निर्माण के साथ मार्कर-आधारित गति कैप्चर के संयोजन से संपर्क क्षेत्रों का लगभग अनुमान लगाने के लिए एक विधि प्रस्तुत करते हैं।

Abstract

किसी वस्तु को सफलतापूर्वक समझने के लिए, हमें वस्तु की सतह पर अपने हाथों के लिए उपयुक्त संपर्क क्षेत्रों का चयन करना चाहिए। हालांकि, ऐसे क्षेत्रों की पहचान करना चुनौतीपूर्ण है। यह पेपर मार्कर-आधारित ट्रैकिंग डेटा से संपर्क क्षेत्रों का अनुमान लगाने के लिए एक वर्कफ़्लो का वर्णन करता है। प्रतिभागी वास्तविक वस्तुओं को समझते हैं, जबकि हम उंगलियों के जोड़ों सहित वस्तुओं और हाथ दोनों की 3 डी स्थिति को ट्रैक करते हैं। हम पहले हाथ के पीछे स्थित ट्रैक किए गए मार्करों के चयन से संयुक्त यूलर कोण निर्धारित करते हैं। फिर, हम वर्तमान मुद्रा और 3 डी स्थिति में प्रतिभागी के हाथ का जाल मॉडल उत्पन्न करने के लिए अत्याधुनिक हाथ जाल पुनर्निर्माण एल्गोरिदम का उपयोग करते हैं।

उन वस्तुओं का उपयोग करना जो या तो 3 डी मुद्रित या 3 डी स्कैन किए गए थे - और इस प्रकार, वास्तविक वस्तुओं और जाल डेटा दोनों के रूप में उपलब्ध हैं- हाथ और वस्तु को सह-पंजीकृत करने की अनुमति देता है। बदले में, यह हाथ जाल और सह-पंजीकृत 3 डी ऑब्जेक्ट जाल के बीच चौराहे की गणना करके अनुमानित संपर्क क्षेत्रों के अनुमान की अनुमति देता है। विधि का उपयोग यह अनुमान लगाने के लिए किया जा सकता है कि मनुष्य विभिन्न स्थितियों के तहत वस्तुओं को कहां और कैसे पकड़ते हैं। इसलिए, विधि दृश्य और हैप्टिक धारणा, मोटर नियंत्रण, आभासी और संवर्धित वास्तविकता और रोबोटिक्स में मानव-कंप्यूटर इंटरैक्शन का अध्ययन करने वाले शोधकर्ताओं के लिए रुचि हो सकती है।

Introduction

वस्तुओं को समझने और हेरफेर करने की क्षमता एक महत्वपूर्ण क्षमता है जो मनुष्यों को अपनी इच्छाओं और जरूरतों के लिए पर्यावरण को फिर से आकार देने की अनुमति देती है। हालांकि, बहु-संयुक्त हाथों को प्रभावी ढंग से नियंत्रित करना एक चुनौतीपूर्ण कार्य है जिसके लिए एक परिष्कृत नियंत्रण प्रणाली की आवश्यकता होती है। यह मोटर नियंत्रण प्रणाली संवेदी इनपुट के कई रूपों द्वारा निर्देशित है, जिनमें से दृष्टि सर्वोपरि है। दृष्टि के माध्यम से, व्यक्ति पर्यावरण में वस्तुओं की पहचान कर सकते हैं और उनकी स्थिति और भौतिक गुणों का अनुमान लगा सकते हैं और फिर आसानी से उन वस्तुओं तक पहुंच सकते हैं, समझ सकते हैं और हेरफेर कर सकते हैं। रेटिना में इनपुट को मोटर कमांड के साथ जोड़ने वाली जटिल प्रणाली को समझना जो हाथों को नियंत्रित करता है, सेंसरिमोटर न्यूरोसाइंस की एक महत्वपूर्ण चुनौती है। यह प्रणाली कैसे काम करती है, इसे मॉडल, भविष्यवाणी और समझने के लिए, हमें पहले इसका विस्तार से अध्ययन करने में सक्षम होना चाहिए। इसके लिए दृश्य इनपुट और हाथ मोटर आउटपुट दोनों के उच्च-निष्ठा माप की आवश्यकता होती है।

पिछली गति-ट्रैकिंग तकनीक ने मानव समझ के अध्ययन पर कई सीमाएं लगाई हैं। उदाहरण के लिए, प्रतिभागियों के हाथों1,2 से जुड़े केबलों की आवश्यकता वाले सिस्टम उंगली की गति की सीमा को प्रतिबंधित करते हैं, संभावित रूप से पकड़ने की गति या माप को बदल देते हैं। ऐसी सीमाओं के बावजूद, पिछले शोध कई कारकों की पहचान करने में सक्षम रहे हैं जो नेत्रहीन निर्देशित समझ को प्रभावित करते हैं। इनमें से कुछ कारकों में वस्तु का आकार 3,4,5,6, सतह खुरदरापन 7,8,9, या हाथ के सापेक्ष किसी वस्तु का अभिविन्यास 4,8,10 शामिल हैं। हालांकि, पिछली तकनीकी सीमाओं को दूर करने के लिए, इस पूर्व शोध के बहुमत ने सरल उत्तेजनाओं और अत्यधिक विवश कार्यों को नियोजित किया है, इस प्रकार मुख्य रूप से व्यक्तिगत कारकों 3,4,6,7,10, दो अंकों की सटीक पकड़ 3,4,6,9,11,12 पर ध्यान केंद्रित किया गया है। 13,14,15,16,17,18, एकल वस्तुएं19, या बहुत सरल 2 डी आकार 20,21। पिछले निष्कर्ष इस तरह की कम और कृत्रिम प्रयोगशाला स्थितियों से परे कैसे सामान्यीकरण करते हैं, यह अज्ञात है। इसके अतिरिक्त, हाथ-वस्तु संपर्क का माप अक्सर अंक संपर्क बिंदु22 के अनुमान तक कम हो जाता है। यह सरलीकरण समझ के एक छोटे से उप-समूह का वर्णन करने के लिए उपयुक्त हो सकता है जिसमें केवल उंगलियां किसी वस्तु के संपर्क में होती हैं। हालांकि, वास्तविक दुनिया की अधिकांश पकड़ में, उंगलियों और हथेली के व्यापक क्षेत्र किसी वस्तु के संपर्क में आते हैं। इसके अलावा, हाल ही के एक अध्ययन23 ने हैप्टिक दस्ताने का उपयोग करके प्रदर्शित किया है कि वस्तुओं को इस बात से पहचाना जा सकता है कि उनकी सतह हाथ पर कैसे टकराती है। यह हाथों और समझी गई वस्तुओं के बीच विस्तारित संपर्क क्षेत्रों का अध्ययन करने के महत्व पर प्रकाश डालता है, न कि केवल वस्तुओं और उंगलियों के बीच संपर्क बिंदु।

मोशन कैप्चर और 3 डी हैंड मॉडलिंग में हालिया प्रगति ने हमें पिछली सीमाओं को पार करने और इसकी पूरी जटिलता में समझने का अध्ययन करने की अनुमति दी है। निष्क्रिय मार्कर-आधारित गति ट्रैकिंग अब मिलीमीटर आकार के मार्करों के साथ उपलब्ध है जिन्हेंसंयुक्त आंदोलनों को ट्रैक करने के लिए प्रतिभागी के हाथों के पीछे जोड़ा जा सकता है। इसके अलावा, निष्क्रिय मार्कर सिस्टम के लिए स्वचालित मार्कर पहचान एल्गोरिदम अब मार्कर डेटा25,26,27 के व्यापक मैनुअल पोस्टप्रोसेसिंग की आवश्यकता को लगभग समाप्त करने के लिए पर्याप्त रूप से मजबूत हैं। मार्करलेस समाधान भी वीडियो28 में पशु शरीर के अंगों को ट्रैक करने में प्रदर्शन के प्रभावशाली स्तर तक पहुंच रहे हैं। इस प्रकार, ये गति-ट्रैकिंग विधियां, अंततः जटिल बहु-अंकीयहाथ आंदोलनों के विश्वसनीय और गैर-इनवेसिव माप की अनुमति देती हैं। इस तरह के माप हमें संयुक्त कीनेमेटिक्स के बारे में सूचित कर सकते हैं और हमें हाथ और वस्तु के बीच संपर्क बिंदुओं का अनुमान लगाने में सक्षम बना सकते हैं। इसके अतिरिक्त, हाल के वर्षों में, कंप्यूटर दृष्टि समुदाय मानव हाथों के मॉडल के निर्माण की समस्या से निपट रहा है जो वस्तु को पकड़ने के दौरान और यहां तक कि हाथ के हिस्सों 29,30,31,32 के बीच आत्म-संपर्क के दौरान नरम ऊतक विरूपण को दोहरा सकता है। इस तरह के 3 डी जाल पुनर्निर्माण को विभिन्न प्रकार के डेटा से प्राप्त किया जा सकता है, जैसे कि वीडियो फुटेज 33,34, कंकाल जोड़ों (मार्कर-आधारित35 या मार्करलेस ट्रैकिंग 36 से प्राप्त), और गहराई चित्र 37। इस डोमेन में पहली महत्वपूर्ण प्रगति रोमेरो एट अल .38 द्वारा प्रदान की गई थी, जिन्होंने विभिन्न पोज़ में 31 विषयों से 1,000 से अधिक हैंड स्कैन से एक पैरामीट्रिक हैंड मॉडल (एमएएनओ) प्राप्त किया था। मॉडल में हाथ की मुद्रा और आकार दोनों के लिए पैरामीटर शामिल हैं, जो डेटा के विभिन्न स्रोतों से पूर्ण हाथ पुनर्निर्माण के लिए प्रतिगमन की सुविधा प्रदान करते हैं। हाल ही में डीपहैंडमेश29 समाधान गहरी शिक्षा के माध्यम से एक परमेट्राइज्ड मॉडल का निर्माण करके और प्रवेश से बचाव को जोड़कर इस दृष्टिकोण पर बनाता है, जो हाथ के हिस्सों के बीच शारीरिक बातचीत को अधिक सटीक रूप से दोहराता है। 3 डी ट्रैक किए गए ऑब्जेक्ट मेष के साथ इस तरह के हाथ जाल पुनर्निर्माण को जोड़कर, इस प्रकार, अब न केवल वस्तुओंकी सतह पर बल्कि हाथ की सतह पर भी संपर्क क्षेत्रों का अनुमान लगाना संभव है।

यहां, हम एक वर्कफ़्लो का प्रस्ताव करते हैं जो नए हाथ जाल पुनर्निर्माण एल्गोरिदम के साथ वस्तुओं और हाथ के जोड़ों की उच्च-निष्ठा 3 डी ट्रैकिंग को एक साथ लाता है। विधि हाथ-वस्तु संपर्क सतहों के विस्तृत नक्शे उत्पन्न करती है। ये माप मानव नेत्रहीन निर्देशित समझ की हमारी सैद्धांतिक समझ का विस्तार करने में सेंसरिमोटर न्यूरोसाइंटिस्टों की सहायता करेंगे। इसके अलावा, विधि आसन्न क्षेत्रों में शोधकर्ताओं के लिए उपयोगी हो सकती है। उदाहरण के लिए, मानव कारक शोधकर्ता इस विधि का उपयोग आभासी और संवर्धित वास्तविकता18 में बेहतर मानव-मशीन इंटरफ़ेस सिस्टम बनाने के लिए कर सकते हैं। मानव समझ व्यवहार के उच्च-निष्ठा माप भी रोबोटिस्टों को इंटरैक्टिव धारणा39,40,41,42,43 के सिद्धांतों के आधार पर मानव-प्रेरित रोबोट समझ प्रणाली को डिजाइन करने में सहायता कर सकते हैं। इस प्रकार, हम आशा करते हैं कि यह विधि तंत्रिका विज्ञान और इंजीनियरिंग क्षेत्रों में अनुसंधान को आगे बढ़ाने में मदद करेगी, जो अत्यधिक विवश कार्यों के विरल विवरण से लेकर जटिल वस्तुओं और वास्तविक दुनिया के कार्यों के साथ प्राकृतिक समझ व्यवहार के पूर्ण लक्षण वर्णन तक है। समग्र दृष्टिकोण चित्र 1 में उल्लिखित है।

Figure 1
चित्र 1: प्रस्तावित विधि में प्रमुख चरण । (ए) मोशन कैप्चर कैमरे कई कोणों से एक वर्कबेंच की छवि बनाते हैं। (बी) एक उत्तेजना वस्तु 3 डी है जो एक त्रिकोणीय जाल मॉडल से मुद्रित है। (सी) चार गोलाकार परावर्तक मार्कर वास्तविक वस्तु की सतह पर चिपके हुए हैं। एक अर्ध-स्वचालित प्रक्रिया जाल वस्तु की सतह पर चार संबंधित बिंदुओं की पहचान करती है। यह पत्राचार हमें जाल मॉडल को वास्तविक वस्तु की 3 डी ट्रैक की गई स्थिति में रोटो-अनुवाद करने की अनुमति देता है। (डी) प्रतिबिंबित मार्कर डबल-पक्षीय टेप का उपयोग करके प्रतिभागी के हाथ के पीछे विभिन्न स्थलों से जुड़े होते हैं। (ई) मोशन कैप्चर सिस्टम एकल परीक्षण के दौरान ट्रैक की गई वस्तु और हाथ मार्करों के 3 डी स्पेस में प्रक्षेपपथ प्राप्त करता है। (एफ) एक प्रतिभागी-विशिष्ट हाथ कंकाल का निर्माण 3 डी कंप्यूटर ग्राफिक्स सॉफ्टवेयर का उपयोग करके किया जाता है। इसके बाद व्युत्क्रम कीनेमेटिक्स के माध्यम से एक प्रयोग में प्रत्येक परीक्षण के प्रत्येक फ्रेम के लिए कंकाल के संयुक्त पोज़ का अनुमान लगाया जाता है। (जी) संयुक्त पोज़ डीपहैंडमेश29 के एक संशोधित संस्करण के लिए इनपुट हैं, जो वर्तमान 3 डी पोज़ और स्थिति में अनुमानित 3 डी हैंड जाल आउटपुट करता है। (एच) अंत में, हम हाथ-वस्तु संपर्क क्षेत्रों की गणना करने के लिए जाल चौराहे का उपयोग करते हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Protocol

एक प्रयोग शुरू करने से पहले, प्रतिभागियों को संस्थागत दिशानिर्देशों और हेलसिंकी की घोषणा के अनुसार सूचित सहमति प्रदान करनी होगी। यहां वर्णित सभी प्रोटोकॉल को जस्टस लीबिग यूनिवर्सिटी गिसेन (एलईके-एफबी 06) की स्थानीय नैतिकता समिति द्वारा अनुमोदित किया गया है।

1. सभी आवश्यक सॉफ्टवेयर की स्थापना

  1. डेटा और कोड रिपॉजिटरी में प्रोजेक्ट रिपॉजिटरी डाउनलोड करें।
  2. सामग्री तालिका में सूचीबद्ध सॉफ़्टवेयर स्थापित करें (सॉफ़्टवेयर संस्करणों को नोट करें और खरीद विकल्पों और निर्देशों के लिए लिंक का पालन करें)।
  3. डेटा और कोड रिपॉजिटरी के भीतर, एक कमांड विंडो खोलें, और निम्न आदेश चलाएँ:
    Conda env create -f environment.yml
  4. https://github.com/facebookresearch/DeepHandMesh पर दिए गए निर्देशों का पालन करते हुए प्रीट्रेंड DeepHandMesh29 इंस्टेंटेशन डाउनलोड और इंस्टॉल करें।
    1. डेटा और कोड रिपॉजिटरी के फ़ोल्डर "डीपहैंडमेश" में DeepHandMesh रखें। फ़ाइल "मुख्य/मॉडल.py" को डेटा और कोड रिपॉजिटरी में निहित model.py फ़ाइल से प्रतिस्थापित करें.

2. मोशन कैप्चर सिस्टम तैयार करना

  1. कार्यस्थान के चारों ओर एक फ्रेम पर व्यवस्थित गति-ट्रैकिंग कैमरों द्वारा कई कोणों से चित्रित ट्रैकिंग वॉल्यूम के भीतर एक वर्कबेंच रखें (चित्रा 1 ए)। प्रत्येक मार्कर के आधार पर डबल-पक्षीय चिपकने वाला टेप संलग्न करके चिंतनशील मार्कर तैयार करें।
  2. एक व्यवस्थापक के रूप में योग्यता ट्रैक प्रबंधक (QTM) निष्पादित करें।
    नोट: क्यूटीएम को एक व्यवस्थापक के रूप में निष्पादित करना पायथन एसडीके के लिए क्यूटीएम इंटरफ़ेस का नियंत्रण लेने के लिए आवश्यक है। हम हमेशा एक प्रशासक के रूप में क्यूटीएम चलाने की सलाह देते हैं।

3. कैमरों को कैलिब्रेट करना

  1. ट्रैकिंग वॉल्यूम के भीतर एल-आकार के अंशांकन ऑब्जेक्ट रखें।
  2. QTM के भीतर, कैप्चर मेनू में कैलिब्रेट पर क्लिक करें, या कैप्चर टूलबार में छड़ी आइकन दबाएं। अंशांकन विंडो खुलने की प्रतीक्षा करें. अंशांकन की अवधि का चयन करें, और OK दबाएँ.
  3. अंशांकन की अवधि के लिए ट्रैकिंग वॉल्यूम में अंशांकन छड़ी को वेव करें। निर्यात करें बटन दबाएँ , और एक फ़ाइल पथ निर्दिष्ट करें जिसमें अंशांकन को पाठ फ़ाइल के रूप में निर्यात करना है. OK दबाकर अंशांकन स्वीकार करें।

4. एक उत्तेजना वस्तु बनाना

  1. बहुभुज जाल के रूप में एक आभासी 3 डी ऑब्जेक्ट मॉडल का निर्माण करें। ऑब्जेक्ट मॉडल की भौतिक प्रतिकृति बनाने के लिए 3D प्रिंटर का उपयोग करें.
    नोट: चरण 1.1 में डेटा रिपॉजिटरी एसटीएल और वेवफ्रंट ओबीजे फ़ाइल स्वरूपों में उदाहरण ऑब्जेक्ट प्रदान करता है। एसटीएल प्रारूप में ऑब्जेक्ट कई गुना हैं और 3 डी प्रिंटिंग के लिए तैयार हैं।

5. उत्तेजना वस्तु तैयार करना

  1. वास्तविक वस्तु की सतह पर चार गैर-प्लानर रिफ्लेक्टिव मार्कर संलग्न करें। ऑब्जेक्ट को ट्रैकिंग वॉल्यूम के भीतर रखें।
  2. प्रोजेक्ट रिपॉजिटरी में, पायथन स्क्रिप्ट "Acquire_Object.py" निष्पादित करें। ऑब्जेक्ट मार्करों की 3 डी स्थिति का 1 सेकंड कैप्चर करने के लिए स्क्रिप्ट द्वारा प्रदान किए गए निर्देशों का पालन करें।
  3. कठोर शरीर के सभी मार्करों का चयन करें। राइट-क्लिक करें और रिजिड बॉडी (6डीओएफ) को परिभाषित करें का चयन करें वर्तमान फ्रेम. कठोर शरीर का नाम दर्ज करें, और OK दबाएँ.
  4. फ़ाइल मेनू में, निर्यात करें का चयन करें | टीएसवी के लिए। नई विंडो में, डेटा प्रकार सेटिंग्स में बॉक्स 3D, 6D और स्केलेटन चेक करें। सामान्य सेटिंग्स में सभी बक्सों की जाँच करें. OK दबाएँ और फिर सहेजें.

6. उत्तेजना वस्तु के वास्तविक और जाल मॉडल संस्करणों को सह-पंजीकृत करना

  1. ब्लेंडर खोलें, और स्क्रिप्टिंग कार्यस्थान पर नेविगेट करें। फ़ाइल "Object_CoRegistration.py" खोलें, और चलाएँ दबाएँ। लेआउट कार्यस्थान पर नेविगेट करें, और साइडबार को टॉगल करने के लिए एन दबाएं। साइडबार के भीतर, कस्टम टैब पर नेविगेट करें।
  2. सह-पंजीकृत होने के लिए .obj फ़ाइल का चयन करें, और लोड ऑब्जेक्ट बटन दबाएँ .
  3. चरण 3.3 में निर्यात की गई प्रक्षेपवक्र फ़ाइल का चयन करें, और अर्धविराम द्वारा अलग किए गए कठोर ऑब्जेक्ट से जुड़े मार्करों के नाम निर्दिष्ट करें। मार्कर हेडर में, प्रक्षेपवक्र फ़ाइल में वह पंक्ति निर्दिष्ट करें जिसमें डेटा के स्तंभ नाम होते हैं (गिनती 0 से शुरू होती है).
  4. 6D प्रत्यय के साथ संबंधित कठोर बॉडी फ़ाइल का चयन करें, और चरण 4.1 में परिभाषित कठोर शरीर का नाम निर्दिष्ट करें। 6D शीर्षलेख में, कठोर बॉडी फ़ाइल में वह पंक्ति निर्दिष्ट करें जिसमें डेटा के स्तंभ नाम होते हैं.
  5. लोड मार्कर दबाएँ. मार्कर ऑब्जेक्ट और / या ऑब्जेक्ट ऑब्जेक्ट को संरेखित करने के लिए उनका अनुवाद और घुमाएं। कोई मेष आउटपुट फ़ाइल निर्दिष्ट करें, और सहपंजीकरण चलाएँ दबाएँ. यह एक .obj फ़ाइल का उत्पादन करेगा जिसमें सह-पंजीकृत उत्तेजना जाल शामिल है।

7. हाथों पर मार्कर स्थापित करना

  1. डबल-साइडेड टेप का उपयोग करके प्रतिभागी के हाथ के विभिन्न स्थलों पर 24 गोलाकार चिंतनशील मार्कर संलग्न करें।
    नोट: मार्करों की विशिष्ट स्थिति चित्रा 2 में प्रदर्शित की गई है।
    1. मार्करों को संबंधित उंगलियों के शीर्ष पर केंद्रीय रूप से रखें, साथ ही डिस्टल इंटरफेलांगल जोड़ों, समीपस्थ इंटरफेलांगल जोड़ों और इंडेक्स फिंगर, मध्य उंगली, अनामिका उंगली और छोटी उंगली के मेटाकार्पोफालांगल जोड़ों को भी रखें।
    2. अंगूठे के लिए, उंगलियों और बेसल कार्पोमेटाकार्पल जोड़ पर एक-एक मार्कर रखें, साथ ही मेटाकार्पोफालांगल और इंटरफेलांगल जोड़ों पर प्रत्येक मार्कर की एक जोड़ी रखें।
      नोट: इन मार्कर जोड़े को अंगूठे के मुख्य अक्ष के लंबवत विपरीत दिशाओं में विस्थापित करने की आवश्यकता होती है और अंगूठे के अभिविन्यास का अनुमान लगाने के लिए आवश्यक होते हैं।
    3. अंत में, कलाई के केंद्र में और स्केफोट्रेपेज़ियोट्रेपोइडल जोड़ पर मार्कर रखें।

Figure 2
चित्रा 2: एक प्रतिभागी के हाथ पर मार्कर प्लेसमेंट। संक्षिप्त नाम: आरएच = दाहिना हाथ। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

8. एकल परीक्षण प्राप्त करना

  1. प्रतिभागी को अपने हाथ को वर्कबेंच पर सपाट रखने के लिए कहें, जिसमें हथेली नीचे की ओर हो और अपनी आँखें बंद करें। प्रतिभागी के सामने वर्कबेंच पर उत्तेजना वस्तु रखें।
  2. जब क्यूटीएम चल रहा है, तो प्रोजेक्ट रिपॉजिटरी में पायथन स्क्रिप्ट "Single_Trial_Acquisition.py" निष्पादित करें। उत्तेजना वस्तु को समझने वाले प्रतिभागी के एकल परीक्षण को पकड़ने के लिए स्क्रिप्ट द्वारा प्रदान किए गए निर्देशों का पालन करें।
    नोट: स्क्रिप्ट एक श्रवण संकेत का उत्पादन करेगी। यह प्रतिभागी को अपनी आँखें खोलने और पकड़ को निष्पादित करने का संकेत देगा। हमारे प्रदर्शनों में, कार्य लक्ष्य वस्तु तक पहुंचना और पकड़ना है, इसे लगभग 10 सेमी तक लंबवत रूप से उठाना है, इसे नीचे सेट करना है, और हाथ को इसकी शुरुआती स्थिति में वापस करना है।

9. मार्करों को लेबल करना

  1. क्यूटीएम के भीतर, अलग-अलग मार्कर प्रक्षेपपथ ों को अज्ञात प्रक्षेपपथ से लेबल किए गए प्रक्षेपपथ में खींचें और छोड़ें, और उन्हें चित्र 2 में नामकरण सम्मेलन के अनुसार लेबल करें।
  2. हाथ से जुड़े सभी मार्करों का चयन करें, और राइट-क्लिक करें और चयन से एआईएम मॉडल जेनरेट करें का चयन करें। नई विंडो में, मौजूदा एआईएम मॉडल से मार्कर कनेक्शन के आधार पर नया मॉडल बनाएं का चयन करें और अगला बटन दबाएं।
  3. RH_FH मॉडल परिभाषा का चयन करें, और खोलें दबाएँ। अगला दबाएँ, AIM मॉडल के लिए कोई नाम दर्ज करें, और OK दबाएँ. अंत में, प्रतिभागी के हाथ के लिए एक एआईएम मॉडल बनाने के लिए फिनिश दबाएं, जिसका उपयोग उसी प्रतिभागी से लगातार परीक्षणों में मार्करों की स्वचालित रूप से पहचान करने के लिए किया जाएगा।

10. प्रतिभागी के लिए एक व्यक्तिगत कंकाल परिभाषा बनाना

  1. QTM में, प्ले मेनू पर नेविगेट करें, और रियल-टाइम आउटपुट के साथ खेलें का चयन करें।
  2. माया खोलें। QTM कनेक्ट शेल्फ पर नेविगेट करें, और QTM से कनेक्ट करें आइकन दबाएँ। नई विंडो में, मार्कर जाँचें, और कनेक्ट दबाएँ। अब, QTM कनेक्ट शेल्फ में प्ले आइकन दबाएं।
  3. सभी हैंड मार्करों को शिफ्ट-सेलेक्ट करें और वॉश लोकेटर आइकन दबाएं । धुले हुए हाथ मार्करों का चयन करें, और Ctrl + G दबाएँ। यह एक समूह नोड बनाएगा। समूह मार्करों का नाम बताइए।
  4. सभी हाथ मार्करों का चयन करें। संशोधित करें मेनू में, नाम खोजें और बदलें क्लिक करें. RH_ उपसर्ग खोजें, और मार्करों के लिए उपसर्ग हटाएं।
  5. QTM कनेक्ट शेल्फ में आयात सॉल्वर चिह्न दबाएँ। कंकाल परिभाषा "RH_FH.xml" लोड करें।
  6. विंडोज मेनू में, सामान्य संपादकों पर नेविगेट करें | नेमस्पेस संपादक। नई विंडो के भीतर, :(रूट) पर क्लिक करें, और एक नया नेमस्पेस, आरएच बनाने के लिए नया दबाएं। आरएच नेमस्पेस पर क्लिक करें, नया दबाएं, और नए नेमस्पेस मॉडलपोज़ को नाम दें।
  7. सभी मार्करों का चयन करें, आरएच नामस्थान पर क्लिक करें, और आरएच नामस्थान में मार्कर जोड़ने के लिए चयनित जोड़ें दबाएं।
  8. कंकाल की हड्डियों का चयन करें, मॉडलपोज़ नेमस्पेस पर क्लिक करें, और मॉडलपोज़ नेमस्पेस में कंकाल की हड्डियों को जोड़ने के लिए चयनित जोड़ें दबाएं ।
  9. मार्कर डेटा को फिट करने के लिए कंकाल को घुमाएं, अनुवाद करें और स्केल करें। इसके बाद, प्रत्येक कंकाल जोड़ के लिए व्यक्तिगत रूप से, शिफ्ट + कंकाल जोड़ और उसके संबंधित मार्करों का चयन करें, और अनुलग्नक जोड़ें आइकन दबाएं। अंत में, नई कंकाल परिभाषा को एक XML फ़ाइल में निर्यात करने के लिए निर्यात सॉल्वर आइकन दबाएं, जिसे QTM में लोड किया जा सकता है (अगला चरण देखें)।
    नोट: यह कदम सख्ती से आवश्यक नहीं है, लेकिन यह मार्कर डेटा में फिट कंकाल की सटीकता बढ़ाने के लिए उपयोगी है। अधिक जानकारी के लिए https://github.com/qualisys/QTM-Connect-For-Maya पर QSolverQuickstartGuide पढ़ें।

11. संयुक्त कंकाल जोड़ पोज़ का पुनर्निर्माण करें

  1. क्यूटीएम के भीतर, गियरव्हील आइकन दबाकर प्रोजेक्ट सेटिंग्स खोलें। साइडबार में, स्केलेटन सॉल्वर पर नेविगेट करें, और कंकाल परिभाषा फ़ाइल का चयन करने के लिए लोड दबाएं। स्केल फ़ैक्टर को 100% तक समायोजित करें, और लागू करें दबाएँ.
  2. TSV निर्यात पर नेविगेट करें, और डेटा प्रकार सेटिंग्स में बॉक्स 3D, 6D और स्केलेटन चेक करें। सामान्य सेटिंग्स में सभी बक्सों की जाँच करें. लागू करें दबाएँ, और प्रोजेक्ट सेटिंग्स बंद करें।
  3. रीप्रोसेस आइकन दबाएँ, बक्सों को चेक करें कंकाल हल करें और TSV फ़ाइल में निर्यात करें, और OK दबाएँ.

12. हाथ जाल पुनर्निर्माण उत्पन्न करना

  1. प्रोजेक्ट रिपॉजिटरी में एक कमांड विंडो खोलें, और कमांड निष्पादित करके कोंडा वातावरण को सक्रिय करें:
    कॉन्डा संपर्क-क्षेत्रों को सक्रिय करता है
  2. फिर, निम्नलिखित कमांड निष्पादित करें, और परीक्षण के प्रत्येक फ्रेम के लिए, वर्तमान हाथ मुद्रा का पुनर्निर्माण करने के लिए एक हाथ जाल उत्पन्न करने के लिए स्क्रिप्ट द्वारा प्रदान किए गए निर्देशों का पालन करें।
    पायथन Hand_Mesh_Reconstruction.py --GPU 0 --test_epoch 4
    नोट: ये जाल पुनर्निर्माण ओपन-सोर्स और प्रीट्रेंड हैंड मेष जनरेशन टूल, डीपहैंडमेष29 के एक संशोधित संस्करण का उपयोग करके स्वचालित रूप से उत्पन्न होते हैं।

13. हाथ-वस्तु संपर्क क्षेत्र अनुमान उत्पन्न करना

  1. प्रोजेक्ट रिपॉजिटरी में एक कमांड विंडो खोलें, निम्नलिखित कमांड निष्पादित करें, और हाथ और ऑब्जेक्ट मेष के बीच चौराहे की गणना करके हाथ और वस्तु संपर्क क्षेत्र अनुमान उत्पन्न करने के लिए स्क्रिप्ट द्वारा प्रदान किए गए निर्देशों का पालन करें।
    ब्लेंडर - पृष्ठभूमि - पायथन "Contact_Region_Estimation.py"

Representative Results

प्रस्तावित विधि के लिए पहली आवश्यकता 3 डी वस्तुओं और हाथों की स्थिति को सटीक रूप से ट्रैक करने के लिए एक प्रणाली है। विशिष्ट सेटअप चित्रा 1 ए में दिखाया गया है और मोशन कैप्चर कंपनी क्वालिसिस द्वारा निर्मित हार्डवेयर और सॉफ्टवेयर का उपयोग करता है। हम एक ट्रैकिंग वॉल्यूम (100 सेमी x 100 सेमी x 100 सेमी) के भीतर एक वर्कबेंच रखते हैं, जिसे आठ ट्रैकिंग कैमरों और छह वीडियो कैमरों द्वारा कई कोणों से चित्रित किया जाता है जो कार्यक्षेत्र के आसपास एक क्यूबिकल फ्रेम पर व्यवस्थित होते हैं। ट्रैकिंग कैमरे 180 फ्रेम /सेकंड पर ट्रैकिंग वॉल्यूम के भीतर और उप-मिलीमीटर 3 डी स्थानिक रिज़ॉल्यूशन के साथ चिंतनशील मार्करों की 3 डी स्थिति को ट्रैक करते हैं। हम 4 मिमी रिफ्लेक्टिव मार्करों को नियोजित करते हैं, जो त्वचा के अनुकूल डबल-पक्षीय चिपकने वाले टेप का उपयोग करके वस्तुओं और हाथों से जुड़े होते हैं। 3 डी मार्कर पदों को मोशन कैप्चर सॉफ्टवेयर द्वारा संसाधित किया जाता है। चर्चा अनुभाग वैकल्पिक गति कैप्चर सिस्टम की भी समीक्षा करता है जिसे प्रस्तावित विधि के साथ नियोजित किया जा सकता है।

वास्तविक वस्तुओं के सटीक 3 डी पुनर्निर्माण प्राप्त करने के लिए, हम दो विकल्पों का प्रस्ताव करते हैं। पहला, जो यहां अपनाया गया है, एक बहुभुज जाल के रूप में एक आभासी 3 डी ऑब्जेक्ट मॉडल से शुरू करना है। इस तरह के 3 डी मॉडल का निर्माण उपयुक्त सॉफ्टवेयर (जैसे, ब्लेंडर 3 डी44) और फिर 3 डी मुद्रित (चित्रा 1 बी) का उपयोग करके किया जा सकता है। दूसरा विकल्प एक मौजूदा, वास्तविक 3 डी ऑब्जेक्ट लेना और ऑब्जेक्ट की जाल मॉडल प्रतिकृति बनाने के लिए 3 डी स्कैनिंग तकनीक का उपयोग करना है। जो भी रणनीति है, अंतिम लक्ष्य एक वास्तविक 3 डी ऑब्जेक्ट और संबंधित वर्चुअल 3 डी ऑब्जेक्ट मेष मॉडल दोनों प्राप्त करना है। ध्यान दें, यहां वर्णित दृष्टिकोण केवल कठोर (यानी, गैर-विकृत) वस्तुओं के साथ काम करता है।

एक बार जब किसी वस्तु की 3 डी सतह एक जाल मॉडल के रूप में उपलब्ध होती है, तो इसकी स्थिति को ट्रैक और सह-पंजीकृत किया जाना चाहिए (चित्रा 1 सी)। ऐसा करने के लिए, वास्तविक वस्तु की सतह से चार गैर-प्लानर रिफ्लेक्टिव मार्कर जुड़े होते हैं, और ऑब्जेक्ट को ट्रैकिंग वॉल्यूम के भीतर रखा जाता है। ऑब्जेक्ट मार्करों की 3 डी स्थितियों को तब संक्षेप में कैप्चर किया जाता है। इस कैप्चर का उपयोग ऑब्जेक्ट मेष मॉडल के चार मार्करों और चार शीर्षों के बीच पत्राचार स्थापित करने के लिए किया जाता है। यह ब्लेंडर के पायथन एपीआई में लिखे गए एक सरल तदर्थ सॉफ्टवेयर मार्ग का उपयोग करके किया जाता है। ब्लेंडर के व्यूपोर्ट के भीतर, कार्यक्रम वर्चुअल ऑब्जेक्ट को मार्कर पदों के साथ प्रस्तुत करता है जिसे प्रत्येक मार्कर के लिए एक गोले से युक्त एकल जाल वस्तु के रूप में दर्शाया जाता है। उपयोगकर्ता तब ऑब्जेक्ट और / या मार्करों को घुमा और अनुवाद कर सकता है ताकि उन्हें संरेखित किया जा सके कि वे वास्तविक वस्तु पर रखे गए वास्तविक मार्करों के साथ सह-संरेखित हों। कार्यक्रम रोटेशन और अनुवाद को पंजीकृत करेगा जो एकल रोटो-अनुवाद की गणना करने के लिए लागू होता है जो अंततः मूल ऑब्जेक्ट जाल पर लागू होता है, एक ऑब्जेक्ट जाल प्रदान करता है जो क्यूटीएम में कठोर शरीर परिभाषा के साथ सह-पंजीकृत है।

पत्राचार स्थापित करने के बाद, जब भी वास्तविक वस्तु को ट्रैकिंग वॉल्यूम के भीतर ले जाया जाता है, तो ट्रैक किए गए मार्करों और चार संबंधित जाल शीर्षों के बीच रोटो-अनुवाद की गणना करके वर्चुअल ऑब्जेक्ट को नई स्थिति में रखा जा सकता है। इसके बजाय पकड़ की गतिशीलता को रिकॉर्ड करने के लिए, डबल-साइडेड टेप (चित्रा 1 डी और चित्रा 2) का उपयोग करके हाथ के विभिन्न स्थलों पर कुल 24 गोलाकार प्रतिबिंबित मार्कर जुड़े हुए हैं।

एक परीक्षण की शुरुआत में (चित्रा 1 ई), एक प्रतिभागी अपने हाथ को वर्कबेंच पर सपाट रखता है, हथेली नीचे की ओर होती है और अपनी आंखें बंद कर लेती है। प्रयोगकर्ता प्रतिभागी के सामने वर्कबेंच पर एक लक्ष्य वस्तु रखता है। इसके बाद, एक श्रवण संकेत प्रतिभागी को अपनी आँखें खोलने और पकड़ को निष्पादित करने के लिए संकेत देता है। हमारे प्रदर्शनों में, कार्य लक्ष्य वस्तु तक पहुंचना और पकड़ना है, इसे लगभग 10 सेमी तक लंबवत रूप से उठाना है, इसे नीचे सेट करना है, और हाथ को इसकी शुरुआती स्थिति में वापस करना है। पायथन 3.7 में लिखी गई एक स्क्रिप्ट प्रयोग को नियंत्रित करती है। प्रत्येक परीक्षण पर, स्क्रिप्ट प्रयोगकर्ता (जैसे, वस्तु पहचान और स्थिति) को वर्तमान स्थिति सेटिंग्स का चयन और संचार करती है। स्क्रिप्ट परीक्षण के समय को भी नियंत्रित करती है, जिसमें श्रवण संकेत और गति कैप्चर रिकॉर्डिंग की शुरुआत और बंद शामिल हैं।

अंगों को न केवल 3 डी अंतरिक्ष में उनकी स्थिति की विशेषता है, बल्कि उनकी मुद्रा भी है। इस प्रकार, एक वास्तविक समझ को निष्पादित करने वाले मानव हाथ के पूर्ण 3 डी पुनर्निर्माण को प्राप्त करने के लिए, हमें न केवल 3 डी स्पेस में प्रत्येक जोड़ की स्थिति की आवश्यकता होती है, बल्कि इसके मूल जोड़ (चित्रा 1 एफ) के संबंध में प्रत्येक जोड़ के सापेक्ष मुद्रा (अनुवाद और रोटेशन) की भी आवश्यकता होती है। व्युत्क्रम कीनेमेटिक्स का उपयोग करके मार्कर स्थितियों से कंकाल संयुक्त स्थिति और झुकाव का अनुमान लगाया जा सकता है। ऐसा करने के लिए, यहां हम क्यूटीएम सॉफ्टवेयर द्वारा प्रदान किए गए कंकाल सॉल्वर को नियोजित करते हैं। सॉल्वर के काम करने के लिए, हमें पहले एक कंकाल परिभाषा प्रदान करनी होगी जो प्रत्येक जोड़ की स्थिति और अभिविन्यास को कई मार्कर पदों से जोड़ती है। इस प्रकार, एक कंकाल परिभाषा का निर्माण किया गया है, और कंकाल रिग माया के लिए क्यूटीएम कनेक्ट प्लगइन का उपयोग करके मार्कर डेटा से जुड़ा हुआ है। हम प्रत्येक प्रतिभागी के लिए व्यक्तिगत कंकाल परिभाषाएं बनाते हैं ताकि कंकाल की सटीकता को अधिकतम किया जा सके जो मार्कर डेटा में फिट बैठता है। प्रत्येक प्रतिभागी के लिए, हम मैन्युअल रूप से एक हाथ के कंकाल को गति कैप्चर डेटा के एकल फ्रेम में फिट करते हैं। प्रतिभागी-विशिष्ट कंकाल परिभाषा प्राप्त करने के बाद, हम फिर प्रयोग में प्रत्येक परीक्षण के प्रत्येक फ्रेम के लिए कंकाल संयुक्त पोज़ का अनुमान लगाने के लिए कंकाल सॉल्वर चलाते हैं।

एक प्रयोग में प्रत्येक परीक्षण के प्रत्येक फ्रेम के लिए, हम एक हाथ जाल उत्पन्न करते हैं जो ओपन-सोर्स और प्रीट्रेंड हैंड मेष पीढ़ी उपकरण, डीपहैंडमेष28 (चित्रा 1 जी) का उपयोग करके वर्तमान हाथ मुद्रा का पुनर्निर्माण करता है। DeepHandMesh एक गहरा एनकोडर-डिकोडर नेटवर्क है जो छवियों से व्यक्तिगत हाथ जाल उत्पन्न करता है। सबसे पहले, एनकोडर एक छवि (यानी, संयुक्त यूलर कोण) के भीतर एक हाथ की मुद्रा का अनुमान लगाता है। फिर, अनुमानित हाथ मुद्रा और एक व्यक्तिगत आईडी वेक्टर डिकोडर को इनपुट किया जाता है, जो एक धांधली वाले टेम्पलेट जाल के लिए तीन योजक सुधारात्मक के एक सेट का अनुमान लगाता है। अंत में, टेम्प्लेट जाल को अनुमानित हाथ मुद्रा और रैखिक मिश्रण खाल का उपयोग करके सुधारात्मक के अनुसार विकृत किया जाता है। पहला सुधारात्मक एक आईडी-निर्भर कंकाल सुधारात्मक है जिसके माध्यम से कंकाल रिग को व्यक्ति-विशिष्ट संयुक्त पदों को शामिल करने के लिए समायोजित किया जाता है। अन्य दो सुधारात्मक जाल सुधारात्मक हैं जिनके माध्यम से प्रतिभागी के हाथ की सतह का बेहतर प्रतिनिधित्व करने के लिए जाल कोने को समायोजित किया जाता है। जाल सुधारात्मक में से एक आईडी-निर्भर जाल सुधारात्मक है जो एक व्यक्तिगत प्रतिभागी के हाथ की सतह संरचना के लिए जिम्मेदार है। इसके बजाय अंतिम जाल सुधारात्मक एक मुद्रा-निर्भर वर्टेक्स सुधारात्मक है जो वर्तमान हाथ मुद्रा के कारण हाथ की सतह की विकृति के लिए जिम्मेदार है।

DeepHandMesh को 2 डी संयुक्त कुंजी बिंदुओं और दृश्य गहराई मानचित्रों के साथ कमजोर पर्यवेक्षण का उपयोग करके प्रशिक्षित किया जाता है। यहां, हम हाथ जाल पुनर्निर्माण उत्पन्न करने के लिए केवल पूर्वप्रशिक्षित डीपहैंडमेश डिकोडर का उपयोग करते हैं, जो निम्नलिखित तरीकों से संशोधित होता है (चित्रा 3)। सबसे पहले, जैसा कि नेटवर्क विशिष्ट प्रतिभागियों पर प्रशिक्षित नहीं है, पूर्वप्रशिक्षित मॉडल के साथ प्रदान किए गए जेनेरिक आईडी-निर्भर जाल सुधारात्मक को नियोजित किया जाता है (चित्रा 3 ए)। इसके अलावा, आईडी-निर्भर कंकाल सुधारात्मक क्यूटीएम कंकाल सॉल्वर का उपयोग करके प्राप्त किया जाता है जैसा कि ऊपर वर्णित है (चित्रा 3 बी)। कंकाल की लंबाई के साथ हाथ की आनुपातिक स्केलिंग को माना जाता है, और जाल की मोटाई को कंकाल के सापेक्ष स्केलिंग से प्राप्त कारक द्वारा समान रूप से बढ़ाया जाता है ताकि जाल प्रतिभागी के हाथ के आकार का बेहतर अनुमान लगा सके (चित्रा 3 सी)। यह संशोधित जाल डिकोडर को इनपुट है, साथ में वर्तमान हाथ मुद्रा (मार्कर डेटा से प्राप्त) और कलाई की 3 डी स्थिति और अभिविन्यास के साथ। इस प्रकार, डिकोडर वर्तमान पोज़-निर्भर सुधारात्मक की गणना करता है, सभी सुधारात्मक और रोटो-अनुवाद लागू करता है, और 3 डी ट्रैक किए गए ऑब्जेक्ट मेष (चित्रा 3 डी) के समान समन्वय फ्रेम में वर्तमान हाथ मुद्रा के 3 डी हाथ जाल पुनर्निर्माण को आउटपुट करता है।

Figure 3
चित्रा 3: प्रीट्रेंड डीपहैंडमेश डिकोडर में संशोधन । (ए) निश्चित, जेनेरिक आईडी-निर्भर जाल सुधारात्मक। (बी) आईडी-निर्भर कंकाल सुधारात्मक चरण 10 में व्युत्क्रम कीनेमेटिक्स के माध्यम से प्राप्त किया गया। (सी) हाथ जाल का आकार कंकाल के जोड़ों के समान कारक द्वारा मापा जाता है। (डी) वर्तमान हाथ मुद्रा का अंतिम 3 डी हाथ जाल पुनर्निर्माण। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

एक प्रतिभागी के हाथ और एक समझी गई वस्तु दोनों के लिए 3 डी जाल मॉडल का पुनर्निर्माण करने के बाद, हाथ और वस्तु जाल के बीच चौराहे की गणना करके हाथ-वस्तु संपर्क क्षेत्रों का अनुमान लगाया जा सकता है (चित्रा 1 एच)। इसके पीछे धारणा यह है कि असली हाथ सतह के संपर्क से विकृत हो जाता है, जिसका अर्थ है कि कंकाल सतह के करीब आ सकता है यदि हाथ कठोर था, जो हाथ जाल के कुछ हिस्सों को वस्तु जाल से गुजरने की अनुमति देता है। नतीजतन, संपर्क क्षेत्रों को दो जाल के बीच ओवरलैप के क्षेत्रों के रूप में अनुमानित किया जा सकता है।

विशेष रूप से, ओवरलैप के इन क्षेत्रों की गणना करने के लिए, हम ऑब्जेक्ट जाल कोने को परिभाषित करते हैं जो हाथ के जाल के 3 डी वॉल्यूम के भीतर हाथ के संपर्क में होते हैं। इन शीर्षों की पहचान एक मानक किरण अनुरेखण दृष्टिकोण45 का उपयोग करके की जाती है। ऑब्जेक्ट जाल के प्रत्येक शीर्ष के लिए, एक किरण उस शीर्ष से हाथ जाल के बाहर एक मनमाने ढंग से 3 डी बिंदु तक डाली जाती है। फिर हम कास्ट रे और हाथ की सतह की रचना करने वाले त्रिकोणों के बीच होने वाले चौराहों की संख्या का आकलन करते हैं। यदि चौराहों की संख्या विषम है, तो वस्तु शीर्ष हाथ जाल के अंदर निहित है। यदि चौराहों की संख्या सम है, तो ऑब्जेक्ट वर्टेक्स हाथ जाल के बाहर है। वस्तु की सतह पर संपर्क क्षेत्रों को, इस प्रकार, त्रिकोण चेहरों के सेट के रूप में अनुमानित किया जा सकता है, जिनके शीर्ष सभी हाथ जाल के भीतर निहित हैं। हम हाथ की सतह पर संपर्क क्षेत्रों का अनुमान लगाने के लिए ऑब्जेक्ट मेष के 3 डी वॉल्यूम में निहित हाथ जाल कोने पर समान तर्क लागू कर सकते हैं। विशेष रूप से, बूलियन जाल संचालन के लिए अधिक उन्नत दृष्टिकोण का भी उपयोग किया जा सकताहै।

वीडियो 1 में एक हाथ का एक वीडियो दिखाया गया है, जिसमें ट्रैक किए गए बिंदु और सह-पंजीकृत जाल सभी 3 डी-मुद्रित बिल्ली की मूर्ति के लिए एक ही पकड़ के दौरान साथ-साथ घूम रहे हैं। चित्रा 4 ए इसके बजाय हाथ-वस्तु संपर्क के समय एक एकल फ्रेम को एक पकड़ से 3 डी-मुद्रित क्रोइसेंट तक दिखाता है, साथ ही हाथ-वस्तु जाल पुनर्निर्माण (चित्रा 4 बी) और क्रोइसेंट की सतह पर अनुमानित संपर्क क्षेत्र (चित्रा 4 सी)।

Figure 4
चित्र 4: अनुमानित हाथ-वस्तु संपर्क क्षेत्र। (ए) एक पकड़ के दौरान ट्रैकिंग कैमरों में से एक से देखे गए हाथ और वस्तु को ट्रैक किया गया। (बी) ट्रैकिंग कैमरे के समान दृष्टिकोण से प्रस्तुत हाथ जाल और ट्रैक किए गए ऑब्जेक्ट जाल का पुनर्निर्माण। (सी) कई दृष्टिकोणों से देखी गई वस्तु की सतह पर संपर्क क्षेत्र। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

वीडियो 1: हाथ और वस्तु के जाल पुनर्निर्माण। एक ही कैमरा दृष्टिकोण से देखे गए एकल पकड़ के दौरान हाथ का जीआईएफ एनीमेशन, ट्रैक किए गए मार्कर, और हाथ और वस्तु जाल पुनर्निर्माण। कृपया इस वीडियो को डाउनलोड करने के लिए यहाँ क्लिक करें।

Discussion

हम एक ऐसी विधि का प्रस्ताव करते हैं जो बहु-अंकीय समझ के दौरान हाथ-वस्तु इंटरैक्शन के लिए संपर्क क्षेत्रों के अनुमान को सक्षम बनाता है। चूंकि एक हाथ की पूरी सतह की पूर्ण ट्रैकिंग वर्तमान में असाध्य है, इसलिए हम एक हाथ जाल के पुनर्निर्माण का उपयोग करने का प्रस्ताव करते हैं जिसकी मुद्रा हाथ पर विरल कुंजी बिंदुओं द्वारा निर्धारित की जाती है। इन विरल प्रमुख बिंदुओं को ट्रैक करने के लिए, हमारा समाधान निष्क्रिय मार्कर ट्रैकिंग के आधार पर एक शोध-ग्रेड गति कैप्चर सिस्टम को नियोजित करता है। बेशक, प्रस्तावित विधि के साथ अन्य मोशन कैप्चर सिस्टम को भी नियोजित किया जा सकता है, बशर्ते कि वे पर्याप्त रूप से सटीक 3 डी स्थिति डेटा प्राप्त करें। हम सक्रिय मार्कर मोशन कैप्चर सिस्टम (जैसे लोकप्रिय लेकिन बंद ऑप्टोट्रैक सर्टस) के खिलाफ सलाह देते हैं, क्योंकि इन्हें प्रतिभागियों के हाथों में केबल और / या इलेक्ट्रॉनिक उपकरणों को संलग्न करने की आवश्यकता होती है, जो आंदोलनों को प्रतिबंधित कर सकते हैं या कम से कम विशिष्ट समझ पैदा कर सकते हैं क्योंकि प्रतिभागियों को उनके हाथों की मुद्रा के बारे में अधिक सचेत रूप से जागरूक किया जाता है। जड़त्वीय माप इकाइयों का उपयोग करके गति-ट्रैकिंग दस्ताने एक संभावना हो सकती है, भले ही इन प्रणालियों को बहाव से पीड़ित होने के लिए जाना जाता है, हाथ की गतिविधियों को भी प्रतिबंधित कर सकता है, और हाथ की सतह को वस्तु सतहों के साथ पूर्ण और सीधे संपर्क में आने की अनुमति नहीं देता है। वाणिज्यिक मार्कररहित हाथ-ट्रैकिंग समाधान (जैसे, लीप मोशन46,47,48) भी एक संभावना हो सकती है, हालांकि अकेले इन प्रणालियों के साथ ऑब्जेक्ट स्थितियों को ट्रैक करना संभव नहीं हो सकता है। एक शोध-ग्रेड मोशन कैप्चर सिस्टम के लिए सबसे आशाजनक वैकल्पिक विकल्प ओपन-सोर्स, मार्करलेस ट्रैकिंग समाधान (जैसे, मैथिस एट अल .28) द्वारा दिया गया है। यदि कई सह-पंजीकृत कैमरों49 के साथ उपयोग किया जाता है, तो ऐसे सिस्टम संभावित रूप से मार्कर, दस्ताने या केबल की आवश्यकता के बिना 3 डी में हाथ की संयुक्त स्थिति और वस्तु की स्थिति को ट्रैक कर सकते हैं। ये समाधान, साथ ही यह मार्कर-आधारित प्रणाली, हालांकि, अवरोधों के कारण डेटा हानि के मुद्दों से पीड़ित हो सकती है।

सीमाएं और भविष्य की दिशाएं
चूंकि इस विधि के माध्यम से प्राप्त हाथ पुनर्निर्माण पूरी तरह से सटीक नहीं होंगे, इसलिए प्रयोगों के प्रकारों की कुछ सीमाएं हैं जिनके लिए विधि का उपयोग किया जाना चाहिए। जमीनी सच्चाई से हाथ जाल पुनर्निर्माण में विचलन अनुमानित हाथ / वस्तु संपर्क क्षेत्रों में विचलन में प्रकट होगा। इस प्रकार, पूर्ण उपायों को प्राप्त करने के लिए इस पद्धति को लागू करने के लिए संपर्क क्षेत्र के अनुमानों की निष्ठा का आकलन करने की आवश्यकता होगी। हालांकि, यहां तक कि अनुमानित अनुमान अभी भी प्रतिभागी प्रयोगात्मक डिजाइनों में उपयोगी हो सकते हैं क्योंकि विधि के संभावित पूर्वाग्रह एक समान तरीके से एक प्रतिभागी के भीतर विभिन्न प्रयोगात्मक स्थितियों को प्रभावित करने की संभावना रखते हैं। इसलिए, सांख्यिकीय विश्लेषण और निष्कर्ष केवल स्थितियों के बीच संपर्क क्षेत्र में अंतर जैसे उपायों पर किए जाने चाहिए, जहां प्रभाव की दिशा संबंधित जमीनी सच्चाई के साथ सहसंबंधित होगी। भविष्य के शोध में, हम अपने दृष्टिकोण को और मान्य करने की योजना बना रहे हैं, उदाहरण के लिए थर्मोक्रोमिक पेंट में कवर की गई वस्तुओं पर थर्मल फिंगरप्रिंट के लिए संपर्क क्षेत्र के अनुमानों की तुलना करके।

डेटा संग्रह से लेकर अंतिम संपर्क क्षेत्र आकलन तक अधिकांश प्रसंस्करण चरण पूरी तरह से स्वचालित हैं और इस प्रकार, हाथ-वस्तु संपर्क क्षेत्र आकलन के लिए एक मानकीकृत प्रक्रिया की दिशा में महत्वपूर्ण योगदान प्रदान करते हैं। हालांकि, ट्रैक किए गए मार्करों के 3 डी पदों के लिए व्यक्तिगत कंकालों का एक प्रारंभिक फिट अभी भी प्रत्येक प्रतिभागी के लिए कंकाल परिभाषा प्राप्त करने के लिए मैन्युअल रूप से किया जाना चाहिए। जैसे-जैसे एक प्रयोग के लिए प्रतिभागियों की संख्या बढ़ती है, वैसे-वैसे मैनुअल फिट की संख्या भी होती है, और यह वर्तमान में प्रक्रिया में सबसे अधिक समय लेने वाला कदम है और ऑटोडेस्क माया सॉफ्टवेयर में मैनुअल हेराफेरी के साथ कुछ परिचितता की आवश्यकता होती है। भविष्य में, हम एक स्वचालित कंकाल अंशांकन प्रक्रिया जोड़कर प्रक्रिया पर मानव प्रभाव से बचने के लिए इस कदम को स्वचालित करने का लक्ष्य रखते हैं।

यहां वर्णित वर्कफ़्लो क्वालिसिस हार्डवेयर और सॉफ़्टवेयर (जैसे, क्यूटीएम कंकाल सॉल्वर) पर निर्भर करता है। यह वर्तमान में हमारी विधि की पहुंच को उन प्रयोगशालाओं तक सीमित करता है जिनके पास एक समान सेटअप है। सिद्धांत रूप में, हालांकि, विधि को गति कैप्चर डेटा के किसी भी स्रोत पर लागू किया जा सकता है। पहुंच का विस्तार करने के लिए, चल रहे काम में, हम उन विकल्पों की खोज कर रहे हैं जो हमारे वर्कफ़्लो को सामान्यीकृत करना चाहिए और इसे विशिष्ट हार्डवेयर और सॉफ़्टवेयर लाइसेंस पर कम निर्भर बनाना चाहिए।

विधि की एक और महत्वपूर्ण सीमा यह है कि, अपने वर्तमान रूप में, इसे केवल कठोर (गैर-विकृत) वस्तुओं पर लागू किया जा सकता है। भविष्य में, इस सीमा को समझी गई वस्तु की सतह के आकार को रिकॉर्ड करने के तरीकों का उपयोग करके दूर किया जा सकता है क्योंकि यह विकृत हो जाता है। इसके अतिरिक्त, इसकी अनुमानित प्रकृति के कारण, विधि वर्तमान में बहुत छोटी या पतली वस्तुओं के लिए अच्छी तरह से अनुकूल नहीं है।

अंत में, उच्च-निष्ठा हाथ की सतह मॉडलिंग के साथ अत्याधुनिक गति ट्रैकिंग को एकीकृत करके, हम समझने और हेरफेर के दौरान हाथ-वस्तु संपर्क क्षेत्रों का अनुमान लगाने के लिए एक विधि प्रदान करते हैं। भविष्य के शोध में,हम मनुष्यों में नेत्रहीन निर्देशित समझने वाले व्यवहार की जांच और मॉडल करने के लिए इस विधि को तैनात करने की योजना बना रहे हैं। हम आगे इन उपकरणों को आंखों की ट्रैकिंग 46,50,51,52 और आभासी / संवर्धित वास्तविकता प्रणालियों 53,54,55 के साथ एकीकृत करने की योजना बना रहे हैं ताकि वास्तविक और आभासी प्राकृतिक वातावरण 18,46,56,57 में नेत्रहीन निर्देशित हाथ और आंख आंदोलन मोटर नियंत्रण की जांच की जा सके।. इन कारणों से, प्रस्तावित विधि आभासी और संवर्धित वास्तविकता में हैप्टिक धारणा58, मोटर नियंत्रण और मानव-कंप्यूटर इंटरैक्शन का अध्ययन करने वाले शोधकर्ताओं के लिए रुचि हो सकती है। अंत में, मानव समझने की क्षमताओं के सटीक माप इंटरैक्टिव धारणा 39,40,41,42,43 के सिद्धांतों के आधार पर मजबूत रोबोट सिस्टम के डिजाइन को सूचित कर सकते हैं और ऊपरी अंग प्रोस्थेटिक्स के लिए ट्रांसलेशनल अनुप्रयोग हो सकते हैं।

Disclosures

लेखक ों ने घोषणा की कि कोई प्रतिस्पर्धी हित मौजूद नहीं हैं।

Acknowledgments

इस शोध को डॉयचे फोर्सचुंगस्जेमिनशाफ्ट (डीएफजी, जर्मन रिसर्च फाउंडेशन: प्रोजेक्ट नंबर 222641018-एसएफबी / टीआरआर 135 टीपी सी 1 और आईआरटीजी -1901 "द ब्रेन इन एक्शन") और रिसर्च क्लस्टर "द एडेप्टिव माइंड" द्वारा वित्त पोषित किया गया था। लेखक हमारे तरीकों को विकसित करने में सहायता के लिए मैथियास बंके और जेफरी थिंगवोल्ड सहित क्वालिसिस सहायता टीम को धन्यवाद देते हैं। लेखक ों ने हाथ मॉडल के रूप में पोज देने के लिए माइकला जेश्के को भी धन्यवाद दिया। विधि को पुन: पेश करने के लिए सभी डेटा और विश्लेषण स्क्रिप्ट और पांडुलिपि में प्रस्तुत परिणाम ज़ेनोडो (डीओआई: 10.5281 / zenodo.7458911) पर उपलब्ध हैं।

Materials

Name Company Catalog Number Comments
Anaconda Python distribution  (Anaconda 5.3.1 or later); https://repo.anaconda.com/archive/ scripts and functions were generated in Python version 3.7
Autodesk Maya Autodesk, Inc. Maya2022; https://www.autodesk.com/products/maya/overview 3D computer graphics application.  
Blender  Blender Foundation  Blender 2.92; https://download.blender.org/release/ 3D computer graphics application.  
Computer Workstation N/A N/A OS: Windows 10 or higher.
DeepHandMesh Meta Platforms, Inc. (Meta Open Source) https://github.com/facebookresearch/DeepHandMesh Pre-trained hand mesh generation tool.
Miqus M5 Qualisys Ab https://www.qualisys.com/cameras/miqus/  Passive marker motion tracking camera (8 units).
Miqus video camera Qualisys Ab https://www.qualisys.com/cameras/miqus-video/ Color video camera, synchronized with Miquis M5 tracking cameras (6 units).
Project repository  N/A Data and Code Repository  Data and code to replicate the current project. The repository is currently under construction, but we provide a private link where reviewers can download the current and most up-to-date version of the repository. The final repository will be made publicly available upon acceptance. 
Python 3 Python Software Foundation Python Version 3.7 Python3 and associated built-in libraries.
QTM Connect for Maya Qualisys Ab https://github.com/qualisys/QTM-Connect-For-Maya  Stream skeleton, rigid bodies and marker data from QTM to Maya
QTM Qualisys Track Manager Qualisys Ab Qualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/  Motion capture software
Qualisys SDK for Python Qualisys Ab https://github.com/qualisys/qualisys_python_sdk  Implements communication between QTM and Python

DOWNLOAD MATERIALS LIST

References

  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23 (2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898 (2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081 (2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027 (2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564 (2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219 (2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218 (2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49 (2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245 (2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849 (2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861 (2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634 (2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699 (2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230 (2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13 (2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Tags

व्यवहार अंक 194
मानव बहु-अंकीय समझ के दौरान हाथों और वस्तुओं के बीच संपर्क क्षेत्रों का अनुमान
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Hartmann, F., Maiello, G., Rothkopf, … More

Hartmann, F., Maiello, G., Rothkopf, C. A., Fleming, R. W. Estimation of Contact Regions Between Hands and Objects During Human Multi-Digit Grasping. J. Vis. Exp. (194), e64877, doi:10.3791/64877 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter