Summary
मल्टीमॉडल सेंसर का उपयोग करना शैक्षिक सेटिंग्स में सामाजिक बातचीत की भूमिका को समझने का एक आशाजनक तरीका है। यह पेपर मोबाइल आई-ट्रैकर्स का उपयोग करके colocated dyads से संयुक्त दृश्य ध्यान पर कब्जा करने के लिए एक पद्धति का वर्णन करता है।
Abstract
नई तकनीकी प्रगति के आगमन के साथ, अभूतपूर्व सटीकता के साथ सूक्ष्म स्तर पर सामाजिक बातचीत का अध्ययन करना संभव है। उच्च आवृत्ति सेंसर, जैसे आंख-ट्रैकर्स, इलेक्ट्रोडरमल गतिविधि कलाई बैंड, ईईजी बैंड, और मोशन सेंसर मिलीसेकंड स्तर पर अवलोकन प्रदान करते हैं। परिशुद्धता का यह स्तर शोधकर्ताओं को सामाजिक बातचीत पर बड़े डेटासेट एकत्र करने की अनुमति देता है। इस पेपर में, मैं चर्चा करता हूं कि कैसे कई आंख ट्रैकर्स सामाजिक बातचीत, संयुक्त दृश्य ध्यान (जेवीए) में एक मौलिक निर्माण पर कब्जा कर सकते हैं। जेवीए का अध्ययन विकासात्मक मनोवैज्ञानिकों द्वारा यह समझने के लिए किया गया है कि बच्चे भाषा कैसे प्राप्त करते हैं, वैज्ञानिकों को यह समझने के लिए सीखते हैं कि शिक्षार्थियों के छोटे समूह एक साथ कैसे काम करते हैं, और सामाजिक वैज्ञानिक छोटी टीमों में बातचीत को समझने के लिए । यह पेपर मोबाइल आई-ट्रैकर्स का उपयोग करके colocated सेटिंग्स में जेवीए पर कब्जा करने के लिए एक पद्धति का वर्णन करता है। यह कुछ अनुभवजन्य परिणाम प्रस्तुत करता है और सामाजिक बातचीत को समझने के लिए माइक्रोअवलोकन पर कब्जा करने के निहितार्थों पर चर्चा करता है।
Introduction
जेवीए का पिछली शताब्दी में व्यापक रूप से अध्ययन किया गया है, विशेष रूप से भाषा अधिग्रहण का अध्ययन करने वाले विकासात्मक मनोवैज्ञानिकों द्वारा। यह जल्दी से स्थापित किया गया था कि संयुक्त ध्यान सिर्फ एक तरह से शब्दों को जानने के बजाय मन1के बच्चों के सिद्धांतों के लिए एक अग्रदूत से अधिक है । इस प्रकार, यह कई सामाजिक प्रक्रियाओं में एक महत्वपूर्ण भूमिका निभाता है, जैसे दूसरों के साथ संवाद स्थापित करना, सहयोग करना और सहानुभूति विकसित करना। उदाहरण के लिए, ऑटिस्टिक बच्चों में उनके देखभाल करने वालों के साथ उनके दृश्य ध्यान को समन्वित करने की क्षमता की कमी है, जो महत्वपूर्ण सामाजिक हानि2से जुड़ा हुआ है। मनुष्य को समाज के कार्यात्मक सदस्य बनने, अपने कार्यों का समन्वय करने और दूसरों से सीखने के लिए संयुक्त ध्यान देने की आवश्यकता है । अपने पहले शब्दप्राप्त बच्चों से, स्कूल के शिक्षकों से सीखने वाले किशोर, परियोजनाओं पर सहयोग करने वाले छात्र, और सामान्य लक्ष्यों की ओर काम करने वाले वयस्कों के समूहों के लिए, संयुक्त ध्यानव्यक्तियों केबीच आम जमीन स्थापित करने के लिए एक मौलिक तंत्र है 3 । इस पेपर में मैं एजुकेशनल रिसर्च में जेवीए की पढ़ाई पर फोकस करता हूं। यह समझना कि सहयोगी सीखने की प्रक्रियाओं के अध्ययन के लिए समय के साथ संयुक्त ध्यान कैसे करेंगी, प्राथमिक महत्व है। इस प्रकार, यह समाजनिर्माणवादी सेटिंग्स में एक प्रमुख भूमिका निभाता है।
संयुक्त ध्यान की सही परिभाषा पर अभी भी बहस होती है4. इस कागज संयुक्त ध्यान (JA), अर्थात् जेवीए के एक उपनिर्माण के साथ संबंध है । जेवीए तब होता है जब दो विषय एक ही समय में एक ही जगह पर देख रहे होते हैं । यह ध्यान दिया जाना चाहिए कि जेवीए जेए के अध्ययन में रुचि के अन्य महत्वपूर्ण निर्माणों के बारे में कोई जानकारी प्रदान नहीं करता है, जैसे आम, पारस्परिक और साझा ध्यान की निगरानी, या आम तौर पर, किसी अन्य समूह के सदस्य की अनुभूति के बारे में जागरूकता। यह पेपर दो प्रतिभागियों से आंख ों पर नज़र रखने वाले डेटा के संयोजन और आवृत्ति का विश्लेषण करके जेवीए को चालू और सरल बनाता है जिसमें वे अपनी टकटकी को संरेखित करते हैं। अधिक व्यापक चर्चा के लिए, इच्छुक पाठक सिपोसोवेट अल4में जेए निर्माण के अध्ययन के बारे में अधिक जान सकता है।
पिछले एक दशक में, तकनीकी प्रगति ने जेवीए पर अनुसंधान को मौलिक रूप से बदल दिया है। मुख्य प्रतिमान बदलाव के लिए ध्यान संरेखण के मात्रात्मक उपायों को प्राप्त करने के लिए कई आंख ट्रैकर्स का उपयोग किया गया था, के रूप में गुणात्मक एक प्रयोगशाला या पारिस्थितिक सेटिंग में वीडियो रिकॉर्डिंग का विश्लेषण करने का विरोध किया । इस विकास ने शोधकर्ताओं को dyads के दृश्य समन्वय के बारे में सटीक, विस्तृत जानकारी एकत्र करने की अनुमति दी है । इसके अतिरिक्त, आंख ट्रैकर्स अधिक किफायती होते जा रहे हैं: हाल ही में जब तक, उनका उपयोग अकादमिक सेटिंग्स या बड़े निगमों के लिए आरक्षित था। अब विश्वसनीय डेटासेट उत्पन्न करने वाले सस्ती आई-ट्रैकर्स खरीदना संभव है। अंत में, उच्च अंत लैपटॉप और आभासी और संवर्धित वास्तविकता हेडसेट्स की तरह मौजूदा उपकरणों में टकटकी ट्रैकिंग क्षमताओं के प्रगतिशील शामिल किए जाने से पता चलता है कि आंख ट्रैकिंग जल्द ही सर्वव्यापी हो जाएगा ।
आंख ों पर नज़र रखने वाले उपकरणों के लोकप्रिय होने के कारण, यह समझना महत्वपूर्ण है कि वे क्या कर सकते हैं और हमें सामाजिक बातचीत के बारे में नहीं बता सकते हैं। इस पेपर में प्रस्तुत कार्यप्रणाली इस दिशा में पहला कदम है। मैं कई आंख ट्रैकर्स से जेवीए पर कब्जा करने में दो चुनौतियों का समाधान करता हूं: स्थानिक पैमाने पर 1) लौकिक पैमाने पर और 2 पर डेटा को सिंक्रोनाइज़ करना। अधिक विशेष रूप से, यह प्रोटोकॉल कंप्यूटर दृष्टि एल्गोरिदम को सूचित करने के लिए वास्तविक दुनिया के वातावरण में रखे गए प्रत्ययी मार्कर का उपयोग करता है जहां प्रतिभागी अपनी टकटकी लगाए हुए हैं। इस नई तरह की कार्यप्रणाली छोटे समूहों में मानव व्यवहार के कठोर विश्लेषण का मार्ग प्रशस्त करती है ।
यह शोध प्रोटोकॉल हार्वर्ड विश्वविद्यालय की मानव अनुसंधान नैतिकता समिति के दिशा-निर्देशों का अनुपालन करता है ।
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. प्रतिभागी स्क्रीनिंग
- सुनिश्चित करें कि सामान्य या सही-से-सामान्य दृष्टि वाले प्रतिभागियों की भर्ती की जाए। क्योंकि प्रतिभागियों को मोबाइल आई-ट्रैकर पहनने के लिए कहा जाएगा, वे कॉन्टैक्ट लेंस पहन सकते हैं लेकिन नियमित चश्मा नहीं ।
2. प्रयोग के लिए तैयारी
- आई-ट्रैकिंग डिवाइस
- वास्तविक दुनिया के वातावरण में आंखों के आंदोलन पर कब्जा करने में सक्षम किसी भी मोबाइल आई-ट्रैकर का उपयोग करें।
नोट: मोबाइल आंख ट्रैकर्स यहां इस्तेमाल किया दो Tobii प्रो चश्मा 2 (सामग्री की मेजदेखें) थे । विशेष कैमरों के अलावा जो आंखों की गतिविधियों को ट्रैक कर सकते हैं, चश्मा एचडी दृश्य कैमरे और माइक्रोफोन से भी लैस है ताकि उपयोगकर्ता के दृश्य क्षेत्र के संदर्भ में टकटकी की कल्पना की जा सके। ये चश्मा कब्जा डेटा टकटकी प्रति सेकंड ५० बार । अन्य शोधकर्ताओं ने एएसएल मोबाइल आई5,एसएमआई6,या पुतली-प्रयोगशालाओं7का उपयोग किया है, जिनमें से सभी दृश्य कैमरे से वीडियो स्ट्रीम प्रदान करते हैं और अलग-अलग नमूना दरों (30-120 हर्ट्ज) पर आंख ों पर नज़र रखने वाले निर्देशांक प्रदान करते हैं। नीचे दी गई प्रक्रिया अन्य आंख-ट्रैकिंग उपकरणों के साथ थोड़ी भिन्न हो सकती है।
- वास्तविक दुनिया के वातावरण में आंखों के आंदोलन पर कब्जा करने में सक्षम किसी भी मोबाइल आई-ट्रैकर का उपयोग करें।
- प्रत्ययी मार्कर
- नीचे दो चरण (यानी, लौकिक और स्थानिक संरेखण) प्रत्ययी मार्कर के उपयोग की आवश्यकता होती है। कई कंप्यूटर दृष्टि पुस्तकालय हैं जो शोधकर्ताओं को छवि या वीडियो फ़ीड पर उनका पता लगाने के लिए इन मार्कर और एल्गोरिदम प्रदान करते हैं। वर्णित प्रोटोकॉल चिल्इटैग लाइब्रेरी8का उपयोग करता है ।
- लौकिक संरेखण
- क्योंकि आंख पर नज़र रखने वाले डेटा दो अलग इकाइयों पर दर्ज किए जाते हैं, सुनिश्चित करें कि डेटा को ठीक से सिंक्रोनाइज्ड किया जाए(चित्रा 1)। दो मुख्य तरीकों का उपयोग किया जा सकता है। यह पांडुलिपि केवल पहली विधि को कवर करती है, क्योंकि सर्वर सिंक्रोनाइजेशन मोबाइल आई-ट्रैकर के प्रत्येक ब्रांड के साथ अलग-अलग काम करता है।
- संक्षेप में एक कंप्यूटर स्क्रीन पर एक प्रत्ययी मार्कर दिखाने के लिए शुरुआत और एक सत्र के अंत को चिह्नित । यह एक दृश्य "हाथ ताली"(चित्रा 2)के समान है।
- वैकल्पिक रूप से, दो डेटा संग्रह इकाइयों की घड़ियों को सिंक्रोनाइज़ करने के लिए सर्वर का उपयोग करें। यदि उच्च अस्थायी सटीकता की आवश्यकता है तो यह विधि थोड़ी अधिक सटीक और अनुशंसित है।
- क्योंकि आंख पर नज़र रखने वाले डेटा दो अलग इकाइयों पर दर्ज किए जाते हैं, सुनिश्चित करें कि डेटा को ठीक से सिंक्रोनाइज्ड किया जाए(चित्रा 1)। दो मुख्य तरीकों का उपयोग किया जा सकता है। यह पांडुलिपि केवल पहली विधि को कवर करती है, क्योंकि सर्वर सिंक्रोनाइजेशन मोबाइल आई-ट्रैकर के प्रत्येक ब्रांड के साथ अलग-अलग काम करता है।
- स्थानिक संरेखण
- यह पता लगाने के लिए कि क्या दो प्रतिभागी एक ही समय में एक ही जगह पर देख रहे हैं, एक आम विमान के लिए उनकी gazes नक्शा । यह विमान प्रायोगिक सेटिंग की तस्वीर हो सकती है (चित्रा 3के बाईं ओर देखें)। प्रयोग से पहले इस छवि को सावधानीपूर्वक डिजाइन करें।
- प्रत्ययी मार्कर का आकार: प्रत्ययी मार्कर का सामान्य आकार आंख ों पर नज़र रखने वाले वीडियो से उनका पता लगाने के लिए उपयोग किए जाने वाले एल्गोरिदम पर निर्भर करता है। प्रतिभागियों के करीब सतहों में छोटे प्रत्ययी मार्कर हो सकते हैं, जबकि सतहों से आगे बढ़ने की जरूरत है, ताकि वे प्रतिभागियों के नजरिए से समान दिखें। यह सुनिश्चित करने के लिए पहले से अलग-अलग आकार आज़माएं कि उन्हें आंख-ट्रैकिंग वीडियो से पता लगाया जा सकता है।
- प्रत्ययी मार्कर की संख्या: मानचित्रण की प्रक्रिया को एक आम विमान में अंक ों को सफल बनाने के लिए, किसी भी समय प्रतिभागियों के दृष्टिकोण से दिखाई देने वाले कई प्रत्ययी मार्कर सुनिश्चित करें।
- प्रत्ययी मार्कर का स्थान: प्रत्ययी मार्कर की स्ट्रिप्स के साथ ब्याज के प्रासंगिक क्षेत्रों को फ्रेम करें (उदाहरण के लिए, चित्रा 3पर लैपटॉप स्क्रीन देखें)।
- अंत में, सिंक्रोनाइजेशन प्रक्रिया का परीक्षण करने और इष्टतम स्थान, आकार और प्रत्ययी मार्कर की संख्या निर्धारित करने के लिए पायलटों को चलाएं। आई-ट्रैकिंग वीडियो को कंप्यूटर विजन एल्गोरिदम के माध्यम से संसाधित किया जा सकता है ताकि यह देखा जा सके कि प्रत्ययी मार्कर मज़बूती से पता लगाया जाता है या नहीं।
3. प्रयोग चलाना
- निर्देश
- प्रतिभागियों को निर्देश दें कि वे आंख ों पर नज़र रखने वाले चश्मे पर रखें क्योंकि वे चश्मे की एक सामान्य जोड़ी होगी। प्रतिभागियों की अलग चेहरे की विशेषताओं के आधार पर, विभिन्न ऊंचाइयों के नाक के टुकड़ों का उपयोग डेटा गुणवत्ता को संरक्षित करने के लिए किया जाना चाहिए।
- आंख ट्रैकर चालू करने के बाद, प्रतिभागियों को प्राकृतिक शरीर आंदोलन के लिए अनुमति देने के लिए खुद को रिकॉर्डिंग इकाई क्लिप है।
- अंशांकन
- प्रतिभागियों को टोबी द्वारा प्रदान किए गए अंशांकन मार्कर के केंद्र को देखने के लिए निर्देश दें जबकि सॉफ्टवेयर का अंशांकन कार्य सक्षम है। एक बार अंशांकन पूरा हो जाने के बाद, सॉफ्टवेयर के भीतर से रिकॉर्डिंग शुरू की जा सकती है।
- प्रतिभागियों को निर्देश दें कि अंशांकन के बाद मोबाइल आई-ट्रैकर्स को न ले जाएं। यदि वे ऐसा करते हैं, तो डेटा गलत होने की संभावना है और अंशांकन प्रक्रिया को फिर से किए जाने की आवश्यकता होगी।
- डेटा मॉनिटरिंग
- अध्ययन के दौरान डेटा संग्रह प्रक्रिया की निगरानी करें और यह सुनिश्चित करें कि आंखों पर नज़र रखने वाले डेटा को ठीक से एकत्र किया जा रहा है। अधिकांश मोबाइल आई-ट्रैकर्स इस उद्देश्य के लिए एक अलग डिवाइस (जैसे, एक टैबलेट) पर लाइव स्ट्रीम प्रदान कर सकते हैं।
- डेटा निर्यात
- रिकॉर्डिंग सेशन पूरा होने के बाद प्रतिभागी को आई ट्रैकिंग चश्मा और डाटा कलेक्शन यूनिट को हटाने का निर्देश दें। यूनिट बंद कर दें।
- सत्र डेटा आयात करने वाली डेटा संग्रह इकाई से एसडी कार्ड हटाकर एक अन्य सॉफ्टवेयर, टोबी प्रो लैब का उपयोग करके डेटा निकालें। टोबी प्रो लैब का उपयोग वीडियो को फिर से खेलने, दृश्य बनाने और आंखों पर नज़र रखने वाले डेटा को अल्पविराम-अलग (.csv) या टैब-अलग (.tsv) फ़ाइलों के रूप में निर्यात करने के लिए किया जा सकता है।
4. ड्यूल आई-ट्रैकिंग डेटा को प्रीप्रोसेसकरने
- विवेक आंख पर नज़र रखने डेटा की जांच
- डाटा कलेक्शन के बाद आंखों पर नज़र रखने वाले डेटा की जांच करें। कुछ प्रतिभागियों के लिए डेटा गायब होना असामान्य नहीं है। उदाहरण के लिए, कुछ विशेष नेत्र शरीर विज्ञान आंख ों पर नज़र रखने वाले एल्गोरिदम के लिए समस्या पैदा कर सकता है, प्रयोग के दौरान चश्मा शिफ्ट हो सकता है, डेटा संग्रह सॉफ्टवेयर क्रैश हो सकता है, आदि।
- प्रत्येक सत्र के दौरान कितना डेटा खो गया था और उन सत्रों को बाहर करने के लिए वर्णनात्मक आंकड़ों का उपयोग करें जिनमें लापता या शोर डेटा की महत्वपूर्ण मात्रा है।
- लौकिक संरेखण
- प्रतिभागियों के बीच बातचीत को शामिल करने के लिए प्रत्येक मोबाइल आई-ट्रैकर से डेटा को ट्रिम करें। यह ऊपर वर्णित विधि का उपयोग करके प्राप्त किया जा सकता है (यानी, सत्र के प्रारंभ और अंत में प्रतिभागियों को दो विशेष प्रत्ययी मार्कर पेश करना)। इन प्रत्ययी मार्कर तो डेटासेट ट्रिम करने के लिए आंख पर नज़र रखने वीडियो से पता लगाया जा सकता है ।
- स्थानिक संरेखण
नोट: यह पता लगाने के लिए कि क्या दो प्रतिभागी एक ही समय में एक ही स्थान पर देख रहे हैं, प्रतिभागियों को एक आम विमान (यानी, प्रायोगिक सेटिंग की एक छवि) पर टकटकी फिर से मैप करना आवश्यक है। इस लक्ष्य को प्राप्त करने के लिए एक कम्प्यूटेशनल विधि एक होमोग्राफी (यानी, एक विमान का परिप्रेक्ष्य परिवर्तन) है। तकनीकी नजरिए से, अंतरिक्ष में एक ही प्लैपर सतह की दो छवियां एक होमोग्राफी मैट्रिक्स से संबंधित हैं। अंकके एक आम सेट के आधार पर, इस मैट्रिक्स का उपयोग दो विमानों के बीच अतिरिक्त बिंदुओं के स्थान का अनुमान लगाने के लिए किया जा सकता है। चित्रा 3में, उदाहरण के लिए, यदि एक कंप्यूटर दृष्टि एल्गोरिथ्म जानता है कि प्रत्ययी मार्कर कहां हैं, तो यह प्रतिभागी की टकटकी को बाईं ओर आम विमान पर फिर से मैप कर सकता है। सफेद लाइनें प्रत्येक प्रतिभागी और दृश्य के वीडियो फ़ीड द्वारा साझा किए गए बिंदुओं के दो सेटों को जोड़ती हैं, जिन्हें तब बाईं ओर हरे और नीले बिंदुओं को फिर से मैप करने के लिए होमोग्राफी बनाने के लिए उपयोग किया जाता है।- प्रत्ययी मार्कर से होमोग्राफी मैट्रिक्स की गणना करने के लिए ओपनसीवी के पायथन संस्करण का उपयोग करें और फिर प्रयोगात्मक सेटिंग (या अपनी पसंद की भाषा में किसी अन्य उपयुक्त पुस्तकालय) के दृश्य में आंख ों पर नज़र रखने वाले डेटा को फिर से मैप करने के लिए। ओपनसीवी दो उपयोगी कार्य प्रदान करता है: होमोग्राफी मैट्रिक्स प्राप्त करने के लिए findHomography () और परिप्रेक्ष्यट्रांसफॉर्म() बिंदु को एक परिप्रेक्ष्य से दूसरे परिप्रेक्ष्य में बदलने के लिए।
- findHomography ()का उपयोग करने के लिए, दो तर्कों के साथ चलाने के लिए: स्रोत अंक के एक्स, वाई निर्देशांक (यानी, प्रतिभागियों के दृश्य वीडियो से पता चला प्रत्ययी मार्कर, चित्र 3में दाईं ओर दिखाया गया है) और इसी गंतव्य अंक (यानी, दृश्य छवि पर पता चला एक ही प्रत्ययी मार्कर, चित्र 3में बाईं ओर दिखाया गया है) ।
- परिणामस्वरूप होमोग्राफी मैट्रिक्स को परिप्रेक्ष्यमेंट्रांस () फ़ंक्शन में खिलाएं, साथ ही एक नया बिंदु जिसे स्रोत छवि से गंतव्य छवि (उदाहरण के लिए, चित्र 3के दाईं ओर नीले/हरे रंग की बिंदी के रूप में दिखाए गए आंख-ट्रैकिंग डेटा) के साथ मैप किया जाना चाहिए। परिप्रेक्ष्यट्रांसफॉर्मफ़न फ़ंक्शन दृश्य छवि पर एक ही बिंदु का नया समन्वय देता है (यानी, चित्र3के बाईं ओर दिखाए गए नीले/हरे रंग के डॉट्स)।
नोट: अधिक जानकारी के लिए, ओपनसीवी आधिकारिक दस्तावेज होमोग्राफी को लागू करने के लिए नमूना कोड और उदाहरण प्रदान करता है: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html।
- विनम्रता की जांच कर रहा है होमोग्राफी
- पूरे सत्र के लिए धारा 4.3 को पूरा करें, और होमोग्राफी की गुणवत्ता की जांच करने के लिए मोबाइल आई-ट्रैकिंग वीडियो के प्रत्येक फ्रेम पर एक होमोग्राफी करें। हालांकि परिणामस्वरूप आंख पर नज़र रखने वाले डेटा की सटीकता का अनुमान लगाने के कोई स्वचालित तरीके नहीं हैं, चित्र4 में दिखाए गए वीडियो का उपयोग प्रत्येक सत्र में मैन्युअल रूप से विवेक की जांच करने के लिए किया जाना चाहिए।
- यदि गुणवत्ता अपेक्षा से कम है, तो होमोग्राफी के परिणामों में सुधार करने के लिए अतिरिक्त मापदंडों पर विचार करें:
- प्रत्ययी मार्कर की संख्या का पता चला: केवल होमोग्राफी करें यदि वीडियो स्ट्रीम से पर्याप्त प्रत्ययी मार्कर का पता लगाया जा सकता है। इस नंबर का निर्धारण ऊपर उत्पादित वीडियो की जांच करके किया जा सकता है।
- प्रत्ययी मार्कर का स्थान: यदि विभिन्न मार्कर अलग-अलग गहराई और झुकाव पर होते हैं, तो होमोग्राफी की गुणवत्ता आमतौर पर बढ़ जाती है जब टकटकी निर्देशांक के निकटतम मार्कर का चयन किया जाता है, यह देखते हुए कि एक मजबूत बनाने के लिए पर्याप्त मार्कर हैं होमोग्राफी।
- प्रत्ययी मार्कर का अभिविन्यास: प्रत्ययी मार्कर का संयोजन जिसमें विभिन्न झुकाव (जैसे, क्षैतिज और ऊर्ध्वाधर) हैं, गलत होमोग्राफी का उत्पादन करेंगे। यह पहले पता लगाने की सिफारिश की है जो विमान या हितों के क्षेत्रों (AOIs) प्रतिभागी देख रहा है (जैसे, कंप्यूटर स्क्रीन, धोखा पत्रक, मेज, चित्रा 3देखें) और फिर homography के लिए इस विमान पर प्रत्ययी मार्कर का उपयोग करें ।
- वीडियो स्ट्रीम की गुणवत्ता: अचानक सिर आंदोलनों वीडियो फ्रेम धुंधला और डेटा अनुपयोगी बना सकते हैं, क्योंकि प्रत्ययी मार्कर मज़बूती से पता नहीं लगाया जा सकता है(चित्र4)। इस पेपर की कार्यप्रणाली उन प्रयोगों के लिए उपयुक्त नहीं है जिनमें अचानक सिर के आंदोलनों का बहुत कुछ शामिल है।
5. दोहरी आंख ट्रैकिंग डेटा का विश्लेषण
- डेटा गायब
- यह सुनिश्चित करने के लिए कि डेटा को संदर्भ छवि पर ठीक से रीमैप किया गया था, दृश्य रेखांकन (जैसे, चित्रा 5, चित्रा 6)और वर्णनात्मक आंकड़े का उत्पादन करने के लिए यह जांचने के लिए कि डेटा कितना गायब है।
- क्रॉस-ऑड-ईग्राफ
- दो प्रतिभागियों(चित्रा 6)के बीच दृश्य सिंक्रोनाइजेशन का प्रतिनिधित्व करने के लिए क्रॉस-ऑड-ईडग्राफ9 का उपयोग करें, जहां एक्स-एक्सिस पहले प्रतिभागी के लिए समय का प्रतिनिधित्व करता है, और वाई-एक्सिस दूसरे प्रतिभागी के लिए समय का प्रतिनिधित्व करता है। काले वर्गों से संकेत मिलता है कि प्रतिभागियों को एक ही क्षेत्र में देख रहे हैं, एक काले विकर्ण लाइन दो बिल्कुल एक ही समय में एक ही बात को देख विषयों का वर्णन करता है, और विकर्ण लाइन से काले चौकों का वर्णन करता है जब दो विषयों एक समय अंतराल के साथ एक ही बात को देख रहे हैं । अंत में, लापता डेटा (सफेद वर्ग) और कोई जेवीए (ग्रे वर्ग) के साथ मौजूदा डेटा के बीच अंतर समस्याग्रस्त सत्रों की पहचान करने में मदद करता है । यह शोधकर्ताओं को एक दृश्य विवेक जांच प्रदान करता है।
- कंप्यूटिंग जेवीए
- लापता डेटा के लिए फ़िल्टर करने के बाद, एक -2/+ 2 समय खिड़की में दृश्य (नीचे परिभाषित) में प्रतिभागियों की gazes दृश्य में एक ही त्रिज्या में हैं कि समय की संख्या की गिनती करके जेवीए के लिए एक मीट्रिक की गणना करें। इस नंबर को वैध डेटा पॉइंट्स की संख्या से विभाजित करें जिनका उपयोग जेवीए की गणना करने के लिए किया जा सकता है। विभाजन का परिणाम उस समय के प्रतिशत का प्रतिनिधित्व करता है जो दो विषय संयुक्त रूप से एक ही स्थान पर देख रहे थे । होमोग्राफी के बाद अधिक डेटा वाले समूहों के स्कोर को फुलाने से बचने के लिए यह अंतिम चरण आवश्यक है।
नोट: जेवीए की गणना करने से पहले दो मापदंडों को सेट करने की आवश्यकता होती है, दो टकटकी अंकों के बीच न्यूनतम दूरी, और उनके बीच समय खिड़की(चित्रा 7):1) टाइम विंडो: एक प्रारंभिक मूलभूत अध्ययन10 ने एक श्रोता और वक्ता के बीच जेवीए को मापने के लिए एक आंख ट्रैकर का उपयोग किया। शोधकर्ताओं ने प्रतिभागियों का पहला सेट ("वक्ताओं") से कहा कि वे एक टेलीविजन शो के बारे में बात करें जिनके पात्रों को उनके सामने प्रदर्शित किया गया था । प्रतिभागियों का एक दूसरा सेट ("श्रोताओं") तो एक ही शो देखा, जबकि वक्ताओं की ऑडियो रिकॉर्डिंग सुन । वक्ताओं और श्रोताओं की आंखों की गतिविधियों की तुलना की गई, और यह पाया गया कि एक श्रोता की आंख आंदोलनों बारीकी से 2 एस की देरी के साथ एक वक्ता की आंख आंदोलन मिलान । बाद के काम में11 शोधकर्ताओं ने लाइव संवादों का विश्लेषण किया और पाया कि जेवीए के 3 एस सर्वश्रेष्ठ कैप्चर किए गए क्षणों की देरी । चूंकि प्रत्येक कार्य अद्वितीय है और अलग-अलग समय अंतराल प्रदर्शित कर सकता है, इसलिए यह पता लगाने का भी सुझाव दिया जाता है कि किसी दिए गए प्रयोग के परिणामों को अलग-अलग समय अंतराल कैसे प्रभावित करता है। कुल मिलाकर, प्रायोगिक कार्य के आधार पर ± 2/3 एस टाइम विंडो में जेवीए की तलाश करना आम बात है और फिर यह पता लगाना आम है कि अलग-अलग समय के परिणामों को कैसे बदल सकता है। 2) gazes के बीच की दूरी: उनके लिए जेवीए के रूप में गिनती करने के लिए दो gazes के बीच कोई अनुभवजन्य परिभाषित दूरी नहीं है। यह दूरी शोधकर्ताओं द्वारा परिभाषित शोध प्रश्नों पर निर्भर है। शोध के प्रश्नों को ब्याज के लक्ष्यों के आकार की जानकारी देनी चाहिए । चित्रा 7में देखा उदाहरण में, दृश्य छवि (नीले/हरे घेरे) पर १०० पिक्सल के एक त्रिज्या विश्लेषण के लिए चुना गया था क्योंकि यह कब्जा करने के लिए पर्याप्त है जब प्रतिभागियों भूलभुलैया में रोबोट को देख रहे हैं, साथ ही कंप्यूटर स्क्रीन पर इसी तरह के यूजर इंटरफेस तत्वों पर, जो इस प्रयोगात्मक कार्य के लिए ब्याज के दो मुख्य क्षेत्र हैं ।
- लापता डेटा के लिए फ़िल्टर करने के बाद, एक -2/+ 2 समय खिड़की में दृश्य (नीचे परिभाषित) में प्रतिभागियों की gazes दृश्य में एक ही त्रिज्या में हैं कि समय की संख्या की गिनती करके जेवीए के लिए एक मीट्रिक की गणना करें। इस नंबर को वैध डेटा पॉइंट्स की संख्या से विभाजित करें जिनका उपयोग जेवीए की गणना करने के लिए किया जा सकता है। विभाजन का परिणाम उस समय के प्रतिशत का प्रतिनिधित्व करता है जो दो विषय संयुक्त रूप से एक ही स्थान पर देख रहे थे । होमोग्राफी के बाद अधिक डेटा वाले समूहों के स्कोर को फुलाने से बचने के लिए यह अंतिम चरण आवश्यक है।
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
ऊपर प्रस्तुत पद्धति का उपयोग उन छात्रों का अध्ययन करने के लिए किया गया था जो रसद (एन = 54)12में व्यावसायिक प्रशिक्षण कार्यक्रम का पालन कर रहे थे। इस प्रयोग में, छात्रों के जोड़े ने एक मूर्त यूजर इंटरफेस (टीयूआई) के साथ बातचीत की जो एक छोटे पैमाने पर गोदाम का अनुकरण करता है। TUI पर रखा प्रत्ययी मार्कर अनुसंधान टीम के लिए एक आम विमान पर छात्रों की gazes remap और JVA के स्तर की गणना की अनुमति दी । निष्कर्षों से संकेत मिलता है कि जिन समूहों के पास जेवीए का उच्च स्तर था, वे उन्हें दिए गए कार्य में बेहतर करने के लिए प्रवित होते हैं, अधिक सीखे, और सहयोग की बेहतर गुणवत्ता13 (चित्रा 8,बाईं ओर)। ड्यूल आई-ट्रैकिंग डेटासेट ने हमें फ्री-राइडर प्रभाव जैसे विशेष समूह गतिशीलता को कैप्चर करने की अनुमति भी दी। हम पहचान जो JVA के प्रत्येक पल शुरू किया है की संभावना थी द्वारा इस प्रभाव का अनुमान (यानी, जिनकी टकटकी वहां पहले था) और जो इसे जवाब दिया (यानी, जिनकी टकटकी वहां दूसरा था) । हमें सीखने के लाभ और छात्रों की क्षमता के बीच एक महत्वपूर्ण संबंध मिला जो जेवीए के प्रस्तावों को शुरू करने और उनका जवाब देने की जिम्मेदारी को समान रूप से साझा करता है। दूसरे शब्दों में, जिन समूहों में एक ही व्यक्ति ने हमेशा जेवीए के क्षणों की शुरुआत की, वे सीखने की संभावना कम थी(चित्रा 8,दाईं ओर) और समूह जहां यह जिम्मेदारी समान रूप से साझा की गई थी, सीखने की अधिक संभावना थी। इस खोज से पता चलता है कि हम केवल जेवी मात्रा से परे जा सकते हैं, और वास्तव में दोहरी आंख ट्रैकिंग डेटा का उपयोग कर समूह गतिशीलता और उत्पादकता की पहचान ।
चित्रा 1: प्रत्येक प्रतिभागी प्रत्येक वीडियो फ्रेम पर अपनी टकटकी के एक्स, वाई निर्देशांक के साथ दो वीडियो फ़ीड उत्पन्न करता है। यह पद्धति प्रतिभागियों के बीच डेटा अस्थायी और स्थानिक रूप से सिंक्रोनाइज़ करने को संबोधित करती है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 2: दो डेटासेट को सिंक्रोनाइज़ करने की एक पद्धति। संक्षेप में शुरू और गतिविधि के अंत को टैग करने के लिए कंप्यूटर स्क्रीन पर अद्वितीय प्रत्ययी मार्कर दिखा रहा है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 3: एक आम योजना (बाईं ओर) पर प्रतिभागियों की gazes remap करने के लिए पर्यावरण में प्रसारित प्रत्ययी मार्कर का उपयोग करना । सफेद लाइनें दोनों छवियों में पाए गए प्रत्ययी मार्कर का संकेत देती हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 4: खराब डेटा गुणवत्ता के उदाहरण। बाएं: अचानक सिर आंदोलन की वजह से आंख पर नज़र रखने वाले वीडियो से एक धुंधला फ्रेम। इस छवि में प्रत्ययी मार्कर का पता नहीं लगाया जा सका। सही: एक असफल होमोग्राफी जहां प्रत्ययी मार्कर डेटा वीडियो फ़ीड के साथ ठीक से सिंक्रोनाइज्ड नहीं थे। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 5: हीटमैप्स। बाएं: आंख ट्रैकिंग डेटा का एक हीटमैप प्रयोगात्मक दृश्य पर remapped । इस दृश्य का उपयोग होमोग्राफी के लिए विवेक जांच के रूप में किया जाता था। सही: एक समूह है कि बहुत ज्यादा डेटा याद आ रही थी और छोड़ दिया जाना था । कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 6: जेवीए की कल्पना करने के लिए तीन dyads से उत्पन्न क्रॉस ऑड-ईवन ग्राफ। P1 पहले प्रतिभागी के लिए समय का प्रतिनिधित्व करता है, P2 दूसरे प्रतिभागी के लिए समय का प्रतिनिधित्व करता है । काले वर्ग जेवीए दिखाते हैं; ग्रे वर्ग ऐसे क्षण दिखाते हैं जहां प्रतिभागी विभिन्न स्थानों पर देख रहे हैं; सफेद वर्ग ों में गायब डेटा दिखा। मुख्य विकर्ण के साथ स्क्वायर उन क्षणों को इंगित करता है जहां प्रतिभागियों ने एक ही समय में एक ही स्थान पर देखा था। इस दृश्य का उपयोग संयुक्त आंख-ट्रैकिंग डेटा से जेवीए के उपायों के लिए विवेक जांच के रूप में किया गया था। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 7: एक वीडियो फ्रेम जहां जेवीए दो प्रतिभागियों (लाल डॉट्स) के बीच पता चला था । रिचर्डसन एट अल11 जेवीए की कंप्यूटिंग करते समय +/-2 एस की एक टाइम विंडो को देखने की सलाह देते हैं । इसके अतिरिक्त, शोधकर्ताओं को जेवीए के रूप में गिनती करने के लिए दो टकटकी अंक ों के बीच न्यूनतम दूरी को परिभाषित करने की आवश्यकता है। ऊपर की बीच की छवि पर 100 पिक्सेल का त्रिज्या चुना गया था। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
चित्रा 8: परिणामों के उदाहरण। श्नाइडर एट अल12 से डेटा जहां एक ही समय में एक ही स्थान पर देखने के समय का प्रतिशत प्रतिभागियों के सहयोग की गुणवत्ता के साथ सहसंबद्ध था: आर (24) = ०.४६०, पी = ०.०१८ (बाईं ओर) और जेवीए के प्रस्तावों का जवाब देने/जवाब देने में असंतुलन उनके सीखने के लाभ के साथ सहसंबद्ध था: आर (24) = − ०.४७, पी = ०.०२ (दाएं पक्ष) । कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।
Subscription Required. Please recommend JoVE to your librarian.
Discussion
इस पेपर में वर्णित कार्यप्रणाली कोस्थित डायड में जेवीए पर कब्जा करने का कठोर तरीका प्रदान करता है। सस्ती संवेदन प्रौद्योगिकी और बेहतर कंप्यूटर दृष्टि एल्गोरिदम के उद्भव के साथ, अब एक सटीकता के साथ सहयोगात्मक बातचीत का अध्ययन करना संभव है जो पहले अनुपलब्ध था। यह पद्धति पर्यावरण में प्रसारित प्रत्ययी मार्कर का लाभ उठाती है और प्रतिभागियों के एक आम विमान पर टकटकी को फिर से मैप करने के तरीके के रूप में होमोग्राफी का उपयोग करती है। यह शोधकर्ताओं को कूकड़ा colocated समूहों में JVA अध्ययन करने की अनुमति देता है ।
इस विधि में कई विवेक जांच शामिल हैं जिन्हें प्रयोग के विभिन्न बिंदु पर किए जाने की आवश्यकता है। क्योंकि यह एक जटिल प्रक्रिया है, शोधकर्ताओं को यह सुनिश्चित करने की जरूरत है कि परिणामस्वरूप डेटासेट पूर्ण और वैध हैं। अंत में, वास्तविक प्रयोग से पहले पायलट अध्ययन करने और प्रतिभागियों की बातचीत का पुनर्निर्माण करने की सिफारिश की जाती है, हालांकि डेटा संग्रह पूरा होने के बाद एक वीडियो(चित्रा 3, चित्रा 4, चित्रा 5, चित्रा 6)।
इस विधि से जुड़ी कई सीमाएं हैं:
प्रतिभागियों की संख्या। हालांकि यह कार्यप्रणाली दो प्रतिभागियों के लिए अच्छी तरह से काम करती है, विश्लेषण बड़े समूहों के साथ अधिक जटिल हो जाता है। प्रत्ययी मार्कर अभी भी एक जमीनी सच्चाई पर gazes remap करने के लिए इस्तेमाल किया जा सकता है, लेकिन जानने के कैसे JVA की पहचान करने के लिए एक और अधिक सूक्ष्म प्रक्रिया बन जाता है । JVA समय के रूप में परिभाषित किया जाना चाहिए जब हर कोई एक ही समय में एक ही जगह पर देख रहा है, या जब दो प्रतिभागियों को एक ही स्थान पर विद्या रहे हैं? इसके अतिरिक्त, क्रॉस-ऑड-ईवन ग्राफ जैसे दृश्य 2-3 से अधिक लोगों के साथ अव्यावहारिक हो जाते हैं।
सेटिंग्स। इस पेपर में वर्णित विधि छोटी, नियंत्रित सेटिंग्स (जैसे, प्रयोगशाला अध्ययन) के लिए उपयुक्त है। ओपन-एंडेड सेटिंग्स, जैसे कि आउटडोर या बड़े स्थान, आमतौर पर प्रत्ययी मार्कर के साथ उपकरण के लिए बहुत जटिल होते हैं और इस प्रकार आंख-ट्रैकिंग डेटा की उपयोगिता को सीमित कर सकते हैं। इसके अतिरिक्त, प्रत्ययी मार्कर ध्यान भंग और पर्यावरण अव्यवस्था हो सकता है । भविष्य में, बेहतर कंप्यूटर विजन एल्गोरिदम स्वचालित रूप से दो दृष्टिकोणों के बीच आम सुविधाओं को निकालने में सक्षम होंगे। इस उद्देश्य के लिए पहले से ही एल्गोरिदम मौजूद हैं, लेकिन हमने पाया कि ऊपर वर्णित प्रयोग के प्रकार के लिए सटीकता का स्तर अभी तक स्वीकार्य नहीं था।
एओआईएस। ऊपर दिए गए बिंदु से संबंधित, कंप्यूटिंग होमोग्राफी और क्रॉस-ऑड-ईवन ग्राफ ब्याज के क्षेत्रों की एक स्थिर संख्या के साथ अच्छी तरह से काम करते हैं, लेकिन विभिन्न कार्यों की तुलना ब्याज के विभिन्न क्षेत्रों के साथ करते समय सुधार किए जाने होते हैं।
उपकरणों का उपयोग। मोबाइल आई-ट्रैकर्स विनीत हो सकते हैं, प्रतिभागियों के व्यवहार को प्रभावित कर ते हैं या विशेष रूप से नेत्र शरीर विज्ञान के साथ काम करने में विफल हो सकते हैं।
निष्कर्ष में, इस पेपर में वर्णित कार्यप्रणाली colocated बातचीत का अध्ययन करने का एक आशाजनक तरीका है। यह शोधकर्ताओं को जेवीए के लिए एक सटीक मीट्रिक पर कब्जा करने की अनुमति देता है, जो सामाजिक विज्ञान1में एक महत्वपूर्ण निर्माण है । इसके अतिरिक्त, पारंपरिक गुणात्मक विश्लेषणों की तुलना में इस पद्धति12 के माध्यम से सहयोगात्मक सीखने के अधिक ठीक-ठाक संकेतकों का पता लगाना संभव है। संक्षेप में, यह सामाजिक बातचीत का अध्ययन करने का एक अधिक कुशल और सटीक तरीका है।
इस विधि के संभावित अनुप्रयोग में वास्तविक समय आंख-ट्रैकिंग डेटा के माध्यम से सहयोग का समर्थन करने के लिए हस्तक्षेप डिजाइन करना शामिल है। कुछ अग्रणी काम ने रिमोट आई-ट्रैकर्स का उपयोग करके साझा टकटकी दृश्यों का उत्पादन किया है, जिसे14की दूरी से सहयोगात्मक सीखने को लाभ पहुंचाने के लिए दिखाया गया है। Dyads जो वास्तविक समय में अपने साथी की टकटकी देख सकता है और अधिक JVA प्रदर्शित, बेहतर सहयोग किया और एक नियंत्रण समूह की तुलना में उच्च सीखने के लाभ हासिल किया । भविष्य के काम की जांच करेंगे कि क्या इस तरह का हस्तक्षेप colocated सेटिंग्स में सहयोगात्मक प्रक्रियाओं का समर्थन कर सकते है (जैसे, आभासी या संवर्धित वास्तविकता हेडसेट्स के माध्यम से) ।
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
लेखकों की घोषणा है कि वे कोई प्रतिस्पर्धी वित्तीय हितों की है ।
Acknowledgments
इस पद्धति के विकास को नेशनल साइंस फाउंडेशन (एनएसएफ #0835854), अग्रणी हाउस टेक्नोलॉजीज फॉर व्यवसाय शिक्षा, स्विस स्टेट सचिवालय फॉर एजुकेशन, रिसर्च एंड इनोवेशन और हार्वर्ड स्कूल ऑफ एजुकेशन के डीन वेंचर फंड द्वारा वित्त पोषित किया गया था ।
Materials
| Name | Company | Catalog Number | Comments |
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
- Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
