Summary
ويعد استخدام أجهزه الاستشعار المتعددة الوسائط وسيله واعده لفهم دور التفاعلات الاجتماعية في البيئات التعليمية. تصف هذه الورقة منهجيه للتقاط الانتباه البصري المشترك من السدود المفصلية باستخدام أجهزه تتبع العين المتنقلة.
Abstract
مع ظهور التطورات التكنولوجية الجديدة ، من الممكن دراسة التفاعلات الاجتماعية علي المستوي الجزئي بدقه لم يسبق لها مثيل. وتوفر أجهزه الاستشعار عاليه التردد ، مثل متتبع العين ، وأساور النشاط الكهربي ، وشرائط تخطيط الدماغ ، وأجهزه استشعار الحركة ملاحظات علي مستوي ميلي ثانيه. ويسمح هذا المستوي من الدقة للباحثين بجمع مجموعات بيانات كبيره عن التفاعلات الاجتماعية. في هذه الورقة ، وانا أناقش كيف متعددة بتتبع العين يمكن التقاط بناء الاساسيه في التفاعلات الاجتماعية ، والاهتمام البصرية المشتركة (JVA). وقد درس الأطباء النفسانيون التنمويون JVA لفهم كيف يكتسب الأطفال اللغة ، وتعلم العلماء لفهم كيفيه عمل مجموعات صغيره من المتعلمين معا ، وعلماء الاجتماع لفهم التفاعلات في الفرق الصغيرة. تصف هذه الورقة منهجيه للتقاط jva في إعدادات ضم باستخدام المحمول بتتبع العين. ويعرض بعض النتائج التجريبية ويناقش الآثار المترتبة علي التقاط الملاحظات المجهرية لفهم التفاعلات الاجتماعية.
Introduction
وقد درست JVA علي نطاق واسع علي مدي القرن الماضي ، وخاصه من قبل علماء النفس التنموية دراسة اكتساب اللغة. وسرعان ما ثبت ان الاهتمام المشترك هو أكثر من مجرد وسيله لتعلم الكلمات ولكن بالأحرى تمهيدا لنظريات الأطفال العقل1. وهكذا ، فانه يلعب دورا هاما في العديد من العمليات الاجتماعية ، مثل التواصل مع الآخرين ، والتعاون ، وتطوير التعاطف. فالأطفال المصابون بالتوحد ، علي سبيل المثال ، يفتقرون إلى القدرة علي تنسيق اهتمامهم البصري مع مقدمي الرعاية ، وهو ما يرتبط بالعاهات الاجتماعية الكبيرة2. يحتاج البشر إلى اهتمام مشترك ليصبحوا أعضاء فاعلين في المجتمع ، ولتنسيق أعمالهم ، وللتعلم من الآخرين. من الأطفال الذين يكتسبون كلماتهم الاولي ، والمراهقين الذين يتعلمون من معلمي المدارس ، والطلاب المتعاونين في المشاريع ، ومجموعات من البالغين الذين يعملون نحو أهداف مشتركه ، والاهتمام المشترك هو اليه أساسيه لأقامه أرضيه مشتركه بين الافراد3. في هذه الورقة ، وانا أركز علي دراسة JVA في البحوث التعليمية. ومن الاهميه الاساسيه لدراسة عمليات التعلم التعاوني فهم كيفيه تطور الاهتمام المشترك علي مر الزمن. علي هذا النحو ، فانه يلعب دورا مهيمنا في إعدادات سوسيوكونستروكتيفيست.
ولا يزال التعريف الدقيق للاهتمام المشترك يناقش4. وتتعلق هذه الورقة بالبناء الفرعي للاهتمام المشترك (JA) ، اي JVA. JVA يحدث عندما اثنين من الموضوعات تبحث في نفس المكان في نفس الوقت. وتجدر الاشاره إلى ان JVA لا تقدم اي معلومات عن غيرها من الثوابت الهامه للاهتمام في دراسة JA ، مثل رصد مشتركه ، المتبادلة ، والاهتمام المشترك ، أو أكثر عموما ، والوعي من الإدراك من عضو مجموعه أخرى. هذه الورقة بتفعيل وتبسيط JVA عن طريق الجمع بين البيانات تتبع العين من اثنين من المشاركين وتحليل التردد الذي يقومون بمحاذاة الغزلان الخاصة بهم. لمزيد من المناقشة الشاملة ، يمكن للقارئ المهتم معرفه المزيد عن دراسة بناء JA في Siposovaet al.4.
وخلال العقد الماضي ، أدت التطورات التكنولوجية إلى تحول جذري في البحوث المتعلقة بالتحالف. وكان التحول الرئيسي للنموذج هو استخدام العديد من متتبعي العين للحصول علي مقاييس كميه لمحاذاة الانتباه ، بدلا من التحليل النوعي لتسجيلات الفيديو في المختبر أو البيئة الايكولوجيه. وقد سمح هذا التطور للباحثين بجمع معلومات دقيقه ومفصله عن التنسيق البصري لdyads. بالاضافه إلى ذلك ، أصبحت بتتبع العين أكثر بأسعار معقولة: حتى وقت قريب ، تم حجز استخدامها للإعدادات الاكاديميه أو الشركات الكبيرة. فمن الممكن الآن لشراء غير مكلفه بتتبع العين التي تولد مجموعات البيانات الموثوقه. وأخيرا ، فان الادراج التدريجي لقدرات تتبع البصر في الاجهزه الموجودة مثل الحواسيب المحمولة الراقية وسماعات الواقع الافتراضي والمعزز يوحي بان تتبع العين سيصبح قريبا في كل مكان.
نظرا لتعميم أجهزه تتبع العين ، من المهم ان نفهم ما يمكن ولا يمكن ان تخبرنا عن التفاعلات الاجتماعية. وتمثل المنهجية المعروضة في هذه الورقة خطوه اولي في هذا الاتجاه. وانا أتناول تحديين في الاستيلاء علي JVA من العديد من بتتبع العين: مزامنة البيانات علي 1) المقياس الزمني ، و 2) علي النطاق المكاني. وبشكل أكثر تحديدا ، يستخدم هذا البروتوكول علامات الإيماني الموضوعة في بيئات العالم الحقيقي لاعلام خوارزميات الرؤية الحاسوبية حيث يقوم المشاركون بتوجيه بصرهم. هذا النوع الجديد من المنهجية يمهد الطريق لتحليل دقيق للسلوك البشري في مجموعات صغيره.
هذا البروتوكول البحثي يتوافق مع المبادئ التوجيهية للجنة أخلاقيات البحث الإنساني في جامعه هارفارد.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. عرض المشاركين
- ضمان تعيين المشاركين ذوي الرؤية العادية أو المصححة إلى العادية. لأنه سيتم طلب المشاركين لارتداء المحمول تعقب العين ، فانها يمكن ان ارتداء العدسات اللاصقة ولكن ليس النظارات العادية.
2. التحضير للتجربة
- أجهزه تتبع العين
- استخدام اي تعقب العين المحمولة قادره علي التقاط حركه العين في بيئات العالم الحقيقي.
ملاحظه: المحمولة بتتبع العين المستخدمة هنا كانت اثنين من النظارات Tobii برو 2 (انظر جدول المواد). بالاضافه إلى الكاميرات المتخصصة التي يمكن ان تتبع حركات العين ، والنظارات مجهزه أيضا مع كاميرا المشهد HD وميكروفون بحيث يمكن تصور البصر في سياق المجال البصري للمستخدم. هذه النظارات التقاط البصر البيانات 50 مرات في الثانية الواحدة. وقد استخدم باحثون آخرون أسل موبايل العين5، SMI6، أو التلميذ مختبرات7، وكلها توفر تيارات الفيديو من كاميرا المشهد وإحداثيات تتبع العين في معدلات أخذ العينات متفاوتة (30-120 هرتز). قد يختلف الاجراء أدناه قليلا مع أجهزه أخرى لتتبع العين.
- استخدام اي تعقب العين المحمولة قادره علي التقاط حركه العين في بيئات العالم الحقيقي.
- علامات ايماني
- وتتطلب الخطوتان أدناه (اي المحاذاة الزمنيه والمكانية) استخدام علامات الإيماني. هناك العديد من مكتبات الرؤية الكمبيوتر التي توفر الباحثين مع هذه العلامات والخوارزميات للكشف عنها علي صوره أو الفيديو الأعلاف. يستخدم البروتوكول الموصوفة مكتبه Chilitag8.
- المحاذاة الزمنيه
- لأنه يتم تسجيل بيانات تتبع العين علي وحدتين منفصلتين ، تاكد من مزامنة البيانات بشكل صحيح (الشكل 1). يمكن استخدام طريقتين رئيسيتين. تغطي هذه المخطوطة الطريقة الاولي فقط ، لان مزامنة الخادم تعمل بشكل مختلف مع كل علامة تجاريه لمتعقب العين المتنقل.
- إظهار علامة ايماني لفتره وجيزة علي شاشه الكمبيوتر لوضع علامة علي بداية الجلسة ونهايتها. هذا يشبه "التصفيق اليد" البصرية (الشكل 2).
- بدلا من ذلك ، استخدم ملقم لمزامنة الساعات وحدتي جمع البيانات. هذا الأسلوب هو أكثر دقه قليلا وأوصيت إذا مطلوب دقه اعلي الزمنيه.
- لأنه يتم تسجيل بيانات تتبع العين علي وحدتين منفصلتين ، تاكد من مزامنة البيانات بشكل صحيح (الشكل 1). يمكن استخدام طريقتين رئيسيتين. تغطي هذه المخطوطة الطريقة الاولي فقط ، لان مزامنة الخادم تعمل بشكل مختلف مع كل علامة تجاريه لمتعقب العين المتنقل.
- المحاذاة المكانية
- لمعرفه ما إذا كان اثنين من المشاركين يبحثون في نفس المكان في نفس الوقت ، وخريطة الغزلان الخاصة بهم إلى طائره مشتركه. يمكن ان تكون هذه الطائرة صوره للاعداد التجريبي (انظر الجانب الأيسر من الشكل 3). تصميم هذه الصورة بعناية قبل التجربة.
- حجم علامات الإيماني: يعتمد الحجم العام للعلامات الايمانيه علي الخوارزميه المستخدمة للكشف عنها من فيديو تتبع العين. يمكن ان يكون للأسطح القريبة من المشاركين علامات ايماني أصغر ، في حين ان الأسطح البعيدة عنها تحتاج إلى ان تكون أكبر ، بحيث تبدو متشابهة من منظور المشاركين. حاول احجام مختلفه مسبقا للتاكد من انها يمكن الكشف عنها من الفيديو تتبع العين.
- عدد علامات الإيماني: لجعل عمليه رسم الخرائط لنقاط البصر في طائره مشتركه ناجحه ، تاكد من وجود عده علامات ايماني مرئية من وجهه نظر المشاركين في اي وقت معين.
- موقع علامات الإيماني: تاطير المجالات ذات الصلة من الاهتمام مع شرائط من علامات الإيماني (علي سبيل المثال ، انظر شاشه الكمبيوتر المحمول علي الشكل 3).
- وأخيرا ، تشغيل الطيارين لاختبار اجراء المزامنة وتحديد الموقع الأمثل ، والحجم ، وعدد من علامات ايماني. يمكن معالجه مقاطع الفيديو التي تتبع العين من خلال خوارزميه رؤية الكمبيوتر لمعرفه ما إذا تم الكشف عن علامات ايماني بشكل موثوق.
3. تشغيل التجربة
- تعليمات
- إرشاد المشاركين لوضع نظارات لتتبع العين كما انها ستكون زوج عادي من النظارات. استنادا إلى ملامح الوجه المتميزة للمشاركين ، قد تحتاج قطع الأنف من مرتفعات مختلفه لاستخدامها للحفاظ علي جوده البيانات.
- بعد تشغيل علي تعقب العين ، والمشاركين كليب وحده تسجيل لأنفسهم للسماح للحركة الجسم الطبيعي.
- المعايره
- إرشاد المشاركين إلى النظر إلى مركز علامة المعايرة التي توفرها Tobii في حين يتم تمكين وظيفة المعايرة للبرنامج. بمجرد اكتمال المعايرة ، يمكن بدء التسجيل من داخل البرنامج.
- إرشاد المشاركين إلى عدم تحريك متعقب العين المتنقل بعد المعايرة. وإذا قاموا بذلك ، فمن المرجح ان تكون البيانات غير دقيقه سيلزم اجراء المعايرة مره أخرى.
- رصد البيانات
- راقب عمليه جمع البيانات اثناء الدراسة وتاكد من جمع بيانات تتبع العين بشكل صحيح. يمكن لمعظم أجهزه تتبع العين المحمولة توفير دفق مباشر علي جهاز منفصل (علي سبيل المثال ، قرص) لهذا الغرض.
- تصدير البيانات
- بعد اكتمال جلسة التسجيل ، قم بإرشاد المشارك لأزاله نظارات تتبع العين ووحده جمع البيانات. أطفئ الوحدة
- استخراج البيانات باستخدام برنامج آخر ، Tobii Pro مختبر ، عن طريق أزاله بطاقة SD من وحده جمع البيانات التي تستورد بيانات جلسة العمل. يمكن استخدام المختبر tobii Pro لأعاده تشغيل الفيديو ، وإنشاء المرئيات ، وتصدير بيانات تتبع العين كملفات مفصوله بفواصل (.csv) أو مفصوله بعلامات تبويب (tsv).
4. المعالجة المسبقة لبيانات تتبع العين المزدوجة
- التعقل التحقق من بيانات تتبع العين
- تحقق من بيانات تتبع العين بشكل مرئي بعد جمع البيانات. وليس من غير المالوف بالنسبة لبعض المشاركين ان يفتقدوا البيانات. علي سبيل المثال ، بعض فسيولوجيا العين معينه يمكن ان تشكل مشاكل إلى خوارزميات تتبع العين ، قد تحول النظارات اثناء التجربة ، قد تعطل برنامج جمع البيانات ، الخ.
- استخدم الإحصائيات الوصفية للتحقق من مقدار البيانات التي تم فقدانها اثناء كل جلسة واستبعاد جلسات العمل التي تحتوي علي كميات كبيره من البيانات المفقودة أو الصاخبة.
- المحاذاة الزمنيه
- تقليم البيانات من كل تعقب العين المحمولة لتشمل فقط التفاعلات بين المشاركين. ويمكن تحقيق ذلك باستخدام الطريقة الموصوفة أعلاه (اي تقديم اثنين من علامات الإيماني الخاصة إلى المشاركين في بداية الدورة ونهايتها). ويمكن بعد ذلك الكشف عن هذه العلامات الايمانيه من فيديو تتبع العين لتقليم مجموعات البيانات.
- المحاذاة المكانية
ملاحظه: للكشف عما إذا كان اثنين من المشاركين يبحثون في نفس المكان في نفس الوقت ، فمن الضروري أعاده تعيين نظره المشاركين علي طائره مشتركه (اي صوره للاعداد التجريبي). الطريقة الحسابية لتحقيق هذا الهدف هي التصوير المتماثل (اي تحويل المنظور للطائرة). ومن المنظور التقني ، فان صورتين لنفس السطح المستو في الفضاء ترتبطان بمصفوفة للطباعة التصويرية. واستنادا إلى مجموعه مشتركه من النقاط ، يمكن استخدام هذه المصفوفة لاستنتاج موقع نقاط اضافيه بين طائرتين. في الشكل 3، علي سبيل المثال ، إذا كانت خوارزميه رؤية الكمبيوتر تعرف أين توجد علامات الإيماني علي النشرة ، فيمكنها أعاده تعيين نظره المشارك علي الطائرة المشتركة علي الجانب الأيسر. الخطوط البيضاء ربط مجموعتين من النقاط المشتركة من قبل تغذيه الفيديو لكل مشارك والمشهد ، والتي يتم استخدامها بعد ذلك لبناء التصوير المنزلي لأعاده تعيين النقاط الخضراء والزرقاء علي الجانب الأيسر.- استخدام الإصدار بيثون من OpenCV ، علي سبيل المثال ، لحساب مصفوفة التصوير المنزلي من علامات ايماني ومن ثم أعاده تعيين بيانات تتبع العين إلى مشهد الاعداد التجريبي (أو اي مكتبه مناسبه أخرى في لغتك المفضلة). يوفر opencv اثنين من الوظائف المفيدة: findhomography () للحصول علي مصفوفة التصوير المنزلي ، و بيرسبيكتيفيترانسفورم() لتحويل النقطة من منظور إلى آخر.
- لاستخدام Findhomography ()، تشغيل بوسيطين: إحداثيات X و Y للنقاط المصدر (اي العلامات الايمانيه المكتشفة من فيديو مشهد المشاركين ، والمبينة علي اليمين في الشكل 3) ونقاط الوجهة المقابلة (اي ، نفس علامات الفيدوسيالس المكتشفة علي صوره المشهد ، الموضحة علي اليسار في الشكل
- أطعم مصفوفة التصوير المنزلي الناتجة في الوظيفة بيرسبيكتيفيترانسفورم () ، بالاضافه إلى نقطه جديده تحتاج إلى تعيينها من الصورة المصدر إلى الصورة الوجهة (علي سبيل المثال ، بيانات تتبع العين التي تظهر كنقطه زرقاء/خضراء علي الجانب الأيمن من الشكل 3). ترجع الدالة بيرسبيكتيفيترانسفورم الإحداثي الجديد لنفس النقطة علي صوره المشهد (اي النقاط الزرقاء/الخضراء المعروضة علي الجانب الأيسر من الشكل 3).
ملاحظه: للحصول علي مزيد من المعلومات ، توفر الوثائق الرسمية OpenCV نموذج التعليمه البرمجية وأمثله لتنفيذ التصوير المتماثل: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
- التعقل التحقق من التصوير المنزلي
- أكمل القسم 4.3 للجلسة بأكملها ، وقم باجراء التصوير المنزلي علي كل اطار من الفيديو المتنقل لتتبع العين للتحقق من جوده التصوير المنزلي. في حين لا توجد طرق اليه لتقدير دقه بيانات تتبع العين الناتجة ، فانه يجب استخدام مقاطع الفيديو مثل التي تظهر في الشكل 4 للتحقق من صحة كل جلسة يدويا.
- إذا كانت الجودة اقل من المتوقع ، ضع في الاعتبار المعلمات الاضافيه لتحسين نتائج التصوير المنزلي:
- عدد علامات الإيماني المكتشفة: قم فقط باجراء التصوير المنزلي إذا كان يمكن الكشف عن علامات ايماني كافيه من دفق الفيديو. يمكن تحديد هذا الرقم عن طريق فحص الفيديو الذي تم إنتاجه أعلاه.
- موقع علامات الإيماني: إذا كانت علامات مختلفه في أعماق مختلفه والتوجات ، ونوعيه التصوير المنزلي يزيد عاده عندما يتم تحديد علامات الأقرب إلى إحداثيات البصر ، نظرا لان هناك علامات كافيه لبناء قويه التصوير المنزلي.
- اتجاه علامات ايماني: الجمع بين علامات ايماني التي لها توجات مختلفه (علي سبيل المثال ، الأفقي والراسي) سوف تنتج متجانسات غير دقيقه. من المستحسن الكشف أولا عن الطائرة أو مناطق الاهتمامات (AOIs) التي يبحث عنها المشارك (علي سبيل المثال ، شاشه الكمبيوتر ، ورقه الغش ، الجدول ، انظر الشكل 3) ومن ثم استخدام علامات ايماني علي هذه الطائرة للطباعة المنزلية.
- جوده دفق الفيديو: يمكن لحركات الراس المفاجئة طمس إطارات الفيديو وجعل البيانات غير قابله للاستخدام ، لأنه لا يمكن الكشف عن علامات ايمانيبشكل موثوق (الرسم البياني 4). منهجيه هذه الورقة ليست مناسبه للتجارب التي تنطوي علي الكثير من الحركات المفاجئة الراس.
5. تحليل البيانات المزدوجة لتتبع العين
- البيانات المفقودة
- للتاكد من أعاده تعيين البيانات بشكل صحيح علي الصورة المرجعية ، قم بإنتاج رسومات بيانيه تصوريه (علي سبيل المثال ، الشكل 5، الشكل 6) وإحصاءات وصفيه للتحقق من مقدار البيانات المفقودة.
- رسومات بيانيه للتكرار المتقاطع
- استخدم الرسومات البيانية للتكرار التبادلي9 لتمثيل المزامنة المرئية بين مشاركين (الشكل 6) ، حيث يمثل المحور السيني وقت المشارك الأول ، ويمثل المحور ص وقت المشارك الثاني. المربعات السوداء تشير إلى ان المشاركين يبحثون في نفس المنطقة ، خط قطري اسود يصف موضوعين تبحث في نفس الشيء في نفس الوقت بالبالضبط ، والمربعات السوداء قباله خط قطري يصف عندما موضوعين تبحث في نفس الشيء مع تاخر الوقت. وأخيرا ، فان التفريق بين البيانات المفقودة (المربع الأبيض) والبيانات الموجودة مع عدم وجود JVA (المربعات الرمادية) يساعد علي تحديد الجلسات المشكوك فيها. وهذا يوفر للباحثين فحص التعقل البصري.
- الحوسبة JVA
- بعد تصفيه البيانات المفقودة ، احسب مقياسا ل JVA عن طريق احتساب عدد المرات التي تكون فيها الصفحات المشتركة في نفس نصف القطر في المشهد (المعرفة أدناه) في نافذه الوقت التي تبلغ 2/+ 2 ثانيه. قسمه هذا الرقم علي عدد نقاط البيانات الصالحة التي يمكن استخدامها لحساب JVA. وتمثل نتيجة التقسيم النسبة المئوية للوقت الذي ينظر فيه الموضوعان معا في نفس المكان. هذه الخطوة الاخيره ضرورية لتجنب تضخيم عشرات المجموعات مع المزيد من البيانات بعد التصوير المنزلي.
ملاحظه: معلمتين تحتاج إلى تعيين قبل يمكن حساب JVA ، المسافة الحد الأدنى بين نقطتين البصر ، ونافذه الوقت بينهما (الشكل 7): 1) الإطار الزمني: الدراسة التاسيسيه المبكرة10 استخدمت واحده تعقب العين لقياس jva بين المستمع والمتكلم. طلب الباحثون مجموعه اولي من المشاركين ("المتحدثون") للحديث عن برنامج تلفزيوني تم عرض شخصياتهم امامهم. ثم شاهدت مجموعه ثانيه من المشاركين ("المستمعين") نفس العرض اثناء الاستماع إلى التسجيل الصوتي للمتكلمين. تمت مقارنه حركات العين للمتكلمين والمستمعين ، ووجد ان حركات عين المستمع تتطابق بشكل وثيق مع حركه عين المتكلم بتاخير 2 ثانيه. في العمل اللاحق11 حلل الباحثون الحوارات الحية ووجدت ان تاخير 3 ليالي أفضل القبض علي لحظات jva. ونظرا لان كل مهمة فريدة من نوعها وقد تظهر عليها تاخيرات زمنيه مختلفه ، فانه يقترح أيضا استكشاف مدي تاثير التاخيرات الزمنيه المختلفة علي نتائج تجربه معينه. عموما ، فمن الشائع ان نبحث عن JVA في نافذه الوقت ± 2/3 s اعتمادا علي المهمة التجريبية ومن ثم استكشاف كيف قد تتغير التاخيرات الزمنيه المختلفة النتائج. 2) المسافة بين الغزلان: لا يوجد اي مسافة محدده تجريبيا بين اثنين من الغزلان بالنسبة لهم لحساب كما JVA. وتعتمد هذه المسافة علي الاسئله البحثية التي يحددها الباحثون. وينبغي للاسئله البحثية ان تبلغ حجم الأهداف ذات الاهميه. في المثال ينظر في الشكل 7، تم اختيار نصف قطر 100 بكسل علي صوره المشهد (الدوائر الزرقاء/الخضراء) للتحليل لأنه يكفي للتقاط عندما يبحث المشاركون في الروبوت في المتاهة ، وكذلك في عناصر واجهه المستخدم مماثله علي شاشه الكمبيوتر ، والتي هي المجالين الرئيسيين للاهتمام لهذه المهمة التجريبية.
- بعد تصفيه البيانات المفقودة ، احسب مقياسا ل JVA عن طريق احتساب عدد المرات التي تكون فيها الصفحات المشتركة في نفس نصف القطر في المشهد (المعرفة أدناه) في نافذه الوقت التي تبلغ 2/+ 2 ثانيه. قسمه هذا الرقم علي عدد نقاط البيانات الصالحة التي يمكن استخدامها لحساب JVA. وتمثل نتيجة التقسيم النسبة المئوية للوقت الذي ينظر فيه الموضوعان معا في نفس المكان. هذه الخطوة الاخيره ضرورية لتجنب تضخيم عشرات المجموعات مع المزيد من البيانات بعد التصوير المنزلي.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
استخدمت المنهجية المعروضة أعلاه لدراسة الطلاب الذين كانوا يتابعون برنامج التدريب المهني في اللوجستيات (ن = 54)12. في هذه التجربة ، تفاعل أزواج من الطلاب مع واجهه المستخدم الملموسة (TUI) التي تحاكي مستودع صغير الحجم. وقد سمحت العلامات الايمانيه الموضوعة علي اللوحة البحثية لفريق البحث باعاده رسم خرائط الطلاب علي طائره مشتركه وحساب مستويات JVA. وأشارت النتائج إلى ان المجموعات التي لديها مستويات اعلي من الفريق العامل تميل إلى القيام بعمل أفضل في المهمة التي أسندت اليها ، وتعلمت المزيد ، وكانت لها نوعيه أفضل من التعاون13 (الشكل 8، الجانب الأيسر). كما سمحت لنا مجموعات البيانات المزدوجة لتتبع العين بالتقاط ديناميات جماعيه معينه مثل تاثير الراكب الحر. وقد قدرنا هذا الأثر من خلال تحديد من كان من المرجح ان يكون قد بدا كل لحظه من لحظات التحالف (اي النظرة التي كانت هناك أولا) والتي استجابت لذلك (اي ، الذي كانت نظرته هناك ثانيه). وجدنا ارتباطا كبيرا بين مكاسب التعلم وميل الطلاب إلى المشاركة بالتساوي في مسؤوليه البدء والاستجابة لعروض JVA. وبعبارة أخرى ، فان المجموعات التي بدا الشخص نفسه فيها دائما لحظات من JVA كانت اقل احتمالا للتعلم (الشكل 8، الجانب الأيمن) والمجموعات التي تتقاسم فيها هذه المسؤولية بالتساوي هي أكثر عرضه للتعلم. وتبين هذه النتيجة اننا يمكن ان تتجاوز مجرد القياس JV ، والواقع تحديد ديناميات المجموعة والانتاجيه باستخدام البيانات المزدوجة تتبع العين.
الشكل 1: يقوم كل مشارك بإنشاء موجزين للفيديو مع إحداثيات X و Y لنظرته علي كل اطار فيديو. وتتناول هذه المنهجية مزامنة البيانات زمنيا ومكانيا بين المشاركين. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 2: منهجيه لمزامنة مجموعتي البيانات. تظهر بإيجاز علامة ايماني فريدة من نوعها علي شاشه الكمبيوتر لوسم البداية ونهاية النشاط. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 3: استخدام علامات الإيماني المنشورة في البيئة لأعاده رسم خرائط المشاركين علي خطه مشتركه (الجانب الأيسر). تشير الخطوط البيضاء إلى علامات الإيماني التي تم اكتشافها في كلا الصورتين. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 4: أمثله علي رداءه نوعيه البيانات. اليسار: اطار غير واضح من فيديو تتبع العين بسبب حركه راس مفاجئه. تعذر الكشف عن علامات ايماني في هذه الصورة. اليمين: التصوير المتماثل الفاشل حيث لم يتم مزامنة بيانات علامة ايماني بشكل صحيح مع خلاصه الفيديو. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 5: خرائط الحرارة. اليسار: تم تعيين خريطة للحرارة لبيانات تتبع العين علي المشهد التجريبي. تم استخدام هذا التصور كفحص التعقل للطباعة المنزلية. اليمين: مجموعه لديها الكثير من البيانات المفقودة ويجب تجاهلها. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 6: الرسم البياني للتكرار المتقاطع الذي تم إنشاؤه من ثلاثه إعلانات لتصور JVA. يمثل P1 الوقت للمشارك الأول ، P2 يمثل الوقت للمشارك الثاني. المربعات السوداء تظهر JVA. المربعات الرمادية تظهر لحظات حيث يبحث المشاركون في أماكن مختلفه ؛ تظهر المربعات البيضاء البيانات المفقودة. مربع علي طول القطري الرئيسي يشير إلى لحظات حيث بدا المشاركون في نفس المكان في نفس الوقت. تم استخدام هذا التصور كفحص التعقل لقياسات JVA من البيانات المشتركة لتتبع العين. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 7: اطار فيديو تم الكشف فيه عن JVA بين مشاركين (نقاط حمراء). يوصي ريتشاردسون وآخرون11 بالبحث في نافذه زمنيه من +/-2 ثانيه عند حوسبة jva. بالاضافه إلى ذلك ، يحتاج الباحثون إلى تحديد المسافة الدنيا بين نقطتين البصر لحساب كما JVA. تم اختيار نصف قطر 100 بكسل علي الصورة الوسطي أعلاه. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
الشكل 8: أمثله علي النتائج. بيانات من شنايدر وآخرون12 حيث كانت النسبة المئوية للوقت الذي يبحث في نفس المكان في نفس الوقت مرتبطة بنوعيه التعاون بين المشاركين: r (24) = 0.460 ، p = 0.018 (الجانب الأيسر) والاختلالات في البدء/الاستجابة لعروض jva كانت مرتبطة بمكاسب التعلم: r ( 24 0.02 0.47 ) يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
المنهجية الموصوفة في هذه الورقة توفر طريقه صارمة للقبض علي jva في السدود ضم. ومع ظهور تكنولوجيا الاستشعار بأسعار معقولة وتحسين خوارزميات الرؤية الحاسوبية ، أصبح من الممكن الآن دراسة التفاعلات التعاونية بدقه لم تكن متاحه في السابق. وتعزز هذه المنهجية العلامات الايمانيه المنشورة في البيئة وتستخدم الاشكال المتجانسة كوسيلة لأعاده رسم خرائط المشاركين علي متن طائره مشتركه. وهذا يسمح للباحثين لدراسة صارمة jva في مجموعات ضم.
تتضمن هذه الطريقة العديد من فحوصات التعقل التي يجب تنفيذها في نقطه مختلفه من التجربة. لان هذا هو اجراء معقد ، يحتاج الباحثون للتاكد من ان مجموعات البيانات الناتجة كامله وصالحه. وأخيرا ، يوصي باجراء دراسات تجريبية قبل التجربة الفعلية ، وأعاده بناء تفاعلات المشاركين علي الرغم من الفيديو بعد الانتهاء من جمع البيانات (الشكل3، الشكل 4، الشكل 5، الشكل 6).
هناك العديد من القيود المقترنة بهذا الأسلوب:
عدد المشاركين. وفي حين ان هذه المنهجية تعمل بشكل جيد لاثنين من المشاركين ، فان التحليل يصبح أكثر تعقيدا مع المجموعات الأكبر. لا يزال يمكن استخدام علامات ايماني لأعاده تعيين الغزلان علي الحقيقة الأرض ولكن معرفه كيفيه التعرف علي JVA يصبح عمليه أكثر دقه. هل ينبغي تعريف JVA بأنه الأوقات التي ينظر فيها الجميع إلى نفس المكان في نفس الوقت ، أو عندما يحدق اثنان من المشاركين في نفس المكان ؟ بالاضافه إلى ذلك ، تصبح المرئيات مثل الرسم البياني عبر التكرار غير عمليه مع أكثر من 2-3 أشخاص.
إعدادات. الطريقة الموصوفة في هذه الورقة مناسبه للإعدادات الصغيرة المتحكم بها (علي سبيل المثال ، الدراسات المختبرية). وعاده ما تكون الإعدادات المفتوحة ، مثل الأماكن الخارجية أو المساحات الكبيرة ، معقده جدا للغاية بالنسبة للأدوات التي تحتوي علي علامات ايماني التالي يمكن ان تحد من فائده بيانات تتبع العين. بالاضافه إلى ذلك ، يمكن ان تكون علامات ايماني تشتيت وفوضي البيئة. في المستقبل ، فان أفضل خوارزميات الرؤية الكمبيوتر تكون قادره علي استخراج تلقائيا الميزات المشتركة بين وجات نظر اثنين. وهناك بالفعل خوارزميات موجودة لهذا الغرض ، ولكننا وجدنا ان مستوي الدقة لم يكن مقبولا بعد بالنسبة لنوع التجربة الموصوفة أعلاه.
Aois. وفيما يتعلق بالنقطة المذكورة أعلاه ، فان الحوسبة الحاسوبية والرسم البياني للتكرار المتبادل يعمل بشكل جيد مع عدد ثابت من مجالات الاهتمام ، ولكن يجب اجراء التصويبات عند مقارنه المهام المختلفة بعدد مختلف من المجالات ذات الاهميه.
استخدام المعدات. يمكن لمتتبعي العين المتنقلين ان اقتحامي ، مما يؤثر علي سلوك المشاركين أو الفشل في العمل مع فسيولوجية عين معينه.
وفي الختام ، فان المنهجية الموصوفة في هذه الورقة هي طريقه واعده لدراسة التفاعلات التي تجري بالقولون. فانه يسمح للباحثين للتقاط مقياس دقيق ل JVA ، وهو بناء الحرجة في العلوم الاجتماعية1. الاضافه إلى ذلك ، من الممكن الكشف عن المزيد من المؤشرات الدقيقة للتعلم التعاوني من خلال هذه المنهجية12 مقارنه بالتحليلات النوعية التقليدية. وباختصار ، فانها طريقه أكثر كفاءه ودقه لدراسة التفاعلات الاجتماعية.
ويشمل التطبيق المحتمل لهذه الطريقة تصميم التدخلات لدعم التعاون من خلال بيانات تتبع العين في الوقت الحقيقي. وقد أنتجت بعض الاعمال الرائدة الرؤية المشتركة المرئيات باستخدام بتتبع العين عن بعد ، والتي تبين ان تستفيد من التعلم التعاوني من مسافة14. Dyads الذين يمكن ان نري نظره شريكهم في الوقت الحقيقي عرضت أكثر JVA ، تعاونت بشكل أفضل وحققت مكاسب التعلم العالي بالمقارنة مع مجموعه التحكم. سيبحث العمل المستقبلي ما إذا كان هذا النوع من التدخل يمكن ان يدعم العمليات التعاونية في الإعدادات المدمجة (علي سبيل المثال ، من خلال سماعات الواقع الافتراضية أو المعززة).
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ويعلن صاحبا البلاغ انهما لا يملكان مصالح مالية متنافسة.
Acknowledgments
وقد حظي تطوير هذه المنهجية بدعم المؤسسة الوطنية للعلوم (NSF #0835854) ، وهي الشركة الرائدة في مجال تكنولوجيات التعليم المهني ، التي تمولها أمانه الدولة السويسرية للتعليم والبحث والابتكار ، وصندوق المشاريع التابع لكليه هارفارد للتعليم.
Materials
| Name | Company | Catalog Number | Comments |
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
- Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
