رسم خرائط ثلاثية الأبعاد لدوران الكائنات الافتراضية التفاعلية مع بيانات تتبع العين

Summary

لقد طورنا طريقة بسيطة وقابلة للتخصيص وفعالة لتسجيل البيانات العملية الكمية من المهام المكانية التفاعلية وتعيين بيانات الدوران هذه باستخدام بيانات تتبع العين.

Abstract

نقدم طريقة للتسجيل في الوقت الحقيقي للتفاعل البشري مع الكائنات الافتراضية ثلاثية الأبعاد (3D). يتكون النهج من ربط بيانات الدوران للكائن الذي تم التلاعب به بالتدابير السلوكية ، مثل تتبع العين ، لتقديم استنتاجات أفضل حول العمليات المعرفية الأساسية.

تتكون المهمة من عرض نموذجين متطابقين لنفس الكائن 3D (جزيء) ، يتم تقديمهما على شاشة الكمبيوتر: كائن دوار وتفاعلي (iObj) وكائن ثابت مستهدف (tObj). يجب على المشاركين تدوير iObj باستخدام الماوس حتى يعتبروا أن اتجاهه مطابق لاتجاه tObj. يتتبع الكمبيوتر جميع بيانات التفاعل في الوقت الفعلي. يتم أيضا تسجيل بيانات نظرة المشارك باستخدام جهاز تعقب العين. تردد القياس 10 هرتز على الكمبيوتر و 60 هرتز على متتبع العين.

يتم تسجيل بيانات اتجاه iObj فيما يتعلق ب tObj في رباعيات الدوران. تتم مزامنة بيانات النظرة مع اتجاه iObj والإشارة إليها باستخدام هذا النظام نفسه. تمكننا هذه الطريقة من الحصول على التصورات التالية لعملية التفاعل البشري مع iObj و tObj: (1) التباين الزاوي المتزامن مع البيانات الأخرى المعتمدة على الوقت. (2) مسار دوران 3D داخل ما قررنا أن نسميه "كرة الدوران" ؛ (3) 3D التثبيت خريطة الحرارة. استخدمت جميع خطوات البروتوكول برمجيات حرة، مثل GNU Octave و Jmol، وجميع النصوص متاحة كمواد تكميلية.

باستخدام هذا النهج ، يمكننا إجراء دراسات كمية مفصلة لعملية حل المهام التي تنطوي على تناوب عقلي أو جسدي ، بدلا من النتيجة التي تم التوصل إليها فقط. من الممكن قياس مدى أهمية كل جزء من نماذج 3D بدقة بالنسبة للمشارك في حل المهام ، وبالتالي ربط النماذج بالمتغيرات ذات الصلة مثل خصائص الأشياء والقدرات المعرفية للأفراد وخصائص واجهة الإنسان والآلة.

Introduction

الدوران العقلي (MR) هو قدرة معرفية تمكن الأفراد من التلاعب بالأشياء وتدويرها عقليا ، مما يسهل فهما أفضل لميزاتها وعلاقاتها المكانية. إنها واحدة من القدرات البصرية المكانية ، وهي مجموعة معرفية أساسية تمت دراستها في وقت مبكر من عام 1890¹. تعد القدرات البصرية المكانية مكونا مهما في الذخيرة المعرفية للفرد التي تتأثر بكل من العوامل الموروثة والبيئية^2،3،4،5. نما الاهتمام بالقدرات البصرية المكانية طوال القرن العشرين بسبب الأدلة المتزايدة على أهميتها في الموضوعات الرئيسية مثل الشيخوخة⁶ والتنمية⁷ ، والأداء في العلوم والتكنولوجيا والهندسة والرياضيات (STEM) ^8,9 ، والإبداع¹⁰ ، والسمات التطورية^11.

الفكرة المعاصرة لل MR مستمدة من العمل الرائد الذي نشره Shepard and Metzler (SM) في 1971¹². ابتكروا طريقة كرونومترية باستخدام سلسلة من المهام "نفسها أو مختلفة" ، وتقديم اثنين من الإسقاطات من كائنات 3D مجردة معروضة جنبا إلى جنب. كان على المشاركين تدوير الكائنات عقليا على بعض المحاور وتحديد ما إذا كانت هذه الإسقاطات تصور نفس الكائن تدور بشكل مختلف أو كائنات متميزة. كشفت الدراسة عن وجود علاقة خطية إيجابية بين وقت الاستجابة (RT) والتباين الزاوي (AD) بين تمثيلات نفس الجسم. يعرف هذا الارتباط باسم تأثير تباين الزاوية (ADE). يعتبر ADE مظهرا سلوكيا للتصوير بالرنين المغناطيسي وأصبح في كل مكان في العديد من الدراسات اللاحقة المؤثرة في هذا المجال^{13،14،15،16،17،18،19،20،21،22،23،24،25}. تألفت الأجسام ثلاثية الأبعاد المستخدمة في دراسة SM من 10 مكعبات متجاورة تم إنشاؤها بواسطة رائد الرسم البياني للكمبيوتر مايكل نول في مختبرات بيل²⁶. يشار إليها باسم أرقام SM وتستخدم على نطاق واسع في دراسات MR.

كان هناك تقدمان لهما أهمية كبيرة في عمل شيبرد وميتزلر الأساسي. أولا، النظر في المساهمات في مجال تقييمات الرصد والإبلاغ. في عام 1978 ، طور Vanderberg و Kuze²⁷ اختبارا نفسيا مكونا من 20 عنصرا بالقلم الرصاص والورقة بناء على أرقام SM "نفسها أو مختلفة" التي أصبحت تعرف باسم اختبار الدوران العقلي (VKMRT). يقدم كل عنصر اختبار حافزا مستهدفا. يجب على المشاركين الاختيار من بين أربعة محفزات ، أي منها يمثل نفس الشيء الموضح في التحفيز المستهدف ، وأيها لا يمثل ذلك. تم استخدام VKMRT للتحقيق في العلاقة بين قدرة MR وعوامل أخرى مختلفة ، مثل الاختلافات المرتبطة بالجنس^{6،21،24،28،29،30} ، الشيخوخة والتطور^6،31،32 ، الأداء الأكاديمي^{8، 33} ، ومهارات في الموسيقى والرياضة³⁴. في عام 1995 ، نشر بيترز وآخرون دراسة مع أرقام معاد رسمها ل VKMRT^35,36. وبالمثل ، بعد تصميم المهمة "نفسه أو المختلف" ، تم استخدام مجموعة متنوعة من المكتبات الأخرى للمحفزات التي تم إنشاؤها بواسطة الكمبيوتر للتحقيق في عمليات التصوير بالرنين المغناطيسي وتقييم قدرات MR (إصدارات ثلاثية الأبعاد من محفزات SM الأصلية^{19،22،23،37،38} ، جسم الإنسان يحاكي أرقام SM^25،39،40 ، مضلعات مسطحة لدوران 2D^{41 ، 42} ، علم التشريح ، والأعضاء⁴³ ، الأشكال العضوية⁴⁴ ، الجزيئات^45,46 ، من بين أمور أخرى²¹). اختبار التصور المكاني بوردو (PSVT) الذي اقترحه Guay في 1976⁴⁷ مناسب أيضا. يستلزم مجموعة من الاختبارات ، بما في ذلك MR (PSVT: R). باستخدام محفزات مختلفة عن تلك الموجودة في VKMRT ، يتطلب PSVT: R من المشاركين تحديد عملية دوران في حافز نموذجي وتطبيقها عقليا على محفز مختلف. يستخدم PSVT: R أيضا على نطاق واسع ، لا سيما في الدراسات التي تبحث في دور MR في تحقيق العلوم والتكنولوجيا والهندسة والرياضيات^48،49،50.

التقدم الثاني ذو الأهمية الكبيرة في عمل شيبرد وميتزلر الأساسي يشمل المساهمات في فهم عملية التصوير بالرنين المغناطيسي ، على وجه الخصوص ، باستخدام أجهزة تتبع العين. في عام 1976 ، استخدم Just and Carpenter¹⁴ معدات تتبع العين التناظرية القائمة على الفيديو لإجراء دراسة تستند إلى تجربة Shepard و Metzler ADE. من نتائجهم على حركات العين saccadic و RTs ، اقترحوا نموذجا لعمليات MR يتكون من ثلاث مراحل: 1) مرحلة البحث ، حيث يتم التعرف على أجزاء مماثلة من الأشكال. 2) مرحلة التحول والمقارنة ، حيث يتم تدوير أحد الأجزاء المحددة عقليا ؛ 3) مرحلة التأكيد ، حيث يتم تحديد ما إذا كانت الأرقام هي نفسها أم لا. تتكرر المراحل بشكل متكرر حتى يمكن اتخاذ قرار. تتوافق كل خطوة مع أنماط حركة العين الساكدية والمثبتة المحددة في علاقة وثيقة ب ADEs المرصودة. وهكذا ، من خلال ربط نشاط العين بالبيانات الكرونومترية ، قدم Just and Carpenter توقيعا معرفيا لدراسة عمليات التصوير بالرنين المغناطيسي. حتى الآن ، تم اعتماد هذا النموذج ، وإن كان مع التعديلات ، في العديد من الدراسات^{15،42،46،51،52،53}.

بعد هذا المسار ، تلت ذلك العديد من الدراسات التي تراقب السلوك^{18،19،22،23،25،34،40،54،55} ونشاط الدماغ^{20،22،56،57} أجريت وظائف أثناء دوران المنبهات. تشير النتائج التي توصلوا إليها إلى دور تعاوني بين التصوير بالرنين المغناطيسي والعمليات الحركية. علاوة على ذلك ، هناك اهتمام متزايد بالتحقيق في استراتيجيات حل المشكلات التي تنطوي على MR فيما يتعلق بالفروق الفردية ^{15،41،46،51،58}.

بشكل عام ، يمكن اعتبار أن تصميم الدراسات التي تهدف إلى فهم عمليات التصوير بالرنين المغناطيسي يعتمد على تقديم مهمة مع محفزات بصرية تطلب من المشاركين إجراء عملية التصوير بالرنين المغناطيسي التي بدورها تستلزم رد فعل حركي. إذا كان هذا التفاعل يسمح بدوران المنبهات ، فغالبا ما يطلق عليه الدوران البدني (PR). اعتمادا على الأهداف المحددة لكل دراسة ، تم استخدام استراتيجيات وأجهزة مختلفة للحصول على البيانات وتحليل MR و PR. في خطوة عرض تحفيز المهمة ، من الممكن تغيير أنواع المحفزات (أي الأمثلة المذكورة سابقا) ؛ الإسقاط (الصور التي تم إنشاؤها بواسطة الكمبيوتر في شاشات العرض التقليدية^{22،23،25،29،40،41،59} ، وكذلك في المجسمات¹⁹ والظاهري⁶⁰ وبيئات الواقع^{المختلط 43} ) ؛ وتفاعل المنبهات (الصور الثابتة^12،27،36 ، الرسوم المتحركة⁶¹ ، والكائنات الافتراضية التفاعلية^{19،22،23،43،53،59}).

عادة ما يتم الاستدلال على التصوير بالرنين المغناطيسي من مقاييس RTs (ADE) ، وكذلك نشاط العين والدماغ^25،46،62. يتم قياس نشاط العين باستخدام بيانات تتبع العين التي تتكون من حركات saccadic والتثبيتات^{14،15،42،51،52،54،58،60} ، وكذلك قياس الحدقة⁴⁰. تنشأ بيانات RT عادة من بيانات استجابة المحرك المسجلة أثناء تشغيل أجهزة مختلفة مثل الرافعات¹³ ، الأزرار والمفاتيح^14,53 ، الدواسات⁵³ ، المقابض الدوارة¹⁹ ، عصا التحكم³⁷ ، لوحة المفاتيح⁶¹ والماوس 29,58,60 ، عجلات القيادة⁵³ ، مستشعرات القصور الذاتي ^22,23 ، شاشات اللمس^52,59، والميكروفونات²². لقياس العلاقات العامة ، بالإضافة إلى RTs ، سيتضمن تصميم الدراسة أيضا تسجيل الدورات اليدوية للمنبهات التفاعلية أثناء أداء المشاركين لمهمة MR^{22،23،52،53}.

في عام 1998 ، استخدم Wohlschläger و Wohlschläger¹⁹ مهام "متشابهة أو مختلفة" مع محفزات SM افتراضية تفاعلية يتم التلاعب بها بمقبض ، مع دوران يقتصر على محور واحد لكل مهمة. قاموا بقياس RT والسجل التراكمي للتناوب المادي الذي تم إجراؤه أثناء المهام. بمقارنة المواقف مع وبدون الدوران الفعلي للمحفزات التفاعلية ، خلصوا إلى أن MR و PR يشتركان في عملية مشتركة لكل من الدورات المتخيلة والمنفذة بالفعل.

في عام 2014 ، أجريت دراستان تستخدمان نفس النوع من المهام مع محفزات تفاعلية افتراضية^22,23. ومع ذلك ، تم التلاعب بالأجسام باستخدام أجهزة استشعار بالقصور الذاتي التي التقطت الحركة في الفضاء 3D. في كلتا الحالتين ، بالإضافة إلى RTs ، تم تسجيل مسارات الدوران - تطور اختلافات الدوران بين المحفزات المرجعية والتفاعلية أثناء المهام. من هذه المسارات ، كان من الممكن استخراج كل من المعلومات التراكمية (أي العدد الإجمالي للدورات ، بالوحدات الرباعية) والمعلومات التفصيلية حول استراتيجيات الحل. درس Adams et ^al.23 التأثير التعاوني بين MR و PR. بالإضافة إلى RTs ، استخدموا تكامل مسارات الدوران كمعلمة لدقة وموضوعية القرار. تم تفسير ملامح المنحنى وفقا لنموذج من ثلاث خطوات⁶³ (التخطيط ، الدوران الرئيسي ، التعديل الدقيق). تشير النتائج إلى أن MR و PR ليس لهما بالضرورة عامل واحد مشترك. جمع Gardony et ^al.22 بيانات عن RT والدقة والدوران في الوقت الفعلي. بالإضافة إلى تأكيد العلاقة بين MR و PR ، كشف تحليل مسارات التناوب أن المشاركين تلاعبوا بالأرقام حتى يتمكنوا من تحديد ما إذا كانوا مختلفين أم لا. إذا كانت متشابهة ، فسيقوم المشاركون بتدويرها حتى تبدو متشابهة.

استمرارا لهذه الاستراتيجية ، في عام 2018 ، استخدم Wetzel و Bertel⁵² أيضا أرقام SM التفاعلية في مهام "متشابهة أو مختلفة" باستخدام الأجهزة اللوحية التي تعمل باللمس كواجهة. بالإضافة إلى ذلك ، استخدموا جهاز تتبع العين للحصول على بيانات تراكمية عن وقت التثبيت والسعة الصخرية كمعلمات للحمل المعرفي المتضمن في حل مهام التصوير بالرنين المغناطيسي. أكد المؤلفون الدراسات السابقة التي نوقشت أعلاه فيما يتعلق بالعلاقات بين MR و PR وعمليات حل المهام. ومع ذلك ، في هذه الدراسة ، لم يستخدموا رسم خرائط التثبيت وبيانات saccades للمحفزات.

تم اقتراح الأساليب المنهجية لرسم خرائط بيانات تتبع العين عبر كائنات 3D الافتراضية وتحسينها باستمرار ، عادة من قبل الباحثين المهتمين بدراسة العوامل المتعلقة بالاهتمام البصري في البيئات الافتراضية⁶⁴. على الرغم من أنها ميسورة التكلفة وتستخدم أجهزة تتبع العين المماثلة ، على ما يبدو ، لم يتم دمج هذه الأساليب بشكل فعال في الذخيرة التجريبية المستخدمة في دراسات الدوران العقلي مع كائنات 3D التفاعلية مثل تلك المذكورة سابقا. على العكس من ذلك ، لم نجد أي دراسات في الأدبيات التي تبلغ عن رسم الخرائط في الوقت الفعلي لبيانات التثبيت والحركة على كائنات 3D التفاعلية. يبدو أنه لا توجد طريقة ملائمة لدمج بيانات نشاط العين مع مسارات الدوران بسهولة. في هذا البحث ، نهدف إلى المساهمة في سد هذه الفجوة. يتم تقديم الإجراء بالتفصيل ، من الحصول على البيانات إلى إنشاء الإخراج الرسومي.

في هذه الورقة ، وصفنا بالتفصيل طريقة لدراسة عمليات الدوران العقلي مع كائنات 3D التفاعلية الافتراضية. يتم تسليط الضوء على التطورات التالية. أولا ، يدمج المحرك السلوكي الكمي (دوران الكائن المدفوع باليد عبر واجهة الكمبيوتر) وجمع البيانات العينية (تتبع العين) أثناء جلسات التفاعل مع النماذج الافتراضية 3D. ثانيا ، لا يتطلب الأمر سوى معدات الكمبيوتر التقليدية وأجهزة تتبع العين لتصميم المهام المرئية والحصول على البيانات وتسجيلها ومعالجتها. ثالثا ، فإنه يولد بسهولة مخرجات رسومية لتسهيل تحليل البيانات - التباين الزاوي ، والدوران المادي ، ومسارات الدوران الرباعي ، ورسم خرائط لبيانات تتبع العين عبر الكائنات الافتراضية 3D. أخيرا ، تتطلب الطريقة برمجيات حرة فقط. جميع التعليمات البرمجية والبرامج النصية المطورة متاحة مجانا (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. إعداد أدوات جمع البيانات

1. قم بإعداد جمع البيانات عبر الإنترنت (اختياري).
   ملاحظة: توضح هذه الخطوة كيفية إعداد نسخة قابلة للتخصيص من التعليمات البرمجية للمشروع وصفحة ويب العمل (راجع الملف التكميلي 1). تم تكييف هذه الخطوة من البرامج التعليمية المتاحة في https://pages.github.com/ و https://github.com/jamiewilson/form-to-google-sheets. إذا كان المستخدمون مهتمين فقط بطريقة معالجة البيانات وليس بتسجيل البيانات ، فيمكنهم استخدام https://rodrigocnstest.github.io/iRT_JoVE.html صفحة الويب ، جنبا إلى جنب معالجدول التكميلي S1 وملفات المستودع في https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave ، وتخطي الخطوات 1.1 و 1.2 وخطواتها الفرعية.
   1. سجل الدخول على GitHub (https://github.com/).
   2. قم بإنشاء نسخة عامة من مستودع صفحات GitHub الأصلي.
      1. انقر فوق استيراد مستودع من https://github.com أثناء تسجيل الدخول إلى الحساب.
      2. في الحقل عنوان URL لاستنساخ مستودعك القديم ، الصق عنوان URL https://github.com/rodrigocns/rodrigocns_JoVE في حقل اسم المستودع ، واكتب username.github.io، حيث يكون اسم المستخدم هو اسم المستخدم المستخدم في الحساب، وتأكد من تمكين الخيار عام . ثم ، انقر فوق الزر الأخضر بدء الاستيراد.
         ملاحظة: يحتوي المستودع الآن على معظم الملفات المطلوبة لبقية هذا الإعداد ، وسيتم تحديث أي تغييرات يتم إجراؤها على المستودع على موقع الويب بعد بضع دقائق. على سبيل المثال ، سيصل المستخدم المسمى rodrigocnstest إلى صفحته الخاصة في https://rodrigocnstest.github.io ومستودع GitHub الخاص به في https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. يمكنك إعداد جدول بيانات سحابي لتخزين بيانات التجربة على الإنترنت.
      1. اشترك أو سجل الدخول إلى حساب Google.
      2. أثناء تسجيل الدخول إلى الحساب ، انتقل إلى ملف جداول بيانات iRT النظيف المتاح في https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. داخل جدول البيانات هذا ، انقر فوق ملف | قم بعمل نسخة. ستظهر نافذة تأكيد صغيرة.
      4. داخل النافذة الصغيرة ، قم بتسمية الملف وانقر على زر عمل نسخة .
   4. قم بإعداد برمجة تطبيقات Google لأتمتة تخزين البيانات داخل جدول البيانات الذي أنشأته.
      1. أثناء وجودك داخل ملف جدول البيانات ، انقر فوق الخيار ملحق | برمجة التطبيقات.
         ملاحظة: يجب إنشاء هذا البرنامج النصي أو الوصول إليه من داخل جدول البيانات بحيث يتم إقرانه به. قد لا تنجح محاولة إنشاء برنامج نصي خارجيا.
      2. انقر فوق الزر "تشغيل " لتشغيل البرنامج النصي لأول مرة.
      3. انقر فوق الزر مراجعة الأذونات . ستظهر نافذة جديدة. انقر على نفس الحساب المستخدم عند إنشاء جدول البيانات.
         ملاحظة: إذا كانت هذه هي المرة الأولى التي يتم فيها تنفيذ هذه الخطوة، فقد يظهر تنبيه أمان يحذر المستخدم من التطبيق الذي يطلب الوصول إلى المعلومات من الحساب. إنه آمن لأن التطبيق يحاول الوصول إلى محتويات جدول البيانات وطلب الإذن لملئه بالبيانات. إذا لم تظهر أي تحذيرات ، فيمكن تخطي الخطوة 1.1.4.4.
      4. انقر فوق خيارات متقدمة | الانتقال إلى من iRT إلى جداول البيانات (غير آمن) | زر السماح .
         ملاحظة: بعد التنفيذ، يجب أن يظهر إشعار يفيد باكتمال التنفيذ داخل سجل التنفيذ.
      5. في اللوحة المنزلقة اليسرى ، انقر فوق زر المشغلات (الرمز الرابع من أعلى إلى أسفل) | + زر إضافة مشغل .
      6. ضمن اختيار الوظيفة المراد تشغيلها ، اختر doPost ؛ ضمن تحديد مصدر الحدث، حدد من جدول البيانات؛ ضمن تحديد نوع الحدث، اختر في النموذج إرسال. ثم انقر على حفظ. إذا ظهرت أي نوافذ منبثقة للأذونات ، فاتبع الخطوات 1.1.4.3-1.1.4.4. إذا انتهى المتصفح بحظر النافذة المنبثقة ، فقم بإلغاء حظرها.
      7. انقر على زر القائمة المنسدلة نشر | نشر جديد.
      8. مرر مؤشر الماوس فوق رمز الترس وتأكد من تحديد خيار تطبيق الويب .
      9. اكتب وصفا في حقل وصف جديد ، مثل النشر 1; في الحقل من لديه حق الوصول ، حدد أي شخص ثم انقر فوق الزر نشر .
         ملاحظة: الغرض من حقل وصف جديد هو تنظيم عمليات نشر البرنامج النصي واحد. يمكن تسميته كما يرغب القارئ ، مثل النشر الأول. يجب أن يظهر الحقل تنفيذ ك بالفعل ك أنا (البريد الإلكتروني) ، حيث البريد الإلكتروني هو البريد الإلكتروني المستخدم حتى الآن.
      10. داخل النافذة المنبثقة الجديدة، انسخ عنوان URL لتطبيق الويب لنشر البرنامج النصي.
          ملاحظة: إذا انتهى بك الأمر لسبب ما إلى فقدان عنوان URL لتطبيق الويب المنسوخ ، فقم باسترداده بالنقر فوق القائمة المنسدلة نشر | إدارة عمليات النشر. يجب أن يكون عنوان URL لتطبيق الويب موجودا.
      11. انتقل إلى الصفحة في https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js حيث rodrigocnstest هو اسم المستخدم المستخدم في GitHub. استبدل عنوان URL الموجود في السطر 5 بعنوان URL لتطبيق الويب المنسوخ في الخطوة 1.1.4.10 ، وانقر فوق الزر الأخضر تنفيذ التغييرات ....
          ملاحظة: يجب أن تظل قيمة عنوان URL المنسوخ بين علامتي اقتباس مفردتين أو مزدوجتين. تحقق جيدا من أن عنوان URL المنسوخ هو العنوان الصحيح من تطبيق الويب.
      12. أخيرا ، انقر فوق الزر "تأكيد تغييرات الالتزام " في منتصف الشاشة.
   5. تأكد من اكتمال العملية بشكل صحيح وأن الصفحة تعمل.
      1. انتقل إلى المستودع في https://github.com/username/username.github.io/ ، حيث اسم المستخدم هو اسم المستخدم المستخدم في GitHub ، وتحقق مما إذا كان قد تم تحديث النشر بعد التغييرات التي تم إجراؤها في الخطوة 1.4.14.
      2. انتقل إلى صفحة الويب في https://username.github.io/iRT_JoVE ، وقم بتغيير اسم المستخدم إلى اسم المستخدم المستخدم في GitHub ثم انقر فوق التالي.
      3. انقر فوق Go ، وقم بإجراء أي تفاعل بالنقر فوق الكائن الموجود على اليمين وسحبه باستخدام الماوس ، ثم انقر فوق DONE! زر.
      4. ارجع إلى ملف جدول البيانات الذي تم تكوينه في الخطوتين 1.1.3 و1.1.4، وتحقق من وجود سطر بيانات مضاف حديثا لكل مرة يتم فيها الضغط على الزر تم .
2. إعداد الحصول على البيانات بلا اتصال بالإنترنت (اختياري).
   ملاحظة: الطريقة المخصصة لتشغيل بيانات مهمة التدوير التفاعلي (iRT) والحصول عليها متصلة بالإنترنت من خلال الخدمات السحابية التي تم تكوينها في الخطوات الموضحة أعلاه. إذا رغبت في ذلك (نظرا لأن الاتصال بالإنترنت قد يكون مشكلة أو أن يكون لديك طريقة بديلة لتشغيله) ، فمن الممكن أيضا إجراء الاختبار محليا مع أو بدون اتصال بالإنترنت في المكان الذي سيتم فيه تنفيذ الاختبار. الخطوات التالية هي بديل اختياري وتصف كيفية تحقيق ذلك. وإلا، فانتقل إلى الخطوة 1.3.
   1. قم بالوصول إلى مستودع GitHub على الرابط: https://github.com/rodrigocnstest/rodrigocnstest.github.io. انقر على الزر الأخضر < > Code | قم بتنزيل ZIP ، ثم قم بإلغاء ضغط الملفات التي تم تنزيلها.
      ملاحظة: لن تؤدي التغييرات التي تم إجراؤها على الملفات المخزنة محليا إلى تغيير الملفات الموجودة في المستودع والعكس صحيح. يجب تطبيق أي تغييرات مخصصة لكلا الإصدارين على كلا الموقعين ، إما نسخ الملفات المحدثة يدويا أو من خلال استخدام git / GitHub لسطح المكتب.
   2. احصل على أحدث إصدار من موزيلا فايرفوكس من خلال الرابط: https://www.mozilla.org/en-US/firefox/new/.
   3. افتح متصفح Mozilla Firefox ، وأدخل "about: config" في فتحة عنوان URL ، وأدخل "security.fileuri.strict_origin_policy" في حقل البحث ، وقم بتغيير قيمته إلى false. ملاحظة: الآن ، يجب أن يكون Mozilla Firefox في نظام التشغيل Windows قادرا على الوصول محليا إلى ملفات صفحة الويب التي تم تنزيلها على جهاز الكمبيوتر الخاص بك. يمكن تكوين المتصفحات وأنظمة التشغيل الأخرى للعمل محليا ، كل منها مع إعداده الموضح في الرابط http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. قم بإعداد أداة معالجة البيانات.
   1. قم بتنزيل وتثبيت أحدث إصدار من GNU Octave في https://octave.org/download.
4. قم بإعداد جهاز تتبع العين.
   1. تأكد من تثبيت برنامج نظام التسجيل على الكمبيوتر المحمول.
   2. تأكد من أن غرفة البحث نظيفة ومنظمة تنظيما جيدا لتجنب الانحرافات.
   3. استخدم الإضاءة الاصطناعية في الغرفة للحفاظ على إضاءة متسقة طوال اليوم.
   4. قم بتثبيت الكمبيوتر على طاولة وتأكد من أن المشارك يمكنه تحريك الماوس بشكل مريح.
   5. توفير كرسي مريح للمشارك، ويفضل أن يكون كرسيا ثابتا، لتقليل الحركة أثناء الاختبار.
   6. قم بتوصيل كبل USB واحد لتشغيل إضاءة الأشعة تحت الحمراء وكابل USB آخر بين الكمبيوتر المحمول / الكمبيوتر ومتعقب العين للكاميرا.
   7. ضع متتبع العين أسفل الشاشة.

2. جمع البيانات

1. تهيئة برنامج جمع البيانات.
   1. قم بتشغيل برنامج تتبع العين على الكمبيوتر لتلقي البيانات من متتبع العين.
   2. حدد الخيار التقاط الشاشة في النافذة الرئيسية للبرنامج لالتقاط النظرة أثناء التجربة (من الممكن أيضا استخدام هذا البرنامج لتصور خريطة الحرارة وبيانات التصدير الخام).
   3. انقر فوق مشروع جديد لإنشاء مشروع جديد ومجلد مشروع حيث يجب حفظ البيانات.
   4. افتح صفحة الاختبار في https://rodrigocnstest.github.io/iRT_JoVE.html إذا كنت تستخدم الصفحة المعروضة كمثال أو الصفحة التي تم إنشاؤها في الخطوة 1.1. بدلا من ذلك، افتح ملف iRT_JoVE.html محليا من المستعرض الذي تم تكوينه مسبقا في الخطوة 1.2.
   5. إذا لزم الأمر ، املأ حقلي الاسم والبريد الإلكتروني للمساعدة في تحديد البيانات ، وحدد المربع لتنزيل نسخة احتياطية من البيانات المنتجة.
      ملاحظة: في حالة استخدام طريقة عدم الاتصال (الخطوة 1.2) ، ينصح بتنزيل النسخ الاحتياطية.
   6. حاول تشغيل التجربة مرة واحدة للتأكد من أن المتصفح سيقوم بتحميل العناصر بشكل صحيح ، ولا توجد مشكلات في المهام المقدمة أو الحصول على البيانات.
2. قم بتشغيل التجربة.
   1. اشرح للمشارك الغرض من التجربة والتكنولوجيا المستخدمة ومعايير التضمين / الاستبعاد. تأكد من أن المشارك قد فهم كل شيء. اطلب من المشارك ملء نموذج الموافقة.
   2. اطلب من المشارك الجلوس أمام نظام تتبع العين والحصول على الراحة قدر الإمكان.
   3. حرك الكرسي لضمان المسافة المثلى بين المشارك والكاميرا (الطول المثالي هو 65 سم من متتبع العين إلى عيون المشارك).
   4. اطلب من المشارك البقاء ثابتا قدر الإمكان أثناء التجربة. اضبط ارتفاع الكاميرا لالتقاط حدقة العين بشكل صحيح (تقوم بعض البرامج بتمييز التلميذ لإظهار انعكاس القرنية).
   5. انقر فوق تمكين الكسب التلقائي لتحسين تتبع التلميذ عن طريق تغيير كسب الكاميرا حتى يتم العثور على التلاميذ (لا تحتوي بعض البرامج على هذا الخيار).
   6. اطلب من المشارك إلقاء نظرة على سلسلة من النقاط على الشاشة ومتابعة حركة النقطة دون تحريك رأسه.
   7. انقر فوق معايرة لبدء المعايرة (سيضمن أن متتبع العين يمكنه تتبع المكان الذي ينظر إليه المشارك على الشاشة).
      ملاحظة: ستصبح الشاشة فارغة، وستتحرك علامة معايرة (نقطة) عبر خمسة مواضع على الشاشة.
   8. بعد المعايرة ، سيتم رسم تقدير مرئي لنقطة النظر على الشاشة للتحقق من دقة المعايرة. اطلب من المشارك إلقاء نظرة على نقطة معينة معروضة لمعرفة ما إذا كانت النظرة ستظهر بشكل صحيح.
   9. إذا كانت المعايرة غير مرضية، فاضبط الكاميرا وحاول المعايرة مرة أخرى حتى يتتبع النظام النظرة بشكل مناسب.
   10. انقر فوق الزر "جمع البيانات " على الجانب الأيمن من برنامج تتبع العين (القائمة الرئيسية) لتنشيط وضع جمع البيانات. سيتم تقديم العرض في الوقت الفعلي للشاشة الملتقطة مع بيانات النظرة المعروضة في نافذة العرض الأساسية.
   11. انقر على زر فيديو Gaze في القائمة الرئيسية لعرض وجه المستخدم الذي تم التقاطه بواسطة متتبع العين. ثم ، انقر فوق بدء التسجيل لبدء التجربة.
       ملاحظة: أثناء التجربة ، يتم تمييز تلميذ المشارك ، ويتم عرض عينه كنقطة تتحرك عبر شاشة الكمبيوتر المحمول. تأكد من أن متتبع العين يتتبع التلميذ والعين عبر الشاشة.
   12. إذا اختفت النقطة أو تومض بشكل متكرر، فأوقف التجربة وحاول المعايرة مرة أخرى.
   13. افتح نافذة iRT المفتوحة مسبقا واطلب من المشارك النقر فوق التالي.
   14. أعط التعليمات التالية للمشارك: "في هذا القسم ، ستقوم بتنفيذ ثلاث مهام تناوب. عند النقر فوق GO! ، سيظهر كائنان على جانبي الشاشة. هدفك هو تدوير الكائن على اليمين حتى يتطابق بشكل وثيق مع الكائن الموجود على اليسار بأفضل ما يمكنك. لتدوير الكائن، انقر واسحب الماوس فوقه. عند الانتهاء من كل مهمة من المهام الثلاث ، انقر فوق تم! زر للاستنتاج."
       ملاحظة: لكل مهمة، قد يتم فقدان أي بيانات iRT تتجاوز علامة 5 دقائق (327^ثانية بالضبط). بينما نطور الطريقة بشكل أكبر ، يجب توسيع هذا الحد.
   15. في نهاية التجربة ، تأكد من إيقاف تشغيل متتبع العين من كابل التمديد ووضع غطاء العدسة مرة أخرى على الكاميرا.
3. استخراج البيانات.
   1. بمجرد اكتمال جمع بيانات تعقب العين ، انقر فوق تحليل البيانات للوصول إلى البيانات التي تم جمعها.
   2. تصدير ملف .csv مع جميع البيانات المسجلة للمستخدم.
      ملاحظة: يجب أن يكون العمود الأول من بيانات تعقب العين هو عصر UNIX للبيانات لأن هذه هي الطريقة الوحيدة لجعل مجموعات مختلفة من البيانات تتطابق بشكل صحيح في الوقت المناسب. إذا كان الملف لا يحتوي على واحد ، فيجب تحويله من أي معيار زمني آخر مستخدم. يمكن أن يكون الملف بتنسيق ".csv" أو ".xlsx".
   3. إذا كنت تستخدم الإصدار عبر الإنترنت من صفحة مهام التدوير التفاعلية (الخطوة 1.1) ، فافتح ملف جداول بيانات Google المستخدم لتلقي البيانات عبر الإنترنت (التي تم إنشاؤها في الخطوة 1.1.3) وقم بتنزيلها بالنقر فوق ملف | تحميل | مايكروسوفت إكسل (.xlsx).
      ملاحظة: يتم حزم هذه البيانات لتسهيل نقل البيانات (كل مهمة تتوافق مع سطر واحد مليء بالبيانات). لمعالجة البيانات الموجودة بالداخل ، يجب "تفريغ" كل سطر من البيانات المجمعة أولا.

3. معالجة البيانات وتحليلها

1. فك حزم البيانات ودمجها ومعالجتها.
   ملاحظة: تصف الخطوات التالية كيفية معالجة البيانات باستخدام البرامج النصية المتوفرة (راجع الملف التكميلي 2). ستطالب نصوص جنو أوكتاف النصية المستخدم بإدخال ملفاته. إذا تم إرسال المدخلات فارغة، استخدام القيم الافتراضية، التي تشير إلى بيانات العينة المقدمة إذا لم تقم أي بيانات مستخدم بالكتابة فوقها، بدلا من ذلك. بعد انتهاء تشغيل البرنامج النصي ، يمكن إغلاقه.
   1. قم بتنزيل وفك ضغط المستودع المستخدم (المستخدم الخاص أو الأصلي في https://github.com/rodrigocns/rodrigocns_JoVE) إذا لم يتم تنزيله بعد.
   2. تأكد من وجود البرامج النصية 1.unpacking_sheets.m و 2.data_merge_and_process.m و 3.3D rotational trailjectory.m ونماذج المجلدات داخل المستودع الذي تم تنزيله في المجلد Octave ، وانقل ملفات البيانات التي تم تنزيلها من الخطوتين 2.3.2 و 2.3.3 إلى نفس المجلد حيث توجد البرامج النصية Octave.
      ملاحظة: قد تتم الكتابة فوق أية ملفات موجودة بالفعل في المجلد بنفس أسماء الملفات المكتوبة حديثا. إعادة تسمية الملفات أو نقلها إلى مجلد آخر وفقا لذلك.
   3. افتح البرنامج النصي 1.unpacking_sheets.m باستخدام مشغل GNU Octave. في علامة التبويب محرر ، قم بتشغيل البرنامج النصي بالنقر فوق الزر الأخضر حفظ الملف والتشغيل ، لفك حزم البيانات إلى بنية أكثر قابلية للقراءة.
      ملاحظة: إذا كان أي من ملفات البيانات المطلوبة مفتوحة محليا، تذكر إغلاقها قبل تشغيل البرنامج النصي. تم تنفيذ جميع ملفات البرنامج النصي .m باستخدام GNU Octave Launcher.
   4. ستظهر مطالبتان ، واحدة تلو الأخرى. أدخل اسم الملف الذي تم تنزيله داخل الموجه الأول واسم الملف الذي تم فك حزمه داخل الحقل الثاني. بدلا من ذلك، اترك كلا الحقلين المطالبين فارغين لاستخدام الأسماء الافتراضية المخصصة لملفات العينة المضمنة. انتظر بضع دقائق (حسب حجم البيانات) حتى تظهر نافذة منبثقة تخبر المستخدم بأن العملية قد اكتملت وأن الملف الجديد قد تمت كتابته.
   5. افتح البرنامج النصي وقم بتشغيله 2.data_merge_and_process.m لدمج البيانات من كل من تعقب العين و iRT.
      ملاحظة: على الرغم من أن هذا البرنامج النصي معقد ، ويشمل مئات الأسطر من التعليمات البرمجية ، إلا أنه مقسم إلى ثلاثة أقسام رئيسية: الإعدادات والوظائف والبرامج النصية. يتم التعليق عليها جميعا وشرحها بدقة ، مما يسهل التعديلات المستقبلية ، إذا لزم الأمر.
   6. ستظهر أربع مطالبات. أدخل قيمة معرف الجلسة وقيمة taskID (كلاهما من جدول بيانات iRT) واسم ملف بيانات iRT غير المعبأ (مكتوب في الخطوة 3.1.5) واسم ملف بيانات تعقب العين (تم تصديره في الخطوة 2.3.2) أو اتركها جميعا فارغة لاستخدام القيم الافتراضية.
      ملاحظة: بعد بضع دقائق ، ستشير نافذة منبثقة تعليمات إلى أن البرنامج النصي أكمل الحساب وأسماء الملفات المستخدمة والمنشئة. ستظهر ثلاث قطع نموذجية من التباين الزاوي أثناء عملية البرنامج النصي: مخطط بسيط ، ومخطط به بيانات نظرة ملونة ، ومخطط به بيانات قطر التلميذ. الملفان اللذان تم إنشاؤهما هما دمج الإخراج X Y.xlsx ووحدة تحكم jmol للإخراج X Y.xlsx ، حيث X هي قيمة معرف الجلسة ، و Y هي قيمة taskID ، وكلاهما مكتوب في بداية الخطوة 3.1.6.
2. تقديم صور مسار دوران 3D.
   1. افتح البرنامج النصي وقم بتشغيله 3.3D rotation trajectory.m.
   2. ستظهر ثلاث مطالبات. أدخل قيمة معرف الجلسة وقيمة taskID واسم ملف بيانات iRT غير المعبأ، أو اتركها فارغة لاستخدام القيم الافتراضية.
      ملاحظة: سيظهر رسم بياني 3D. الرسم البياني المقدم هو مسار دوران 3D للجلسة والمهمة المحددة.
3. أعد تشغيل الرسوم المتحركة.
   1. لإعادة تشغيل تفاعل مهمة المشارك ، أولا ، انتقل إلى صفحة ويب المهمة التفاعلية ، وابدأ الاختبار (يظهر كلا النموذجين 3D) ، وحرك مؤشر الماوس في الزاوية العلوية اليمنى من الشاشة حتى يتغير رمز الماوس إلى نص ، كما هو موضح في الملف التكميلي 2 ، ثم انقر فوق نص التصحيح غير المرئي ، مما يتيح وضع التصحيح.
   2. من الأزرار التي تظهر بين الطرز ، انقر فوق زر timerStop لمقاطعة المهمة وانقر فوق زر وحدة التحكم لفتح وحدة تحكم JSmol للنموذج على اليمين. إذا لم تكن المهمة من تفاعل الاهتمام هي المهمة الأولى ، فانقر فوق الأزرار المرقمة داخل منطقة التصحيح العلوية لتغيير المهمة التي يتم عرضها على الشاشة.
      ملاحظة: JSmol هو برنامج النمذجة الجزيئية المستخدم في صفحة الويب.
   3. افتح إخراج الملف jmol console.xlsx وانسخ صفحة أوامر Jmol بأكملها.
      ملاحظة: تحتوي كل صفحة على أوامر لمشهد أو حركة مختلفة.
   4. داخل وحدة تحكم JSmol ، الصق قائمة الأوامر المنسوخة وانقر فوق الزر "تشغيل " أو اضغط على Enter على لوحة المفاتيح لتنفيذها.
   5. إذا رغبت في ذلك ، قم بإنشاء رسم متحرك .gif. اكتب الأمر التقاط "اسم الملف" SCRIPT "الإخراج" داخل وحدة تحكم JSmol ، حيث يكون اسم الملف هو اسم الملف .gif المراد إنشاؤه والإخراج هو قائمة الأوامر الكاملة المنسوخة في الخطوة 3.3.3 ، مع الاحتفاظ بكليهما داخل علامتي الاقتباس المزدوجتين.
      ملاحظة: كلما كانت الأوامر أكثر تعقيدا ، مع نماذج أكبر أو المزيد من التغييرات في الوقت المناسب ، وكلما كانت مواصفات الكمبيوتر المستخدمة أقل فعالية ، كلما أصبحت الرسوم المتحركة أبطأ. يركز Jmol على تصور المركبات والتفاعلات الكيميائية ، ونوع الرسوم المتحركة التي يتم إنتاجها من خلال بحثنا يدفع حدود قدرات Jmol على العرض. يجب مراعاة هذه النقاط وحسابها عند القيام بأي مقاييس كمية باستخدام هذه الرسوم المتحركة.

4. تخصيص المهام

ملاحظة: هذا القسم بأكمله اختياري ويوصى به فقط لأولئك الذين يحبون تجربة أو فهم كيفية البرمجة. أدناه ، ستجد بعضا من العديد من الخيارات القابلة للتخصيص المتاحة ، وستتوفر المزيد من الخيارات بينما نقوم بتطوير الأساليب بشكل أكبر.

1. تكوين مهام جديدة أو موجودة.
   1. حدد عدد المهام التفاعلية التي سيتم تنفيذها بواسطة المشارك وقم بتسمية كل منها في الملف object_configs.js داخل الصفيف task_list استبدال أسماء العناصر الموجودة أو إضافة المزيد. تأكد من أن كل اسم فريد حيث يتم استخدامه لاحقا كمعرفات.
   2. اختر ملفات إحداثيات 3D متوافقة مع JSmol لأداء المهام التفاعلية (http://wiki.jmol.org/index.php/File_formats). انسخ هذه الملفات إلى مجلد النماذج.
      ملاحظة: تم تحسين البرامج النصية المضمنة في هذه المقالة للنماذج غير المتماثلة باستخدام تنسيق الملف .xyz. عند اختيار ملفات الإحداثيات ، تجنب تماثلات التدوير لأنها تحتوي على حلول غامضة⁶⁵.
   3. حدد إعدادات العرض لكائنات 3D ضمن وظيفة prepMolecule (num).
      ملاحظة: جميع التغييرات من مهمة إلى أخرى يقوم بها JSmol تذهب هنا: تغيير نمط اللون ، وتغيير الحجم أو طريقة عرض العناصر الرسومية ، والاتجاه ، والترجمة ، وإخفاء أجزاء من الكائن ، وتحميل نماذج 3D جديدة ، وما إلى ذلك (لمزيد من الأمثلة ، انظر https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). تتوافق كل مهمة مسماة في task_list مع حالة. يتبع كل أمر ل JSmol للتنفيذ الهيكل: Jmol.script (jsmol_obj ، " jsmol_command1; jsmol_command2 "); حيث يشير jsmol_obj إلى الكائن الذي يتم تغييره (jsmol_ref و jsmol_obj هو الإعداد الافتراضي للهدف والكائنات التفاعلية) متبوعا بأمر واحد أو أكثر مفصولا ب "؛".
2. إنشاء نماذج جديدة.
   1. استخدم أي نموذج .xyz تم تنزيله عبر الإنترنت أو تم إنشاؤه بواسطة برامج تحرير جزيئية مثل Avogadro (https://avogadro.cc/).

Results

تطور التباين الزاوي والمتغيرات الأخرى
كما هو موضح في الخطوة 3.3.1 في الملف التكميلي 2 ، يتم تقديم لوحتين للمشارك على شاشة شاشة الفيديو ، وعرض نسخ من نفس الكائن الافتراضي ثلاثي الأبعاد في اتجاهات مختلفة. على اللوحة اليسرى ، يظل الكائن الهدف (tObj) ثابتا ويعمل كموضع هدف أو موضع tObj. على اللوحة اليمنى ، يظهر الكائن التفاعلي (iObj) في موضع مختلف ويسمح للمشارك بتحريكه بمرور الوقت حول مركز دوران ثابت باستخدام الماوس (يتم تعطيل التدوير فقط ؛ يتم تعطيل الترجمات). تتضمن المهمة المطروحة تعديل iObj لمطابقة tObj بشكل وثيق بناء على حكم المشارك. يمكن رؤية الكائنات الثلاثة ثلاثية الأبعاد المستخدمة في الشكل 1. يمكن تسجيل عملية الحل ، على الرغم من تعقيدها ، بدقة للتحليل اللاحق. يتجاوز هذا التسجيل مجرد لقطات فيديو حيث يتم التقاط كل موضع بمرور الوقت على فترات ثابتة تبلغ 0.1 ثانية كرباعي ، مما يشكل سلسلة زمنية تمكن من إعادة بناء كاملة للعملية بأكملها. في أي موضع ، يوجد دوران فريد حول محور معين ، يتراوح من 0 درجة إلى 180 درجة ، والذي يحول موضع tObj مباشرة إلى موضع iObj. في حين أن هذا الدوران مجرد ولا علاقة له بالعلاقات العامة للمشارك أثناء المهمة ، إلا أنه يشير بدقة إلى موضع iObj الدقيق بالنسبة إلى tObj. AD هي زاوية هذا الدوران ويمكن حسابها من الرباعي المعني. عندما يقترب موضع iObj من موضع tObj ، تقترب هذه القيمة من الصفر.

بعد الخطوة 3.1.6 من قسم معالجة البيانات وتحليلها، تم إنشاء ملفين: دمج الإخراج X Y.xlsx ووحدة تحكم jmol للإخراج X Y.xlsx، حيث X هي قيمة معرف الجلسة ، وY هي قيمة taskID . في حالة استخدام القيم الافتراضية عن طريق ترك حقول الإدخال فارغة ، يجب تسمية الملفات باسم 1682707472090 bolaBastao_c.xlsx دمج الإخراج وإخراج وحدة تحكم jmol 1682707472090 bolaBastao_c.xlsx. تحتوي ملفات دمج الإخراج X Y.xlsx على بيانات تعقب العين المحددة المدمجة في بيانات iRT ، المحاذاة مع وقت UNIX Epoch ، على غرار الشكل 2A إذا سار كل شيء بشكل صحيح ، أو الشكل 2B إذا حدثت بعض المشاكل.

تحتوي ملفات وحدة تحكم jmol X Y.xlsx الناتجة على ما يصل إلى خمس علامات تبويب مملوءة بأوامر وحدة تحكم Jmol والتي ، عند لصقها في وحدة تحكم Jmol ، ستعيد إنتاج حركات المشارك عند حل المهمة: إعادة تشغيل الدوران تعيد إنتاج دورات iObj التي قام بها المشارك ؛ إعادة تشغيل النظرة int يعيد إنتاج دورات iObj مع خريطة حرارية إضافية للتثبيت على الكائن في الوقت المناسب باستخدام مقياس شفافية / معتم ؛ نظرة إعادة تشغيل tgt يظهر فقط خريطة الحرارة تثبيت 3D من tObj أثناء المهمة ؛ يظهر إطار النظرة int وإطار النظرة tgt تعيين التثبيت العام للعملية برمتها لكل من iObj و tObj. وكلها موضحة في الشكل 3A-F. Jmol و JSmol متطابقان بشكل أساسي ، Jmol هو المكون الإضافي القائم على لغة برمجة Java ، و JSmol في لغة برمجة JavaScript ، وكلاهما لهما نفس الوظائف ويتم استخدامهما بالتبادل.

يوضح الشكل 4 تطور التباين الزاوي كدالة للوقت لستة سيناريوهات مختلفة تتضمن مشاركين وثلاثة كائنات. يمكن أن تختلف مدة العملية بشكل كبير اعتمادا على أداء المشارك مع كائن المهمة التفاعلية. في أي مهمة يكملها المشارك بشكل صحيح ، يميل AD إلى الصفر في النهاية. إذا لم يظهر الرسم البياني نفسه هذا السلوك ، فإما أن المشارك لم يتمكن من إكمال المهمة لأنه استسلم أو وصل إلى الحد الزمني لكل مهمة (حوالي 5 دقائق) ، أو حدث خطأ في معالجة البيانات.

يتم عرض النتائج المجمعة لسجلات iObj PR والبيانات التي تم الحصول عليها من قياسات تتبع العين في الشكل 5. يشير التباين في التباين الزاوي بين الهدف والأجسام بالقصور الذاتي كدالة للوقت إلى ثلاث مراحل متميزة في عملية حل المهمة المعطاة: الملاحظة الأولية للنماذج. الدوران الباليستي للنموذج التفاعلي ؛ ضبط دوران النموذج التفاعلي. يوضح الشكل 5 أ النظرة بالتناوب بين النماذج في المرحلة الأولية ، وبشكل أكثر تحديدا ، في مرحلة الضبط الدقيق. يوضح الشكل 5 ب أن التلميذ يظل أكثر اتساعا في المرحلتين الأولية والضبط الدقيق. في مرحلة الضبط الدقيق ، تتوافق فترة التثبيت الطويلة على النموذج التفاعلي (40-47 ثانية في الشكل 5 أ) مع هضبة في قطر التلميذ (40-47 ثانية ، الشكل 5 ب).

تشير هذه النتائج إلى أن البيانات التي تم الحصول عليها بالطريقة المقترحة هنا تتوافق مع نموذج حل مشاكل الدوران العقلي المقترح على أساس بيانات تثبيت النظرة للنماذج الثابتة^14,66 وللنماذج^{التفاعلية 23}. ويشمل هذا النموذج ثلاث مراحل: البحث، والتحويل والمقارنة، وتأكيد التطابق أو عدم التطابق بين النماذج. بالإضافة إلى ذلك ، فإن تناوب التثبيتات بين النموذج المستهدف والتفاعلي في مراحل المقارنة التي لوحظت في الشكل 5A يتوافق مع النتائج التي تم الحصول عليها في اختبارات Sheppard و Metzler التي تستخدم صورا ثابتة^42,66. ومع ذلك ، في حالة النماذج التفاعلية ، من المحتمل أن تحدث مراحل البحث والتحويل والمقارنة والتأكيد هذه على التوالي من خلال التفاعل وإعادة وضع النموذج التفاعلي.

مسارات دوران 3D
يمكن ترجمة كل دوران في مساحة 3D من 0 درجة إلى 180 درجة إلى نقطة داخل كرة (والتي تفهم على أنها الحجم داخل الكرة) بنصف قطر يساوي 180 درجة. يوضح الشكل 6 هذا التطابق مع ثلاثة أمثلة للتناوب. المسافة من النقطة إلى مركز الكرة هي تباين زاوية iObj من موضع tObj ، والمتجه الذي يشير من مركز الكرة إلى النقطة هو اتجاه الدوران ، ويتم الدوران في اتجاه عقارب الساعة المشاهدة من المركز. تسمح هذه الترجمة للدوران إلى نقاط في الكرة لشخص ما بالتصور المباشر ، في رسم 3D واحد ، المسار الكامل للدوران الذي يقوم به المشارك في المهمة. نسمي هذا الرسم مسار دوران 3D.

على غرار مقياس AD ، بالنسبة لأي مهام يكملها المشارك بشكل صحيح ، يجب أن يقترب المسار ، في النهاية ، من مركز الكرة. إذا وصل المسار إلى حدود الكرة عند دوران 180 درجة ، فسوف يلتف حول النقطة المعاكسة على الكرة. يوضح الشكل 7 مسار الدوران الذي اتخذه المشاركان المذكوران سابقا أثناء أداء المهمة الثالثة (C1 و C2 في الشكل 4) ، سواء في المنظور أو في الإسقاطات على مستويات الإحداثيات الثلاثة. يتضح من الشكل أنه على الرغم من بدء AD الصغير نسبيا بالقرب من 45 درجة ، انحرف المشارك 1 في البداية عن الموضع المستهدف قبل أن يجد مسارا نهائيا للحل ، على عكس المشارك 2 ، الذي أكمل المهمة بشكل أسرع.

3D التثبيت خريطة الحرارة
أثناء عملية حل المشكلات ، يتناوب المشارك نظره بين tObj و iObj أثناء التفاعل مع iObj. باستخدام بيانات تتبع العين ، يمكننا استخراج موضع نظرة المشارك وإنشاء خريطة حرارية لمناطق الشاشة التي استحوذت على أكبر قدر وأقل اهتمام من المشارك في أي فترة زمنية معينة. الذهاب إلى أبعد من ذلك ، مع مزامنة كل من بيانات تتبع العين و iRT quaternion ، يمكننا في وقت واحد تعيين في مساحة 3D وفي الوقت المناسب ، ومقدار الاهتمام الذي يتلقاه كل رأس من رؤوس الكائن ، حتى بالنسبة للكائنات التي يتم تدويرها في الوقت المناسب.

في الشكل 3 ، يتم تمثيل الانتباه المعطى للجسم بمستوى عتامة كل رأس. كلما اقتربت من نظرة المشارك وكلما طالت مدة بقائها على مقربة ، زاد الاهتمام الذي تتلقاه ، مما يؤدي إلى زيادة التعتيم في تلك المنطقة من الجسم. تم نمذجة الانخفاض المكاني في الانتباه باستخدام دالة غاوسية متجانسة ثنائية المتغير لموضع النظرة ودالة غاوسية متجانسة بسيطة مطبقة على الوقت المنقضي. تم اختيار الانحراف المعياري لهؤلاء الغاوسيين بافتراض زاوية بصرية مقدارها 2 درجة⁶⁷ وذاكرة بصرية قصيرة المدى تساوي 10 s⁶⁸. لمنع أي آثار مرئية بهذه الطريقة ، يتم تعيين بيانات قرب النظرة على الصفر بينما تكون النظرة خارج لوحة الكائن (لا يتلقى iObj أي اهتمام متبقي عندما تكون النظرة داخل لوحة tObj أو خارج كليهما). يوضح الشكل 3 إطارا واحدا من كل كائن من الرسوم المتحركة لإعادة التشغيل بالكامل ونفس الإطارات مع خريطة الحرارة للتثبيت ثلاثي الأبعاد. يمكن رؤية مقارنة محتملة بين tObj و iObj من قبل المشارك أثناء عملية الحل (الشكل 3C ، D) حيث تقترب المهمة من نهايتها (الوقت = 6.3 ثانية). يمكن رؤية العملية برمتها كفيديو في الفيديو التكميلي S1. نبلغ عن نتائج الدوران بوساطة الكمبيوتر لنماذج 3D المقدمة للمشاركين كمهمة يتم اتخاذها في ظل الظروف العادية.

الشكل 1: الكائنات المستهدفة المستخدمة. صورة لنماذج 3D المستخدمة في مهام صفحة الويب. أ: جزيء له تمثيل كروي وعصا؛ ب: الجزيء نفسه ذو المضلعات المملوءة، بدون هيدروجينات، ويمثله العصي فقط؛ (ج) مكعب متعدد مشابه لأحد أشكال شيبرد وميتزلر¹³ ، مشتق من مكتبة المحفزات لبيترز وباتيستا³⁶. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 2: مقارنة الأوراق. (أ ، ب) يتم التقاط الصور من 1682707472090 bolaBastao_c.xlsx دمج إخراج جدول البيانات. تحتوي الأعمدة من A إلى G على قيم بيانات iRT، بينما تحتوي الأعمدة من H إلى N على قيم بيانات تعقب العين. في (A) ، كل شيء صحيح ، بينما في (B) ، في أعمدة تعقب العين ، تكون جميع القيم ثابتة ولا تتطابق مع قيم وقت نظام iRT. في حالة حدوث أي مشكلة في عملية مزامنة البيانات ، من المحتمل أن يحدث هذا الخطأ. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 3: خريطة حرارية لتثبيت ثلاثي الأبعاد. تثبيت خريطة الحرارة على كائن 3D باستخدام مقياس التعتيم ، حيث يرتبط المزيد من التعتيم بمزيد من الوقت الذي يقضيه بالقرب من نظرة المشارك. (A ، B) صور tObj و iObj للمهمة التي يتم حلها بواسطة المشارك عند علامة 6.3 ثانية. (ج، د) نفس الصور مثل (A,B) في نفس اللحظة مع مقياس العتامة المضاف لخريطة الحرارة. (ه، و) صور خريطة الحرارة للتثبيت مع مراعاة الفترة الكاملة التي يمكن للمشارك رؤية الكائنات فيها. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 4: شبكة AD. رسم شبكة من التباين الزاوي عبر مشاركين وثلاث مهام. تمثل الأعمدة المشاركين 1 و 2 ، وتمثل الصفوف المهام التي حلها المشاركون باستخدام الكائنات الثلاثة الموضحة في الشكل 3. لاحظ أنه بينما يتراوح AD بين 0 درجة و 180 درجة ، فإن النطاق الزمني غير ثابت ويختلف باختلاف أداء المشارك وقراره بإيقاف العملية. عندما يقوم المشارك بتدوير iObj ، يختلف AD بين tObj و iObj مع تقدم الوقت ، وفي النهاية يختار المشارك اتجاه iObj الحالي باعتباره الأقرب إلى tObj. في^{المهمتين الأولى والثانية} ، بدا أن كلا المشاركين قد تقدما بطريقة مماثلة ، لكن المشارك 1 استغرق نصف الوقت الذي استغرقه المشارك 2. وفي^{المهمة الثالثة} ، على الرغم من أن المشارك 2 استغرق وقتا أقل لإكمال المهمة ، إلا أن المشارك 1 قد حل المهمة بالفعل قبل علامة 20 ثانية واستمر في إجراء تعديلات صغيرة لمطابقة iObj مع tObj بشكل أفضل. اختصار: AD = التباين الزاوي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 5: AD مع بيانات تتبع العين. تطور التباين الزاوي جنبا إلى جنب مع بيانات تعقب العين. (أ) التباين الزاوي وموضع النظرة ، تطور التباين الزاوي بين tObj و iObj ، إلى جانب بيانات التثبيت الإقليمية لكل نموذج. يوضح الرسم البياني المنطقة التي تقع فيها نظرة المشارك: الأحمر عندما يكون داخل لوحة iObj ، والأزرق عندما يكون داخل قماش tObj ، والرمادي عندما يكون خارج كليهما ، أو ينظر إلى عنصر آخر على الشاشة أو ينظر بعيدا عنه. ب: التباين الزاوي وقطر حدقة العين. التباين الزاوي ، باللون الأزرق ، إلى جانب بيانات قطر التلميذ ، باللون البرتقالي. قطر التلميذ هو متوسط قيمة التلاميذ الأيسر والأيمن في كل نقطة زمنية. اختصار: AD = التباين الزاوي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 6: كرة الدوران. يوضح هذا الشكل كيف يمكن تمثيل كل موضع دوران محتمل لجسم من موضع مرجعي كنقطة في كرة نصف قطرها 180 درجة ، مما يسمح بتمثيل كامل لموضع دوران الجسم في جميع المحاور الثلاثة. هنا ، تفهم الكرة على أنها الحجم الذي تحده كرة. (أ) الجسم المستخدم كمثال هو اتحاد غير متماثل مكون من سبعة مكعبات، موضح في الأعلى، إلى اليسار. يتم تطبيق ثلاث دورات بسيطة مرقمة I و II و III على هذا الكائن ، كما هو موضح على اليمين. هم ، على التوالي ، + 90 درجة على المحور x ، -60 درجة على المحور z ، و 180 درجة على محور بين + x و -y ، عند 45 درجة من كلا المحورين. (ب) كرة الدوران موضحة بالنقاط المناظرة للدورات الأول والثاني والثالث. المسافة إلى مركز الكرة هي تباين الزاوية. نظرا لأن III يحقق أقصى زاوية دوران (180 درجة) ، يتم تمثيله أيضا عند نقطة التضاد ، حيث أنهما متماثلان بشكل أساسي. يظهر الدوران II ، عكس اتجاه عقارب الساعة فيما يتعلق بالاتجاه الإيجابي للمحور z ، على الجانب السلبي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 7: مسار دوران 3D. مسار الدوران داخل كرة الدورات التي اتخذها المشاركان في المهمة الثالثة ، ينظر إليه في كل من المنظور (A) وفي الإسقاطات على مستويات الإحداثيات (B-D). ينخفض سمك الخط بمرور الوقت. يتوافق كل عمود مع مشارك (v1 و v2). مع اقتراب المسارات من مركز الكرة ، يكون المشاركون أقرب إلى حل المهمة. يشير "0" إلى الموضع الأولي للمهمة. تشير الأرقام اللاحقة إلى النقاط التي يصل فيها المسار إلى حافة الكرة ويستمر عبر النقطة المعاكسة في الجانب الآخر (1 إلى 2 ، 2 إلى 3 ، 3 إلى 4 ، إلخ). يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

الجدول التكميلي S1: رؤوس الورقة. قائمة الرؤوس في ملف الورقة المستنسخة. يتوافق كل رأس مع اسم متغير وسيتلقى بيانات من هذا المتغير لتشكيل عمود من القيم المستخدمة في معالجة بياناتنا وتحليلها. الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 1: دليل البروتوكول الخطوة 1. قائمة بلقطات الشاشة التي توجه خطوات طريقة البروتوكول "1. إعداد أدوات جمع البيانات". الرجاء الضغط هنا لتنزيل هذا الملف.

الملف التكميلي 2: دليل البروتوكول الخطوة 3. قائمة لقطات الشاشة التي توجه خطوات طريقة البروتوكول "3. معالجة البيانات وتحليلها". الرجاء الضغط هنا لتنزيل هذا الملف.

فيديو تكميلي 1: إعادة تشغيل تعيين التثبيت. مثال على الإعادة المتحركة لرسم خرائط الانتباه الزمني في 3D من iObj و tObj في وقت واحد. تم التسجيل باستخدام استوديوهات OBS وتقديمها باستخدام محرر فيديو OpenShot. الرجاء الضغط هنا لتنزيل هذا الملف.

Discussion

كما ذكرنا سابقا ، تهدف هذه الورقة إلى تقديم إجراء مفصل لرسم الخرائط في الوقت الفعلي لبيانات التثبيت والحركة على كائنات 3D التفاعلية ، والتي يمكن تخصيصها بسهولة وتستخدم فقط البرامج المتاحة مجانا ، مما يوفر إرشادات خطوة بخطوة لجعل كل شيء يعمل.

في حين أن هذا الإعداد التجريبي تضمن مهمة تفاعلية للغاية ، مثل تحريك كائن 3D لمطابقة اتجاه كائن آخر مع العلاقات العامة في اثنين من المحاور الثلاثة الممكنة ، فقد تأكدنا من توثيق شامل لنصوصنا من خلال التعليق المناسب لتسهيل أي تخصيص. يمكن تصميم أنواع أخرى مختلفة من التجارب ، مع كون جهاز تتبع العين واحدا فقط من العديد من الأجهزة الممكنة الأخرى المستخدمة للحصول على البيانات الزمنية.

تحدد الرؤوس الموجودة في الملف المنسوخ من الخطوة 1.1.3.3 المحتوى والموقع الذي سيتم جمع البيانات عبر الإنترنت. يسرد الجدول التكميلي S1 أسماء المتغيرات (كلها حساسة لحالة الأحرف) ومعناها. تعكس هذه المتغيرات تلك الموجودة في ملفات JavaScript داخل مستودع GitHub. يجب تغيير نوع وتنوع البيانات وأسماء المتغيرات ، سواء من هذه الورقة أو من ملفات JavaScript ، وفقا لنطاق البحث ومتطلباته.

يسمح تسجيل بيانات الدوران في الرباعيات للباحث بإعادة إنتاج نفس الحركات التي قام بها المشاركون أثناء المهام ، مما يسهل تحليل العملية واستخدام مساحة التخزين بشكل أكثر كفاءة إذا ما قورنت بالتقاط الشاشة. تحليل أكثر تفصيلا ، مثل مسار دوران 3D ، كما هو موضح في الشكل 7 باستخدام كرة الدوران ، ممكن فقط من خلال البيانات الرباعية الداخلية للكائنات التفاعلية. بالتوسع من مخطط AD بمرور الوقت بواسطة Gardony²² و Adams²³ ، يوفر هذا النوع الجديد من الرسم البياني معلومات أكثر تفصيلا ، مع إحداثيات الدوران ثلاثية الأبعاد الفعلية في الوقت المناسب.

ميزة أخرى تأتي من استخدام مقياس زمني قياسي لمزامنة جميع مصادر البيانات. يصبح دمج طبقات مختلفة من المعلومات المعتمدة على الوقت مع هذا أسهل بكثير ، مثل الرسوم البيانية المتراكبة مع مصادر بيانات متعددة ، كما في الشكل 5B مع قياس اتساع حدقة العين ، أو في الشكل 5A مع النطاقات الرأسية الملونة ، مما يدل على الأنماط المحتملة في عملية حل المشاركين ، حتى عندما لم يكن هناك أي دوران تقريبا يحدث في iObj. الخريطة الحرارية للتثبيت ثلاثي الأبعاد الموضحة في الشكل 3 ممكنة فقط من كل من البيانات الرباعية ومزامنة البيانات.

من الأهمية بمكان استخدام التزامن من خلال مقياس زمني قياسي لضمان أي تكامل للبيانات الزمنية. كان المعيار الزمني الذي تم اختياره لمشروعنا هو UNIX Epoch ، والذي يستخدم في JavaScript ومعظم لغات البرمجة الأخرى. يجب استخدام نوع من معايير الوقت المعروفة لكل مجموعة بيانات ، حتى إذا تم تحويل معيار مختلف ، والذي يمكن تحويله لاحقا إلى UNIX Epoch. من المؤكد أن البيانات الزمنية التي لا تستخدم أي معايير ستكون غير قادرة على المزامنة وتفقد فائدتها.

هناك قيد آخر وهو التردد المنخفض نسبيا البالغ 10 هرتز المستخدم في اختبارات iRT فيما يتعلق بتردد تعقب العين البالغ 60 هرتز. يحدث هذا جزئيا بسبب قيود معالجة البيانات ونقلها داخل المتصفح ، حيث أن أي تردد أعلى يستخدم من شأنه أن يقلل نسبيا من الحد الزمني الأقصى لكل مهمة ، حاليا عند 327 ثانية. بالإضافة إلى ذلك ، فإن تقديم الرسوم المتحركة المعقدة بسلاسة في Jmol بمعدل الإطارات هذا يمثل بالفعل تحديات. الفيديو التكميلي S1 هو تسجيل فيديو ل Jmol يعرض إعادة التشغيل مع تغيير التعتيم في الوقت المناسب ، وتعيين مقدار التركيز الذي تلقاه كل رأس. في حين أن مدة الفيديو ما يقرب من 2 دقيقة ، تم الانتهاء من المهمة الفعلية في 63 ثانية. ويمكن لتطورات البرمجيات في المستقبل أن تعالج على وجه التحديد هذه الوظائف بدلا من تكييف الوظائف القائمة، ويمكن أن تعالج هذه القيود وتعزز قدرات جمع البيانات وتحليلها.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (مفتوح المصدر)		يمكن استخدام أي متصفح حديث محدث متوافق مع WebGL (https://caniuse.com/webgl) ، وبالتالي مع Jmol ،
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Sheets	Google LLC		https://www.google.com/sheets/about/
كمبيوتر محمول			أي جهاز كمبيوتر يمكنه تشغيل برنامج نظام تتبع العين.
مجموعة مانجولد للبرمجيات	Mangold		واجهة البرنامج المستخدمة لجهاز تتبع العين. يمكن استخدام أي برنامج يقوم بإخراج البيانات بقيم وقت النظام.
الماوس:			يجب أن يكون أي ماوس قادر على النقر والسحب بحركات بسيطة متوافقا. يجب أن تكون الواجهات البشرية المشابهة للماوس بنفس الإمكانات ، مثل شاشة اللمس أو المؤشر ، متوافقة ، ولكنها قد تتصرف بشكل مختلف.
أنظمة		Vt3mini	60 هرتز. يجب أن يكون أي جهاز يعمل لتتبع العين متوافقا.