Summary
نقدم بروتوكولا للتحليل السلوكي للبالغين (الذين تتراوح أعمارهم بين 18 و70 عاما) المشاركين في عمليات التعلم ، والقيام بمهام مصممة للتعلم المنظم ذاتيا (SRL). وتم رصد المشاركين، ومدرسي الجامعات وطلابها، والبالغين من جامعة الخبرة، بأجهزة تتبع العين، وتم تحليل البيانات بتقنيات استخراج البيانات.
Abstract
التحليل السلوكي للبالغين المشاركين في مهام التعلم هو تحد كبير في مجال تعليم الكبار. وفي الوقت الحاضر، وفي عالم من التغيرات التكنولوجية المستمرة والتقدم العلمي، هناك حاجة إلى التعلم والتعليم مدى الحياة في البيئات التعليمية الرسمية وغير الرسمية على حد سواء. واستجابة لهذا التحدي، فإن استخدام تكنولوجيا تتبع العين وتقنيات استخراج البيانات، على التوالي، للتعلم تحت الإشراف (التنبؤ أساسا) والتعلم غير الخاضع للإشراف (وتحديدا تحليل المجموعات)، يوفر أساليب للكشف عن أشكال التعلم بين المستخدمين و/أو تصنيف أساليب تعلمهم. في هذه الدراسة، يقترح بروتوكول لدراسة أساليب التعلم بين البالغين الذين لديهم معرفة سابقة أو بدونها في أعمار مختلفة (18 إلى 69 سنة) وفي نقاط مختلفة طوال عملية التعلم (البداية والنهاية). وتعني تقنيات التحليل الإحصائي للتباين أنه يمكن اكتشاف الاختلافات بين المشاركين حسب نوع المتعلم والمعرفة السابقة بالمهمة. وبالمثل، فإن استخدام تقنيات تجميع التعلم غير الخاضعة للإشراف يلقي الضوء على أشكال مماثلة من التعلم بين المشاركين عبر مجموعات مختلفة. كل هذه البيانات سوف تسهل مقترحات شخصية من المعلم لعرض كل مهمة في نقاط مختلفة في سلسلة معالجة المعلومات. وبالمثل سيكون من الأسهل على المعلم تكييف المواد التعليمية مع احتياجات التعلم لكل طالب أو مجموعة من الطلاب ذوي الخصائص المماثلة.
Introduction
منهجية تتبع العين المطبقة على التحليل السلوكي في التعلم
تطبق منهجية تتبع العين، من بين استخدامات وظيفية أخرى، على دراسة السلوك البشري، وتحديدا أثناء حل المهام. تسهل هذه التقنية الرصد والتحليل أثناء الانتهاء من مهام التعلم1. على وجه التحديد، يمكن دراسة مستويات اهتمام الطلاب في نقاط مختلفة من عملية التعلم (البداية والتطوير والنهاية) في مواضيع مختلفة (التاريخ والرياضيات والعلوم، وما إلى ذلك) باستخدام تكنولوجيا تتبع العين. بالإضافة إلى ذلك، إذا كانت المهمة تتضمن استخدام مقاطع الفيديو بصوت يوجه عملية التعلم، يتم تسهيل التعلم الذاتي التنظيم (SRL). لذلك ، فإن تنفيذ تقنية تتبع العين في تحليل المهام التي يقترح عليها SRL (التي تتضمن استخدام مقاطع الفيديو) كمورد مهم لفهم كيفية تطوير التعلم2و3و4. وهذا المزيج يعني أيضا أن الاختلافات بين الأساليب التعليمية (مع أو بدون SRL، الخ) يمكن التحقق مع أنواع مختلفة من الطلاب (مع أو بدون معرفة مسبقة، الخ) 5.في المقابل، يمكن أن يسهل عرض المعلومات متعددة القنوات (العرض المتزامن للمعلومات السمعية والبصرية، سواء كانت شفهية أو مكتوبة أو تصويرية) تسجيل وتحليل المعلومات ذات الصلة مقابل غير ذات الصلة من المتغيرات المذكورة أعلاه6. يبدو أن الطلاب ذوي المعرفة السابقة المعرضين لقنوات التعلم متعددة الوسائط يتعلمون بشكل أكثر فعالية من أولئك الذين لديهم معرفة مسبقة قليلة أو معدومة. سيقوم الطلاب الذين لديهم مستويات عالية من المعرفة المسبقة بالموضوع بدمج المعلومات النصية والرسومية بشكل أكثر فعالية7. وقد لوحظت هذه الوظيفة في تعلم النصوص8 التي تشمل الصور9. تقدم تقنية تتبع العين معلومات حول مكان تركيز الاهتمام وإلى متى. وتعطي هذه البيانات فكرة عن تطور عملية التعلم بطريقة أكثر دقة من مجرد ملاحظة عملية الحل أثناء إنجاز المهمة. كما أن تحليل هذه المؤشرات يسهل دراسة ما إذا كان الطالب يطور التعلم العميق أو السطحي. وعلاوة على ذلك، فإن العلاقة بين هذه البيانات ونتائج التعلم تسهل التحقق من صحة المعلومات التي تم الحصول عليها باستخدام تقنية تتبع العين4و10. في الواقع، يتم استخدام هذه التقنية مع SRL بشكل متزايد في التعليم العالي وتعليم الكبار11 بيئات التعلم، سواء على تنظيم وعلى الدورات غير المنظمة12.
تقدم تقنية تتبع العين مقاييس مختلفة: المسافة والسرعة والتسارع والكثافة والتشتت والسرعة الزاوي والانتقالات بين مناطق الاهتمام (AOI) والنظام التسلسلي ل AOI والزيارات في التثبيتات والأكياس ومسار المسح الضوئي ومعلمات خريطة الحرارة. ومع ذلك، فإن تفسير هذه البيانات معقد ويتطلب استخدام تحت إشراف (الانحدار، وأشجار القرار، وما إلى ذلك) وغير خاضعة للرقابة (تقنيات الكتلة K-means، وما إلى ذلك) 13،14 تقنيات استخراج البيانات. يمكن تطبيق هذه المقاييس لرصد سلوك نفس الموضوع مع مرور الوقت أو للمقارنة بين عدة مواضيع وأدائها مع نفس المهمة15، من خلال تحليل الفرق بين المشاركين مع المعرفة السابقة مقابل أي معرفةسابقة 16. كشفتالأبحاثالحديثة11 ، 17 أن المتدربين المبتدئين يركزون لفترة أطول على المحفزات (أي ، هناك تردد تثبيت أكبر في حين يتم تسجيل أنماط مسار المسح المماثلة). وكان متوسط مدة التثبيت أطول للخبراء منه للمبتدئين. وعرض الخبراء تركيز اهتمامهم على النقاط الوسطى للمعلومات (القريبة والوسطى)، وهي اختلافات يمكن رؤيتها أيضا في نقاط التصور داخل AOI على الخرائط الحرارية.
تفسير المقاييس في تتبع العين
وقد أشارت الدراسات الحديثة18 إلى أن الحصول على المعلومات يرتبط بعدد التثبيتات العينية على المحفزات. مقياس آخر مهم هو saccade ، والذي يعرف بأنه الحركة السريعة والمفاجئة لتثبيت بفاصل زمني [10 مللي ثانية ، 100 مللي ثانية]. شافي وآخرون (2015)18 وجدوا اختلافات في عدد الأكياس، اعتمادا على مرحلة ترميز المعلومات للطالب. معلمة أخرى ذات صلة هي مسار المسح الضوئي ، وهو مقياس يلتقط الترتيب الزمني للخطوات التي يقوم بها المشارك لحل مهمة التعلم داخل AOI التي يحددها الباحث18. وبالمثل، يمكن استخدام تقنية تتبع العين للتنبؤ بمستوى فهم المشارك، والذي يبدو أنه مرتبط بعدد التثبيتات. وقد أشارت الدراسات الحديثة إلى أن التباين في سلوك النظرات يتحدد من خلال خصائص الصورة (الموضع والكثافة واللون والتوجه) وتعليمات أداء المهمة ونوع معالجة المعلومات (أسلوب التعلم) للمشارك. يتم الكشف عن هذه الاختلافات من خلال تحليل تفاعل الطالب مع AOI19المختلفة. يمكن استخدام تقنيات20 الكمية (تحليل التردد) و/أو التقنيات النوعية أو الديناميكية21 (مسار المسح الضوئي) لتحليل البيانات التي تم جمعها من المقاييس المختلفة. يتم تحليل التقنيات السابقة مع التقنيات الإحصائية التقليدية (تحليل التردد ، والفرق المتوسط ، والفرق الفرق ، وما إلى ذلك) ويتم تحليل هذه الأخيرة مع تقنيات التعلم الآلي (مسافات الإقليدية مع أساليب تحرير السلسلة21،22، والتكتلات17). ويسهل تطبيق هذه التقنيات التجميع، بالنظر في الخصائص المختلفة للمواضيع. ووجدت إحدىالدراسات 17 أنه كلما زاد خبرة الطالب، كلما كانت استراتيجية معالجة المعلومات المكانية والزمنية التي يتم تنفيذها أكثر فعالية. ويمكن الاطلاع أدناه في الجدول 1على جدول وصفي لمعلمات القياس المستخدمة في هذه الدراسة.
الجدول 1: معظم المعلمات التمثيلية التي يمكن الحصول عليها باستخدام تقنية تتبع العين، مقتبسة من سايز، زابارين، مارتيكورينا، وفيلاسكو (2019). 20 الرجاء الضغط هنا لتحميل هذا الجدول.
تطبيق منهجية تتبع العين لدراسة عملية التعلم
إن استخدام التطورات التكنولوجية وتقنيات تحليل البيانات الموصوفة أعلاه 5 سيضيفدقة أكبر إلى التحليل السلوكي للمتعلمين أثناء حل المشاكل في المراحل المختلفة لمعالجة المعلومات (بدء المهمة ومعالجة المعلومات وحل المهام). وسوف تسهل جميع التحليل السلوكي الفردي، والتي بدورها تسمح تجمع الطلاب مع خصائص مماثلة24. وبالمثل، تقنيات التنبؤ (أشجار القرار، وتقنيات الانحدار، وما إلى ذلك) 25 يمكن تطبيقها على التعلم، سواء فيما يتعلق بعدد التثبيتات ونتائج تحليل المهام لكل طالب. هذه الوظيفة هي تقدم مهم جدا في معرفة كيف يتعلم كل طالب واقتراح برامج التعلم الشخصية داخل مجموعات مختلفة (الأشخاص الذين يعانون من صعوبات التعلم أوبدونها 26). ولذلك، فإن استخدام هذه التقنية تسهم في تحقيق التخصيص والاستفادة المثلى من التعلم27. ويجب أن يفهم التعلم مدى الحياة على أنه دورة من التحسين المستمر لأن معرفة المجتمع تتقدم وتتقدم باستمرار. علم النفس التطوري يشير إلى أن مهارات القرار والفعالية في معالجة المعلومات تنخفض مع التقدم في السن. على وجه التحديد ، تم العثور على تردد saccade ، والسعة ، وسرعة حركات العين بين البالغين في الانخفاض مع التقدم في السن. بالإضافة إلى ذلك ، في الأعمار الأكبر سنا ، يتركز الاهتمام على المناطق السفلية من المشاهد البصرية ، والتي ترتبط بالعجز في الذاكرةالعاملة 14. ومع ذلك، يزيد التنشيط في المناطق الأمامية وقبل الجبهية في سن أكبر، مما يبدو أنه يعوض عن هذه العجزات في حل المهام. ويشمل هذا الجانب مستوى المعرفة السابقة واستراتيجيات التعويض المعرفي التي يمكن أن يطبقها هذا الموضوع. يتعلم المشاركون ذوي الخبرة بشكل أكثر كفاءة ، لأنهم يديرون الاهتمام بشكل أكثر فعالية ، بسبب تطبيق عمليات الإشراف الآلي28. وبالإضافة إلى ذلك، إذا تم نقل المعلومات التي سيتم تعلمها من خلال تقنيات SRL، يتم تخفيف أوجه القصور المذكورة أعلاه17. استخدام هذه التقنيات يعني أن أنماط التتبع البصري متشابهة جدا ، سواء في مواضيع دون معرفة مسبقة أو في مواضيع ذات معرفة مسبقة7.
باختصار، تحليل البيانات متعددة الوسائط متعددة القنوات على SRL التي تم الحصول عليها باستخدام تقنيات التعلم المتقدم (تتبع العين) هو المفتاح لفهم التفاعل بين العمليات المعرفية والميتاكوغينيتية والتحفيفية، وتأثيرها على التعلم29. نتائج ودراسة الاختلافات في التعلم لها آثار على تصميم المواد التعليمية ونظم التدريس الذكية، وكلاهما سيمكن التعلم الشخصي الذي من المرجح أن يكون أكثر فعالية ومرضية للطالب30.
في هذا البحث، كان هناك سؤالان للتحقيق طرحا: (1) هل ستكون هناك اختلافات كبيرة في نتائج التعلم وفي معلمات تثبيت العين بين الطلاب والمعلمين الخبراء مقابل غير الخبراء في تاريخ الفن الذين يميزون الطلاب الحاصلين على شهادات رسمية مقابل الطلاب الحاصلين على شهادات غير رسمية (جامعة الخبرة - تعليم الكبار)؟ و (2) هل ستتوافق مجموعات كل مشارك مع نتائج التعلم ومعلمات تثبيت العين مع نوع المشاركين (الطلاب الحاصلين على شهادات رسمية والطلاب الحاصلين على درجات غير رسمية (جامعة الخبرة - تعليم الكبار) والمعلمين)؟
Subscription Required. Please recommend JoVE to your librarian.
Protocol
تم تنفيذ هذا البروتوكول وفقا للوائح الإجرائية للجنة أخلاقيات البيولوجيا في جامعة بورغوس (إسبانيا) nº N IR27/2019. وقبل مشاركتهم، كان المشاركون قد علموا تماما بأهداف البحث وقدموا جميعا موافقتهم المستنيرة. ولم يتلقوا أي تعويض مالي عن مشاركتهم.
1. توظيف المشاركين
- توظيف مشاركين من بين مجموعة من البالغين في بيئتين (الطلاب والمعلمين)، مع رتبة عمرية تتراوح بين 18 و 69 سنة في بيئة التعليم العالي (التعليم الرسمي وغير الرسمي).
- تضمين المشاركين الذين يعانون من رؤية وسماع طبيعيين أو مصححين.
- استبعاد المشاركين الذين يعانون من اضطرابات عصبية ونفسية واضطرابات النوم، والإعاقات المتعلقة بالاحتياجات التعليمية الخاصة، والصعوبات الإدراكية (ضعف البصر والسمع)، والإعاقات المعرفية.
ملاحظة: عملنا في هذه الدراسة مع عينة من 40 مشاركا، و6 طلاب من جامعة الخبرة (تم استبعاد مشارك واحد في فئة الطلاب من جامعة الخبرة بسبب صعوبات بصرية)، و25 أستاذا جامعيا في تخصصات العلوم الصحية والهندسة والتاريخ والتراث، و9 طلاب جامعيين وماجستير يتابعون دورات في العلوم الصحية والهندسة والتاريخ والتراث. لم يكن لدى المشاركين أي مشاكل إدراكية أو سمعية أو بصرية، وكان لديهم جميعا رؤية طبيعية أو مصححة إلى طبيعية(الجدول 2). ولهذا السبب، تم استبعاد أحد المشاركين قبل بدء التجربة لأنه تم اكتشاف النيستاغموس عليه، وبالتالي تم تطبيق المهمة على عينة من 39 مشاركا. ولم يتلق المشاركون أي تعويض مالي أو مهني؛ ولهذا السبب كان دافع المشاركين عاليا لأنه كان يستند فقط إلى اهتمامهم بمعرفة كيفية عمل طريقة تتبع العين هذه أثناء عملية التعلم المتعلقة بالتراث الثقافي، وتحديدا أصل الأديرة الأوروبية.
الجدول 2 - الأرباح خصائص العينة. الرجاء الضغط هنا لتحميل هذا الجدول.
2. إجراء تجريبي
- الجلسة 1: جمع الموافقة المستنيرة والبيانات الشخصية والمعرفة الأساسية
- الحصول على موافقة مستنيرة. قبل الاختبار، قم بإبلاغ كل مشارك بأهداف الدراسة وجمع بياناته ومعالجتها وتخزينها. يتم منح موافقة كل مشارك عن طريق التوقيع على نموذج الموافقة المستنيرة.
ملاحظة: المشاركة في هذه الدراسة كانت طوعية ولم تكن هناك مكافأة مالية. وقد ضمن هذا الجانب عدم وجود دافع اقتصادي لإنجاز المهام. وقبل بدء المهمة، يقوم المحاور، وهو خبير في هذا المجال، بملء استبيان بأسئلة عن العمر والجنس والمهنة والمعرفة المسبقة بالموضوع، وفي هذه الحالة، أصل الأديرة في أوروبا وتطورها التاريخي (انظر الجدول 3). هذه الدراسة هي جزء من مشروع أوروبي (2019-1-ES01-KA204-095615-Coordinator 6) حول تعلم الكبار حول التراث الثقافي للبشرية طوال الحياة؛ لهذا السبب تم اختيار هذا النوع من المهام. سيختار كل محقق الموضوع اعتمادا على مجال عمله.
- الحصول على موافقة مستنيرة. قبل الاختبار، قم بإبلاغ كل مشارك بأهداف الدراسة وجمع بياناته ومعالجتها وتخزينها. يتم منح موافقة كل مشارك عن طريق التوقيع على نموذج الموافقة المستنيرة.
الجدول 3 - الأرباح استبيان المقابلة. الرجاء الضغط هنا لتحميل هذا الجدول.
- الجلسة الثانية: المعايرة
- إبلاغ المشاركين حول كيفية عمل تكنولوجيا تتبع العين وكيفية جمع المعلومات وتسجيلها ومعايرتها: "سنستخدم تقنية تتبع العين لمراقبة الانتهاء من مهمة التعلم حول منشأ وتطوير الأديرة الأوروبية. تتبع العين هي التكنولوجيا التي تسمح لك لمتابعة نظرك أثناء أداء النشاط وليس له أي آثار جانبية، ولا هو الغازية، لأنه في هذه الدراسة يتم تسجيل تتبع العين فقط".
- شرح للمشارك أن اختبار صالح يتطلب تحديد المواقع المناسبة. يجب أن يجلس المشارك على مسافة معينة [45 إلى 60 سم] من الشاشة. سوف تعتمد المسافة على ارتفاع المشارك ، كلما انخفض الارتفاع ، كلما كانت المسافة أقصر.
- إبلاغ المشارك بأن سلسلة من النقاط ستظهر على النقاط الأساسية للشاشة وأنه كلما ظهرت كل نقطة يجب على المشارك مراقبتها بالعينين. يمكن للمشارك الانتقال من نقطة إلى أخرى باستخدام المؤشر "enter". مرحلة المعايرة مدة 10-15 دقيقة.
ملاحظة: تم استخدام iViewer XTM تتبع العين، مركز التجارب SMI 3.0، وSMI Be Gaze وشاشة بدقة 1680×1050 لممارسة تحليل المهام. تسجل هذه المعدات حركات العين وإحداثياتها وأقطار البؤبؤ لكل عين. في هذه الدراسة، تم تطبيق 60 هرتز، واستخدمت مقاييس مسار المسح الضوئي ومقاييس مسار المسح الديناميكي، وتم تحديد إحصاءات AOI. - تحقق من إعداد المعايرة. يقوم المحترف المشرف على الاختبار بتحليل إعداد المعايرة على شاشة التحكم.
- قم بإجراء المعايرة من خلال نظام المعايرة المضمن في iViewer XTM لتتبع العين. قبل بدء هذه المهمة، يدرك كل مشارك متابعة بصرية من أربع نقاط على الشاشة إلى الزوايا الأربع (أعلى اليمين، أعلى اليسار، أسفل اليمين، أسفل اليسار). بعد ذلك ، يحتوي البرنامج على عملية تحقق تنفيذ الموقف الصحيح لهذه المحفزات ويعطي معلومات عن تعديل المعلمة بالدرجات. إذا كان هذا التعديل يقع بين 0.6 درجة ± 1 في العين اليمنى واليسارية، يعتبر أن المعايرة صحيحة، ويبدأ تنفيذ المهمة. يمكن التحقق من مثال العملية في الشكل 1.
ملاحظة: يتم أخذ إكمال المهمة الصحيح في الاعتبار عند تعيين الدرجات في العين اليمنى واليسارية عند 0.6 درجة ± انحراف معياري واحد. في هذه الدراسة، تم الكشف عن معايرة اثنين بين مجموعة من أساتذة الجامعات التي تجاوزت معيار التكيف من 0.6 درجة ± 1 ولذلك تمت إزالة اثنين من المشاركين. ولذلك تم تخفيض عدد المشاركين في العينة الأولى ال 25 إلى 23 مشاركا.
- قم بإجراء المعايرة من خلال نظام المعايرة المضمن في iViewer XTM لتتبع العين. قبل بدء هذه المهمة، يدرك كل مشارك متابعة بصرية من أربع نقاط على الشاشة إلى الزوايا الأربع (أعلى اليمين، أعلى اليسار، أسفل اليمين، أسفل اليسار). بعد ذلك ، يحتوي البرنامج على عملية تحقق تنفيذ الموقف الصحيح لهذه المحفزات ويعطي معلومات عن تعديل المعلمة بالدرجات. إذا كان هذا التعديل يقع بين 0.6 درجة ± 1 في العين اليمنى واليسارية، يعتبر أن المعايرة صحيحة، ويبدأ تنفيذ المهمة. يمكن التحقق من مثال العملية في الشكل 1.
الشكل 1. عملية معايرة تتبع العين يرجى الضغط هنا لعرض نسخة أكبر من هذا الرقم.
- الجلسة الثالثة: تنفيذ مهمة التعلم
- شرح محتويات المهمة للمشارك. يشرح خبير في علم النفس التعليمي للمشارك ما ستتألف منه المهمة وكيفية تنفيذها: "يبلغ طول الفيديو 1:14 ثانية ويتكون من 5 صور صوتية. وفي النهاية، فإن المشارك مدعو إلى إكمال لغز الكلمات المتقاطعة الصغيرة للتأكد من أن المعلومات المقدمة في الفيديو قد فهمت".
- شاهد مقطع الفيديو. يمكن عرض الفيديو المستخدم في المهمة على الرابط التالي: https://youtu.be/HlGGgrYDTFs.
ملاحظة: المهمة تتكون في مشاهدة فيديو يقدم معلومات عن أصول الأديرة الأوروبية. وقد تم إعداد هذه المعلومات من قبل متخصص، وهو مدرس تاريخ الفن. يتم تنظيم المعلومات في قناتين ، واحدة مرئية تتضمن صورا ومعلومات مكتوبة مقدمة كخطوط عامة وأخرى صوتية لأن مدرسا متخصصا في SRL يتحدث طوال الفيديو مصرا على أهم المحتويات باستخدام التركيز اللفظي. - أداء لغز الكلمات المتقاطعة على منصة افتراضية تستند إلى Moodle. النقر على أيقونة الكلمات المتقاطعة يأخذ المشارك إلى منصة افتراضية حيث يمكن الانتهاء من الكلمات المتقاطعة، للتحقق مما إذا كان قد تم الحصول على المعرفة. يتم تقديم لغز الكلمات المتقاطعة في الشكل 2.
الشكل 2. لغز الكلمات المتقاطعة للتحقق من المعرفة المكتسبة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
- الجلسة الرابعة: تحليل البيانات
- اختر مجالات الاهتمام (AOI). يتم تعريف AOIs في الفيديو ويتم تقسيمها إلى AOIs تحتوي على معلومات ذات صلة مقابل AOIs التي تتضمن معلومات غير ذات صلة.
ملاحظة: يتم تحقيق تعيين AOI بواسطة المجرب الذي يقرر أي من مؤشرات AOIs ذات الصلة أو غير ذات صلة فيما يتعلق بالمعلومات المقدمة. - استخراج قاعدة البيانات المتعلقة المعلمات تثبيتات AOI ("وقت بدء تشغيل الحدث التجريبي", "وقت المحاكمة نهاية الحدث" و "مدة الحدث"; "تثبيت الموقف العاشر" ، "تثبيت الموقف Y" ، "تثبيت متوسط حجم التلميذ" ، "تثبيت متوسط حجم التلميذ Y px" ، "تثبيت متوسط قطر التلميذ" ، "تثبيت تشتت X" و "تثبيت تشتت Y").
- استيراد قاعدة البيانات إلى حزمة برامج معالجة إحصائية وتحديد الخيار تحليل ثم تصنيف، متبوعا الخيار k-means الكتلة. ثم حدد الجدول المشترك في حزمة البرامج الإحصائية ، على سبيل المثال SPSS ، يليه خيار "ANOVA" ، لتحليل الاختلافات بين المشاركين (نوع مجموعات البالغين ودرجة المعرفة المسبقة) فيما يتعلق بمعلمات تثبيت AOI31.
ملاحظة: التجميع أو تحليل الكتلة هو تقنية تعلم آلي "غير خاضعة للرقابة"، وضمن k-means،هو أسلوب تجميع، والهدف منه هو تقسيم مجموعة من الملاحظات n إلى مجموعات k، حيث تنتمي كل ملاحظة إلى المجموعة ذات القيمة المتوسطة الأقرب. في هذه التجربة،تم استخدام k-means clustering للتحقق من مجموعات المشاركين في مهمة التعلم. هذه المراسلات مهمة ، لأنها توفر للمعلم أو المعالج معلومات عن التطور الوظيفي المتجانس للمستخدمين يتجاوز التشخيص ، وتوفير المعلومات لاقتراح برامج تدخل مماثلة في بعض مجالات التطوير الوظيفي. ومن المتوقع أن يسهل هذا الخيار الاستخدام الكامل للخدمات التعليمية أو العلاجية ومواردها الشخصية والمادية. - إجراء تحليل مرئي للبيانات (تحليل وصفي وكتلة) التي تتم معالجتها، وذلك باستخدام برنامج التصور مثل أورانج32.
- استخراج البيانات على معلمات الإحصاءات التفصيلية: وقت الإسبات، ومدة النظر، ومدة التحويل، وعدد اللمحات، وعدد التثبيت، ومتوسط التثبيت، والمدة ثم استيراد قاعدة البيانات هذه إلى حزمة برامج إحصائية. حدد الخيار "ANOVA" في الحزمة الإحصائية ثم قم بإجراء تحليل مرئي للبيانات التي تمت معالجتها (الوسائل). استخدم جدول البيانات لإنشاء مخطط عنكبوت ورسومات بيانية شريطية محددة لمجموعات المشاركين.
- اختر مجالات الاهتمام (AOI). يتم تعريف AOIs في الفيديو ويتم تقسيمها إلى AOIs تحتوي على معلومات ذات صلة مقابل AOIs التي تتضمن معلومات غير ذات صلة.
- الجلسة الخامسة: مقترحات التعلم الشخصية
- تنفيذ برنامج تدخل لتحسين نتائج التعلم بين المشاركين الذين تم اكتشافهم في تحليل المجموعة، وذلك بسبب انخفاض درجاتهم.
ملاحظة: يظهر ملخص للمراحل التالية في الإجراء التجريبي في الشكل 3.
- تنفيذ برنامج تدخل لتحسين نتائج التعلم بين المشاركين الذين تم اكتشافهم في تحليل المجموعة، وذلك بسبب انخفاض درجاتهم.
الشكل 3. مراحل الإجراء التجريبي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
وكان المشاركون ال 36 الذين تم تعيينهم لهذه الدراسة من ثلاث مجموعات من البالغين (طلاب من جامعة الخبرة، وأساتذة الجامعات، وطلاب المرحلة الجامعية والماجستير) تتراوح أعمارهم بين [18 و 69] سنة(الجدول 2). تم اختبار البروتوكول على مدى 20 شهرا في جامعة بورغوس. ويمكن الجزم التفصيلي للتطوير في الجدول 4.
الجدول 4 - الأرباح مخطط تفصيلي لتطوير بروتوكول تحليل سلوك التعلم. الرجاء الضغط هنا لتحميل هذا الجدول.
أولا، تم تحليل معلمات موضع النظرات للتثبيتات(الجدول 5). في هذه الدراسة، باستخدام فيديو، كان وقت البدء والنهاية هو نفسه بالنسبة لجميع المشاركين: بدء 0 مللي ثانية ونهاية 1:14 ثانية، مدة 1:14 ثانية.
الجدول 5 - الأرباح تثبيت نتائج المعلمة. الرجاء الضغط هنا لتحميل هذا الجدول.
ويبين الشكل 4 رسما بيانيا للمهام التي وضعتها المجموعات الثلاث فيما يتعلق بمعلمات التثبيت. وقد أنجزت كل مجموعة من الرجال والنساء في كل مجموعة من المجموعات المشاركة (طلاب جامعة الخبرة، ومدرسو الجامعات وطلاب الدراسات العليا والماجستير) المهام بطرق مختلفة.
الشكل 4. رسم بياني للمجموعات الثلاث وتطويرها للمهمة المتعلقة بمعلمات التثبيت. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
ثم تم تطبيق ANOVA ذات التأثيرات الثابتة ذات العاملين (نوع المشارك والمعرفة السابقة) للتحقق مما إذا كانت هناك اختلافات كبيرة في معايير مواقف التثبيت بين المجموعات الثلاث (طلاب جامعة الخبرة وأساتذة الجامعات وطلاب الجامعات). لم توجد فروق كبيرة في أي من معلمات التثبيت، ولكن لوحظ اتجاه نحو الاختلافات لتثبيت متوسط حجم التلميذ Y، ومتوسط تثبيت قطر التلميذ، وتشتت التثبيت X، على الرغم من انخفاض قيم التأثير (انظر الجدول 6).
الجدول 6 - الأرباح اثنين من عامل ثابت الآثار ANOVA (نوع من المشاركين والمعرفة السابقة) وقيمة التأثير. الرجاء الضغط هنا لتحميل هذا الجدول.
وفي وقت لاحق، تم تطبيق مجموعة K-means لدراسة ما إذا كانت هناك مجموعات مختلفة في مجموعة البحث الأولية (طلاب جامعة الخبرة وأساتذة الجامعات وطلاب الجامعات) فيما يتعلق بالنتائج في معايير مواقف التثبيت والمعرفة السابقة ونتائج لغز الكلمات المتقاطعة. تم العثور على ثلاث مجموعات(الجدول 7). يمكن رؤية تصور للمجموعات في الشكل 5.
الجدول 7 - الأرباح مراكز التجميع النهائية. الرجاء الضغط هنا لتحميل هذا الجدول.
ثم تم إعداد جدول مشترك بين قيم مجموعة عضوية المجموعة المخصصة لكل مشارك فيما يتعلق بنوع فئة المشارك (طلاب جامعة الخبرة وأساتذة الجامعات وطلاب الجامعات)(الجدول 8). ويبين الشكل 5 موقف المشاركين داخل المجموعات فيما يتعلق بالمجموعات الثلاث لمعلمات وضع التثبيت.
الجدول 8 - الأرباح مشارك * رقم الكتلة من جدولة الحالات. الرجاء الضغط هنا لتحميل هذا الجدول.
تم تنفيذ ANOVA ذات تأثير ثابت ثنائي ، "مجموعة المشاركين" و "الخلفية" ، لمعلمات قياس تتبع العين التالية: وقت الإسبات ، ومدة النظر ، ومدة التحويل ، وعدد اللمحات ، وعدد التثبيت ، والمتوسط ، والمدة التي تم الحصول عليها في مرحلة بدء المهمة (الشريحة 1) وفي مرحلة نهاية المهمة (الشريحة 5) (الجدول 6). تم العثور على اختلافات كبيرة اعتمادا على متغير المعرفة الخلفية في مدة التحويل 1 (تحليل وقت الإدخال والإسهاب والإخراج لكل حافز يتم إدخاله في كل AOI). ولذلك يمكن استنتاج أن طريقة الدخول والبقاء والخروج في مؤشرات AOIs المختلفة كانت مختلفة ، اعتمادا على متغير "مجموعة المشاركين" خلال المرحلة الأولية من الوصول إلى المعلومات (F2،32 = 4.07 ، p = 0.03 ، η2 = 0.23). تم العثور على الاختلافات أيضا في المعلمة Average Fixation Duration (تشير التثبيتات الأطول إلى مشارك يقضي المزيد من الوقت في تحليل وتفسير محتوى المعلومات داخل مؤشرات AOIs المختلفة (F2،32 = 3.53 ، p = 0.04 ، η2 = 0.21). تم تطبيق اختبار الفرق المتوسط ل Bonferroni لإنشاء عضوية المجموعة ، والتي ثبت أنها كانت بين المجموعة (طلاب جامعة الخبرة) ومجموعة أساتذة الجامعات [متوسط الفرق = 0.04 ، p = 0.04 CI 95٪ (0.03-2.75)]. وكانت الوسائل أعلى بالنسبة للمجموعة 1 (طلاب جامعة الخبرة) حيث أمضى المشاركون وقتا أكبر في تحليل وتفسير مؤشرات الأداء أثناء مرحلة إدخال البيانات (انظر الجدول 9 والشكل 6).
الجدول 9 - الأرباح اثنين من عامل ثابت الآثار ANOVA (نوع من المشاركين والمعرفة السابقة) وقيمة تأثير لمعلمات قياس العين تتبع: وقت سكن، مدة لمحة، مدة التحويل، نظرات العد، تثبيت العد، متوسط التثبيت والمدة. الرجاء الضغط هنا لتحميل هذا الجدول.
الشكل 6. رسم بياني للمجموعات الثلاث وتطويرها للمهمة التي تنطوي على معلمات التثبيت فيما يتعلق بمتغيرات المعرفة السابقة في بداية ونهاية معالجة المهام. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
وبناء على النتائج التي وجدت في هذه الدراسة، اقترح تطوير برنامج تعليمي شخصي لتحسين نتائج التعلم بدقة المهام. وركز هذا البرنامج على العمل مع المشاركين المجمعين في المجموعة 3، حيث حصلوا على درجات 3 نقاط من أصل 5 في الاختبار للتحقق من نتائج التعلم، والتي مثلت 85.43٪ من إجمالي المشاركين. المشاركون من المجموعات الدراسية الثلاث (طلاب جامعة الخبرة؛ تم العثور على المعلمين الجامعيين وطلاب الدراسات العليا والماجستير) في هذه المجموعة. وسيركز البرنامج على تعزيز المفاهيم التي تم العمل عليها في الفيديو الذي سيتم من خلاله تمديد المفاهيم ومواصفاتها.
الشكل 5. تحليل الكتلة لمعلمات التثبيت في المجموعات الثلاث (طلاب الجامعات الخبرة، أساتذة الجامعات، وطلاب الجامعات). يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
ملفات تكميلية
10- وترد التراخيص الخاصة بتسجيل الفيديو الذي استخدمت منه الصور للإشارة إلى رصد القدرات الوظيفية لدى الأطفال الذين يعانون من صعوبات في التعلم.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
وأشارت نتائج البحث إلى أن متوسط مدة التثبيت على المحفزات ذات الصلة كان أطول بين المشاركين الذين لديهم معرفة سابقة. وبالمثل ، فإن تركيز الاهتمام على هذه المجموعة هو على النقاط الوسطى من المعلومات (القريبة والنازلة)7. وقد كشفت نتائج هذه الدراسة عن اختلافات في الطريقة التي عالج بها المشاركون المعلومات. وعلاوة على ذلك، لم تكن معالجتها مرتبطة دائما بالتجمع الأولي (طلاب جامعة الخبرة، ومدرسو الجامعات وطلاب الدراسات العليا والماجستير). تم العثور على هذه الاختلافات فيما يتعلق بتحليل الموقف البصري للمشاركين على المحور X في التثبيتات على الصور المعروضة في فيديو التعلم. في الكتلة 2، تم العثور على أعلى ترددات تثبيت الموضع X، تثبيت الموضع Y، تثبيت متوسط قطر التلميذ، تشتت تثبيت محور س و ص. وتتزامن هذه الحقيقة مع كون أعضاء المجموعة 2 هم أنفسهم أعضاء في فريق معلمي الجامعات، وكان لديهم معرفة سابقة بالموضوع، وحصلوا على أعلى الدرجات في اختبار التحقق من النتائج. وبالمثل، من المهم الإشارة إلى أن معظم المشاركين في الدراسة (85.43 في المائة)، بغض النظر عن مجموعة منشئهم، كانوا في المجموعة 3 حيث حصلوا على أدنى النتائج في اختبار التحقق.
وثمة جانب آخر ذو صلة من هذا البروتوكول هو عرض المعلومات في شريط فيديو مع SRL. وهذا الشكل من العرض، من ناحية، يوجه الاهتمام ويركزه، ومن ناحية أخرى يقلل من الإجراءات الفردية لكل مشارك، أي أنه يوحد طريقة الوصول إلى المعلومات. وهو جانب يمكن أن يعوض، عند الضرورة، العجز أو الصعوبات المحتملة في المعالجة. والدليل على هذا البيان هو أنه لم يتم اكتشاف أي اختلافات كبيرة في نتائج التعلم بين المجموعات الثلاث، حيث تم تحديد متوسط فاصل الأداء [3.60، 4.86] عند 5. تم العثور على اختلافات كبيرة فقط في معلمات مدة التحويل للمعالجة (معلمة تستخدم لتحليل الإدخال والديمومة ووقت الإخراج لكل حافز يتم إدخاله في كل AOI) ومتوسط مدة التثبيت (تشير هذه المعلمة إلى تثبيتات أطول ، مما يشير إلى أن المشارك يقضي المزيد من الوقت في تحليل وتفسير محتوى المعلومات داخل AOIs المختلفة) في اللحظة الأولى من المعالجة ولكن ليس في نهايتها. تم الكشف عن أطول الأوقات في هذه المعلمات بين مجموعة طلاب الدراسات العليا والماجستير وطلاب جامعة الخبرة في هذه الدراسة. وتدعم هذه النتائج من استنتاجات الدراسات الأخرى4،12،15. وأخيرا، يمكن تطبيق هذا البروتوكول لدراسة الاختلافات أثناء معالجة المعلومات، اعتمادا على مرحلة الترميز للطالب.
وبناء على ما سبق، فإن الاستنتاج الأول هو أن استخدام منهجية تتبع العين أثناء الانتهاء من المهام قدم بيانات مفيدة لدراسة معالجة المعلومات1،2. وبالمثل، فإن البيانات المستخرجة من تكنولوجيا تتبع العين وتحليلها باستخدام تقنيات التعلم غير الخاضعة للرقابة (التجمع) سهلت معرفة المجموعات وفقا للمعلمات المحددة مسبقا11و15. هذا الجانب مهم جدا لدراسة معالجة المعلومات في كل مشارك وللاقتراح المتعلق بالردود التعليمية الشخصية3و4و5و6و22و23 والتي من المتوقع أن تؤدي إلى تعلم أكثر فعالية23.
ومن المهم أيضا الإشارة إلى أن النتائج التجريبية أكدت من جديد نتائج الأبحاث الأخرى فيما يتعلق بما يلي: الاختلافات في المعالجة وفقا لمتغيرات الخبراء المبتدئين وعمر المشاركين، واستخدام مواد SRL التي تقلل من آثار هذه المتغيرات وتزيد من الأداء المتوقع للمشاركين7و8و9و10.
ومع ذلك، من الضروري التعامل مع أي تعميم لهذه النتائج بحذر، حيث تم تطبيق أخذ العينات المريحة، وركز العمل على محتوى محدد يتعلق بتاريخ الفن. ولذلك، سيتم توسيع العينة في البحوث المستقبلية وسيتم فحص النتائج في تخصصات أخرى.
كما هو مبين في المقدمة ، فإن عرض المعلومات بطريقة متعددة الوسائط من خلال قنوات معلومات مختلفة (السمعية والبصرية أو كليهما) مع منهجية SRL ، جنبا إلى جنب مع استخدام تقنية تتبع العين وتقنيات التعلم الآلي ، هو المفتاح لفهم الطريقة التي يعالج بها المشاركون المعلومات من أجل تقديم تصميم التعلم الشخصي وفقا للاحتياجات التعليمية لكل مستخدم ، وبالتالي تعزيز التعلم الناجح وتطوره بين جميع الطلاب29،30.
وخلاصة القول إن استخدام تقنية تتبع العين ليس منهجية للتطبيق المعتاد في أطر التعليم، ويرجع ذلك أساسا إلى عوامل التكلفة من المواد إلى الموارد الشخصية. ومع ذلك ، بدأ استخدامه في الزيادة شيئا فشيئا ، ومن المهم أن نرى استخدامه المعتاد في مراقبة المهام في التعلم التنظيم الذاتي. ميزة هذه التكنولوجيا تتبع العين هو أنه يسمح لتسجيل تفاعل المتعلم مع المهمة التي حصلت على مزايا الموثوقية وصحتها، في هذه الحالة، على الملاحظة البسيطة لعملية التعلم. وبالإضافة إلى ذلك، فإن منهجية تتبع العين تقدم تقنيات مختلفة من التصور المعلومات المسجلة ويمكن أيضا تحليل هذه المعلومات في قواعد البيانات مع برامج الكمبيوتر أو أدوات أكثر قوة. ولذلك، فإنه يفتح مجموعة واسعة من الاحتمالات للتحقيق في السياقات الطبيعية.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ويعلن أصحاب البلاغ أنه ليس لديهم مصالح مالية متنافسة.
Acknowledgments
وقد تم تطوير العمل ضمن مشروع "التعلم المنظم ذاتيا في SmartArt Erasmus + تعليم الكبار" 2019-1-ES01-KA204-095615-Coordinator 6، بتمويل من المفوضية الأوروبية. وكان شريط الفيديو الخاص بمرحلة إنجاز المهمة قد حظي بموافقة مسبقة مستنيرة من روت فيلاسكو سايز. نحن نقدر مشاركة المعلمين والطلاب في مرحلة تنفيذ المهمة.
Materials
| Name | Company | Catalog Number | Comments |
| iViewer XTM | iViewer | ||
| SMI Experimenter Center 3.0 | SMI | ||
| SMI Be Gaze | SMI |
References
- van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
- Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
- Cloude, E. B., Taub, M., Lester, J., Azevedo, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. , Springer International Publishing. Switzerland. 36-40 (2019).
- Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
- Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
- Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
- Ho, H. N. J., Tsai, M. -J., Wang, C. -Y., Tsai, C. -C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
- Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
- Mayer, R. E.
- Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
- DuMouchel, W. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. Abello, J., Pardalos, P. M., Resende, M. G. C. , Springer. Boston, MA, US. 579-591 (2002).
- Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
- König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
- Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
- Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
- Dzeng, R. -J., Lin, C. -T., Fang, Y. -C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
- Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
- Sharafi, Z., Soh, Z., Guéhéneuc, Y. -G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
- Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
- Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
- Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , Honolulu, HI, USA. 283-286 (2007).
- Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , Kobe, Japan. 1724-1728 (2012).
- Sáiz, M. C., Marticorena, R., Anaiz, Á, Zaparaín, M. J. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. , Asociacion Cientifica Internacional de Psicopedagogia. Coruña, Spain. 4093-4104 (2019).
- Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students' Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , IEEE. Timisoara, Romania. 53-54 (2017).
- Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
- Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
- Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers' adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
- Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
- Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
- Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
- IBM Corp. SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , Madrid, Spain. (2016).
- Orange Software Package. , Available from: https://orange.biolab.si/docs/ (2020).
