الجمع بين بيانات تتبع العين مع تحليل محتوي الفيديو من مجانا-مشاهده فيديو للمشي في بيئة الحديقة الحضرية

Summary

والهدف من البروتوكول هو تفصيل كيفيه جمع بيانات الفيديو لاستخدامها في المختبر ؛ كيفيه تسجيل بيانات تتبع العين للمشاركين الذين يبحثون في البيانات وكيفيه تحليل محتوي مقاطع الفيديو التي كانوا يبحثون فيها باستخدام تقنيه تعلم آلات بكفاءة.

Abstract

وبما ان الافراد يعيشون بشكل متزايد في المدن ، فان أساليب دراسة تحركاتهم اليومية والبيانات التي يمكن جمعها تصبح مهمة وقيمه. ومن المعروف ان المعلوماتية تتبع العين للتواصل مع مجموعه من المشاعر, الظروف الصحية, الحالات العقلية والإجراءات. ولكن لان الرؤية هي نتيجة لحركات العين المستمرة ، وأغاظه ما هو مهم من ما هو الضجيج معقده والبيانات المكثفة. وعلاوة علي ذلك ، هناك تحد كبير يتمثل في السيطرة علي ما ينظر اليه الناس مقارنه بما يقدم لهم.

وفيما يلي منهجيه للجمع بين وتحليل تتبع العين علي شريط فيديو للمشهد الطبيعي والمعقد مع تقنيه التعلم الألى لتحليل محتوي الفيديو. في البروتوكول نركز علي تحليل البيانات من أشرطه الفيديو المصورة ، وكيف يمكن استخدام الفيديو علي أفضل وجه لتسجيل بيانات تتبع العين للمشاركين ، والاهم كيف يمكن تحليل محتوي الفيديو ودمجه مع بيانات تتبع العين. ونقدم ملخصا موجزا للنتائج ومناقشه لإمكانيات الطريقة لاجراء مزيد من الدراسات في البيئات المعقدة.

Introduction

ان تجاربنا اليومية التي نعيشها في البيئات الحضرية تؤثر بشكل كبير علي صحتنا ورفاهيتنا. ويمكن لرفاهيتنا ان تعتمد علي كميه المساحات الخضراء التي نري ونختبرها^1،2،3، ويمكن قياس هذه الآراء باستخدام معدات تتبع العين لتوجيه صنع القرار حول تصميم المتنزه. ومع ذلك ، تنشا مشكله مع حجم بيانات تتبع العين التي يتم إنشاؤها والشعور بهذه البيانات. وبما ان المعدات اللازمة لتسجيل بيانات البصر في المختبر أو الاعداد الطبيعي تصبح أسهل في الاستخدام وأكثر قوه ، يحتاج الباحثون إلى النظر في كيفيه جمع وتحليل البيانات بشكل صحيح للمساعدة في الاسئله المتعلقة بصنع القرار.

حتى الآن ، وقد استخدمت قدرا كبيرا من البحوث تتبع العين الصور في مسح أو مختبر الاعداد⁴. في حين ان هذه المنهجية تسمح لقدر كبير من الاستنساخ والسيطرة علي النتائج ، فانها غير قادره علي الاستفادة من أحدث التطورات في تكنولوجيا تتبع العين التي تشمل استخدام الفيديو ويمكن ارتداؤها المحمولة بتتبع العين. وعلاوة علي ذلك ، فاننا نقول ان العمل من المشي والاسترخاء هو بالضرورة ديناميكية وخاصه عندما توجه نحو مهمة مثل الطريق⁵. ولذلك فان الفهم العلمي الكامل لهذه الإعدادات ينبغي ان يتم خارج المختبر. ومع ذلك ، في الوقت الراهن ، فان تتبع العين في بيئة طبيعيه واقعيه يجعل مقارنه التجربة بين المواضيع صعبه للغاية. علي سبيل المثال ، إذا أردنا مقارنه ما إذا كان أحد المجيبين ينظر إلى الأشجار أكثر من الآخر ، كيف يمكننا التحكم في حقيقة ان وجهه نظرهم ستتغير باستمرار بالمقارنة مع الآخرين أو ان رؤوسهم قد انقلبت. تحليل مفصل في هذه الظروف يكاد يكون من المستحيل مع تقنيات التحليل الحالية. ونحن نقول انه من المهم السيطرة علي مناطق المشاهدة المتاحة للفرد الذي يجري دراسته وفي التحليل ليكون قادرا علي حساب المشهد الإجمالي الذي ينظر اليه في اي نقطه زمنيه واحده.

هناك مجموعه من النظريات التي تربط بين مستويات التوتر والتصورات للسلامة لمناظر طبيعيه ومقاييس متطورة من الإجهاد^6,7. وكانت هناك أيضا زيادة سريعة في تطور معدات تتبع العين لقياس البصر⁸. تتبع العين أمر مهم لان حركات العين غير الطوعية قد تكون مرتبطة بشكل أكثر موثوقيه بالتفضيل والإجهاد وغيرها من الإجراءات التقليدية من المسوحات والاختبارات الفسيولوجية التدخلية مثل مستويات الكورتيزول اللعابية. والهدف من هذا البحث هو تطوير الاداات التي تمكن من قياس أدق لبيانات تتبع العين المطبقة علي المزيد من الإعدادات الطبيعية ، وذلك لتقديم المزيد من الادله علي أو دحض نظريات المناظر الطبيعية القديمة التي قامت بتصميم المتنزه عقود.

الهدف من هذا المشروع هو تطوير واختبار تقنيه تحليل جديده يمكن ان تولد البيانات المناسبة لتعقب العين لأشرطه الفيديو المختلفة من محاكاة المشي بارك. ويمثل عملنا الذي تم الإبلاغ عنه هنا وفي أماكن أخرى⁹ نقطه في منتصف الطريق بين الوضع الطبيعي لنظام تتبع العين المتنقل بالبالكامل ودراسات الصور المستندة إلى المختبر المشار اليها أعلاه. علي وجه الخصوص ، ونحن نركز علي استخدام أشرطه الفيديو والمواد التحفيزية ، واستكشاف كيف يمكن استخدام هذه المواد لاختبار كميه من السحر ان الحدائق المختلفة التي تولد في مدينه ملبورن. ويستند عملنا علي افتراض ان التحليل المفصل لأشرطه الفيديو هو خطوه ضرورية للإخلال قبل القيام بتقييم اوفي وأكثر طبيعيه لإمكانات الحدائق لتوفير استعاده من الإجهاد.

في هذه الدراسة ، استخدمنا جهاز كمبيوتر سطح المكتب تعقب العين مع أشرطه الفيديو من المشي من خلال الحدائق الحضرية وطلبت من المشاركين ان يتصوروا انهم كانوا ياخذون نزهه الاسترخاء من خلال حديقة. نقوم بوصف طريقه للسماح بمقدار الوقت الذي أنفقه المشاركون في البحث عن كائنات مختلفه لتكون قابله للمقارنة بين الحدائق. الدراسات المكتبية هي أسهل عموما للسيطرة مقارنه مع الدراسات المتنقلة ET والسماح التحليل المقارن لكل موضوع.

تستخدم برمجيات تتبع العين القياسية أداه مجال الاهتمام اليدوية التي يمكن للمشغل فيها رسم الحدود يدويا حول الأشياء ذات الاهميه في كل مشهد. يتيح ذلك مقدار الوقت الذي يقضيه المشاركون في البحث عن كائنات مختلفه ليتم حسابها تلقائيا. النسبة لبيانات الفيديو ، فان هذه العملية كثيفه العمالة وتخضع لذاتية المشغل والخطا. في الإصدارات اللاحقة من برنامج تحليل تتبع العين ، يمكن ل AOIs تعقب الكائنات تلقائيا عبر الإطارات عندما تكون بنفس الحجم في الفيديو. هذا هو التحسن ، ومع ذلك ، وهذا هو المقصود فقط لاستخدامها لعدد قليل من المحفزات في كل صوره ويجب ان يتم فحص كل صوره وتاكيدها.

الوسم اليدوي للكائنات في صوره أمر شائع ويدعمه برنامج تحرير الصور مثل برنامج التلاعب بالصور غنو (الأعرج). النظر إلى ان 1 s تنتج 30 إطارات أو الصور ، والوسم اليدوي لأشرطه الفيديو غير عملي. الاضافه إلى ذلك ، فان وضع العلامات بواسطة المضلعات المتجهة حول حافه الأجسام المعقدة مثل الستائر الشجرية يستغرق وقتا طويلا. وأخيرا ، في حين انه من المتصور انه من الممكن حساب حجم الأجسام في مجال الرؤية باستخدام وسم النواقل ، فان هذه الميزة غير متاحه حاليا.

الطريقة التي نقوم بالإبلاغ عنها أدناه تتعامل مع هذه القيود. استخدمت هذه الدراسة الوسم التلقائي للكائنات. وهذا ممكن باستخدام تقنيه معالجه الصور المعروفة باسم العلامات الدلالية ، حيث يتم تعيين كل بيكسل في كل اطار من الفيديو علي تسميه تشير إلى فئة كائن. يتم استخدام التعلم الألى لاشتقاق مصنفات بكسل لكل فئة كائن من الاهتمام. توفر هذه المصنفات تسميه احتماليه لكل بيكسل (المعروفة بالإمكانات الاحاديه) ، والتي يتم صقلها بعد ذلك في عمليه تحسين لاحقه لتحقيق الناتج النهائي المسمي. هذه مصنفات تعلم حدود القرارات الاحصائيه بين كل فئة من فئات الكائنات في مساحة المعالم المستخرجة من الصورة ، بما في ذلك الملمس ، والرسم البياني لاتجاات الحواف ، وقيم ألوان RGB ، وإحداثيات الصورة التي تم تطبيعها. ويتم تنفيذ تقنيه مناسبه لهذا الأمر في مربع أدوات التعلم اله داروين¹⁰ ويرد أدناه.

Protocol

وقدمت الموافقة الاخلاقيه لهذا المشروع من قبل لجنه الأخلاق في الجامعة الكاثوليكية الاستراليه-رقم الموافقة #201500036E. وكفل ذلك الحصول علي موافقه مستنيرة من جميع المشاركين وشارك جميع المشاركين طوعا ، وظلت بيانات المشاركين مجهوله وسريه. [أين ديايشن] أعطيت الموافقة كان واجبه الأسلوب وتجهيز اجتماع استراليه معايير أمان نظام تعديل.

1. تصوير المشاهد الحضرية التي يمكن استخدامها في دراسة تتبع العين

1. استخدام كاميرا فيديو رقميه عاليه الجودة تعلق علي انحراف لخلق محاكاة "المشي" أو "الجلوس" الفيديو.
2. تسجيل الفيلم مع حركات السوائل علي نحو سلس في دقه 4k في 25 اطارا في البوصة وحفظها في 1920 x 1080 HD.
3. استخدام شركه تصوير محترفه لإنتاج الأفلام الرقمية إذا كانت غير مالوفه مع هذا أو تفتقر إلى الوصول إلى المعدات.
4. تبادل لإطلاق النار فيلم في اتخاذ واحد ، إلى طول واحد عبر جميع أشرطه الفيديو مع الطرق المحددة مسبقا والخصائص.
   ملاحظه: مثال علي تفاصيل الفيديو: كان كل فيلم المشي محاكاة 3 دقائق 50 s طويلة وكان كل فيلم يجلس محاكاة 1 دقيقه طويلة. لكل من أشرطه الفيديو في هذه الدراسة ، بدات أشرطه الفيديو مع تسلق درج قصيرة مما يؤدي إلى مسار. تم اتباع المسار بالبالضبط 1 دقيقه 30 ثانيه ومن ثم توقفت الكاميرا وانتشرت اليسار ل 45-60 درجه وتوقفت لمده 15 ثانيه. ثم استمرت الكاميرا علي طول مسار المشي حتى 3 دقيقه 25 s علامة, انتقادات اليسار 40-70 درجه لمده 15 ثانيه, واصلت علي طول الطريق حتى 3 دقيقه 50 s علامة, ثم تلاشي إلى الأسود.
5. تاكد من ان الأفلام قابله للمقارنة ، وبعبارة أخرى انها لا تقدم بيانات البصر الرواية من مسارات المشي مختلفه أو حركه الكاميرا. وقد أخذ فيلم واحد من كل سيرا علي الاقدام ، وهما في المجموع.
6. كما تتاثر حركات العين من الصوت ، وتسجيل ملف الأصوات حديقة الحضرية عام من واحد من مناحي لنفس الطول من الفيديو دون انقطاع من الضوضاء الصاخبة المفاجئة خارج الحديقة (علي سبيل المثال ، انذارات السيارات). يمكن تشغيل هذا بدلا من الموسيقي التصويرية الموجودة من كلا الفيديوين بحيث يمكن عزل التاثير المرئي للفيديو.
   ملاحظه: الحركة المفرطة للمركبات وغيرها من الأشياء يمكن ان تؤثر علي حركات العين وانحراف النتائج. إذا كان بعض من هذا التسلل لا يحدث ، يمكن ان يتم تشغيل الفيلم للمشاركين ولكن قد تحتاج الإطارات إلى استبعادها من التحليل.
7. إذا كنت مهتما في أنشطه مختلفه في نزهه ، مثل المشي ومن ثم يجلس علي مقاعد البدلاء ، حفظ أو تحرير مشاهد الجلوس والمشي كملفات منفصلة وذلك لاختبارها بشكل مستقل.

2. الاعداد والمعايرة المكتبية لمعدات تتبع العين

1. إظهار التسلسلات المصورة للافراد في غرفه حيث يمكن استبعاد الضوء الطبيعي لتجنب الانعكاسات علي الشاشة. تظهر لهم علي شاشه كبيره قدر الإمكان لاحتلال أكبر قدر من المجال البصري ، التالي تجنب الهاء من خارج مجال الرؤية. A شاشه عريضة (16:9) PC (22 بوصه) مع المشاركين تقريبا 60 سم بعيدا عن الشاشة هو معيار مقبول.
2. قم باجراء معايره للشاشة لكل مشارك باستخدام أداه المعايرة المضمنة في برنامج تتبع العين. تتطلب من المشاركين النظر إلى الكره الحمراء تتحرك حول الشاشة كجزء من هذا ووقف عند 5 نقاط المعايرة الرئيسية.
3. خلال المعايرة مراقبه المشاركين والتاكد من انها لا تتحرك راسهم كذلك. إذا كانت قريبه جدا من الشاشة والشاشة كبيره جدا وهذا يمكن ان يكون مشكله. اضبط المسافة من الشاشة وفقا لذلك.
4. تحرير كل فيلم ليكون الصليب الأبيض تقع في الزاوية اليسرى العليا من الأطر المبكرة للفيديو. ويمكن القيام بذلك باستخدام برنامج تحرير الفيديو. إظهار هذه الشاشة لمده 3 ثوان ، ثم البدء في تشغيل المشي. وهذا للتحقق من معايره تتبع العين والتاكد من ان أوقات جمع البيانات تتبع العين يمكن ان تتطابق مع أرقام الإطار الفردية.

3-التوظيف والأخلاق

1. استخدام شركه التوظيف البحثية المهنية لضمان انتشار مختلف الجنسين والاعمار والمهن بين العينة أو تجنيد في الموقع من بين الطالب وهيئه الموظفين.
2. المشاركين الشاشة لظروف العين أو العصبية المعروفة و/أو الإصابات. يجب ان يطلب منهم ما إذا كانوا يتناولون الادويه التي من المعروف انها تؤثر علي حركات العين (مثل البنزوديازيبينات).
3. اجراء بالقرب من اختبارات القراءة الرؤية والشعلة القلم حركه العين رحله اختبار لإثبات ان لديهم كامل حركه العين الرحلات الاستكشافية.
4. المشاركون في الاستطلاع حول أعمارهم وجنسهم وتواتر استخدام الحديقة.

4. الاعداد التجريبي للمشاركين

1. اطلب من المشاركين ان يتخيلوا أنفسهم بحاجه إلى الترميم. استخدم جمله تسمح لهم بتصور سياق فيديو تتبع العين المستخدم مثل: ' تخيل انه في منتصف النهار وأنت تسير وحدك في ملبورن. كنت متعبا عقليا من تركيز مكثف في العمل وتبحث عن مكان للذهاب للمشي ، والجلوس والراحة لبعض الوقت ، قبل العودة إلى العمل '.
2. يجلس المشاركون بشكل مريح امام شاشه الكمبيوتر علي مسافة 60 – 65 سم لعرض الأفلام.
3. باستخدام برنامج جدول البيانات ترتيب الأفلام بشكل عشوائي قبل اللعب امام المشاركين.
4. استخدم السماعات لتشغيل نفس الصوت لجميع الأفلام.
5. تسجيل مسار البصر من المشاركين باستخدام نظام سطح المكتب لتتبع العين. تحميل جهاز سطح المكتب لتتبع العين وفقا لتعليمات الشركة المصنعة. يمكن ان يكون هذا أسفل الشاشة علي الطاولة ، أو يمكن ان يكون مقطعا إلى حافه الشاشة ، علي القمه علي سبيل المثال.
6. استخدام وحده تتبع العين التي لديها معدل أخذ العينات من 120 هرتز ودقه 0.50 درجه ، والذي يسمح حريه كبيره من حركات الراس تمكين تسجيل اثناء حركات الراس الطبيعية. وهناك تردد اقل العين تعقب هو أيضا مقبوله. في 57.3 سم ، 1 درجه من زاوية بصريه يساوي ~ 1 سم علي الشاشة.
7. السماح للمشاركين بمشاهده لقطات الشاشة بدقه عاليه.
8. تسجيل حركات العين باستخدام برنامج تتبع العين
9. توظيف فلتر تثبيت لتحويل عينه العين الخام البيانات للتحليل. من القائمة الرئيسية ، انقر علي أدوات ≫ إعدادات. حدد علامة التبويب عوامل تصفيه التثبيت. حدد فلتر التثبيت وفقا لمواصفات الشركة المصنعة علي أفضل نوع من الفلتر لتجميع بيانات تتبع العين الاوليه في التثبيتات.
10. في حاله تسجيل بيانات تتبع العين باستخدام أفلام متعددة ، امنح الفواصل بين جلسات التسجيل كلما طلب المشاركون ذلك.

5. ربط الحدائق المشاهدة إلى انطباعات من أشرطه الفيديو

1. قارن مدي مشاهده الأشخاص للكائنات واراءهم في مقاطع الفيديو من خلال مطالبه المشاركين بتقييم كل من المتنزات علي مقياس من 1 إلى 10 ، أولا لمعرفه ما إذا كانوا يشعرون بأنهم سيكونون قادرين علي الراحة والتعافي في تلك البيئة (1 ، ليس كثيرا ، إلى 10 ، كثيرا جدا) وثانيا كم كانوا يحبون الحديقة (1 ، ليس كثيرا ، إلى 10 ، كثيرا جدا).
2. أسال المشاركين ما إذا كانوا سيستخدمون الحديقة للاسترخاء أو تخفيف الضغط (Y/N) وما إذا كانوا يتعرفون علي الحديقة التي كانوا يبحثون فيها (Y/N) للسيطرة علي التاثير المحتمل لارتباط مسبق مع الحديقة.
3. سجل ردود الإجابات القصيرة من المشاركين لشرح انطباعاتهم باستخدام مسجل الصوت ومن ثم نسخها.

6. تحليل الفيديو التلقائي لمنطقه الفائدة استخراج

1. اختيار AOIs
   1. اختيار العناصر التي تهم مصممي الحديقة ، والمصممين الحضريين ، والمخططين أو المهندسين المعماريين ، مثل الأشجار والشجيرات واللافتات والمباني والعشب ، والمسارات ، والخطوات ، الخ.
   2. للحصول علي الأداء الأمثل والحد الأدنى من متطلبات التدريب (مناقشتها أدناه) ، استخدم العناصر التي يمكن تمييزها بصريا بسهوله من بعضها البعض إلى العين المجردة ، و/أو تشغل باستمرار مناطق مختلفه من كل اطار الفيديو. وبصفه عامه ، ينبغي ان تكون الامثله التدريبية الكافية التي تصور الاختلافات البصرية في كل منها كافيه للأداء القوي.
2. [ترينينغ مصنفات] ل [أوى] استخراج
   1. اختيار أطر التدريب التي ستستخدم والعدد والأساس المنطقي
      1. اختيار عدد مناسب من أطر التدريب (يشار اليها من الآن فصاعدا باسم مجموعه التدريب). لا يوجد رقم ثابت مناسب.
         ملاحظه: يجب ان توفر الإطارات تغطيه كافيه لنطاق المظهر المرئي لكل فئة كائن (علي سبيلالمثال ، تلك الكائنات التي سيتم تصنيفها) عبر الفيديو. علي سبيل المثال ، تم العثور علي 40 الإطارات من تسلسل فيديو الإطار 15,000 تصور مشهد واحد الحدائق لتحقيق دقه كافيه. إذا كان التسلسل يحتوي علي تباين كبير في جميع انحاء ثم قد تكون هناك حاجه المزيد من الإطارات.
      2. النظر في محتوي الإطار عند اختيار إطارات التدريب. وتشمل هذه: الاضاءه ، والاشكال فيما يتعلق بما يجري تصنيفه (عليسبيل المثال ، ليس فقط نوع واحد من شجره ولكن مجموعه من أنواع الأشجار ، وموقفهم في الصورة ، والطريقة التي أضاءت ، الخ) ، والملمس ، واللون.
      3. خذ بالاعتبار أيضا عدد الإطارات التي سيتم تضمينها. علي وجه التحديد ، وطول واختلاف الظروف البصرية المعروضة عبر الفيديو يجري تحليلها ، فضلا عن عدد فئات الكائن لتحديد ، وتواتر ظهورها.
   2. وضع علامات البكسل اليدوية لإطارات التدريب
      ملاحظه: الوسم اليدوي للإطارات التدريبية سيربط البيكسلات بفئات الكائنات ذات الاهتمام.
      1. وسم بكسل لأطر التدريب
         1. في المقابل ، افتح كل اطار تدريب من الفيديو في برنامج تحرير الصور.
         2. لكل اطار تدريب من الفيديو ، تراكب طبقه صوره شفافة علي الصورة المحملة لوضع العلامات وإنشاء لوحه ألوان ، وتوفير لون واحد لكل فئة كائن معين من الفائدة (اي ، AOI).
         3. تاكد من ان لوح ألوان وتعيين اللون إلى فئات الكائن هو نفسه طوال عمليه وضع العلامات.
         4. حدد اللون لنموذج AOI.
         5. مناطق اللون من AOIs عينه عن طريق تحديد ، مع النقر بالماوس والسحب ، بكسل داخل المنطقة إلى "اللون في" باستخدام اختيار لوحه المناسبة.
            ملاحظه: من الممكن تلوين الكائنات الكبيرة بشكل غير دقيق. ومع ذلك ، بالنسبة للكائنات الضيقة/الصغيرة من عرض بكسل قليله فقط ، خذ عناية أكبر لضمان ان الوسم اليدوي يلتقط بدقه المظهر المرئي للكائن.
         6. بمجرد الانتهاء من وضع علامة علي الإطار ، يمكنك تصدير الطبقة المتراكبه كملف صوره منفصل. تاكد من ان اسم الملف الأساسي يطابق اسم الملف الأساسي للإطار الأصلي ، ولكن مع إلحاق "c" بالنهاية. علي سبيل المثال ، إذا كان اسم الملف الإطار الأصلي "1234. png" ، ثم يجب ان تكون تسميه الطبقة المسمية "1234c png".
         7. تاكد من تخزين كافة الصور المسمية في مجلد واحد.
      2. وضع علامات البكسل لإطارات التحقق من الصحة
         ملاحظه: للتحقق الكمي من دقه المصنف المدرب ، يجب إنشاء مجموعه اضافيه من الإطارات المسمية.
         1. حدد إطارات من تسلسل الفيديو الأصلي الذي لم يتم اختياره بالفعل ليتم تضمينه في مجموعه التدريب. بالنسبة للفيديو لمده 5 دقائق ، لا تحتاج هذه اللقطات إلى أكثر من 20 اطارا ، ولكن يجب أخذ عينات منها بشكل موحد من خلال تسلسل الفيديو لضمان تغطيه كافيه.
         2. بكسل التسمية في كل اطار باستخدام نفس الاجراء كما هو موضح لاعداد إطارات التدريب (6.2.2). ومع ذلك ، فان هذه المرة تكون دقيقه وشامله قدر الإمكان مع وضع العلامات لان ذلك سيستخدم كمقارنه حقيقية للحقيقة.
         3. عند اكتمال وضع علامة علي اطار ، استخدم اصطلاح التسمية نفسه للتدريب ، ولكن تاكد من حفظ الملفات في مجلد إطارات التحقق من الصحة منفصلة.
   3. الوسم التلقائي بكسل لتسلسل الفيديو
      1. تحميل مكتبه البرامج داروين من http://drwn.anu.edu.au.
         ملاحظه: تم تنفيذ النظام الموصوف في هذه الورقة في بيئة Linux ، التالي يجب تنزيل إصدار Linux من داروين وتثبيته ، وفقا للتعليمات الواردة من الموقع الكتروني.
      2. إطلاق واجهه المستخدم الرسوميه داروين
      3. في واجهه المستخدم الرسوميه داروين ، انقر فوق تحميل تسميات التدريب.
      4. باستخدام مربع حوار مستكشف الملفات الذي يظهر ، حدد المجلد الذي يحتوي علي صور التدريب المسمية لتسلسل الفيديو ذي الصلة.
      5. انقر علي تحميل إطارات الفيديو واتبع نفس الاجراء كما 6.2.3.2 لتحديد المجلد الذي يحتوي علي جميع الإطارات الاصليه للتسلسل الفيديو. وينبغي ان يكون هذا المجلد من الصور ، والتي كل اسم الإطار هو عدد من هذا الإطار في تسلسل الفيديو (عليسبيل المثال، الإطار 1234 سيتم تسميه 1234. png)
      6. انقر فوق زر القطار. ستقوم الخوارزميه الآن بفحص كل اطار تدريب مسمي وتعلم نموذجا لمظهر لتصنيف البيكسلات في اي من فئات الكائنات المحددة ذات الاهتمام.
   4. التحقق من صحة المصنف المدرب
      1. بمجرد اكتمال التدريب ، انقر فوق الزر التحقق من التدريب.
      2. باستخدام مربع حوار مستكشف الملفات ، حدد المجلد الذي يحتوي علي كافة صور التحقق من الصحة المسمية لتسلسل الفيديو ذي الصلة. سيتم الآن استخدام المصنف المدرب لتصنيف البيكسلات في كل من الإطارات المشار اليها في مجموعه التحقق من الصحة. قارن هذا بتسميات الحقيقة الارضيه المتوفرة في مجلد التحقق من الصحة.
         ملاحظه: بمجرد اكتمال ، سيعرض GUI إحصائيات دقه ، بما في ذلك النسبة المئوية من البيكسلات المسمية بشكل صحيح لكل اطار في مجموعه التحقق من الصحة ، وكذلك عبر مجموعه التحقق من الصحة بأكملها.
      3. للتحقق من صحة التسميات التي تم إنشاؤها بشكل مرئي ، انقر فوق الزر التحقق من صحة مرئية . في حاله النقر فوقها ، يتم عرض كل صوره مسماه بجانب اطار التحقق الأصلي.
         ملاحظه: قد يكون هذا مفيدا في تحديد مكان حدوث التصنيفات الخاطئة علي الكائن. علي سبيل المثال ، قد يشير الفحص المرئي إلى حدوث أخطاء بشكل مستمر عبر جزء معين من فئة الكائن ، مما يوحي بأنه من الضروري تحسين وضع العلامات في مجموعه التدريب. وبدلا من ذلك ، قد يظهر الفحص ان الأخطاء تحدث فقط في نقطه زمنيه معينه في الفيديو ، مما يوحي بان هناك حاجه إلى المزيد من أمثله التدريب من تلك الفترة الزمنيه في الفيديو.
      4. وإذا كانت الدقة الملاحظة في التحقق الكمي أو النوعي تقل عن المستويات المقبولة ، فانها تشمل أمثله أخرى للتدريب. في هذه الحالة ، كرر كافة الخطوات من 6.2.2 لتضمين إطارات تدريب اضافيه ، أعاده تدريب المصنف الخطوات التالية في 6.2.3 ، وأعاده التحقق من صحة الخطوات التالية في 6.2.4.
   5. وسم بكسل الفيديو
      1. بمجرد اكتمال مرحله التدريب والتحقق من المصنف ، انقر علي إطارات التسمية علي واجهه المستخدم الرسوميه داروين للبدء في وضع العلامات الكاملة لجميع الإطارات في تسلسل الفيديو باستخدام المصنف المدرب.
      2. اتبع المطالبة لتحديد مجلد وجهه لكافة إطارات الإخراج ، والتي ستكون في شكل صور مسماه باستخدام نفس لوحه ألوان المستخدمة في التدريب.

7. تسجيل بيانات تتبع العين في محتوي الفيديو

1. في برنامج تتبع العين انقر علي ملف ≫ تصدير... تصدير ملف تتبع العين كملف CSV.
2. افتح الملف في برنامج جدول البيانات.
3. من تسلسل الفيديو تحديد الوقت الذي الصليب الأبيض علي اليد اليسرى العليا من الإطار (انظر 2.3) يختفي. استخدم هذا الوقت للتعرف علي تتبع العين باستخدام العمود ذي الصلة في نتيجة تتبع العين. هذه هي بداية جمع البيانات لتعقب العين.
4. أضافه عمود إلى بيانات تعقب العين.
5. باستخدام هذا العمود الجديد تسميه كل صف أو نقطه بيانات تتبع العين مع رقم الإطار بدءا من رقم 1.

8. عرض مقدار الوقت الذي درس فيه المشاركون فئات مختلفه من الكائنات في مقاطع الفيديو

ملاحظه: نظرا للحجم الضخم لبيانات تتبع العين ، يتم استخدام لغة برمجه بيثون بشكل أفضل للخطوات من خلال إلى 8.4 ، علي الرغم من انه يمكن استخدام برنامج معالجه البيانات أيضا.

1. باستخدام رمز بيثون المضمنة ، احسب مقدار التداخل بين الكائنات ذات الاهتمام ووقت وتردد تثبيت تتبع العين.
2. جمع هذه البيانات لفهم مقدار الوقت الذي يقضيه المشاركون في البحث في كائنات مختلفه.
3. استخدم رسما بيانيا لإظهار المقدار الإجمالي للوقت الذي احتلت فيه الكائنات الشاشة.
4. قارن هذا بالمقدار الإجمالي للوقت الذي نظر فيه المشاركون في كائنات مختلفه.
5. لإنتاج خريطة للحرارة في برنامج تتبع العين انقر علي واحده من أشرطه الفيديو المشي بارك باستخدام مربع الاختيار.
6. انقر فوق علامة التبويب خريطة الحرارة .
7. اضبط اللون والميزات الأخرى لخريطة الحرارة حسب الرغبة باستخدام متغيرات "العد" (العدد الإجمالي للتثبيتات التي تم اجراؤها علي النافذة الزمنيه) ، ' المدة المطلقة ' (مده التثبيت المتراكمة) ، و ' المدة النسبية ' (مقدار الوقت المستغرق في النظر إلى كائن مقسوما علي مقدار الوقت المستغرق في النظر إلى المشهد).
8. تصدير الصورة أو الفيديو الذي يتضمن خريطة الحرارة كملف JPEG أو ملف فيديو.

Representative Results

ويبين الشكل 1 والشكل 2 نتيجة أخذ جميع بيانات تتبع العين للفيديو بأكمله في جميع المشاركين وإنتاج خريطة للحرارة ؛ هذا هو النهج القياسية المتاحة في حزم برامج تتبع العين. من خلال مقارنه الشكل 1 والشكل 2 ، من الممكن تحديد ان المشاركين في المتوسط قاموا بفحص اليسار واليمين علي احداثي x للفيديو في الشكل 1 بالمقارنة مع الشكل 2، والذي يظهر شكل مستدير. وهذا لان الشكل 1 كان العناصر الافقيه أكثر في جميع انحاء الفيديو مقارنه مع الحديقة في الشكل 2. الصورة وراء خريطة الحرارة هي اطار واحد ولا تمثل بشكل كاف المحتوي الكامل للفيديو.

نظام تتبع العين سطح المكتب والبرمجيات التهم فقط النتائج حيث يمكن ان تكون موجودة كلا العينين في نفس الوقت. وبعبارة أخرى ، إذا كانت واحده أو كلتا العينين لا يمكن تحديد موقع يتم حساب البيانات كما فقدت. في حالتنا تم التقاط بيانات تتبع العين ل> 80% من الوقت.

ويبين الشكل 3 والشكل 4 نتيجة استخدام البروتوكول واستخدام التعلم الألى لتحليل محتوي مقاطع الفيديو. ويبين الشكل 3 الغطاء النباتي الكثيف لحدائق فيتزوري مقارنه بالغطاء النباتي المتناثر نسبيا في رويال بارك (الشكل 4). في هذا الأخير ، والمزيد من السماء مرئية ، ويهيمن علي المزيد من المشاهد من النباتات شجيرة. يوضح الشكل 5 النسبة المئوية لوقت التثبيت علي الكائنات المختلفة اثناء سير الفيديو لأحد المشاركين. ويظهر انه علي الرغم من ان المسار مرئي بوضوح اثناء سير الفيديو ، الا ان المشارك ينظر إلى هذه الميزة في بعض الأحيان ولكن في النقاط الرئيسية. المثل ، وكما يبين الشكل 6 ، علي الرغم من ان جزءا صغيرا من محتوي الفيديو في رويال بارك يتعلق بالأجسام الاصطناعية ، فان المشارك في الدراسة يفحص هذه الخصائص إلى حد كبير نسبيا.

ويمكن تلخيص النتائج التي توصل اليها الشكل3والشكل 4والشكل 5والشكل 6 في الشكل 7 والشكل 8 لجميع المشاركين ال39 الذين استخدمت بياناتهم في هذه الدراسة. يبين الشكل 7 وقت السكون لجميع المشاركين عند النظر إلى الأشياء طوال مده الفيديو. ويبين الشكل 8 هذه البيانات نفسها مقسومه علي مقدار الوقت والمساحة التي احتلتها هذه الكائنات المختلفة في الفيديو. تشير القيمة 1 إلى انه يمكن حساب وقت السكون بمقدار الكائن في الفيديو. ويبين الشكل 7 ان الأجسام الاصطناعية مثل مصابيح الشوارع والمقاعد يتم السكن فيها إلى حد كبير مقارنه بالأجسام الأخرى (> 1). ويبين الشكل 7 أيضا ان الأجسام التي كانت اقل صله بالموضوع ، مثل السماء في كلا الصورتين ، كانت تعتبر اقل نسبيا (< 1).

الشكل 1: خريطة الحرارة علي سبيل المثال التي يتم إنتاجها للفيديو الكامل لأحد المتنزات. وهذا يبين المكان الذي تقع فيه غالبيه مسارات العين. لاحظ الشكل الأفقي لخريطة الحرارة بسبب هيمنة العناصر الافقيه في الفيديو. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 2: خريطة الحرارة المثال التي يتم إنتاجها للفيديو بأكمله من واحد آخر من الحدائق. لاحظ الشكل الأكثر استدارة بسبب وجود عناصر عموديه وافقيه في الفيديو. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 3: تحليل الرسم البياني للمحتوي في فيديو حدائق فيتزوري باستخدام تقنيه التعلم الألى. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 4: تحليل الرسم البياني للمحتوي في شريط فيديو رويال بارك باستخدام تقنيه التعلم الألى. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 5: وقت تثبيت تتبع العين الذي يقضيه البحث في الكائنات في حدائق فيتزوري. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 6: وقت تثبيت تتبع العين الذي يقضيه البحث في الكائنات في Royal Park. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 7: أوقات التجمع المجمعة لتتبع العين لجميع المشاركين والكائنات لكلا المنتزين. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

الشكل 8: التجميع المجمع لتتبع العين مرات بالنسبة للمحتوي لجميع المشاركين والكائنات لكلا المتنزهين. يرجى النقر هنا لعرض نسخه أكبر من هذا الرقم.

Discussion

بشكل عام ، في حزم البرمجيات القياسية لتحليل بيانات تتبع العين ، يتم استخدام ناقل الحركة المتوسطة. حتى بالنسبة للصورة الثابتة المفردة ، لا يمكن قياس حجم المتجه بسهوله. وعلاوة علي ذلك ، بما في ذلك جميع AOIs في صوره وحساب الكميات النسبية من AOIs شاقه. يكاد يكون من المستحيل القيام بذلك يدويا علي الفيديو دون تقنيه التعلم اله مثل واحده وصفها. وكان هذا عبارة بسيطه نسبيا التي يستنتج حاله مشاهده مجانية. ويمكن استخدام سيناريو أكثر دقه بكثير وأوصاف السيناريو المختلفة قبل نفس الحافز يمكن ان تؤثر أيضا حركات العين¹¹.

استخدمت أبحاثنا طريقه لتصنيف الكائنات بدقه في الفيديو وتحليل مدي وضوحها للعين. وتمثل الطريقة وسيله واحده للمحاسبة عن مدي ارتباط حركات العين بالأشياء ذات الاهميه. وهذا يمكن من مدي وجود الأشياء ذات الاهميه في مجال الرؤية ليتم التحكم فيها عند مقارنه تتبع العين من مواضيع مختلفه بجهاز محمول لتعقب العين ، أو مواقع مختلفه عند استخدام النظام القائم علي سطح المكتب. الاعتبارات التي يمكن ان تؤثر علي التصنيف التلقائي للكائنات باستخدام اله تعلم نستخدمها وتشمل الاضاءه ، والاشكال فيما يتعلق بما يجري تصنيفه (عليسبيل المثال ليس فقط نوع واحد من شجره ولكن مجموعه من أنواع الأشجار ، وموقفهم في الصورة ، والطريقة التي أضاءت الخ) ، والملمس ، واللون. وتشمل الاعتبارات المتعلقة بعدد الإطارات طول واختلاف الظروف البصرية المعروضة عبر الفيديو الذي يجري تحليله ، فضلا عن عدد فئات الكائنات التي يجب تحديدها وتواتر ظهورها. تتغير الإطارات كل 1/25 ثانيه ، ولكن تتبع العين مع البرنامج يحدث عند 1/120 (120 هرتز). لهذا السبب سيتم جمع بيانات تتبع العين في 4.8 مرات معدل ظهور اطار جديد. وليس من الممكن تسميه الإطارات بدقه تامه ولكن ينبغي تغيير وسمها كل 5 مرات. علي سبيل المثال ، تم النظر في بيانات تتبع العين خلال 99 إلى 101 s للإطار من الثانية 100th من الفيديو.

ومن المزايا الهامه لحزم تتبع العين الحالية انها تم اعدادها للسماح للمستخدمين بمراجعه فيلم من التثبيتات والمسارات الخاصة بهم لتتبع العين ووصف لماذا نظروا في أشياء معينه. وينتج عن ذلك مجموعه بيانات نوعيه يمكن ان تكشف لماذا تعتقد المواضيع الفردية انها نظرت إلى أشياء معينه. ومن شان تمديد المشروع ان يبين لهم أيضا مقدار الوقت الذي يقضونه في النظر إلى الأشياء في أوقات مختلفه بالنسبة للمحتوي ، علي سبيل المثال المعلومات المنصوص عليها في الشكل 8. ومع ذلك ، فان القيام بذلك عن طريق التحكم في عدد الكائنات في المشهد بسرعة كافيه غير ممكن حاليا.

فعلي سبيل المثال ، يمكن ان يطلب من المشاركين ان ينظروا إلى مسارات البصر الخاصة بهم التي سجلت وان يصفوا لماذا نظروا في الأجسام المحددة¹². في حالتنا ، في نهاية كل فيلم وطلب من المشاركين لتقييم كل من الحدائق علي مقياس 1-10 ، أولا لما إذا كانوا يشعرون انهم سيكونون قادرين علي الراحة والتعافي في تلك البيئة (1 ، ليس كثيرا ، إلى 10 ، كثيرا جدا) وثانيا كم كانوا يحبون بارك (1 ، ليس كثيرا ، إلى 10 ، كثيرا).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker