الجمع بين بيانات تتبع العين مع تحليل محتوي الفيديو من مجانا-مشاهده فيديو للمشي في بيئة الحديقة الحضرية

تعتمد العديد من دراسات تتبع العين على محفزات الفيديو المعقدة وإعدادات العالم الحقيقي مما يجعل تحليل البيانات معقدًا للغاية. تسمح تقنية التحليل هذه بنهج أكثر ثراءً وأتمتة لتحليل البيانات المستندة إلى الفيديو مقارنة بالطرق المتاحة حاليًا مما يؤدي إلى استخراج بيانات أكثر تعقيدًا. يمكن استخدام هذه الطريقة في العديد من تطبيقات تتبع العين المختلفة خاصة في حالات العالم الحقيقي أو تلك التي تستخدم الفيديو كحافز.

وقد اعتمدت دراسات المناظر الطبيعية على فهم كيفية رد فعل الناس على المحفزات البصرية المختلفة. ويمكن استخدام هذه التقنية جنبا إلى جنب مع تتبع العين لاختبار هذه الافتراضات. بالنسبة لهذا النوع من البحث، يعتبر نهج الفريق ضرورياً لوجود جوانب متعددة تتطلب مدخلات ودراسة رفيعة المستوى.

إظهار الإجراء معي سيكون طالب الدراسات العليا أندرو تريلر. يجب عرض تسلسلات الفيلم في مختبر تتبع العين الذي يتوفر فيه الضوء الطبيعي ولكن يمكن التحكم فيه لتجنب الانعكاسات على الشاشة على أكبر شاشة ممكنة لاحتلال أكبر قدر ممكن من المجال البصري ، وبالتالي تجنب الانحرافات من خارج مجال الرؤية. بعد جلوس المشارك على بعد 60-65 سنتيمترًا من الشاشة ، اطلب منهم تخيل الحاجة إلى الترميم باستخدام جملة تسمح للمشارك بالتخيل في سياق فيديو تتبع العين.

ثم تشغيل الأفلام للمشارك في ترتيب عشوائي محدد مسبقا باستخدام جهاز تتبع العين سطح المكتب لتسجيل حركات العين المشارك خلال كل فيديو. لتصميم منطقة ذات أهمية، حدد العناصر التي تهم الدراسة مثل الأشجار والشجيرات واللافتات والمباني والمسارات والخطوات. للحصول على الأداء الأمثل ومتطلبات التدريب الدنيا، استخدم العناصر التي يسهل تمييزها بصريًا عن بعضها البعض بالعين المجردة و/أو التي تشغل باستمرار مناطق مختلفة من كل إطار فيديو.

بشكل عام، يجب أن يكون تضمين أمثلة تدريبية كافية تصور الاختلافات البصرية التمييز بين كل AOI كافية لأداء قوي. عندما يتم تعديل كافة العناصر، حدد عدد مناسب من إطارات التدريب لتعويض مجموعة التدريب. لا يوجد رقم ثابت مناسب.

بعد ذلك، افتح كل إطار تدريب من الفيديو في برنامج تحرير الصور ولكل إطار تراكب طبقة صورة شفافة على الصورة المحملة لوضع العلامات وإنشاء لوحة ألوان توفر لونًا واحدًا لكل فئة من فئات الكائنات المعطاة. لتحديد لون منطقة العينة التي تهمك، انقر واسحب البيكسلات داخل منطقة للتلوين في منطقة من العينة مع اختيار لوحة الألوان المناسبة. بمجرد اكتمال تسمية الإطار، قم بتصدير الطبقة المتراكبة كملف صورة منفصل مع الحرص على أن اسم الملف الأساسي يطابق اسم الملف الأساسي للإطار الأصلي ولكن مع C ملحق إلى النهاية.

للتحقق من صحة كمية دقة المصنف المدربين، حدد إطارات من تسلسل الفيديو الأصلي لم يتم اختياره بالفعل ليتم تضمينه في مجموعة التدريب وتسمية البيكسلات في كل إطار كما هو موضح للتو لإطارات التدريب كونها دقيقة وشاملة قدر الإمكان. عند اكتمال تسمية إطار استخدام نفس اصطلاح التسمية كما للتدريب، حفظ الملفات في مجلد إطارات التحقق من صحة منفصلة. للحصول على تسمية البكسل التلقائية من تسلسل الفيديو، قم بتشغيل واجهة مستخدم الرسوم البيانية داروين وانقر فوق تحميل تسميات التدريب.

لتكوين واجهة المستخدم الرسومية للتدريب ووضع العلامات، حدد إنشاء مشروع وقم بتوفير اسم للمشروع باستخدام مربع الحوار المنبثق. حدد المجلد الذي يحتوي على كافة الإطارات الأصلية من تسلسل الفيديو في النافذة المنبثقة. باستخدام مربع حوار مستكشف الملفات المنبثقة، حدد المجلد الذي يحتوي على صور التدريب المسماة للتسلسل الفيديو ذات الصلة.

وفي مربع حوار مستكشف الملفات، حدد المجلد الذي يحتوي على كافة صور التحقق من الصحة المسماة للتسلسل الفيديو ذات الصلة. اتبع المطالبة لتحديد مجلد الوجهة لكافة إطارات الإخراج التي ستكون في شكل صور تحمل علامات باستخدام نفس لوحة الألوان المستخدمة في التدريب. باستخدام مربع الحوار المنبثقة، تحت مناطق الاهتمام، أدخل المناطق ذات الأهمية للتسمية بما في ذلك القيم الحمراء /الخضراء / الزرقاء المستخدمة لوضع علامة على كل منطقة في أمثلة التدريب.

سوف تقوم الخوارزمية بفحص كل إطار تدريب مسمى وتعلم نموذج للمظهر لتصنيف البيكسلات في أي من فئات الكائنات المحددة ذات الاهتمام. بمجرد اكتمال التدريب، انقر فوق التحقق من صحة التدريب. وفي مربع حوار مستكشف الملفات، حدد المجلد الذي يحتوي على كافة صور التحقق من الصحة المسماة للتسلسل الفيديو ذات الصلة.

للتحقق من صحة التسميات التي تم إنشاؤها بشكل مرئي، انقر فوق التحقق من صحة المرئي. سيتم عرض كل صورة تم إنشاؤها باسم بجوار إطار التحقق الأصلي. وإذا كانت الدقة التي لوحظت في التحقق الكمي أو النوعي أقل من المستويات المقبولة، فإن تدرج أمثلة تدريبية إضافية وتُعَدَّد بها.

بمجرد اكتمال مراحل تدريب المصنف والتحقق من صحتها، انقر فوق استدلال التشغيل لبدء وضع العلامات الكاملة لكافة الإطارات في تسلسل الفيديو باستخدام المصنف المدرب. بمجرد اكتمال التسمية، والتي قد تستغرق عدة ساعات، انقر فوق استعراض الإخراج لمشاهدة التسميات الناتجة. معظم برامج تتبع العين سوف تظهر لك أنه في المتوسط، المشاركين مسحها ضوئيا اليسار واليمين على إحداثي س من الفيديو في الفيديو الأول مقارنة مع الفيديو الثاني الذي خريطة الحرارة يظهر شكل مستدير.

باستخدام تقنية وضع العلامات بكسل التعلم الآلي المذكورة في هذه الورقة، يمكننا أن نرى المزيد من التفاصيل. هذا التمثيل الرسومي من وقت التثبيت النسبة المئوية يظهر أن المسار مرئياً بوضوح أثناء سير الفيديو. ومع ذلك ، كما يظهر هذا الرقم من بيانات تتبع العين ، لم ينظر المشارك إلى هذه الميزة إلا في بعض الأحيان في النقاط الرئيسية.

هنا يتم عرض ملخص لوقت الإسهاب لجميع المشاركين الـ 39 في هذه الدراسة التمثيلية عند النظر إلى الأشياء طوال طول الفيديو. في هذا الرسم البياني، تم تقسيم نفس البيانات الزمنية للأماكن التي تم تقسيمها على مقدار الوقت والمساحة التي احتلتها الكائنات المختلفة في الفيديو. تشير قيمة واحدة إلى أن وقت الإسهاب يمكن حساب مقدار الكائن في الفيديو.

على سبيل المثال، كانت الكائنات التي كانت أقل صلة بالموضوع مثل السماء في كلتا الصورتين أقل نسبيا من الكائنات الأخرى. وسكنت أجسام اصطناعية مثل مصابيح الشوارع والمقاعد إلى حد أكبر بالمقارنة مع الأشياء الطبيعية الأخرى. يمكن أن يكون لهذه الأنواع من التحليل العديد من الاستخدامات واسعة النطاق للنظر في مسائل الاهتمام والوثاقة ويمكن أن يكون لها العديد من التطبيقات واسعة النطاق في مجالات البحث المختلفة.

كما يصبح استخدام الأفلام القصيرة والمحفزات البصرية شائعة على نحو متزايد، ونحن نتوقع أن تصبح هذه التقنية أكثر شعبية.