استخدام vmTracking لتحسين دقة تقدير وضعية المتعددة في دراسات السلوك الاجتماعي للقوارض

Summary

يقدم هذا البروتوكول vmTracking ، وهي طريقة تتيح تتبع الوضعيات بدقة عالية في مقاطع الفيديو للعديد من التي تتحرك بحرية وبدون علامات ، حتى في ظل الظروف المزدحمة حيث يتم تجميع بكثافة. يوفر هذا النهج بيانات موثوقة لتحليل التفاعلات الاجتماعية التي تحدث في البيئات شبه الطبيعية حيث يمكن للحيوانات التحرك بحرية.

Abstract

في أبحاث السلوك الاجتماعي باستخدام القوارض ، هناك طلب متزايد على تقييم المزيد من السلوكيات التفاعلية الطبيعية في ظل ظروف الحركة بحرية. يعد التتبع الدقيق للوضع لحيوانات متعددة أمرا ضروريا لهذا الغرض. ومع ذلك ، تواجه أدوات تتبع وضعية المتعددة الحالية التي لا علامات عليها تحديا كبيرا: تميل دقة التتبع إلى الانخفاض في ظل ظروف الانسداد والازدحام. تصبح هذه المشكلة واضحة بشكل خاص عندما لا يمكن تمييز بصريا عن بعضها البعض. للتغلب على هذه المشكلة ، قمنا بتطوير تتبع العلامات الافتراضية (vmTracking) ، وهي طريقة تعمل على تحسين دقة تتبع وضعيات المتعددة في ظل مثل هذه الظروف الصعبة من خلال الحفاظ على الهوية الفردية عبر الإطارات باستخدام علامات افتراضية. يمكن أيضا تطبيق vmTracking على بيانات الفيديو متعددة الموجودة بدون علامات من خلال دمج خطوات معالجة إضافية تضيف تسميات هوية فردية إلى مهام سير عمل التتبع القياسية. هنا ، نصف كلا من طريقة تعيين العلامات الافتراضية وبروتوكول تتبع في مقاطع الفيديو المسماة الناتجة. يوفر التتبع متعدد عالي الدقة الذي تم تمكينه بواسطة vmTracking أساسا موثوقا به للتحليلات الكمية اللاحقة للتفاعلات الاجتماعية في ظل ظروف شبه طبيعية.

Introduction

أكدت الأبحاث حول السلوك الاجتماعي للقوارض بشكل متزايد على دراسة التفاعلات في سياقات اجتماعية أكثر طبيعية¹. تم استخدام الأساليب التقليدية ، مثل اختبار الغرف الثلاث ، على نطاق واسع لتقييم التواصل الاجتماعي والتفضيل الاجتماعي² ، لكن هذه النماذج تلتقط فقط جوانب مبسطة للتفاعل الاجتماعي³. لتلبية هذه الحاجة ، أصبحت DeepLabCut (maDLC) ⁴ متعددة و Social LEAP Estimates Animal Poses (SLEAP) ⁵ أدوات لا غنى عنها لتتبع الوضعيات بدون علامات لحيوانات متعددة في ظروف الحركة الحرة ، مما يوفر تقنية متقدمة قائمة على التعلم العميق لتتبع وضعيات المتعددة بدون علامات. ومع ذلك ، في البيئات المزدحمة حيث تكون على مقربة ، تكون هذه الأدوات عرضة لتتبع الأخطاء مثل فشل التنبؤ ومفاتيح الهوية (ID). غالبا ما يتطلب تحقيق بيانات موثوقة في ظل هذه الظروف تصحيحا يدويا شاملا.

يفتح التتبع الدقيق للوضعيات للعديد من التي تتحرك بحرية الباب للتحقيق في ديناميكيات اجتماعية أكثر تعقيدا. على سبيل المثال ، تسمح بيانات التتبع التفصيلية بتقييم العلاقات بين القائد والمتابعين ، وسلوكيات تجنب النهج أثناء الحركة ، وأنماط التفاعل الدقيقة الأخرى التي لا يمكن تقييمها بشكل موثوق باستخدام المقايسات السلوكية التقليدية. تعمل هذه التطورات على توسيع فائدة التتبع متعدد إلى ما هو أبعد من المقاييس الوصفية البسيطة نسبيا للسلوك ، مما يتيح تحليلات التفاعلات الاجتماعية الأكثر تعقيدا.

تتمثل إحدى طرق تحسين دقة التتبع في التمييز بوضوح بين الفردية. على سبيل المثال ، أظهر Bordes⁶ تتبعا متزامنا لماوس CD1 أبيض وماوس C57BL / 6N أسود باستخدام DeepLabCut (saDLC^{) 7} لحيوان واحد. تشير هذه النتيجة إلى أنه عندما تكون قابلة للتمييز بصريا ، يكون التتبع الفردي الدقيق ممكنا. ومع ذلك ، فإن استخدام العلامات المادية لتحديد الهوية قد يغير السلوكيات الطبيعية. حتى الطرق طفيفة التوغل ، مثل زرع علامات تحديد الترددات^{الراديوية 8} ، تثير مخاوف بشأن آثارها المحتملة على السلوك.

هنا ، نقدم طريقة تتبع وضعية متعددة تستخدم علامات افتراضية (vmTracking) ⁹ لتحديد الفرد غير الغازي. يتطلب التقييم الدقيق للسلوك الاجتماعي ، مع مراعاة سياقه الاجتماعي ، بيانات تتبع متعددة دقيقة للغاية. تم تطوير vmTracking لتلبية هذه الحاجة من خلال توفير بروتوكول موثوق به - بدلا من برنامج أو خوارزمية جديدة - للحصول على بيانات التتبع عالية الجودة باستخدام الأدوات الحالية مثل DLC. لذلك ، فإن التحليل السلوكي الاجتماعي المستند إلى هذه البيانات يتجاوز نطاق هذا البروتوكول. يتضمن vmTracking خطوتين رئيسيتين: إضافة علامات افتراضية إلى مقاطع الفيديو بدون علامات وتتبع مقاطع فيديو العلامات الافتراضية الناتجة. تتيح هذه الطريقة تتبع الوضع بدقة عالية دون الحاجة إلى علامات مادية ، حتى في الظروف التي تنطوي على ثلاثة أو أكثر لا يمكن تمييزها بصريا من نفس السلالة. من خلال السماح بالتتبع الموثوق به في ظل ظروف شبه طبيعية ، يوفر vmTracking أداة فعالة للنهوض بالبحث حول التفاعلات الاجتماعية المعقدة ، مع التطبيقات المحتملة عبر العلوم السلوكية وعلم النفس وعلم الأعصاب.

Protocol

تمت الموافقة على جميع الإجراءات التجريبية من قبل لجنة رعاية واستخدامه بجامعة دوشيشا (الموافقة رقم A23068). تم إيواء الفئران C57BL / 6J (انظر جدول المواد) في مجموعات من 2-3 لكل قفص في ظل ظروف خاضعة للرقابة تتراوح من 24 إلى 26 درجة مئوية ، دورة ضوئية / داكنة لمدة 12 ساعة ، مع إمكانية الوصول إلى الغذاء والماء. تم جمع جميع التسجيلات السلوكية خلال مرحلة الضوء. يظهر سير العمل العام لعملية vmTracking ، جنبا إلى جنب مع لقطات من مثال ، في الشكل 1.

ملاحظة: vmTracking ليس برنامجا أو خوارزمية جديدة ولكنه بروتوكول يستخدم وظائف DLC الحالية لزيادة دقة التتبع متعددة. وبالتالي ، يصف جزء كبير من الخطوات التالية عمليات واجهة مستخدم رسومية محددة (GUI) داخل DLC لضمان قابلية التكرار.

1. إعداد بيانات الفيديو متعددة بدون علامات

ملاحظة: يمكن تعديل المعلمات التجريبية وفقا للدراسة المحددة.

1. ضع ثلاثة فئران C57BL / 6J في حقل دائري مفتوح بأرضية بيضاء وجدران شفافة (قطر 31 سم × ارتفاع 17 سم ؛ انظر جدول المواد) ، واسمح لها بالتحرك بحرية.
2. باستخدام عرض الكاميرا من أعلى إلى أسفل، قم بتسجيل لمدة 60 دقيقة تقريبا بدقة 460 × 460 بكسل ومعدل إطارات 30 إطارا في الثانية (انظر جدول المواد).

2. إنشاء فيديو علامة افتراضي

1. قم بإجراء تتبع الوضع القياسي بدون علامات باستخدام maDLC في الإصدار 2.2.3 من المحتوى القابل للتنزيل (الشكل 2؛ راجع جدول المواد).
   ملاحظة: في الخطوات أدناه، يتم عرض أسماء قائمة علامات تبويب واجهة المستخدم الرسومية (GUI) للمحتوى القابل للتنزيل وإعدادات المعلمات بخط غامقلتوضيح العمليات في المحتوى القابل للتنزيل. يتم تنفيذ جميع الإجراءات باستخدام الإعدادات الافتراضية ما لم ينص على خلاف ذلك. للحصول على إرشادات مفصلة حول استخدام المحتوى القابل للتنزيل، يرجى الرجوع إلى الوثائق الرسمية¹⁰.
   1. قم بإنشاء مشروع متعدد في إدارة المشروع (الشكل التكميلي 1) لتتبع الفيديو بدون علامات. قم بتعديل حقول الأفراد وأجزاء الجسم في ملف config.yaml وفقا لمتطلبات التحليل. في هذا البروتوكول ، يتم استخدام الفرد 1 إلى الفرد 3 والجسم 1 إلى الجزء 6. جميع الإعدادات الأخرى اختيارية.
      ملاحظة: يمكن ضبط المعلمات numframes2pick (عدد الإطارات المستخرجة) وحجم النقطة (حجم العلامة) بناء على ظروف الفيديو وحمل عمل المجرب. لم يتم اختبار الإعدادات الأخرى بشكل منهجي في جميع الظروف الممكنة. ومع ذلك ، تم تأكيد التتبع الناجح باستخدام التكوينات الافتراضية.
   2. استخراج الإطارات من الفيديو في إطارات الاستخراج (الشكل التكميلي 1) لوضع العلامات والتدريب اللاحقين. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
   3. قم بتسمية كل إطار مستخرج في بيانات التسمية (الشكل التكميلي 1) ، مع تعيين أجزاء الجسم المناسبة لكل فرد مرئي دون الحفاظ على معرفات متسقة بين الإطارات.
   4. قم بإنشاء مجموعة بيانات تدريب من الإطارات المستخرجة في إنشاء مجموعة بيانات التدريب (الشكل التكميلي 1). في هذا البروتوكول، قم بتعيين الشبكة إلى dlcrnet_ms5. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
   5. ابدأ تدريب الشبكة في Train (الشكل التكميلي 1). في هذا البروتوكول، يتم تعيين معلمة الحد الأقصى للتكرارات على 200,000 للتدريب. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
   6. تقييم الشبكة المدربة في التقييم (الشكل التكميلي 1). قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
   7. قم بتشغيل تقدير الوضع على مقاطع الفيديو المحددة في تحليل مقاطع الفيديو (الشكل التكميلي 1) ، وإنشاء بيانات إحداثيات .h5 وملفات الإخراج الأخرى في مجلد مقاطع الفيديو داخل مجلد المشروع. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
      ملاحظة: إذا كانت مجموعة بيانات التدريب غير كافية، فقد يفشل التحليل في إنشاء ملفات إحداثيات .h5. في هذه الحالة، أعد التشغيل من الخطوة 2.1.2.
   8. التحقق اليدوي من قبل المجرب.
      1. قم بإنشاء فيديو تتبع مسمى في إنشاء مقاطع فيديو (الشكل التكميلي 1). حدد الخيار إنشاء فيديو بمعرف ملون؟ في واجهة المستخدم الرسومية للمحتوى القابل للتنزيل، وقم بإنشاء فيديو تتبع مسمى (الشكل 2A، maDLC). قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
      2. افحص مقاطع الفيديو المصنفة (الشكل 2A، maDLC) للتحقق من محولات المعرف والتنبؤات المفقودة. إذا لوحظت أخطاء ملحوظة، فقم بإجراء إعادة التدريب (انظر الخطوة 3.8.1.2). إذا لم يتم إجراء إعادة التدريب، فانتقل إلى الخطوة 2.2.
         ملاحظة: إعادة التدريب ليست إلزامية، ولكنها تعمل على تحسين الدقة وتقليل عبء العمل في الخطوات اللاحقة.
      3. لإعادة التدريب ، قم باستخراج الإطارات المتطرفة والتعليق عليها في استخراج / تحسين القيم المتطرفة (الشكل التكميلي 1). بعد اكتمال التعليق التوضيحي، انقر فوق الزر دمج مجموعة البيانات للمتابعة تلقائيا إلى إنشاء مجموعة بيانات التدريب، ثم كرر من الخطوة 2.1.4 فصاعدا.
2. قم بتصحيح نتائج maDLC لإنشاء فيديو علامة افتراضي (الشكل 3).
   1. باستخدام واجهة المستخدم الرسومية (GUI)¹¹ المخصصة (الشكل 3 ب)، احتفظ فقط بالنقاط الرئيسية المحددة للعلامات الظاهرية واستبدل جميع النقاط الأخرى ب NaN في ملف .h5. هذا الانخفاض في النقاط الرئيسية يقلل من عبء العمل لخطوات التصحيح اللاحقة (الشكل 3 ج ، ه). في هذا البروتوكول ، يتم استخدام أجزاء الجسم 2 و 4.
      ملاحظة: يوصى بتحديد نقطتين رئيسيتين تحددان متجه محور الجسم بكفاءة. قد يفشل تنفيذ تعقب maDLC الأولي باستخدام النقاط الرئيسية المخصصة كعلامات ظاهرية فقط في إنشاء ملف .h5 في الخطوة 2.1.4. لذلك ، يوصى بإجراء التتبع الأولي مع مجموعة أكبر من النقاط الرئيسية.
   2. باستخدام Refine tracklets (الشكل التكميلي 1) ، قم بتصحيح ملف .h5 من الخطوة السابقة ، والذي يحتوي فقط على النقاط الرئيسية المحددة. قم بتصحيح النقاط الرئيسية بحيث يحتفظ كل فرد بمعرف ثابت طوال الفيديو (الشكل 3E ، F). حفظ الملف؛ سيتم تحديث ملف .h5 في مجلد مقاطع الفيديو تلقائيا.
   3. قم بإنشاء مقطع فيديو مسمى مع تسميات لون المعرف من البيانات المصححة في إنشاء مقاطع فيديو (الشكل التكميلي 1 ، الشكل 3 أ ، علامة افتراضية). في المحتوى القابل للتنزيل 2.2 ، سيمنع مقطع فيديو مسمى موجود في مجلد مقاطع الفيديو إنشاء مقطع فيديو جديد. قم بإزالة الملف أو إعادة تسميته أو نقله قبل المتابعة. هنا ، قم بتعيين حجم العلامة على 2 في ملف التكوين ، باستخدام أصغر حجم يسمح بتحديد الهوية دون حجب في مجموعة البيانات هذه.
   4. أعد تسمية الفيديو الذي تم إنشاؤه إلى اسم ملف قصير لمنع الأخطاء أثناء معالجة المحتوى القابل للتنزيل عند إعادة التتبع في الخطوة التالية باستخدام saDLC.

3. قم بإجراء تتبع الوضع لفيديو العلامة الافتراضي باستخدام saDLC (الشكل 4)

ملاحظة: يتم تنفيذ جميع الإجراءات باستخدام إعدادات واجهة المستخدم الرسومية الافتراضية للمحتوى القابل للتنزيل ما لم ينص على خلاف ذلك.

1. قم بإنشاء مشروع saDLC جديد في إدارة المشروع (الشكل التكميلي 2) لتتبع فيديو العلامات الافتراضية. في هذا البروتوكول ، قم بإدراج جميع مجموعات الأفراد وأجزاء الجسم في حقل أجزاء الجسم في ملف config.yaml (على سبيل المثال ، individual1-bodypart1 ، individual2-bodypart1 ، ...، individual3-bodypart6). جميع الإعدادات الأخرى اختيارية.
   ملاحظة: كما في الخطوة 2.1.1، يمكن ضبط المعلمات numframes2pick وحجم النقطة وفقا لظروف الفيديو وحمل عمل المجرب. تم تأكيد التتبع الناجح باستخدام التكوينات الافتراضية.
2. استخراج الإطارات من فيديو العلامة الظاهري في إطارات الاستخراج (الشكل التكميلي 2). قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
3. قم بتسمية كل إطار مستخرج في بيانات التسمية (الشكل التكميلي 2) ، باستخدام العلامات الافتراضية لتعيين المعرفات الفردية بحيث تتطابق كل من المعرفات وأجزاء الجسم عبر الإطارات (الشكل 3B-D). عندما يكون معرف الفرد معروفا ويكون جزء من الجسم مخفيا جزئيا ، قم بتقدير موضعه ووضع الملصق وفقا لذلك. إذا تعذر تحديد المعرفات الفردية بشكل فريد (على سبيل المثال، علامات افتراضية ل ≥2 فرد مفقودة في الإطار)، فلا تقم بتسمية أجزاء الجسم هذه.
4. قم بإنشاء مجموعة بيانات تدريب من الإطارات المستخرجة في إنشاء مجموعة بيانات التدريب (الشكل التكميلي 2). في هذا البروتوكول، قم بتعيين الشبكة إلى efficientnet-b0. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
5. ابدأ تدريب الشبكة في Train (الشكل التكميلي 2). في هذا البروتوكول، قم بتعيين المعلمة الحد الأقصى للتكرارات إلى 200,000 للتدريب. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
6. تقييم الشبكة المدربة في التقييم (الشكل التكميلي 2). قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
7. قم بتشغيل تقدير الوضعية على مقاطع الفيديو المحددة في تحليل مقاطع الفيديو (الشكل التكميلي 2) ، وإنشاء بيانات إحداثيات .h5 وملفات الإخراج الأخرى في مجلد مقاطع الفيديو. قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
8. التحقق اليدوي من قبل المجرب.
   1. قم بإنشاء فيديو تتبع مسمى في إنشاء مقاطع فيديو (الشكل التكميلي 2). قم بتعيين جميع المعلمات الأخرى على قيمها الافتراضية.
   2. افحص مقاطع الفيديو المصنفة (الشكل 4A، vmTracking) للتحقق من عدم تناسق التتبع. أعد التدريب حتى يرضى المجرب عن النتائج. إذا لم تكن إعادة التدريب مطلوبة ، فهذا الإجراء مكتمل.
      ملاحظة: بعد تأكيد نتائج التتبع المرضية، يمكنك إنشاء فيديو بجودة العرض التقديمي بدون علامات افتراضية (الشكل 5)، وإخراج نتائج التتبع على الفيديو الأصلي بدون علامات بدلا من فيديو العلامة الافتراضي في إنشاء مقاطع فيديو (الشكل التكميلي 2). استبدل فيديو العلامة الافتراضية في مجلد مقاطع الفيديو بالفيديو بدون علامات، وأعد تسميته ليطابق اسم ملف فيديو العلامة الافتراضية المستخدم سابقا في التحليل. بالنسبة إلى المحتوى القابل للتنزيل 2.2 ، تأكد من عدم وجود مقاطع فيديو مصنفة في المجلد قبل إنشاء الفيديو الجديد (الشكل 5B ، C).
   3. لإعادة التدريب ، قم باستخراج الإطارات الخارجية والتعليق عليها في استخراج / تحسين القيم المتطرفة (الشكل التكميلي 2). بعد اكتمال التعليق التوضيحي، انقر فوق الزر دمج مجموعة البيانات للمتابعة تلقائيا إلى إنشاء مجموعة بيانات التدريب، ثم كرر من الخطوة 3.1.4 فصاعدا.

Results

تم تقييم دقة التتبع بالمقارنة مع الحقيقة الأرضية التي تم إنشاؤها يدويا (GT). تم استخراج عشرين مشهدا من 5 أو 10 ثوان وتصنيفها على أنها إما مشاهد مزدحمة (CR) ، والتي تضمنت تداخلات مثل عبور مسارات الفئران (12 مشهدا ؛ ما مجموعه 1,950 إطارا) ، أو مشاهد غير مزدحمة (nCR) بدون تداخلات (8 مشاهد ؛ إجمالي 1,350 إطارا). تم احتساب توقعات التتبع في نطاق 10 بكسل من موضع GT على أنها تطابقات (مطابقة) ؛ تم احتساب التنبؤات ≥على بعد 10 بكسل على أنها إيجابيات كاذبة (FP) ؛ وتم احتساب التنبؤات المفقودة على أنها سلبيات كاذبة (FN). بالإضافة إلى ذلك، إذا اختلفت الهوية المتوقعة عن تلك الموجودة في الإطار السابق مباشرة، احتسابها كمفتاح معرف.

بالمقارنة مع maDLC (الشكل 6) ، أظهر vmTracking تحسنا كبيرا في المطابقة في كل من مشاهد CR و nCR (الشكل 6 أ ، CR: ص < 0.001 ؛ الشكل 6E ، nCR: ص < 0.01). في كلا النوعين من المشاهد ، لم تحدث أي FNs ، وتم تقليل عدد FNs بشكل كبير باستخدام vmTracking (الشكل 6B ، CR: p < 0.001 ؛ الشكل 6F ، nCR: ص < 0.05). لم تظهر أعداد FP (الشكل 6C و 6G) ومفتاح المعرف (الشكل 6D ، H) أي تغييرات في أي من نوعي المشهد. يتم تقديم مقارنة جنبا إلى جنب لنتائج التتبع التي تم الحصول عليها باستخدام vmTracking و maDLC التقليدي ، مما يسلط الضوء على الدقة والاستقرار المحسنة ل vmTracking في ظل الظروف المزدحمة (الفيديو التكميلي 1).

قمنا أيضا بفحص العلاقة بين عدد إطارات التعليقات التوضيحية وكل من Match و FN لمشاهد CR في maDLC و vmTracking (الشكل 6I). في maDLC ، استقرت المباراة عند حوالي 85٪ مع حوالي 400 إطار تعليق توضيحي ، مع مزيد من التحسن مع زيادة العدد. لم تؤد زيادة أطر التعليقات التوضيحية للتدريب إلى تقليل FNs. في المقابل ، أظهر vmTracking زيادة مطردة في المطابقة مع المزيد من إطارات التعليقات التوضيحية ، حيث وصلت إلى ما يقرب من 95٪ عند حوالي 1,000 إطار.

تم تصنيف العلامات الافتراضية إلى ست فئات بناء على أنماط التعيين الخاصة بها ، وتم استخدام نسبة كل فئة كمؤشر لدقة العلامة الافتراضية لفحص علاقتها بتتبع المطابقة (الشكل 6J). تميل المشاهد التي تحتوي على نسبة أعلى من العلامات الافتراضية المعينة بشكل صحيح إلى إظهار تطابق أعلى. ومع ذلك ، فإن بعض المشاهد التي كانت فيها نسبة العلامات الصحيحة منخفضة ، إما بسبب العديد من المهام غير الصحيحة أو العديد من العلامات المفقودة ، لا تزال تعرض تطابقا عاليا (على سبيل المثال ، مشاهد CR 3 و 11).

الشكل 1: نظرة عامة على سير عمل vmTracking. (أ) رسم تخطيطي لسير عمل vmTraking. أولا ، قم بإجراء maDLC على الفيديو بدون علامات (I). استنادا إلى بيانات تتبع maDLC الناتجة، قم بتصحيح الإخراج بحيث يحتفظ كل فرد بمعرف متسق في جميع أنحاء الفيديو، وقم بإنشاء فيديو مسمى يعرض فقط مجموعة فرعية محددة من النقاط الرئيسية (II). باستخدام الملصقات الموجودة في هذا الفيديو كعلامات افتراضية، تتبع فيديو العلامة الافتراضية باستخدام saDLC (III). (ب) يتم عرض مثالين على vmTracking كلقطات من كل مرحلة من مراحل العملية. تظهر الصورة في أقصى اليسار العرض الكامل ، والصور الموجودة على اليمين عبارة عن مناظر مكبرة للمناطق المحاطة بمربعات صفراء. تشير الأشرطة البرتقالية في الزوايا اليمنى السفلية من الصور إلى المقاييس: 5 سم لصورة "بدون علامات (نظرة عامة)" و 1 سم لجميع الصور الأخرى. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 2: سير عمل تتبع المتعددة بدون علامات باستخدام maDLC. ويرتبط هذا الرقم بالخطوة 2-1 من البروتوكول. (أ) تم اقتباس اللوحات من الشكل 1 ب وتوضح العملية الأولى (تتبع المتعددة بدون علامات) الموضحة في الشكل 1 أ. من أجل الوضوح ، يتم تحديد كل بخط متقطع. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 1 سم. (ب د) لقطات من الإطارات المستخدمة للتسمية أثناء تنفيذ maDLC. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 5 سم. (ب) مثال على الإطار قبل تطبيق الملصقات. (ج) نفس الإطار الوارد في باء، بعد وضع الوسم. (د) مثال على إطار آخر مسمى هوية الأفراد بين الإطارين C و D غير معروفة ، ولكن لا يلزم مراعاة الهوية الفردية عند وضع العلامات. كما هو موضح في اللقطات ، يكفي تسمية وضعية كل بشكل صحيح. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 3: سير العمل لإنشاء فيديو علامة افتراضي استنادا إلى نتائج maDLC. ويرتبط هذا الرقم بالخطوة 2.2 من البروتوكول. (أ) اللوحات مقتبسة من الشكل 1 باء وتوضح العملية الثانية (إنشاء علامة افتراضية) الموضحة في الشكل 1 ألف. من أجل الوضوح ، يتم تحديد كل بخط متقطع. تشير الأسهم البيضاء إلى النقاط الرئيسية المستخدمة كعلامات افتراضية (النقطتان الرئيسيتان 2 و 4 لكل معرف). في هذا المثال، يتم إخراج العلامات الافتراضية بتدرج الرمادي: تظهر تسميات maDLC الأرجواني والأخضر والأحمر باللون الأسود والرمادي والأبيض على التوالي. في المثال 1، تم إخراج نتائج maDLC مباشرة كعلامات افتراضية دون تصحيح. في المثال 2 ، تم تبديل المعرفات الأرجوانية والحمراء وتصحيحها قبل الإخراج ، بسبب مفتاح المعرف في إطارات متتالية. تم التغاضي عن نقطة خضراء في نتيجة maDLC التي كان يجب تصحيحها وإخراجها دون تعديل. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 1 سم. (ب) واجهة المستخدم الرسومية المستندة إلى Python لتحرير ملفات بيانات إحداثيات h5 للاحتفاظ بنقاط رئيسية محددة فقط واستبدال جميع النقاط الأخرى ب NaN¹¹. (ب) نافذة القائمة الأولية عند تشغيل البرنامج. حدد الملف المراد تحريره عبر الزر تحديد ملف h5. (ب ب) نافذة بعد تحديد ملف h5. تحقق من النقاط الرئيسية المراد استبدالها ب NaN (معروضة كاسم جزء نص الاسم الفردي)، وحدد إما أوقات البدء والانتهاء (مع معدل الإطارات) أو أرقام الإطارات لاستبدال NaN. يؤدي النقر فوق معالجة البيانات إلى حفظ الملف الذي تم تحريره في نفس المجلد وإنشاء نسخة احتياطية من الملف الأصلي. (ج) إطارات متتالية من مشهد حدث فيه تبديل المعرف. (د) مثال على تصحيح جميع نقاط التتبع من باء. (ه) لقطة توضح النتيجة من B مع الاحتفاظ بالنقطتين الرئيسيتين 2 و 4 فقط. (و) مثال على تصحيح النتيجة في E. بالمقارنة مع تصحيح جميع النقاط الرئيسية (C → D) ، فإن قصر التصحيح على نقطتين (C → E → F) يقلل من عدد التعديلات المطلوبة. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة C-F إلى شريط مقياس 5 سم. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 4: سير العمل لتتبع فيديو العلامة الافتراضية. ويرتبط هذا الرقم بالخطوة 3 من البروتوكول. (أ) تم اقتباس اللوحات من الشكل 1 ب وتوضح العملية الثالثة (تتبع فيديو العلامة الافتراضية) الموضحة في الشكل 1 ألف. يتم إرفاق كل فرد بمخطط منقط لوضوح هدف التتبع. في هذا المثال، يتم تعقب الأفراد الذين لديهم علامات افتراضية بالأبيض والأسود والرمادي والأبيض كتسميات أرجوانية وخضراء وحمراء على التوالي. في المثال 1، العلامة الظاهرية الرمادية غائبة، ومع ذلك يحتفظ vmTracking بتتبع الهوية الصحيح. في المثال 2، تظهر العلامة الرمادية على شخصين، ولكن يظل التتبع صحيحا. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 1 سم. (ب د) لقطات من الإطارات المستخدمة للتسمية أثناء vmTracking. في هذه الخطوة، يتم استخدام saDLC، مع تحديد كل نقطة رئيسية لتشمل كل من المعلومات الفردية ومعلومات جزء الجسم. تحدد الملصقات جزء الجسم الذي يتم تمثيل الفرد. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 5 سم. (ب) لقطة لإطار قبل وضع الوسم. (ج) لقطة للإطار في B بعد وضع الوسم. (د) لقطة لإطار مختلف عن C بعد وضع العلامات. حتى في الإطارات المختلفة (على سبيل المثال ، C و D) ، يحافظ التسمية على الهوية الفردية باستخدام العلامة الافتراضية كإشارة ، كما هو موضح في ألوان التسمية المتسقة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 5: سير عمل لدمج نتائج التتبع مع فيديو بدون علامات لإنتاج فيديو تتبع بدون علامات افتراضية. هذه خطوة اختيارية تتعلق بالملاحظة في الخطوة 3.8.2. (أ) عند تطبيق نتائج التتبع على فيديو العلامة الظاهرية، يحتفظ فيديو التتبع الناتج بالعلامات الظاهرية (vmTracking^vm+). تشير الأسهم الصفراء إلى العلامات الافتراضية المرئية في الإخراج. ينتج عن تطبيق نتائج التتبع على الفيديو الأصلي بدون علامات فيديو تتبع بدون علامات افتراضية (vmTracking^vm-)، مناسب للعرض التقديمي أو لأغراض أخرى. يشير الشريط البرتقالي في الزاوية اليمنى السفلية من كل صورة إلى شريط مقياس 1 سم. (ب ، ج) إدارة الملفات في مجلد "مقاطع الفيديو" في دليل المشروع عند تطبيق نتائج vmTracking على فيديو بدون علامات. يوضح المربع البرتقالي محتويات المجلد بشكل تخطيطي. (ب) مجلد "مقاطع الفيديو" بعد إنشاء فيديو تتبع vmTracking عن طريق إخراج نتائج التتبع على فيديو العلامة الافتراضي (يظهر تخطيطيا على أنه "4). الملصقات على فيديو علامة افتراضي"). (ج) إعداد مجلد "مقاطع الفيديو" لإخراج نتائج vmTracking على الفيديو الخالي من العلامات. نقل أو إعادة تسمية '1. فيديو علامة افتراضي" و "4. التسميات الموجودة على ملفات فيديو علامة افتراضية من اللوحة B بحيث يتم استبعادها من المجلد. المشكلة ليست الملفات نفسها ، ولكن أسماء الملفات الأصلية تتداخل مع المعالجة. ثم ضع '5. فيديو بدون علامات" في المجلد ، مع إعادة تسميته ليطابق مع اسم ملف فيديو علامة افتراضية أصلي (على سبيل المثال ، VMvideo.MP4). في هذه الحالة، تؤدي إعادة تشغيل إنشاء مقاطع فيديو إلى إنشاء فيديو تتبع مع تطبيق النتائج على الفيديو بدون علامات ('6. ملصقات على فيديو بدون علامات"). تم تعديل هذا الرقم من Azechi & Takahashi ، 2025 ، PLOS Biology (CC BY 4.0) ⁷. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 6: تقييم دقة التتبع باستخدام vmTracking. (أ-ح) مقارنة بين maDLC و vmTracking لنسب المباريات. (A) والسلبيات الخاطئة (B) والإيجابيات الخاطئة (C) ومفاتيح المعرف (D) في 12 مشهدا مزدحما (CR) والتطابقات (E) والسلبيات الخاطئة (F) والإيجابيات الخاطئة (G) ومفاتيح المعرف (H) في 8 مشاهد غير مزدحمة (nCR). تمثل المخططات القيم المقاسة لكل مشهد ، وتمثل الأشرطة متوسط القيم المحسوبة منها. أجريت المقارنات الإحصائية باستخدام اختبار ويلكوكسون الموقع. (I) العلاقة بين عدد الإطارات المشروحة في CR ونسب المطابقات والسلبيات الخاطئة. يعرض المربع الأخضر الموجود على اليمين عرضا مكبرا للمنطقة المحاطة بالخطوط الخضراء المنقطة في اللوحة اليسرى. تمثل المؤامرات متوسط القيم. (ي) العلاقة بين دقة العلامة الافتراضية وتتبع التطابقات في مشاهد السجل التجاري و nCR. تم تصنيف دقة العلامة الافتراضية لكل زوج من العلامات إلى ستة أنواع: كلتا النقطتين المخصصتين بشكل صحيح للفرد الصحيح ، واحدة صحيحة والأخرى مفقودة ، واحدة صحيحة والأخرى غير صحيحة ، كلاهما غير صحيح ، والآخر غير صحيح والآخر مفقود ، وكلاهما مفقود. لكل مشهد ، يتم عرض نسب هذه الفئات كأشرطة مكدسة ، مع الإشارة إلى مطابقة التتبع المقابلة لهذا المشهد فوق كل شريط. يتم ترتيب المشاهد بترتيب تصاعدي لتتبع المطابقة من اليسار إلى اليمين ، بشكل منفصل لمشاهد CR و nCR. مشاهد CR: ن = 12 ؛ مشاهد nCR: ن = 8. P < 0.001 ، ** P < 0.01 ، * P < 0.05. تم تعديل هذا الرقم من Azechi and Takahashi (2025)⁹. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل التكميلي 1: لقطة من النافذة الرئيسية في DeepLabCut متعدد ، توضح موقع كل علامة تبويب عملية. توضح اللقطات، باستخدام الأسهم، علامات التبويب المستخدمة في كل خطوة من خطوات إجراء vmTracking. تم التقاط الصور من واجهة المستخدم الرسومية DeepLabCut (الإصدار 2.2.3). الرجاء النقر هنا لتنزيل هذا الرقم.

الشكل التكميلي 2: لقطة من النافذة الرئيسية في DeepLabCut لحيوان واحد ، توضح موقع كل علامة تبويب عملية. توضح اللقطات، باستخدام الأسهم، علامات التبويب المستخدمة في كل خطوة من خطوات إجراء vmTracking. تم التقاط الصور من واجهة المستخدم الرسومية DeepLabCut (الإصدار 2.2.3). الرجاء النقر هنا لتنزيل هذا الرقم.

الفيديو التكميلي 1: مقارنة بين DeepLabCut و vmTracking متعدد في تتبع ثلاثة فئران. يظهر هذا الفيديو المقارن أداء DeepLabCut متعدد (maDLC ؛ يسار) و vmTracking (يمين) أثناء تتبع ثلاثة فئران. تم إنشاء فيديو vmTracking عن طريق استبدال فيديو العلامة الظاهري بالفيديو الأصلي بدون علامات، باتباع الإجراء الموضح في ملاحظة الخطوة 3.8.2، لعرض نتائج التتبع بدون علامات ظاهرية. لكل طريقة تتبع، تتم الإشارة إلى الهويات الفردية باستخدام تسميات الألوان من نفس عائلة الألوان لتسهيل المقارنة. طوال الفيديو، يعرض vmTracking حالات أقل يتم فيها اكتشاف أجزاء الجسم التي تنتمي إلى أفراد مختلفين، مقارنة ب maDLC. والجدير بالذكر أنه في حوالي 15-17 ثانية ، يخطئ maDLC في تحديد الأفراد ذوي العلامات الخضراء وذات العلامات الحمراء ، مما يؤدي إلى تبديل الهويات المخصصة لهم. الرجاء النقر هنا لتنزيل هذا الملف.

Discussion

على الرغم من وجود طلب متزايد على دراسة الأشكال الطبيعية للتفاعل الاجتماعي في القوارض¹ ، إلا أن الحصول على هوية موثوقة وطرح معلومات للعديد من التي تتحرك بحرية - خاصة أثناء التفاعلات القريبة أو الانسداد - لا يزال يمثل تحديا تقنيا. يتغلب vmTracking على هذا القيد ، مما يتيح التتبع الدقيق في ظل هذه الظروف. يحقق vmTracking بشكل موثوق دقة تتبع عالية في ظروف تجريبية متنوعة ، بما في ذلك البيئات المزدحمة⁹ حيث غالبا ما تفشل أجهزة التتبع التقليدية متعددة ^4,5. تنبع هذه المتانة من الجمع بين إنشاء العلامات الافتراضية ، بناء على التتبع متعدد ، مع تتبع saDLC ، مما يتيح تقديرا دقيقا للهوية والوضعية. الأهم من ذلك ، حافظت الطريقة على أداء عال حتى عندما كانت دقة العلامة الافتراضية دون المستوى الأمثل. يضمن هذا التسامح إلى درجة معينة من النقص في العلامات الافتراضية أن يظل vmTracking عمليا لتتبع العديد من الأفراد الذين يتحركون بحرية بشكل موثوق ، وبالتالي تطوير دراسات التفاعلات الاجتماعية للقوارض في ظل ظروف شبه طبيعية.

تتمثل إحدى الخطوات الحاسمة في vmTracking في تصحيح نتائج التتبع متعددة أثناء إنشاء علامة افتراضية. في هذه العملية، يمكن أن يؤدي التغاضي عن مفاتيح تبديل الهوية أو التسميات غير الصحيحة إلى احتفاظ saDLC بهذه التعريفات الخاطئة خلال التتبع اللاحق. إذا تم اكتشاف مثل هذه الأخطاء لاحقا ، فيمكن تصحيحها عن طريق مراجعة المقاطع المتأثرة ، وإعادة إنشاء فيديو العلامة الافتراضي ، وإعادة تشغيل تتبع saDLC. في بعض الحالات ، قد يتم وضع العلامات الافتراضية بشكل صحيح ، ومع ذلك قد يستمر saDLC في التعرف على الأفراد بشكل خاطئ عندما تقترب العلامات الموجودة على مختلفة أثناء التفاعلات المزدحمة. يمكن التخفيف من هذه الأخطاء عن طريق إعادة وضع العلامات الافتراضية المتأثرة أثناء خطوة الإنشاء لزيادة المسافات بين العلامات إلى أقصى حد ، وبالتالي تقليل احتمالية حدوث ارتباك في مرحلة التتبع اللاحقة.

على الرغم من أن بروتوكولنا يستخدم DLC ^4,7 لكلتا الخطوتين، إلا أنه يمكن تنفيذه أيضا باستخدام SLEAP ^5,12. في تجربتنا ، يكون SLEAP في وضع الفردي أقل استقرارا بشكل عام من saDLC ، حيث يعتمد الأداء بشكل أكبر على الفيديو⁹. ومع ذلك ، بالنسبة لخطوة إنشاء العلامة الافتراضية ، يمكن أن يكون SLEAP أو^{idtracker.ai 13} فعالا بنفس القدر ، وقد يختلف الاختيار الأمثل باختلاف الفيديو. لذلك، إذا أظهر تعقب maDLC الأولي محولات معرف متكررة أو فقدان شديد لنقطة المفتاح عند الفحص المرئي، فمن الممكن اتباع نهج مختلط - على سبيل المثال، إنشاء علامات افتراضية باستخدام SLEAP أو idtracker.ai ثم تتبع الفيديو الناتج باستخدام saDLC.

نظرا لأن vmTracking يتضمن خطوتين للتتبع ، فقد ينظر إليها البعض على أنها مرهقة ويتساءلون عن سبب عدم إرفاق العلامات المادية ببساطة منذ البداية ، مما يلغي الحاجة إلى إنشاء علامة افتراضية. ومع ذلك ، توفر العلامات الافتراضية مزايا واضحة: يمكن تطبيقها لاحقا على مقاطع الفيديو الحالية بدون علامات ، وتجنب أي تأثيرات سلوكية أو مخاوف أخلاقية مرتبطة بربط الأجهزة بالحيوانات. يمكن وضعها في أي مكان ، ولا تسقط أبدا ، ولا تتأثر بالموقف أو التفاعلات القريبة ، مما يسمح بوضعها وتعديلها لتناسب الفيديو المحدد. تتيح هذه المرونة تحديد هوية فردية أكثر موثوقية ، وبالتالي تحسين دقة التتبع مقارنة بالعلامات المادية. نتيجة لذلك ، يتيح vmTracking ، الذي يستخدم علامات افتراضية ، تتبعا عالي الدقة في دراسات التفاعلات الاجتماعية الحرة وكذلك في إعادة تحليل بيانات الفيديو الأرشيفية ، حيث لا يمكن تطبيق العلامات المادية. تعد بيانات التتبع عالية الدقة التي تم الحصول عليها بهذه الطريقة مفيدة على نطاق واسع عبر المجالات التي تعتمد على التجارب السلوكية ، بما في ذلك العلوم السلوكية وعلم النفس وعلم الأعصاب.

vmTracking له العديد من القيود. أولا ، نظرا لأن تحديد الهوية الفردية يعتمد على الاختلافات في لون العلامة ، فإن عدد الأفراد الذين يمكن تتبعهم محدود بالنطاق المحدود للألوان التي يمكن تمييزها. حتى الآن ، نجحنا في تتبع مجموعة من عشر أسماك⁹. ومع ذلك ، فإن زيادة هذا الرقم ستتطلب توسيع مجموعة متنوعة من العلامات الافتراضية - على سبيل المثال ، عن طريق تغيير أشكال العلامات أو استكشاف استخدام الهياكل الهيكلية كمعرفات إضافية - على الرغم من أن هذه الأساليب تتطلب مزيدا من التحقق. ثانيا ، يتضمن vmTracking بالضرورة خطوة إضافية لإضافة علامات افتراضية إلى كل فيديو بدون علامات ، والتي يمكن أن تتطلب عمالة كثيفة للتسجيلات الطويلة أو مجموعات البيانات مع العديد من الأفراد. بالإضافة إلى ذلك ، في حين أن هذه الطريقة يمكن ، من حيث المبدأ ، تطبيقها على أنواع مختلفة وظروف التسجيل ، فإن التطبيق العملي لتحقيق تتبع عالي الدقة قد ينخفض عندما يتعذر تحسين المعلمات التجريبية. على سبيل المثال ، في تسجيلات البرية أو التي تتحرك بحرية في ظل ظروف شبيهة بالمجال ، حيث يصعب التحكم في الإضاءة أو دقة الكاميرا أو زوايا التسجيل ، يميل التصحيح اليدوي المطلوب أثناء تعيين العلامة الافتراضية إلى الزيادة ، مما قد يحد من سهولة الحصول على بيانات تتبع عالية الجودة. في المستقبل ، سيؤدي تبسيط عملية تعيين العلامات الافتراضية وأتمتتها إلى تعزيز قابلية تطبيق الطريقة وسهولة استخدامها.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
أنبوب أكريليك (شفاف، سمك 5 مم، قطر داخلي 31 سم)	شركة سوجاواراكوجي المحدودة.	https://www.sugawarakougei.jp/	تم شراؤه من Hazaiya (متجر إلكتروني لمواد الأكريليك)
صفيحة أكريليك (بيضاء، بسماكة 3 مم، قطرها 31 سم)	شركة سوجاواراكوجي المحدودة.	https://www.sugawarakougei.jp/	تم شراؤه من Hazaiya (متجر إلكتروني لمواد الأكريليك)
فأر C57BL/6J	مستلزمات مختبر شيميزو، Co.LTD.	لا يوجد
الكاميرا	باسلر	acA3088-57uc
ديب لاب كت 2.2.3	مختبر ماثيس في المعهد الفيدرالي السويسري للتكنولوجيا في لوزان	https://www.mackenziemathislab.org/deeplabcut
مجموعة برمجيات كاميرا Pylon (عارض Pylon)	باسلر	لا يوجد