שימוש ב-vmTracking כדי לשפר את הדיוק של הערכת תנוחות מרובות בעלי חיים במחקרי התנהגות חברתית של מכרסמים

Summary

פרוטוקול זה מציג vmTracking, שיטה המאפשרת מעקב אחר תנוחות ברמת דיוק גבוהה בסרטונים של מספר בעלי חיים הנעים בחופשיות וללא סמן, אפילו בתנאי צפיפות שבהם בעלי חיים מקובצים בצפיפות. גישה זו מספקת נתונים אמינים לניתוח אינטראקציות חברתיות המתרחשות בסביבות טבעיות למחצה שבהן בעלי חיים יכולים לנוע בחופשיות.

Abstract

במחקר התנהגות חברתית באמצעות מכרסמים, יש ביקוש הולך וגובר להערכת התנהגויות אינטראקטיביות טבעיות יותר בתנאים של תנועה חופשית. מעקב מדויק אחר תנוחות של מספר בעלי חיים חיוני למטרה זו. עם זאת, כלי מעקב אחר תנוחות מרובות בעלי חיים ללא סמנים עומדים בפני אתגר משמעותי: דיוק המעקב נוטה לרדת בתנאים של חסימה וצפיפות. בעיה זו בולטת במיוחד כאשר לא ניתן להבחין בין בעלי החיים זה מזה. כדי להתגבר על בעיה זו, פיתחנו מעקב אחר סמנים וירטואליים (vmTracking), שיטה המשפרת את הדיוק של מעקב אחר תנוחות מרובות בעלי חיים בתנאים מאתגרים כאלה על ידי שמירה על זהות אישית על פני מסגרות באמצעות סמנים וירטואליים. ניתן להחיל את vmTracking גם על נתוני וידאו מרובי בעלי חיים קיימים ללא סמנים על ידי שילוב שלבי עיבוד נוספים המוסיפים תוויות זהות בודדות לתהליכי מעקב סטנדרטיים. כאן, אנו מתארים הן את השיטה להקצאת סמנים וירטואליים והן את הפרוטוקול למעקב אחר חיות בסרטונים המסומנים שנוצרו. מעקב מרובה בעלי חיים ברמת דיוק גבוהה המופעל על ידי vmTracking מספק בסיס אמין לניתוחים כמותיים עוקבים של אינטראקציות חברתיות בתנאים טבעיים למחצה.

Introduction

מחקר על התנהגות חברתית של מכרסמים הדגיש יותר ויותר את חקר האינטראקציות בהקשרים חברתיים נטורליסטיים^{יותר 1}. גישות מסורתיות, כגון מבחן שלושת החדרים, היו בשימוש נרחב להערכת חברותיות והעדפה חברתית², אך פרדיגמות אלה לוכדות רק היבטים פשוטים של אינטראקציה חברתית³. כדי לענות על צורך זה, DeepLabCut (maDLC)⁴ ו-Social LEAP Estimates Animal Pose (SLEAP)⁵ הפכו לכלים הכרחיים למעקב אחר תנוחות ללא סמן של בעלי חיים מרובים בתנאי תנועה חופשית, ומספקים טכנולוגיה מתקדמת מבוססת למידה עמוקה למעקב אחר תנוחות מרובות בעלי חיים ללא סמן. עם זאת, בסביבות צפופות שבהן בעלי חיים נמצאים בקרבת מקום, כלים אלה מועדים למעקב אחר שגיאות כגון כשלים בחיזוי ומתגי זהות (ID). השגת נתונים אמינים בתנאים כאלה דורשת לעתים קרובות תיקון ידני נרחב.

מעקב תנוחות מדויק של מספר בעלי חיים הנעים בחופשיות פותח את הדלת לחקירת דינמיקות חברתיות מורכבות יותר. לדוגמה, נתוני מעקב מפורטים מאפשרים להעריך יחסי מנהיג-עוקב, התנהגויות הימנעות מהתקרבות במהלך תנועה ודפוסי אינטראקציה ניואנסים אחרים שלא ניתן להעריך באופן מהימן באמצעות מבחני התנהגות קונבנציונליים. התקדמות כזו מרחיבה את התועלת של מעקב אחר ריבוי בעלי חיים מעבר למדדים תיאוריים פשוטים יחסית של התנהגות, ומאפשרת ניתוח של אינטראקציות חברתיות מורכבות יותר.

גישה אחת לשיפור דיוק המעקב היא להבדיל בבירור בין בעלי חיים בודדים. לדוגמה, בורדס⁶ הדגים מעקב סימולטני אחר עכבר CD1 לבן ועכבר שחור C57BL/6N באמצעות DeepLabCut (saDLC)⁷. ממצא זה מצביע על כך שכאשר ניתן להבחין בבעלי חיים באופן חזותי, מעקב אינדיבידואלי מדויק הוא אפשרי. עם זאת, השימוש בסמנים פיזיים לזיהוי עשוי לשנות התנהגויות טבעיות. אפילו שיטות זעיר פולשניות, כגון השתלת תגי זיהוי בתדר רדיו⁸, מעלות חששות לגבי ההשפעות הפוטנציאליות שלהם על ההתנהגות.

כאן, אנו מציגים שיטת מעקב אחר תנוחות מרובות בעלי חיים המשתמשת בסמנים וירטואליים (vmTracking)⁹ לזיהוי אינדיבידואלי לא פולשני. הערכה מדויקת של התנהגות חברתית, תוך התחשבות בהקשר החברתי שלה, דורשת נתוני מעקב מדויקים ביותר אחר תנוחות מרובות בעלי חיים. vmTracking פותח כדי לענות על צורך זה על ידי מתן פרוטוקול אמין - ולא תוכנה או אלגוריתם חדש - להשגת נתוני מעקב באיכות גבוהה כל כך באמצעות כלים קיימים כגון DLC. לכן, ניתוח התנהגותי חברתי המבוסס על נתונים אלה הוא מעבר להיקף פרוטוקול זה. vmTracking כולל שני שלבים עיקריים: הוספת סמנים וירטואליים לסרטונים ללא סמן ומעקב אחר סרטוני הסמן הווירטואלי המתקבלים. שיטה זו מאפשרת מעקב אחר תנוחות ברמת דיוק גבוהה ללא צורך בסמנים פיזיים, אפילו בתנאים הכוללים שלושה או יותר בעלי חיים שאינם ניתנים להבחנה ויזואלית מאותו זן. על ידי מתן אפשרות למעקב אמין בתנאים נטורליסטיים למחצה, vmTracking מספק כלי יעיל לקידום מחקר על אינטראקציות חברתיות מורכבות, עם יישומים פוטנציאליים במדעי ההתנהגות, פסיכולוגיה ומדעי המוח.

Protocol

כל הליכי הניסוי אושרו על ידי הוועדה לטיפול ושימוש בבעלי חיים של אוניברסיטת דושישה (אישור מס' A23068). עכברי C57BL/6J (ראו טבלת חומרים) שוכנו בקבוצות של 2-3 לכלוב בתנאים מבוקרים של 24-26 מעלות צלזיוס, מחזור אור/חושך של 12 שעות, עם גישה אד-ליביטום למזון ומים. כל ההקלטות ההתנהגותיות נאספו במהלך שלב האור. זרימת העבודה הכוללת של תהליך vmTracking, יחד עם תמונות מדוגמה, מוצגת באיור 1.

הערה: vmTracking אינו תוכנה או אלגוריתם חדשים אלא פרוטוקול המשתמש בפונקציות DLC קיימות כדי למקסם את דיוק המעקב אחר ריבוי בעלי חיים. כתוצאה מכך, חלק ניכר מהשלבים הבאים מתאר פעולות ספציפיות של ממשק משתמש גרפי (GUI) בתוך DLC כדי להבטיח שחזור.

1. הכנת נתוני וידאו מרובי בעלי חיים ללא סמן

הערה: ניתן להתאים פרמטרים ניסיוניים בהתאם למחקר הספציפי.

1. הניחו שלושה עכברי C57BL/6J בשדה פתוח עגול עם רצפה לבנה וקירות שקופים (קוטר 31 ס"מ ×-17 ס"מ גובה; ראו טבלת חומרים), ואפשרו להם לנוע בחופשיות.
2. בעזרת תצוגת מצלמה מלמעלה למטה, הקליטו את בעלי החיים במשך כ- 60 דקות ברזולוציה של 460 × 460 פיקסלים ובקצב מסגרות של 30 פריימים לשנייה (ראו טבלת חומרים).

2. יצירת סרטון סמן וירטואלי

1. בצע מעקב תנוחות סטנדרטי ללא סמן באמצעות maDLC בגרסה 2.2.3 של DLC (איור 2; ראה טבלת חומרים).
   הערה: בשלבים הבאים, שמות תפריטי הכרטיסיות של ממשק המשתמש הגרפי של DLC והגדרות הפרמטרים מוצגים בהדגשהכדי להבהיר את הפעולות ב-DLC. כל ההליכים מבוצעים באמצעות הגדרות ברירת המחדל, אלא אם צוין אחרת. להוראות מפורטות על השימוש ב-DLC, עיין בתיעוד הרשמי¹⁰.
   1. צור פרויקט מרובה חיות בניהול פרויקט (איור משלים 1) למעקב וידאו ללא סמן. שנה את שדות האנשים וחלקי הגוף בקובץ config.yaml בהתאם לדרישות הניתוח. בפרוטוקול זה נעשה שימוש בפרט1 עד אינדיבידואל3 ובחלק גוף1 עד חלק גוף6. כל ההגדרות האחרות הן אופציונליות.
      הערה: הפרמטרים numframes2pick (מספר הפריימים שחולצו) וגודל הנקודה (גודל הסמן) עשויים להיות מותאמים על סמך תנאי הווידאו ועומס העבודה של הנסיין. הגדרות אחרות לא נבדקו באופן שיטתי בכל התנאים האפשריים; עם זאת, מעקב מוצלח אושר עם תצורות ברירת מחדל.
   2. חלץ מסגרות מהסרטון ב-Extract Frames (איור משלים 1) לתיוג והדרכה לאחר מכן. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
   3. סמן כל מסגרת שחולצה בנתוני תווית (איור משלים 1), והקצה את חלקי הגוף המתאימים לכל פרט גלוי מבלי לשמור על מזהים עקביים בין המסגרות.
   4. צור מערך נתוני אימון מהמסגרות שחולצו ביצירת מערך נתוני אימון (איור משלים 1). בפרוטוקול זה, הגדר את הרשת ל-dlcrnet_ms5. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
   5. התחילו לאמן את הרשת ברכבת (איור משלים 1). בפרוטוקול זה, הפרמטר איטרציות מקסימליות מוגדר ל-200,000 לאימון. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
   6. הערך את הרשת המאומנת בהערכה (איור משלים 1). הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
   7. הפעל הערכת תנוחה בסרטונים שנבחרו בניתוח סרטונים (איור משלים 1), וצור נתוני קואורדינטות .h5 וקבצי פלט אחרים בתיקיית הסרטונים בתוך תיקיית הפרויקט. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
      הערה: אם מערך נתוני האימון אינו מספיק, הניתוח עלול להיכשל ביצירת קבצי קואורדינטות .h5. במקרה כזה, הפעל מחדש משלב 2.1.2.
   8. אימות ידני על ידי הנסיין.
      1. צור סרטון מעקב עם תווית ביצירת סרטונים (איור משלים 1). בחר באפשרות צור סרטון עם מזהה בעל חיים צבעוני? בממשק המשתמש הגרפי של DLC, וצור סרטון מעקב עם תווית (איור 2A, maDLC). הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
      2. בדוק את הסרטונים המסומנים (איור 2A, maDLC) כדי לבדוק אם יש מתגי זיהוי ותחזיות חסרות. אם נצפות שגיאות ניכרות, בצע אימון מחדש (ראה שלב 2.1.8.3). אם לא מבוצע אימון מחדש, המשך לשלב 2.2.
         הערה: אימון מחדש אינו חובה, אך הוא משפר את הדיוק ומפחית את עומס העבודה בשלבים מאוחרים יותר.
      3. לאימון מחדש, חלץ והוסף הערות למסגרות חריגות ב-Extract/Refine Outliers (איור משלים 1). לאחר השלמת הביאור, לחץ על כפתור מיזוג מערך נתונים כדי להמשיך אוטומטית ליצירת מערך נתוני אימון, ולאחר מכן חזור משלב 2.1.4 ואילך.
2. תקן את תוצאות ה- maDLC כדי ליצור סרטון סמן וירטואלי (איור 3).
   1. באמצעות ממשק המשתמש הגרפי המותאם אישית¹¹ (איור 3B), שמור רק את נקודות המפתח שנבחרו עבור סמנים וירטואליים והחלף את כל האחרים ב-NaN בקובץ .h5. הפחתה זו בנקודות מפתח מפחיתה את עומס העבודה עבור שלבי התיקון הבאים (איור 3C,E). בפרוטוקול זה משתמשים בחלקי גוף 2 ו-4.
      הערה: מומלץ לבחור שתי נקודות מפתח המגדירות ביעילות את וקטור ציר הגוף. ביצוע המעקב הראשוני של maDLC באמצעות נקודות המפתח המיועדות כסמנים וירטואליים בלבד עלול להיכשל ביצירת קובץ ה- .h5 בשלב 2.1.4. לכן, מומלץ לבצע את המעקב הראשוני עם קבוצה גדולה יותר של נקודות מפתח.
   2. באמצעות מיקוד רצועות (איור משלים 1), תקן את קובץ ה- .h5 מהשלב הקודם, המכיל רק את נקודות המפתח שנבחרו. תקן את נקודות המפתח כך שכל אדם ישמור על מזהה עקבי לאורך כל הסרטון (איור 3E,F). שמור את הקובץ; קובץ ה-.h5 בתיקיית הסרטונים יעודכן אוטומטית.
   3. צור סרטון עם תווית עם תוויות צבע מזהה מהנתונים המתוקנים ביצירת סרטוני וידאו (איור משלים 1, איור 3A, סמן וירטואלי). ב-DLC 2.2, סרטון קיים עם תווית בתיקיית הסרטונים ימנע יצירת סרטון חדש; הסר, שנה שם או העבר את הקובץ לפני שתמשיך. כאן, הגדר את גודל הסמן ל-2 בקובץ התצורה, תוך שימוש בגודל הקטן ביותר המאפשר זיהוי מבלי לטשטש את החיה במערך נתונים זה.
   4. שנה את שם הווידאו שנוצר לשם קובץ קצר כדי למנוע שגיאות במהלך עיבוד DLC בעת מעקב מחדש בשלב הבא עם saDLC.

3. בצע מעקב אחר תנוחות של סרטון סמן וירטואלי באמצעות saDLC (איור 4)

הערה: כל ההליכים מבוצעים באמצעות הגדרות ברירת המחדל של DLC GUI, אלא אם צוין אחרת.

1. צור פרויקט saDLC חדש בניהול פרויקט (איור משלים 2) למעקב אחר וידאו סמן וירטואלי. בפרוטוקול זה, רשום את כל השילובים של אנשים וחלקי גוף בשדה חלקי הגוף של הקובץ config.yaml (למשל, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). כל ההגדרות האחרות הן אופציונליות.
   הערה: כמו בשלב 2.1.1, ניתן להתאים את הפרמטרים numframes2pick ו-dotsize בהתאם לתנאי הווידאו ולעומס העבודה של הנסיין. מעקב מוצלח אושר עם תצורות ברירת מחדל.
2. חלץ מסגרות מסרטון הסמן הווירטואלי ב-Extract Frames (איור משלים 2). הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
3. סמן כל מסגרת שחולצה בנתוני תווית (איור משלים 2), תוך שימוש בסמנים הווירטואליים כדי להקצות מזהים בודדים כך שגם המזהים וגם חלקי הגוף יתאימו בין מסגרות (איור 3B-D). כאשר תעודת הזהות של אדם ידועה וחלק גוף מוסתר חלקית, הערך את מיקומו ומקם את התווית בהתאם. אם לא ניתן לקבוע באופן ייחודי מזהים בודדים (למשל, חסרים סמנים וירטואליים של ≥2 פרטים במסגרת), אל תתייג את חלקי הגוף האלה.
4. צור מערך נתוני אימון מהמסגרות שחולצו ביצירת מערך נתוני אימון (איור משלים 2). בפרוטוקול זה, הגדר את הרשת ל-efficientnet-b0. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
5. התחילו לאמן את הרשת ברכבת (איור משלים 2). בפרוטוקול זה, הגדר את הפרמטר איטרציות מקסימליות ל- 200,000 לאימון. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
6. הערך את הרשת המאומנת בהערכה (איור משלים 2). הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
7. הפעל הערכת תנוחה בסרטונים שנבחרו בניתוח סרטונים (איור משלים 2), וצור נתוני קואורדינטות .h5 וקבצי פלט אחרים בתיקיית הסרטונים. הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
8. אימות ידני על ידי הנסיין.
   1. צור סרטון מעקב עם תווית ביצירת סרטונים (איור משלים 2). הגדר את כל הפרמטרים האחרים לערכי ברירת המחדל שלהם.
   2. בדוק את הסרטונים המסומנים בתווית (איור 4A, vmTracking) כדי לבדוק אם יש חוסר עקביות במעקב. התאמן מחדש עד שהנסיין מרוצה מהתוצאות. אם אין צורך בהכשרה מחדש, ההליך הושלם.
      הערה: לאחר אישור תוצאות מעקב משביעות רצון, אתה יכול ליצור סרטון באיכות מצגת ללא סמנים וירטואליים (איור 5), להפיק את תוצאות המעקב בסרטון המקורי ללא סמן במקום בסרטון הסמן הווירטואלי ביצירת סרטוני וידאו (איור משלים 2). החלף את סרטון הסמן הווירטואלי בתיקיית הסרטונים בסרטון ללא סמן, ושנה את שמו כך שיתאים לשם קובץ הווידאו של הסמן הווירטואלי ששימש קודם לכן בניתוח. עבור DLC 2.2, ודא שאין סרטונים עם תווית בתיקיה לפני יצירת החדש (איור 5B,C).
   3. לאימון מחדש, חלץ והוסף הערות למסגרות חריגות ב-Extract/Refine Outliers (איור משלים 2). לאחר השלמת הביאור, לחץ על כפתור מיזוג מערך נתונים כדי להמשיך אוטומטית ליצירת מערך נתוני אימון, ולאחר מכן חזור משלב 3.1.4 ואילך.

Results

דיוק המעקב הוערך על ידי השוואה לאמת קרקעית (GT) שנוצרה ידנית. 20 סצנות של 5 או 10 שניות חולצו וסווגו כסצנות צפופות (CR), שכללו חפיפות כגון עכברים חוצים שבילים (12 סצנות; סה"כ 1,950 פריימים), או סצנות לא צפופות (nCR) ללא חפיפה (8 סצנות; סה"כ 1,350 פריימים). מעקב אחר תחזיות בטווח של 10 פיקסלים ממיקום ה-GT נספרו כהתאמות (התאמה); תחזיות במרחק של ≥10 פיקסלים נספרו כתוצאות חיוביות כוזבות (FP); ותחזיות חסרות נספרו כשליליות כוזבות (FN). בנוסף, אם הזהות החזויה הייתה שונה מזו של המסגרת הקודמת, היא נספרה כמתג מזהה.

בהשוואה ל-maDLC (איור 6), vmTracking הראה שיפור משמעותי בהתאמה הן בסצנות CR והן בסצנות nCR (איור 6A, CR: p < 0.001; איור 6E, nCR: עמ' < 0.01). בשני סוגי הסצנות, לא התרחשו FNs, ומספר ה-FNs הופחת באופן משמעותי עם vmTracking (איור 6B, CR: p < 0.001; איור 6F, nCR: עמ' < 0.05). ספירת FP (איור 6C ו-6G) ומתג ה-ID (איור 6D,H) לא הראו שינויים באף אחד מסוגי הסצנה. מוצגת השוואה זו לצד זו של תוצאות המעקב המתקבלות באמצעות vmTracking ו-maDLC קונבנציונלי, המדגישה את הדיוק והיציבות המשופרים של vmTracking בתנאי צפיפות (סרטון משלים 1).

בדקנו גם את הקשר בין מספר מסגרות ההערות לבין Match ו-FN עבור סצנות CR ב-maDLC ו-vmTracking (איור 6I). ב-maDLC, ה-Match התייצב על כ-85% עם כ-400 פריימים להערות, עם שיפור מועט נוסף ככל שהמספר גדל. הגדלת מסגרות ההערות להכשרה לא הפחיתה את ה-FNs. לעומת זאת, vmTracking הראה עלייה מתמדת ב-Match עם יותר מסגרות הערות, שהגיעו לכ-95% בסביבות 1,000 פריימים.

סמנים וירטואליים סווגו לשש קטגוריות על סמך דפוסי ההקצאה שלהם, והחלק של כל קטגוריה שימש כמדד לדיוק הסמן הווירטואלי כדי לבחון את הקשר שלו עם מעקב אחר התאמה (איור 6J). סצנות עם שיעור גבוה יותר של סמנים וירטואליים שהוקצו כהלכה נטו להציג התאמה גבוהה יותר. עם זאת, חלק מהסצנות שבהן שיעור הסמנים הנכונים היה נמוך, בין אם בגלל הקצאות שגויות רבות או סמנים חסרים רבים, עדיין הציגו התאמה גבוהה (למשל, סצנות CR 3 ו-11).

איור 1: סקירה כללית של זרימת העבודה vmTracking. (A) דיאגרמה סכמטית של זרימת העבודה vmTracking. תחילה, בצע maDLC על הווידאו ללא סמן (I). בהתבסס על נתוני המעקב של maDLC המתקבלים, תקן את הפלט כך שכל אדם ישמור על מזהה עקבי לאורך הסרטון, וצור סרטון עם תווית המציג רק תת-קבוצה נבחרת של נקודות מפתח (II). השתמש בתוויות בסרטון זה כסמנים וירטואליים, עקוב אחר סרטון הסמן הווירטואלי באמצעות saDLC (III). (B) שתי דוגמאות של vmTracking מוצגות כתמונות מכל שלב בתהליך. התמונה השמאלית הקיצונית מציגה את התצוגה המלאה, והתמונות מימין הן תצוגות מוגדלות של האזורים המוקפים בתיבות צהובות. הפסים הכתומים בפינות הימניות התחתונות של התמונות מציינים את קנה המידה: 5 ס"מ לתמונה "ללא סמן (סקירה כללית)" ו-1 ס"מ לכל האחרים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 2: זרימת עבודה של מעקב אחר ריבוי בעלי חיים ללא סמן באמצעות maDLC. נתון זה קשור לפרוטוקול שלב 2.1. (A) הפאנלים מותאמים מאיור 1B וממחישים את תהליך I (מעקב מרובה חיות ללא סמן) שמוצג באיור 1A. לשם הבהרה, כל חיה מתוארת בקו מקווקו. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 1 ס"מ. (ב-ד) תמונות של מסגרות המשמשות לתיוג במהלך ביצוע maDLC. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 5 ס"מ. (ב) מסגרת לדוגמה לפני החלת תוויות. (ג) אותה מסגרת כמו ב-ב', לאחר התיוג. (D) דוגמה למסגרת אחרת עם תווית. זהותם של אנשים בין מסגרות C ו-D אינה ידועה, אך אין צורך להתחשב בזהות האישית בעת תיוג. כפי שמוצג בתמונות, מספיק לתייג נכון את היציבה של כל בעל חיים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 3: זרימת עבודה ליצירת סרטון סמן וירטואלי המבוסס על תוצאות maDLC. נתון זה קשור לפרוטוקול שלב 2.2. (A) הפאנלים מותאמים מאיור 1B וממחישים את תהליך II (יצירת סמן וירטואלי) שמוצג באיור 1A. לשם הבהרה, כל חיה מתוארת בקו מקווקו. חיצים לבנים מציינים את נקודות המפתח המשמשות כסמנים וירטואליים (נקודות המפתח השנייה והרביעית עבור כל מזהה). בדוגמה זו, סמנים וירטואליים מוצאים בגווני אפור: תוויות maDLC סגולות, ירוקות ואדומות מופיעות כשחור, אפור ולבן, בהתאמה. בדוגמה 1, תוצאות maDLC הוצאו ישירות כסמנים וירטואליים ללא תיקון. בדוגמה 2, המזהים הסגולים והאדומים הוחלפו ותוקנו לפני הפלט, עקב החלפת מזהה במסגרות עוקבות. נקודה ירוקה בתוצאת ה-maDLC שהייתה צריכה להיות מתוקנת התעלמה ופלט ללא שינוי. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 1 ס"מ. (ב) ממשק משתמש גרפי מבוסס Python לעריכת קבצי נתוני קואורדינטות h5 כדי לשמור רק על נקודות מפתח ספציפיות ולהחליף את כל האחרים ב-NaN¹¹. (ב) חלון תפריט ראשוני בהפעלת התוכנית. בחר את הקובץ לעריכה באמצעות כפתור בחר קובץ h5. (ב) חלון לאחר בחירת קובץ h5. בדוק את נקודות המפתח להחלפה ב- NaN (מוצגות כשם חלק גוף בודד), וציין זמני התחלה (עם קצב פריימים) או מספרי פריימים להחלפת NaN. לחיצה על עיבוד נתונים שומרת את הקובץ הערוך באותה תיקיה ויוצרת גיבוי של המקור. (ג) פריימים עוקבים מסצנה שבה התרחש מתג זיהוי. (D) דוגמה לתיקון כל נקודות המעקב מ-B. (E) תמונת מצב המציגה את התוצאה מ-B כאשר רק נקודות המפתח השנייה והרביעית נשמרות. (F) דוגמה לתיקון התוצאה ב- E. בהשוואה לתיקון כל נקודות המפתח (C → D), הגבלת התיקון לשתי נקודות (C → E → F) מפחיתה את מספר העריכות הנדרשות. הפס הכתום בפינה הימנית התחתונה של כל תמונה C-F מציין סרגל קנה מידה של 5 ס"מ. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 4: זרימת עבודה למעקב אחר סרטון הסמן הווירטואלי. נתון זה קשור לפרוטוקול שלב 3. (A) הפאנלים מותאמים מאיור 1B וממחישים את תהליך III (מעקב אחר סרטון הסמן הווירטואלי) שמוצג באיור 1A. כל פרט מוקף במתאר מקווקו לבהירות יעד המעקב. בדוגמה זו, אנשים עם סמנים וירטואליים בשחור, אפור ולבן נמצאים במעקב כתוויות סגולות, ירוקות ואדומות, בהתאמה. בדוגמה 1, הסמן הווירטואלי האפור נעדר, אך vmTracking שומר על מעקב זהות נכון. בדוגמה 2, הסמן האפור מופיע על שני פרטים, אך המעקב נשאר נכון. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 1 ס"מ. (ב-ד) תמונות ממסגרות המשמשות לתיוג במהלך vmTracking. בשלב זה, נעשה שימוש ב-saDLC, כאשר כל נקודת מפתח מוגדרת כך שתכלול מידע אישי וחלקי גוף. תיוג מציין איזה חלק בגוף של איזה אדם מיוצג. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 5 ס"מ. (ב) תמונת מצב של מסגרת לפני תיוג. (ג) תמונת מצב של המסגרת ב-B לאחר התיוג. (D) תמונת מצב של מסגרת שונה מ-C לאחר התיוג. אפילו במסגרות שונות (למשל, C ו-D), התיוג שומר על זהות אישית באמצעות הסמן הווירטואלי כרמז, כפי שמצוין על ידי צבעי תווית עקביים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 5: זרימת עבודה עבור מיזוג תוצאות מעקב עם סרטון ללא-סמן להפקת סרטון מעקב ללא סמנים וירטואליים. זהו שלב אופציונלי הקשור להערה בשלב 3.8.2. (A) כאשר תוצאות המעקב מוחלות על סרטון הסמן הווירטואלי, סרטון המעקב המתקבל שומר על הסמנים הווירטואליים (vmTracking^vm+). חצים צהובים מציינים את הסמנים הווירטואליים הנראים בפלט. החלת תוצאות המעקב על הסרטון המקורי ללא סמן מייצרת במקום זאת סרטון מעקב ללא סמנים וירטואליים (vmTracking^vm-), המתאים למצגת או למטרות אחרות. הפס הכתום בפינה הימנית התחתונה של כל תמונה מציין פס קנה מידה של 1 ס"מ. (ב,ג) ניהול קבצים בתיקיית "סרטונים" בספריית הפרויקט בעת החלת תוצאות vmTracking על סרטון ללא סמן. התיבה הכתומה ממחישה באופן סכמטי את תוכן התיקיה. (B) תיקיית "סרטונים" לאחר יצירת סרטון מעקב של vmTracking על ידי הוצאת תוצאות המעקב לסרטון הסמן הווירטואלי (מוצג באופן סכמטי כ-'4. תוויות על סרטון סמן וירטואלי"). (ג) הכנת תיקיית "סרטונים" להוצאת תוצאות vmTracking לסרטון ללא סמן. העבר או שנה את השם של '1. סרטון סמן וירטואלי' ו-'4. תוויות בקובצי וידאו של סמן וירטואלי מלוח B כך שהם לא ייכללו בתיקייה. הבעיה אינה הקבצים עצמם, אלא ששמות הקבצים המקוריים שלהם מפריעים לעיבוד. לאחר מכן, מקם את ה-'5. וידאו ללא סמן' בתיקייה, ושינוי שמו כך שיתאים לשם קובץ הווידיאו המקורי של הסמן הווירטואלי (למשל, VMvideo.MP4). במצב זה, הפעלה חוזרת של Create videos מפיקה סרטון מעקב עם התוצאות המוחלות על הסרטון ללא סמן ('6. תוויות על וידאו ללא טוש). נתון זה שונה מ-Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 6: הערכת דיוק המעקב עם vmTracking. (א-ח) השוואה בין maDLC ל-vmTracking עבור הפרופורציות של התאמות. (A), שליליות מוטעות (B), תוצאות חיוביות מוטעות (C) ומתגי זיהוי (D) ב- 12 סצנות צפופות (CR), והתאמות (E), שליליות שגויות (F), תוצאות חיוביות מוטעות (G) ומתגי זיהוי (H) ב- 8 סצנות לא צפופות (nCR). עלילות מייצגות את הערכים הנמדדים עבור כל סצנה, ועמודות מייצגות את הערכים הממוצעים המחושבים מהן. השוואות סטטיסטיות נערכו באמצעות מבחן הדירוג החתום של Wilcoxon. (I) הקשר בין מספר המסגרות המבוארות ב-CR לבין הפרופורציות של התאמות ושליליות כוזבות. התיבה הירוקה מימין מציגה תצוגה מוגדלת של האזור המוקף בקווים המקווקוים הירוקים בחלונית השמאלית. עלילות מייצגות את הערכים הממוצעים. (J) הקשר בין דיוק הסמן הווירטואלי למעקב אחר התאמות בסצנות CR ו-nCR. דיוק הסמן הווירטואלי סווג עבור כל זוג סמנים לשישה סוגים: שתי הנקודות הוקצו בצורה נכונה לאדם הנכון, אחת נכונה ואחת חסרה, אחת נכונה ואחת שגויה, שתיהן שגויות, אחת שגויה ואחת חסרה, ושתיהן חסרות. עבור כל סצנה, הפרופורציות של קטגוריות אלה מוצגות כפסים מוערמים, כאשר התאמת המעקב המתאימה עבור אותה סצנה מצוינת מעל כל עמודה. הסצנות מסודרות בסדר עולה של מעקב אחר התאמה משמאל לימין, בנפרד עבור סצנות CR ו-nCR. סצנות CR: n = 12; סצנות nCR: n = 8. עמ' < 0.001, **עמ' < 0.01, *עמ' < 0.05. נתון זה שונה מ-Azechi and Takahashi (2025)⁹. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור משלים 1: תמונת מצב של החלון הראשי ב-DeepLabCut מרובה בעלי חיים, המציג את המיקום של כל כרטיסיית פעולה. התמונות ממחישות, באמצעות חיצים, את הכרטיסיות המשמשות בכל שלב בהליך vmTracking. התמונות צולמו מממשק המשתמש הגרפי של DeepLabCut (גרסה 2.2.3). אנא לחץ כאן להורדת איור זה.

איור משלים 2: תמונת מצב של החלון הראשי ב-DeepLabCut של חיה אחת, המציגה את המיקום של כל כרטיסיית פעולה. התמונות ממחישות, באמצעות חיצים, את הכרטיסיות המשמשות בכל שלב בהליך vmTracking. התמונות צולמו מממשק המשתמש הגרפי של DeepLabCut (גרסה 2.2.3). אנא לחץ כאן להורדת איור זה.

סרטון משלים 1: השוואה בין DeepLabCut ו-vmTracking מרובי בעלי חיים במעקב אחר שלושה עכברים. סרטון השוואתי זה מציג את הביצועים של DeepLabCut מרובה בעלי חיים (maDLC; משמאל) ו-vmTracking (מימין) במהלך מעקב אחר שלושה עכברים. סרטון ה-vmTracking נוצר על ידי החלפת סרטון הסמן הווירטואלי בסרטון המקורי ללא סמן, בהתאם להליך המתואר בהערה של שלב 3.8.2, כדי להציג את תוצאות המעקב ללא סמנים וירטואליים. עבור כל שיטת מעקב, זהויות בודדות מצוינות באמצעות תוויות צבע מאותה משפחת צבעים כדי להקל על ההשוואה. לאורך הסרטון, vmTracking מראה פחות מקרים שבהם מזוהים חלקי גוף השייכים לאנשים שונים, בהשוואה ל-maDLC. יש לציין כי בסביבות 15-17 שניות, maDLC מזהה באופן שגוי את האנשים המסומנים בירוק ובתווית אדומה, וכתוצאה מכך החלפת הזהויות שהוקצו להם. אנא לחץ כאן להורדת קובץ זה.

Discussion

למרות שיש ביקוש הולך וגובר לחקור צורות נטורליסטיות של אינטראקציה חברתית במכרסמים¹, השגת מידע אמין על זהות ותנוחות עבור בעלי חיים רבים הנעים בחופשיות - במיוחד במהלך אינטראקציות קרובות או חסימות - נותר אתגר טכני. vmTracking מתגבר על מגבלה זו, ומאפשר מעקב מדויק בתנאים כאלה. vmTracking משיג באופן אמין דיוק מעקב גבוה בתנאי ניסוי מגוונים, כולל סביבות צפופות⁹ שבהן עוקבים קונבנציונליים מרובי בעלי חיים ^4,5 נכשלים לעתים קרובות. חוסן זה נובע מהשילוב של יצירת סמנים וירטואליים, המבוססים על מעקב מרובה בעלי חיים, עם מעקב saDLC, המאפשר זהות מדויקת והערכת תנוחה. חשוב לציין, השיטה שמרה על ביצועים גבוהים גם כאשר דיוק הסמן הווירטואלי היה לא אופטימלי. סובלנות זו למידה מסוימת של חוסר שלמות בסמנים הווירטואליים מבטיחה ש-vmTracking נשאר מעשי למעקב אמין אחר מספר אנשים הנעים בחופשיות, ובכך מקדם מחקרים על אינטראקציות חברתיות של מכרסמים בתנאים טבעיים למחצה.

שלב קריטי ב-vmTracking הוא תיקון תוצאות המעקב אחר ריבוי בעלי חיים במהלך יצירת סמן וירטואלי. בתהליך זה, התעלמות ממתגי זהות או תוויות שגויות עלולה לגרום ל-saDLC לשמור על זיהויים שגויים אלה לאורך המעקב הבא. אם טעויות כאלה מתגלות מאוחר יותר, ניתן לתקן אותן על ידי תיקון המקטעים המושפעים, יצירה מחדש של סרטון הסמן הווירטואלי והפעלה מחדש של מעקב saDLC. במקרים מסוימים, סמנים וירטואליים עשויים להיות ממוקמים כהלכה, אך saDLC עדיין עלול לזהות אנשים באופן שגוי כאשר סמנים על בעלי חיים שונים מתקרבים במהלך אינטראקציות צפופות. ניתן להפחית שגיאות כאלה על ידי מיקום מחדש של הסמנים הווירטואליים המושפעים במהלך שלב היצירה כדי למקסם את המרחקים בין הסמנים, ובכך להפחית את הסבירות לבלבול בשלב המעקב הבא.

למרות שהפרוטוקול שלנו משתמש ב-DLC ^4,7 עבור שני השלבים, ניתן ליישם אותו גם עם SLEAP ^5,12. מניסיוננו, SLEAP במצב חיה בודדת הוא בדרך כלל פחות יציב מ-saDLC, כאשר הביצועים תלויים יותר בסרטון⁹. עם זאת, עבור שלב יצירת הסמן הווירטואלי, SLEAP או idtracker.ai¹³ יכולים להיות יעילים באותה מידה, והבחירה האופטימלית עשויה להשתנות בהתאם לסרטון. לכן, אם המעקב הראשוני של maDLC מציג מתגי זיהוי תכופים או אובדן חמור של נקודות מפתח בבדיקה חזותית, גישה מעורבת אפשרית - למשל, יצירת סמנים וירטואליים עם SLEAP או idtracker.ai ולאחר מכן מעקב אחר הסרטון המתקבל עם saDLC.

מכיוון ש-vmTracking כולל שני שלבי מעקב, יש שיראו אותו כמסורבל וישאלו מדוע סמנים פיזיים לא פשוט מחוברים מלכתחילה, מה שמבטל את הצורך ביצירת סמנים וירטואליים. עם זאת, סמנים וירטואליים מציעים יתרונות ברורים: ניתן ליישם אותם בדיעבד על סרטונים קיימים ללא סמן, תוך הימנעות מכל השפעות התנהגותיות או חששות אתיים הקשורים להצמדת מכשירים לבעלי חיים. ניתן למקם אותם בכל מקום, לעולם לא ליפול, ואינם מושפעים מיציבה או מאינטראקציות קרובות, מה שמאפשר למקם אותם ולהתאים אותם כך שיתאימו לסרטון הספציפי. גמישות זו מאפשרת זיהוי אישי אמין יותר וכתוצאה מכך דיוק מעקב משופר בהשוואה לסמנים פיזיים. כתוצאה מכך, vmTracking, המשתמש בסמנים וירטואליים, מאפשר מעקב מדויק במחקרים של אינטראקציות חברתיות חופשיות כמו גם בניתוח מחדש של נתוני וידאו ארכיוניים, שבהם לא ניתן ליישם סמנים פיזיים. נתוני המעקב ברמת הדיוק הגבוהה המתקבלים כתוצאה מכך שימושיים באופן נרחב בתחומים המסתמכים על ניסויים התנהגותיים, כולל מדעי ההתנהגות, פסיכולוגיה ומדעי המוח.

ל-vmTracking יש מספר מגבלות. ראשית, מכיוון שזיהוי אינדיבידואלי מסתמך על הבדלים בצבע הסמן, מספר הפרטים הניתנים למעקב מוגבל על ידי הטווח הסופי של הצבעים הניתנים להבחנה. עד כה, עקבנו בהצלחה אחר קבוצה של עשרה דגים⁹; עם זאת, הגדלת מספר זה תדרוש הרחבת מגוון הסמנים הווירטואליים - למשל, על ידי שינוי צורות סמנים או בחינת השימוש במבני שלד כמזהים נוספים - אם כי גישות אלה דורשות אימות נוסף. שנית, vmTracking כרוך בהכרח בצעד נוסף של הוספת סמנים וירטואליים לכל סרטון ללא סמן, שיכול להיות עתיר עבודה עבור הקלטות ארוכות או מערכי נתונים עם אנשים רבים. בנוסף, בעוד ששיטה זו ניתנת, באופן עקרוני, ליישום על מינים שונים ותנאי הקלטה, המעשיות של השגת מעקב ברמת דיוק גבוהה עשויה לרדת כאשר לא ניתן לייעל את הפרמטרים הניסיוניים. לדוגמה, בהקלטות של חיות בר או נעות בחופשיות בתנאים דמויי שדה, שבהם קשה לשלוט בתאורה, ברזולוציית המצלמה או בזוויות ההקלטה, התיקון הידני הנדרש במהלך הקצאת סמן וירטואלי נוטה לגדול, מה שעלול להגביל את הקלות של השגת נתוני מעקב באיכות גבוהה. בעתיד, ייעול ואוטומציה של תהליך הקצאת הסמן הווירטואלי ישפרו עוד יותר את הישימות והשימושיות של השיטה.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
צינור אקרילי (שקוף, עובי 5 מ"מ, קוטר פנימי 31 ס"מ)	סוגאוואראקוגיי בע"מ	https://www.sugawarakougei.jp/	נרכש מ-Hazaiya (קמעונאי חומרי אקריליק מקוון)
פלטת אקריליק (לבנה, בעובי 3 מ"מ, קוטר 31 ס"מ)	סוגאוואראקוגיי בע"מ	https://www.sugawarakougei.jp/	נרכש מ-Hazaiya (קמעונאי חומרי אקריליק מקוון)
עכבר C57BL/6J	ציוד מעבדת שימיזו, Co.LTD.	לא זמין
מצלמה	באזלר	acA3088-57uc
DeepLabCut 2.2.3	מעבדת מתיס במכון הפדרלי השווייצרי לטכנולוגיה בלוזאן	https://www.mackenziemathislab.org/deeplabcut
חבילת תוכנת מצלמות פיילון (Pylon Viewer)	באזלר	לא זמין