מאמר שיטה

שיטת מעקב רב-עצמי מונחית-ביטחון לסרטוני ספורט באמצעות היתוך סמנטי של חולצות

21 צפיות

⸱

DOI:

10.3791/71557

⸱

14 באוגוסט 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

במאמר זה

סיכום

פרוטוקול זה מתאר תהליך עבודה למעקב אחר מספר אובייקטים המונחה על ידי רמת ביטחון (confidence-guided multi-object tracking) עבור סרטוני ספורט, אשר משלב מידע על צבע החולצה ומספר השחקן כדי לשפר את קישור המסלולים ואת עקביות הזהות במצבים של תנודות ברמת הביטחון, הסתרה ומראה ויזואלי דומה בין ספורטאים.

תקציר

מעקב אחר אובייקטים מרובים (MOT) בסרטוני ספורט מספק מידע על מסלולי תנועה לצורך ניתוח טקטי, פרשנות של התנהגות שחקנים וניתוח סטטיסטי אוטומטי. עם זאת, תרחישי ספורט כוללים לעיתים קרובות שינויי כיוון מהירים, עצירות פתאומיות, הסתרה תכופה ושחקני קבוצה הדומים חזותית, מה שמוביל לתנודות ברמת הביטחון של הזיהוי ולבלבול בזהויות במהלך השיוך בין פריימים. כדי להתמודד עם אתגרים אלו, מחקר זה מציג את JerseyTrack, שיטת MOT לספורט המודרכת על ידי רמת ביטחון ומבוססת על מיזוג סמנטי של החולצות. זרימת העבודה מחלקת באופן אדפטיבי את תיבות הזיהוי למרווחי ביטחון גבוה, בינוני ונמוך, בהתאם להתפלגות הביטחון של כל פריים. זיהויים בעלי ביטחון גבוה משויכים בעיקר באמצעות דמיון בתנועה, בעוד שזיהויים בעלי ביטחון בינוני ונמוך משלבים בנוסף מאפייני צבע חולצה ומספרי שחקנים שחולצו באמצעות קיבוץ צבעים ומודל זיהוי תווים אופטי (OCR) קל משקל. מאפיינים סמנטיים אלו ממוזגים עם מידע על תנועה במהלך התאמה משלימה כדי לשפר את רציפות המסלול ואת עקביות הזהות. השיטה הוערכה על גבי מאגר הנתונים SportsMOT. JerseyTrack השיג 88.9% דיוק במעקב אחר אובייקטים מרובים (MOTA), 74.3% מדד IDF1 (IDentity F1 Score), ו-69.9% דיוק מעקב מסדר גבוה (HOTA), מה שמעיד על ביצועי מעקב משופרים בתנאי המעקב עבור ספורט שנבחנו. פרוטוקול זה מספק זרימת עבודה הניתנת לשחזור לשילוב שיוך מודרך בביטחון עם מידע סמנטי של חולצות לשיפור מעקב אחר אובייקטים מרובים בסרטוני ספורט.

מבוא

מעקב אחר מספר עצמים (MOT) מספק לוקליזציה רציפה של עצמים ושמירה על זהותם ברצפי וידאו, ותומך בחילוץ מסלולי ספורטאים, בניתוח טקטי ובניתוח סטטיסטי אוטומטי ביישומי וידאו לספורט1,2,3. מידע חזותי מהימן קשור גם לקבלת החלטות ספציפיות לספורט ולהערכת ביצועים במדעי הספורט, מה שמדגיש עוד יותר את הערך של נתוני תנועה יציבים המופקים מוידאו עבור ניתוח ספורט בשלבים הבאים4. בתרחישי ספורט, המהימנות של נתונים טקטיים תלויה ברציפות של מסלולי המעקב ובעקביות של זהות המטרות.

בהשוואה לתרחישי MOT כלליים, סרטוני ספורט כוללים שינויי כיוון מהירים, עצירות פתאומיות, קפיצות, אינטראקציות צפופות והסתרות תכופות. גורמים אלו גורמים לתנודתיות משמעותית ברמת הביטחון (confidence) של תיבות הזיהוי ומגבירים את תדירות הזיהויים בעלי ביטחון נמוך, מה שעלול להפריע לאסוציאציית המסלול5,6. מדים אחידים של הקבוצה מפחיתים עוד יותר את יכולת ההבחנה של מאפייני מראה כלליים ומגבירים את בלבול הזהות בין חברי קבוצה דומים ויזואלית7,8. כאשר הסתרה ודמיון במראה מופיעים באותה רצף, ביטחון הזיהוי יורד והמידע על מראה המטרה הופך לחלקי, מה שמגביר את הקושי באסוציאציית מסלול ובשמירה על הזהות9,10. ב-MOT, זיהוי מחדש (Re-ID) מתייחס לתהליך של קישור אותה זהות מטרה לאורך פריימים, תקופות הסתרה או מקרים של כניסה מחדש, באמצעות ראיות ויזואליות הקשורות לזהות. בסרטוני ספורט קבוצתי, רמזי Re-ID כלליים עשויים להיות חלשים מכיוון שספורטאים מאותה קבוצה לובשים לעיתים קרובות מדים דומים ובעלי מראה גופני דומה. סקירת הספרות הטכנית מעידה כי התגשמות מסלולים ובלבול בזהות ב-MOT של ספורט מטופלים בדרך כלל באמצעות שתי גישות משלימות: ניצול ביטחון זיהוי והגברת רמזי זהות. JerseyTrack ממוקמת בצומת הגישות הללו על ידי ויסות השימוש ברמזים סמנטיים של המדים בהתאם לאיכות הזיהוי, במקום להחיל מידע על צבע ומספרי שחקנים באופן אחיד על כל הזיהויים.

מחקר זה מציג את JerseyTrack, שיטה למעקב אחר אובייקטים מרובים (MOT) בספורט, המודרכת על ידי רמת ביטחון ומבוססת על היתוך סמנטי של חולצות. השיטה מיועדת לסרטוני ספורט קבוצתי שבהם הספורטאים לובשים חולצות גלויות ותוצאות הזיהוי מספקות תיבות חסומות (bounding boxes) עם מדדי ביטחון. JerseyTrack משלבת ארבעה רכיבים עיקריים: זיהוי ספורטאים, חלוקה לפי רמות ביטחון, חילוץ מאפיינים סמנטיים של החולצה ואסוציאציה מדורגת בין פריימים. ביטחון הזיהוי משמש לחלוקה אדפטיבית של הזיהויים לקבוצות עם ביטחון גבוה, בינוני ונמוך, אשר מעובדות באמצעות אסטרטגיות אסוציאציה שונות. זיהויים בעלי ביטחון גבוה מקושרים בעיקר באמצעות מידע על תנועה, בעוד שזיהויים בעלי ביטחון בינוני ונמוך משלבים בנוסף מידע על צבע החולצה ומספר השחקן כדי לשפר את השמירה על הזהות כאשר הראיות הוויזואליות חלשות. השיטה מיועדת למשימות ניתוח של סרטוני ספורט הדורשות מסלולי ספורטאים יציבים, כגון ניתוח טקטי ופירוש התנהגות שחקנים.

לגישה המוצעת ישנן גם מגבלות תפעוליות. חילוץ סמנטי של המדיים עשוי להיות מושפע מהסתרה חמורה, טשטוש תנועה, רזולוציית תמונה נמוכה, תנוחות חריגות של המדיים או מספרי שחקנים שאינם נראים. במקרים אלה, רמזים סמנטיים המבוססים על המדיים עלולים להיות חלקיים, ותהליך הקישור נשען באופן משמעותי יותר על עקביות בתנועה ואימות רב-פריימים. לפיכך, טענות הביצועים במחקר זה מוגבלות למערכי הנתונים שבדקו ולהגדרות הניסוייות. ניסויים על מערך הנתונים SportsMOT מראים כי JerseyTrack משפר את מדדי המעקב שנבחנו ומפחית אירועי החלפת זהות (identity-switching) תחת תנאי מעקב ספורט שנבדקו. הקושי העיקרי של MOT בסרטוני ספורט טמון בשמירה על רציפות המסלול ועקביות הזהות תחת תנועה מהירה, הסתרה ודמיון במראה. מחקרים קיימים הרלוונטיים ל-JerseyTrack ניתן לסווג באופן כללי לשני כיווני מחקר: שימוש ברמת ביטחון של הזיהוי לקישור מסלולים, ושיפור רמזי זהות באמצעות מאפיינים סמנטיים ספציפיים לספורט.

ביטחון הגילוי (Detection confidence) שימש באופן נרחב להערכת המהימנות של תיבות גילוי ולהכוונת קישור מסלולים ב-MOT. שיטות מעקב מוקדמות התייחסו בדרך כלל לביטחון כקריטריון סינון בינארי, שבו גילויים שמתחת לסף קבוע הוסרו כדי להפחית זיהויים שגויים (false positives)11,12. אסטרטגיה זו מפחיתה גילויים רועשים אך עלולה להשמיט מטרות אמיתיות תחת הסתרה, תנועה מהירה או איכות תמונה נמוכה, מה שמוביל לקיטוע של המסלול13,14,15. אסטרטגיות סינון דומות הראו גם שספי ביטחון קבועים רגישים לשינויים בסצנה ולאיכות הגילוי16,17. כדי לשפר את הניצול של גילויי ביטחון נמוך, ByteTrack הציגה אסטרטגיית קישור המשמרת תיבות בעלות ביטחון נמוך כמטרות מועמדות להתאמה משנית, ומקשרת אותן למסלולים קיימים באמצעות דמיון בתנועה והיסטוריית המסלול18. McByte מרחיב עוד יותר את הקישור ב-MOT לספורט על ידי שילוב מסיכות סגמנטציה המופצות זמנית כרמז לקישור, דבר המשפר את החוסן תחת תנאי תנועה מהירה, הסתרה והזזת מצלמה ללא צורך באימון נוסף לכל סרטון19. מחקרים קשורים התאימו גם את השימוש בגילויי ביטחון נמוך כדי לשמר מטרות חלשות אך פוטנציאליות במהלך הקישור20,21,22. אסטרטגיות קישור המותאמות לביטחון (Confidence-adaptive) שכללו לאחר מכן את קריטריוני ההתאמה בהתאם לעקביות התנועה ומהימנות הגילוי23,24,25. שיטות לזיקוק מסלולים המבוססות על רגרסיה של תיבת גילוי ואופטימיזציה של חלקות המסלול שימשו גם הן להפחתת קיטועי מסלולים26,27,28. אסטרטגיות זיקוק נוספות מספקות תמיכה משלימה לשמירה על רציפות המסלול תחת תנאי תנועה מורכבים29. זרימת אובייקטים קוהרנטית זמנית ממדלת עוד יותר עקביות זמנית ברמת האובייקט בין פריימים, ומספקת גישה נוספת מוכוונת-קישור להפחתת הפרעות במסלול בתרחישי MOT מורכבים30. שיטות מיזוג מעקבים (Tracker fusion) לומדות גם מתוצריהם של מספר מעקבים ומשתמשות באסטרטגיות בחירה או מיזוג מבוססות-לומד כדי לשפר את חוסן המעקב במדדי MOT שונים31. יחד, מחקרים אלו מצביעים על כך שקישור מודע לביטחון עוזר לשחזר מסלולים שנקטעו; עם זאת, רמזי ביטחון ותנועה מספקים מידע מזהות מוגבל כאשר שחקנים מאותה קבוצה בעלי מראה חזותי דומה. אף על פי ששיטות אלו מקלות ביעילות על קיטוע מסלולים בתרחישים כלליים, הן ניצבות בפני מגבלות מובנות במסגרת ספורט, כיוון ששחקנים באותה קבוצה הם לעיתים קרובות בעלי מראה חזותי דומה מאוד, והסתמכות בלעדית על מידע על ביטחון ותנועה אינה יכולה לספק בסיס מספיק להבחנה בזהות32,33,34. גם כאשר תיבות בעלות ביטחון נמוך משולפות ביעילות, דמיון במאפיינים עדיין עלול להוביל להחלפת זהויות, מה שמקשה על עמידה בדרישות הקשיחות של עקביות הזהות בניתוח ספורט.

סימני זהות ספציפיים לספורט שימשו גם לשיפור הבחנה בין זהויות במעקב אחר ספורטאים. מידע סמנטי של המדים, כגון צבע הקבוצה ומספר השחקן, מספק סימני זהות הקשורים באופן ישיר יותר לתרחישי ספורט מאשר ייצוגי מראה (embeddings) כלליים35,36,37. צבע המדים שימש לתמיכה בהבחנה ברמת הקבוצה ולהפחתת בלבול בין קבוצות, בעוד שזיהוי מספר השחקן מספק סימן זהות מדויק יותר כאשר אזור המספר גלוי וקריא38,39. מחקרי מעקב בספורט קיימים שילבו תכונות חזותיות ספציפיות לתחום וזיהוי צבע מדיים כדי לשפר את השיוך של שחקנים בתנאי ספורט צפופים40,41. עבודות קשורות על זיהוי מספרי מדיים ונתוני מספרים סינתטיים תומכות עוד יותר במידול זהות בתנאי רזולוציה נמוכה או הסתרה חלקית42,43. מחקרים אלה מעידים כי סמנטיקה של מדיים יכולה לחזק את ייצוג הזהות ב-MOT (מעקב אובייקטים מרובים) בספורט. עם זאת, רוב שיטות המעקב המשופרות סמנטית אינן ממדלות באופן מספיק את הקשר בין רמת הביטחון בזיהוי (detection confidence) לבין איכות התכונה הסמנטית. זיהויים בעלי ביטחון גבוה עשויים כבר להכיל מידע מרחבי ומידע מראה אמינים, מה שהופך חילוץ סמנטי חוזר לפחות יעיל. זיהויים בעלי ביטחון נמוך סובלים לעיתים קרובות מהסתרה, טשטוש, קטיעה או רזולוציה נמוכה, דבר המפחית את האמינות של סימני הצבע ומספר השחקן. מגבלה זו מובילה לתכנון שיוך מונחה-ביטחון, שבו סמנטיקת מדיים מוכנסת בהתאם לאיכות הזיהוי ולא מיושמת באופן אחיד על כל הזיהויים. המחקרים שנסקרו מראים כי שיוך מודע לביטחון ומידול סמנטי של מדיים מטפלים בהיבטים שונים של MOT בספורט. אסטרטגיות מבוססות-ביטחון קובעות בעיקר האם זיהוי מסוים צריך להשתתף בשיוך וכיצד עליו להיות מושווה למסלולים קיימים, בעוד שאסטרטגיות סמנטיות של מדיים משפרות בעיקר את ייצוג הזהות באמצעות סימנים ספציפיים לספורט. עם זאת, שני מנגנונים אלו מתוכננים לעיתים קרובות כרכיבים נפרדים. כתוצאה מכך, סימנים סמנטיים אינם תמיד מותאמים לפי איכות הזיהוי, ורמות הביטחון אינן מווסתות באופן ישיר את השימוש במידע על צבע ומספר שחקן במהלך השיוך. הפרדה זו מגבילה את הטיפול המשותף בקיטוע מסלולים ובבלבול זהויות בסרטוני ספורט קבוצתיים. הפער המחקרי שנותר טמון בקישור בין הערכת איכות הביטחון בזיהוי לבין שיוך סמנטי של מדיים בתוך אותו זרימת עבודה של מעקב.

פרוטוקול

מחקר זה כלל ניתוח משני של מערכי נתוני וידאו עם benchmarks הזמינים לציבור, דהיינו SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20. לא גויסו משתתפים, לא בוצעה התערבות, ולא נאספו נתוני נבדקים אנושיים חדשים. אישור ועדת אתיקה לא היה נדרש למחקר זה תחת הדרישות המוסדיות הרלוונטיות של Bangkok Thonburi University.

הפרוטוקול הבא מתאר את זרימת העבודה ששימשה לשחזור JerseyTrack, החל מהכנת הנתונים ועד להערכת המעקב. זרימת העבודה כוללת הכנת מערכי נתונים, הכנת גלאי, חילוץ סמנטי של חולצות, חלוקה לרמות ביטחון, אסוציאציה מונחית-ביטחון, הסקת מעקב והערכת ביצועים, כפי שסוכם ב-איור 1. התוכנה, מערכי הנתונים ומשאבי החומרה הנדרשים מפורטים ב-טבלת החומרים.

figure-protocol-1
איור 1. זרימת העבודה הכוללת של שיטת JerseyTrack. זרימת העבודה מורכבת מהפקת מאפיינים סמנטיים של החולצה, התאמה ראשונית של אובייקטים, התאמה משלימה מונחית-ביטחון ומיזוג מאפיינים. מאפייני צבע-קבוצה ומספר-שחקן מופקים מאזורי ספורטאים שזוהו ונשלבים בתהליך הקישור כדי לשפר את התאמת המסלול תחת תנאי זיהוי לא ודאיים. נא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

1. הכנת מערכי הנתונים ומבנה הספריות

  1. הורד את מערכי נתוני הבנצ'מרק הציבוריים המפורטים ב- טבלת חומריםהשתמשו ב-SportsMOT כבסיס הנתונים העיקרי להכנת הגלאי ולהערכת המעקב. שמרו את TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20 לצורך הערכה בין-בסיסי נתונים (cross-dataset evaluation).
  2. אחסנו את כל מערכי הנתונים תחת ספריית פרויקט מאוחדת. ודאו כי הגלאי, מודול החילוץ הסמנטי, מודול המעקב וערכת הכלים להערכה משתמשים במזהי רצף זהים.
  3. המרו את האנוטציות הרשמיות של SportsMOT לפורמט של אימון הגלאי (detector-training format) באמצעות סקריפט הכנת הנתונים ששימש במחקר זה. בצעו את הפקודה הבאה:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. סקריפט הכנת הנתונים (scripts/prepare_data.py) זמין במאגר קוד המקור של JerseyTrack ‏(https://doi.org/10.5281/zenodo.21274352). תלויות התוכנה הנדרשות מפורטות בקובץ environment.yml, כולל Python 3.12, PyTorch 2.11.0, ו-OpenCV 4.10 ומעלה. הגדירו את סביבת התוכנה באמצעות הפקודה הבאה: conda env create -f environment.yml. הפעילו את סקריפט הכנת הנתונים באמצעות הפקודה הבאה: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. וודאו שהמרתו מייצרת את קובץ תצורת אימון הגלאי: data\processed\SportsMOT_yolo\data.yaml ואת מניפסט ההמרה: data\processed\SportsMOT_yolo\conversion_manifest.csv.
    הערה: במחקר זה, מערך נתוני האימון והתיקוף המומר של SportsMOT הכיל 90 רצפים, 55,544 פריימים ו-608,152 אובייקטים מתויגים.
  6. יש לבחון רצפים מייצגים כדי לוודא שסדר הפריימים, קואורדינטות תיבות התחום (bounding-box) ותוויות הזיהוי נותרים עקביים עם הערות המקור של מדד הייחוס (benchmark).
  7. שמר את קבצי האנוטציות המומרים ללא שינוי לאורך שלבי הכנת הגלאי, הסקת המעקב וההערכה, כדי שכל השיטות ישתמשו באותה חלוקת מערך נתונים ובאותו פרוטוקול הערכה.
    הערה: התוצאה המצופה של חלק זה היא ספריית אימון סטנדרטית עבור גלאי SportsMOT, המכילה את האנוטציות המומרות, את מניפסט ההמרה ואת קבצי חלוקת מערך הנתונים הנדרשים להכנת הגלאי ולהערכת המעקב.

2. הכנת פלטי הגילוי

  1. בצע כוונון עדין (Fine-tune) לגלאי האובייקטים באמצעות חלוקת האימון המוכנה של SportsMOT. אופטימיזציה של הגלאי תתבצע באמצעות הפסד הסיווג (classification loss) והפסד רגרסיית תיבת החסם (bounding-box regression loss) המוגדרים במשוואה 1. השתמש ברזולוציית הקלט של הגלאי, בגודל ה-batch, בקצב הלמידה, במספר תקופות האימון (epochs) ובפרמטרי אימון אחרים המדווחים בהגדרות היישום ובטבלת החומרים
    Ldet = Lcls + Lbox   (1)
    כאן, Ldet  מציין את סך הפסד הגלאי, Lcls  מציין את הפסד הסיווג, ו-Lbox  מציין את הפסד רגרסיית תיבת החסם.
    הערה: נקודת השחזור (checkpoint) של הגלאי ששימשה בניסויים העיקריים (מזהה ניסוי פנימי e3) אומנה באמצעות מסגרת Ultralytics YOLO עם תצורת מערך הנתונים בפורמט YOLO של SportsMOT‏ (data/processed/SportsMOT_yolo/data.yaml). בצע את אימון הגלאי באמצעות הפקודה הבאה: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. לאחר האימון, השתמש בנקודת השחזור עם הביצועים הטובים ביותר שהתקבלה כדי להפיק פלטי גלאי עבור רצפי האימות באמצעות הפקודה הבאה: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. שמור את נקודת השחזור של הגלאי המאומן, את קובץ המטא-נתונים התואם ואת לוג האימון לאחר סיום האימון.
    הערה: במחקר זה, נקודת השחזור של הגלאי ששימשה לניסויים הפורמליים נשמרה כ:
    outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. קובץ המטא-נתונים התואם נשמר כ: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. ספריית פלטי הגלאי ששימשה לניסויי האימות הראשיים של SportsMOT הייתה: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
  3. הפעל את הגלאי המאומן על כל רצף אימות כדי להפיק תיבות חסם של ספורטאים ומדדי ביטחון (confidence scores). ייצא קובץ זיהוי אחד עבור כל רצף המכיל את אינדקס הפריים, קואורדינטות תיבת החסם, ביטחון הזיהוי ותווית המחלקה.
    הערה: בהרצת האימות של SportsMOT ששימשה בניסויים המרכזיים, סף ביטחון של 0.05 הפיק 343,990 זיהויי ספורטאים.
  4. בדוק את ספריית פלטי הגלאי לפני הסקת המסקנות של המעקב (tracking inference). ודא שלכל רצף יש קובץ זיהוי תואם, שאינדקסי הפרימים תואמים לרצף התמונות המוכן, ושכל רשומת זיהוי מכילה מדד ביטחון.
    הערה: התוצאה המצופה מסעיף זה היא ספריית פלטי גלאי מלאה המשמשת כקלט לחילוץ סמנטי של חולצות, חלוקה לרמות ביטחון ואסוציאציית מעקב.

3. חילוץ מאפיינים סמנטיים של חולצות

  1. השתמשו בקבצי הפלט של הגלאי כדי לחתוך אזורי ספורטאים מכל פריים של הווידאו. שמרו כל תמונת ספורטאי חתוכה יחד עם מזהה הרצף, אינדקס הפריים ואינדקס הגילוי שלה. השמיטו חיתוכים לא תקינים שבהם תוכן התמונה חסר או שתיבות התחום חורגות מגבולות התמונה. שמרו על הקישור בין שם קובץ החיתוך לבין רשומת הגילוי המקורית שלו, כך שניתן יהיה להתאים את המאפיינים הסמנטיים שחולצו לגילוי המתאים במהלך אסוציאציית המעקב.
  2. חלצו מאפייני צבע מ Uniform התמונות החתוכות של הספורטאים באמצעות סקריפט החילוץ הסמנטי ששימש במחקר זה.
    הערה: סקריפטי חילוץ המאפיינים הסמנטיים (scripts/extract_fast_color_semantics.py ו-scripts/formal_extract_semantics.py) זמינים במאגר קוד המקור של JerseyTrack ‏(https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ הגדרות נפרד; כל פרמטרי ההרצה מסופקים באמצעות ארגומנטי שורת הפקודה.
    צרו תיאורי צבע של ה-Uniform באמצעות הפקודה הבאה: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. צרו מאפיינים סמנטיים של מספר השחקן באמצעות מודל ה-OCR עם הפקודה הבאה: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. תיאורי צבע ה-Uniform ופלטי ההסתברות למספרי השחקנים מקושרים באמצעות מזהה הרצף ומאוחדים לקבצי המאפיינים הסמנטיים המשמשים במהלך אסוציאציית המעקב.
  3. המירות כל תמונת ספורטאי חתוכה למרחב הצבע Hue, Saturation, Value (HSV). חלצו פיקסלים של רקע מאזור ה-Uniform וסכמו את צבע ה-Uniform הדומיננטי באמצעות קיבצי K-means עם K = 3. נרמלו את תיאור הצבע שהתקבל באמצעות נרמול L2 לפני השוואת המאפיינים.
  4. אמנו את ענף זיהוי מספר השחקן באמצעות תמונות ספורטאים חתוכות בגודל קלט של 128 × 64 פיקסלים. צרו פסאודו-תוויות למספרי שחקנים באמצעות הליך התיוג בפיקוח חלש ששימש במחקר זה. השמיטו חיתוכים עם אזורי מספר שחקן שאינם נראים, בלתי קריאים, מסתירים באופן משמעותי או בעלי רמת ביטחון נמוכה מחישוב ההפסד של זיהוי תווים אופטי (OCR).
  5. בצעו אופטימיזציה לענף ה-OCR באמצעות הפסד ה-cross-entropy המוגדר במשוואה 2.
    figure-protocol-2 (2)
    כאן, Locr מציין את הפסד ה-OCR, yi  מציין את תווית מספר השחקן הפיקוחית, ו-figure-protocol-3 מציין את קטגוריית מספר השחקן החזויה.
  6. בצעו אופטימיזציה למודול חילוץ המאפיינים הסמנטיים באמצעות האופטימייזר האדפטיבי, קצב הלמידה, גודל הבאץ', דעיכת המשקולות ומשך האימון המופיעים בטבלת החומרים. שלבו את הפסד הגלאי ואת הפסד ה-OCR באמצעות יעד האימון הכולל המוגדר במשוואה 3.
    Ltotal = Ldet + γLocr   (3)
    כאן, Ltotal מציין את הפסד האימון הכולל, Ldet מציין את הפסד הגלאי המוגדר במשוואה 1, Locr מציין את הפסד ה-OCR המוגדר במשוואה 2, ו-γ מציין את מקדם השקלול שהוגדר על ידי המשתמש עבור הפסד ה-OCR.
  7. הפעילו את ענף ה-OCR המאומן על כל תמונת ספורטאי חתוכה. שמרו את קטגוריית מספר השחקן החזויה או את וקטור ההסתברות עבור כל חיתוך. אם מספר השחקן אינו נראה או שרמת הביטחון של ה-OCR נמוכה מהסף המוגדר במימוש, רשמו את מאפיין מספר השחקן כבלתי זמין במקום לכפות תחזית.
  8. שלבו את תיאור צבע ה-Uniform ואת פלט מספר השחקן לקובץ המאפיינים הסמנטיים המשמש את מודול המעקב.
    הערה: בהרצת האימות הראשית של SportsMOT, סקריפט החילוץ הסמנטי עיבד 343,990 גילויים ללא פריים חסר או חיתוכים לא תקינים. בחבילת העדכון הנוכחית, סיכום החילוץ הסמנטי דיווח על דיוק חילוץ סמנטי כולל של צבע ו-OCR של 86.7% תחת הגדרת SportsMOT שנבחנה. התוצאה הצפויה של סעיף זה היא קובץ מאפיינים סמנטיים שבו כל רשומת גילוי תקינה מקושרת לתיאור צבע Uniform, לפלט מספר שחקן כאשר הוא זמין, ולדגל המציין האם מידע סמנטי זמין עבור אסוציאציית המעקב.

4. רמות ביטחון בזיהוי מחיצות

  1. טענו את קובץ פלט הגלאי עבור כל רצף וידאו. אספו את ציוני הביטחון (confidence scores) של כל זיהויי הספורטאים בכל פריים.
  2. חלקו את ציוני הביטחון ברמת הפריים למרווחי ביטחון גבוה, בינוני ונמוך באמצעות קיבוץ K-means עם K = 3, בהתאם לזרימת העבודה של אסוציאציה מונחית-ביטחון המוצגת ב-איור 2. קבעו את ספי הביטחון האדפטיביים על ידי מזעור השונות בתוך הצברים (within-cluster variance) לפי משוואה 4.
    figure-protocol-4  (4)
    כאן, sd מציין את ציון הביטחון של זיהוי d; D1, D2, ו-D3 מציינים את מרווחי הביטחון הגבוה, הבינוני והנמוך, בהתאמה; μ1, μ2, ו-μ3 מציינים את ציוני הביטחון הממוצעים של שלושת המרווחים; ו- τ1 ו- τ2 מציינים את ספי הביטחון האדפטיביים שהתקבלו מתוצאות קיבוץ ה-K-means.
    הערה: הסקריפט לחלוקת הביטחון (scripts/formal_partition_confidence.py) זמין במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). מודול חלוקת הביטחון משתמש בהליך קיבוץ K-means חד-ממדי מבוסס NumPy עם K = 3. אין צורך בקובץ הגדרות נפרד; ספריית הקלט, ספריית הפלט ופרמטר הקיבוץ מוגדרים באמצעות ארגומנטים בשורת הפקודה. בצעו את הליך חלוקת הביטחון באמצעות הפקודה הבאה: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. התלויות של התוכנה הנדרשת, כולל גרסת NumPy, מפורטות בקובץ environment.yml.
  3. הריצו את הליך חלוקת הביטחון תוך שימוש בספריית פלט הגלאי כקלט.
    הערה: במחקר זה, ספריית פלט הגלאי הייתה: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. ספריית פלט חלוקת הביטחון הייתה: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. קבצי הפלט שנוצרו כללו את קבצי ה-CSV של הביטחון לכל רצף, _confidence_frame_summary.csv, ו-_confidence_runtime.csv.
  4. הקצו תווית רמת-ביטחון לכל זיהוי. סמנו זיהויים בביטחון גבוה עבור אסוציאציה מבוססת-תנועה, זיהויים בביטחון בינוני עבור אסוציאציה סמנטית-תנועתית, וזיהויים בביטחון נמוך עבור שחזור מסלול בלבד. שמרו את ציון הביטחון המקורי יחד עם תווית רמת-הביטחון שהוקצתה.
  5. בחנו את התפלגויות ציוני הביטחון ואת הפרייםים המייצגים, כפי שמוצג ב-איור 3. ודאו שזיהויים בביטחון גבוה תואמים בעיקר לתיבות חסום (bounding boxes) של ספורטאים שלמות ואמינות, בעוד שזיהויים בביטחון בינוני ונמוך מכילים בעיקר זיהויים חלקיים, מוסתרים, מטושטשים או חלשים.
    הערה: התוצאה הצפויה של חלק זה היא קובץ חלוקת ביטחון המכיל את אינדקס הזיהוי, ציון הביטחון המקורי, רמת הביטחון שהוקצתה, וספי ביטחון אדפטיביים ברמת הפריים עבור כל זיהוי.

figure-protocol-5
איור 2אסטרטגיית קישור מונחית-ביטחון. תהליכי העבודה מחלקים את רמת הביטחון בזיהוי למרווחי ביטחון גבוהים, בינוניים ונמוכים באמצעות קיבץ ביטחון אדפטיבי. זיהויים בעלי ביטחון גבוה מקושרים באמצעות דמיון בתנועה, זיהויים בעלי ביטחון בינוני מקושרים באמצעות שילוב של דמיון בתנועה ודמיון סמנטי של המדי, וזיהויים בעלי ביטחון נמוך משמשים לשחזור מסלול בסיוע סמנטי עם אימות רב-פריים. הפאנל הימני מסכם את הניסוח המתמטי המשמש לחלוקת הביטחון ולקישור. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-protocol-6
איור 3התפלגות של ציוני ביטחון בזיהוי. ההיסטוגרמה מציגה את מספר תיבות הגילוי של ספורטאים בתוך חמישה רווחי סמך עבור רצפי כדורגל, כדורסל וכדורעף במאגר הנתונים SportsMOT. ההתפלגות ממחישה הבדלים ברמת הביטחון של הגלאי בין קטגוריות הספורט שנבחנו. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

5. הרצת קישור מונחה-ביטחון

  1. טענו את קובץ פלט הגלאי, את קובץ התכונות הסמנטיות ואת קובץ חלוקת הביטחון (confidence-partition) עבור כל רצף וידאו. אותתו את העוקב (tracker) באמצעות הגליות התקפות הראשונות ושמרו מצב מסלול אחד עבור כל ספורטאי עוקב. עבור כל פריים עוקב, חזו את מיקומו של כל מסלול קיים באמצעות מודל התנועה של מסנן קלמן (Kalman filter).
  2. חשב את דמיון התנועה בין כל מסלול חזוי לבין זיהוי מועמד באמצעות מרחק מהלנוביס (Mahalanobis distance) כפי שהוגדר ב- משוואה 5.
    figure-protocol-7  (5)
    כאן, figure-protocol-8 מסמן את ה- Iמסלול ה-th בפריים ק, figure-protocol-9 מייצג את מצב מסלול הנתיב שנחזה על ידי קלמן, ד'נראה כי לא הוזנה טקסט למסמך המקור. אנא ספק את הטקסט באנגלית שברצונך לתרגם לעברית. מציין את זיהוי המועמד, figure-protocol-10 מסמן את מטריצת השונות המשותפת ההופכית של מצב המסלול החזוי, ו Sמולקולות (molecules) מציין את מרחק התנועה בין המסלול החזוי לבין הזיהוי.
    הערה: תזרים העבודה (workflow) המרכזי של ההתאמה מיושם בקובץ jerseytrack/formal_tracker.py ומופעל באמצעות scripts/formal_track.py, שניהם זמינים במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ הגדרה נפרד. כל פרמטרי ההפעלה, כולל ספי ערכים של רמת ביטחון (confidence thresholds), גיל מסלול מקסימלי, מקדמי משקל לתנועה ומשקל מרחק-מרכז, מסופקים באמצעות ארגומנטים בשורת הפקודה. פקודת ההפעלה המלאה והגדרות הפרמטרים מפורטות בשלב 6.2. המימוש משתמש באלגוריתם linear sum assignment של SciPy לצורך התאמה הונגרית (Hungarian matching) וב-NumPy לצורך התאמה מבוססת עלות.
  3. הפעילו את תהליך המעקב (tracking workflow) תוך שימוש בקובץ פלט הגלאי (detector-output), בקובץ התכונות הסמנטיות (semantic-feature) ובקובץ חלוקת הביטחון (confidence-partition) כקלטים.
    הערה: במחקר זה, מעקב הליבה (core tracker) הוטמע בקובץ jerseytrack\formal_tracker.py, ותהליך העקיבה בוצע באמצעות scripts\formal_track.py.
  4. שייכו זיהויים בעלי רמת ביטחון גבוהה למסלולים קיימים באמצעות עקביות תנועה. עדכנו מסלולים שהותאמו ואתחלו מסלולים חדשים רק כאשר זיהויים בעלי רמת ביטחון גבוהה שלא הותאמו עומדים בקריטריונים לאתחול מסלול.
  5. בדוק את פלטי חילוץ הסמנטיקה של החולצות המודגמים ב- איור 4, ובנה את וקטור מאפייני התוכן הסמנטי של החולצה עבור כל זיהוי, על ידי שילוב מתאר צבע הקבוצה ומאפיין מספר השחקן בהתאם ל- משוואה 6.
    פמיקרוסקופיה אלקטרונית סורקת (SEM) נראה שהטקסט שהוזן אינו שלם או מכיל תווים שגויים. אנא ספק את הטקסט המלא לתרגום.עמודה;fמזהה] (6)
    כאן, fמיקרוסקופ אלקטרונים סורק (SEM) מייצג את וקטור המאפיינים הסמנטיים המאוחד, פעמודה מייצג את מתאר צבע הקבוצה, ו- פמזהה מציין את מאפיין מספר השחקן שנוצר על ידי ענף ה-OCR.
  6. שייכו זיהויים בעלי רמת ביטחון בינונית על ידי שילוב של דמיון בתנועה עם דמיון סמנטי של החולצות. חשבו את ציון ההתאמה המאוחד בהתאם ל- משוואה 7.
    figure-protocol-11 (7)
    כאן, Sמיקרוסקופ אלקטרונים סורק מציין את דמיון הקוסינוס (cosine similarity) בין וקטורי התכונות הסמנטיים של המסלול לבין גילוי המועמד, Sמוט מציין את מרחק התנועה המוגדר ב- משוואה 5ו- λ מציין את מקדם ההיתוך האדפטיבי המאזן בין איברי הדמיון התנועתי והסמנטי.
  7. חשב את מקדם ההיתוך האדפטיבי בהתאם ל- משוואה 8.
    figure-protocol-12 (8)
    כאן, λ0 מציין את מקדם משקל התנועה הראשוני, σsd מייצג את סטיית התקן של ציוני הביטחון-בזיהוי (detection-confidence scores) בפריים הנוכחי, ו- σמקסימום מציין את סטיית התקן המקסימלית של ציון הביטחון המשמשת לנורמליזציה.
  8. השתמש בזיהויים בעלי ביטחון נמוך אך ורק לצורך שחזור מסלול. התאם זיהויים בעלי ביטחון נמוך למסלולים שהופסקו רק כאשר מידע סמנטי זמין וקריטריוני השחזור מתקיימים. בצע אימות רב-פריים לפני שחזור זהות של מסלול, והסר זיהויים שנכשלו באימות.
    הערה: כאשר תכונה של מספר-שחקן אינה זמינה, בצע קישור (association) באמצעות המידע הסמנטי הזמין ועקביות התנועה, במקום לכפות התאמה של מספר-שחקן. התוצאה המצופה של סעיף זה היא רשומת מעקב פרימה (frame-by-frame) המכילה זהויות מסלול, תיבות חסם (bounding boxes), תוויות רמת ביטחון, עלויות תנועה, מידע סמנטי והחלטות קישור סופיות. בחבילת הראיות של הגרסה המעודכנת, תוצאות המעקב נשמרו בנתיב: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

figure-protocol-13
איור 4חילוץ מאפיינים סמנטיים של ג'רזי. זיהויי ספורטאים מייצגים מסומנים עם מתארי צבעי-הקבוצה שחולצו ועם מידע על מספר השחקן שהופק על ידי מודול החילוץ הסמנטי של החולצה. המאפיינים הסמנטיים שחולצו משולבים לאחר מכן באסוציאציית נתונים מונחית-ביטחון. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

6. הרצת הסקת המעקב וייצוא תוצאות

  1. הפעל הסקת מסקנות למעקב (tracking inference) עבור כל רצף וידאו באמצעות קובצי פלט הגלאי, קובצי תכונות סמנטיות וקובצי חלוקת ביטחון (confidence-partition) שהוכנו. עיבד את פריימי הווידאו בסדר כרונולוגי כך שמצבי המסלול, ההיסטוריה הסמנטית והחלטות השחזור של המסלול יעודכנו באופן עקבי לאורך הרצף. השתמש באותה תצורת הסקה עבור כל הרצפים שנבחנו, אלא אם כן דווחה במפורש הגדרה ספציפית למערך נתונים מסוים.
    הערה: הסקת המסקנות למעקב בוצעה באמצעות scripts/formal_track.py, הזמין במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ תצורה נפרד. הפעל את הסקת המסקנות למעקב באמצעות הפקודה הבאה: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. כל הפרמטרים שלא צוינו שמרו על ערכי ברירת המחדל הרשומים בקוד המקור שנשמר בארכיון.
  2. לאחר הסקת המסקנות, החל את רצף העיבוד המשני (post-processing) באמצעות הפקודות הבאות: python scripts/merge_tracklets.py ו-python scripts/sweep_track_filter.py --min-len 95.
  3. ייצא את תוצאות המעקב בפורמט הנדרש על ידי ערכת כלי ההערכה. כלול את אינדקס הפריימ, זהות המסלול, קואורדינטות תיבת התחמה (bounding-box) וכל השדות הנדרשים על ידי פורמט הערכת הבנצ'מרק. שמור קובץ תוצאות מעקב אחד עבור כל רצף תוך שימוש במוסכמת שמיות עקבית לקבצים, כך שניתן יהיה להתאים כל קובץ תוצאות לקובץ תווילי האמת (ground-truth) התואם לו.
  4. החל אך ורק את פעולות העיבוד המשני ששימשו במחקר זה. בצע מיזוג מקטעי מעקב (tracklet merging) וסינון מסלולים באמצעות סקריפטי העיבוד המשני המתוארים בחבילת העדכון.
    הערה: במחקר זה, תהליך העיבוד המשני השתמש בסקריפטים הבאים:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. בדוק את תוצאות המעקב המיוצאות לפני ביצוע ההערכה הכמותית. ודא שזהויות המסלולים נשארות מספריות ועקביות בתוך כל רצף, ששום אינדקס פריימ אינו חסר, וכי כל תיבות ההתחמה נשארות בתוך גבולות התמונה.
    הערה: התוצאה המצופה מסעיף זה היא סט מלא של קובצי תוצאות מעקב ברמת הרצף המוכנים להערכה כמותית.

7. הערכת ביצועי המעקב

  1. העריכו את קובצי תוצאות המעקב שהוצאו באמצעות ערכת הכלים להערכה המפורטת ב- טבלת חומריםהתאימו כל קובץ תוצאות מעקב לקובץ האנוטציה של ה-ground-truth התואם ולהחלקה (split) המתאימה של מערך הנתונים. השתמשו באותה תצורת הערכה עבור כל השיטות המושוות כדי להבטיח שהבדלים בביצועים נובעים מתוצאות המעקב ולא מהגדרות ההערכה.
  2. הפעילו את ההערכה באמצעות הפקודה הבאה
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _סיבוב1\מינימום_אורך95 --תיקיית_פלט outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    הערה: ההערכה בוצעה באמצעות מימוש מדד TrackEval הסטנדרטי (גרסה 1.3.0) המאורכב בתוך חבילת השחזור JerseyTrack. לא בוצעו שינויים במימושים של מדדי ה-Higher Order Tracking Accuracy (HOTA), ה-CLEAR או ה-Identity. המאגר כולל מעטפת הרצה בסגנון MOTChallenge הנמצאת ב-evaluation/trackeval/scripts/run_mot_challenge.py, המגדירה את נתיבי מערך הנתונים והתוצאות ומפעילה את מדדי ההערכה הסטנדרטיים של TrackEval.
  3. תעדו את מדדי ההערכה המדווחים במאמר, כולל דיוק מעקב אחר אובייקטים מרובים (MOTA), מדד IDF1 (IDentity F1 Score), דיוק מעקב מסדר גבוה (HOTA), דיוק זיהוי (DetA), דיוק אסוציאציה (AssA), חיוביים שגויים (FPs), שליליים שגויים (FNs) ואירועי החלפת זהות. ייצאו את סיכום ההערכה כטבלה ושמרו את קבצי ההערכה לכל רצף לצורך אימות.
  4. בעת השוואת JerseyTrack לשיטות בסיס (baseline), השתמשו באותה חלוקת נתונים, פלטי גלאי והגדרות הערכה עבור כל השיטות. תיעדו את מערך הנתונים, מקור פלט הגלאי, הגדרות ערכת כלי ההערכה וערכי המדדים עבור כל השוואה.
  5. בחנו את לוגים ההערכה כדי לוודא שכל הרצפים הוערכו בהצלחה ושלא חסרים קבצי תוצאות מעקב.
    הערה: במחקר זה, קובץ הסיכום הראשי של TrackEval נשמר בנתיב: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    סיבוב 1\אורך מינימלי 95\הערכת מעקב\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. התוצאה המצופה של חלק זה היא טבלת סיכום הערכה מלאה יחד עם קבצי מדדים לכל רצף, התומכים בתוצאות שדווחו ובאימות העוקב.

תוצאות

סעיף זה מדווח על התוצאות הכמותיות והאיכותיות שהתקבלו מניסויי מעקב רב-אובייקטים בספורט שהוערכו. התוצאות מתמקדות בדיוק המעקב, שימור הזהות, איכות הקישור והעמידות תחת הגדרות מערך הנתונים שנבדקו. טענות הביצועים מוגבלות לשיטות, למערכי הנתונים, לפלטי הגלאי ולהגדרות ערכת ההערכה המתוארות בפרוטוקול ובהגדרות היישום.

הגדרת הניסוי ותכנון ההערכה

ערכת נתונים ועיבוד מקדימ:

SportsMOT שימש כנקודת הייחוס העיקרית להכנת הגלאי, להסקת המעקב ולהערכה כמותית. מערך הנתונים מכיל 240 רצפי וידאו ויותר מ-150,000 פריימים של תמונות בתרחישים של כדורגל, כדורסל וכדורעף (איור 5). בהערכה הרשמית, תוצאות ה-SportsMOT העיקריות חושבו באמצעות חלוקת האימות יחד עם פלטי הגלאי, תצורת המעקב והגדרות TrackEval המתוארות בפרוטוקול. הערכה בין-מאגרי נתונים נערכה על TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20 כדי לבחון את העברת הביצועים בין סוגי מאגרי נתונים שונים, ולא כדי לבצע השוואות ישירות ברמת המדדים בין מאגרי הנתונים.

figure-results-1
איור 5. מערכי נתונים מייצגים ששימשו להערכה. פריימים לדוגמה ממחישים רצפים מייצגים של כדורגל, כדורסל וכדורעף ששימשו להערכה ניסויית. האיור מדגיש את השונות בנקודת המבט של המצלמה, בצפיפות השחקנים ובמורכבות הסצנה במערכי הנתונים שנבחנו. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

נתוני ה-SportsMOT אורגנו בהתאם למבנה מערך הנתונים הרשמי והומרו לפורמט אימון הגלאי המתואר בפרוטוקול. נתוני האימון והתיקוף של ה-SportsMOT לאחר ההמרה הכילו 90 רצפים, 55,544 פריימים ו-608,152 אובייקטים מתויגים. חלק האימון שימש להכנת הגלאי ולכוונון פרמטרים, בעוד שחלק התיקוף שימש להערכת המעקב הרשמית המדווחת במחקר זה. כל פריימי הקלט שונו בגודלם בהתאם לתצורת הגלאי המדווחת בפרוטוקול ובטבלת החומרים. אותו הליך עיבוד מקדים הוחל במהלך הכנת הגלאי, חילוץ תכונות סמנטיות, הסקת מעקב והערכת TrackEval, כך שההבדלים המדווחים שיקפו בעיקר את אסטרטגיית קישור המעקב ולא הבדלים בעיבוד הנתונים.

מדדי הערכה:

ביצועי המעקב הוערכו באמצעות פרוטוקול הערכה תואם ל-MOTChallenge, שיושם בעזרת ערכת ההערכה המפורטת בטבלת החומרים. המדדים המדווחים מתארים שלושה היבטים של ביצועי MOT בספורט: דיוק מעקב כולל, שימור זהות ואיכות הגילוי-קישור (detection-association). MOTA, IDF1 ו-HOTA שימשו כמדדי ההערכה העיקריים44,45. מדד ה-MOTA מסכם חיוביים שגויים (false positives), שליליים שגויים (false negatives) והחלפות זהות לתוך ציון דיוק מעקב כולל. IDF1 מודד את העקביות בין המסלולים החזויים לזהויות האמת (ground-truth). HOTA מעריך במקביל את דיוק הגילוי ואת דיוק הקישור, ולכן מאפיין את האיזון בין לוקליזציה של המטרה לקישור המסלול. DetA ו-AssA דווחו כמדדים משלימים. FPs, FNs והחלפות זהות (IDs) שימשו לאפיון מקורות שגיאה הקשורים לגילויים שגויים, גילויים שהוחסרו ושינויי זהות. לצורך השוואות בין שיטות ב-SportsMOT, נעשה שימוש באותם פלטי גילוי ובאותה הגדרה של ערכת ההערכה כדי להפחית את השפעת השונות של הגלאי והבדלים בהגדרות ההערכה. לצורך השוואות בין מאגרי נתונים, ערכי המדדים פורשו כתוצאות הערכה בתוך מאגר הנתונים, ולא כראיה לעליונות ביצועים מוחלטת בין מאגרי נתונים שונים.

סביבה ניסיונית והגדרת פרמטרים:

הניסויים בוצעו באמצעות משאבי החומרה והתוכנה המפורטים בטבלת החומרים. אותה סביבת חישוב, מסגרת גלאים, פלטי גלאים וערכת הערכה שימשו לאורך ניסויי ה-SportsMOT העיקריים כדי לשמור על עקביות במהלך הכנת הגלאים, הסקת המעקב והערכת הביצועים. מסגרת הגלאים המפורטת בטבלת החומרים אומנה באמצעות גודל אצווה (batch size) של 16, קצב למידה ראשוני של 0.01 ו-80 תקופות אימון (epochs). במודול מיצוי הסמנטיקה של החולצות, קיבוץ הצבעים בוצע באמצעות K-means כאשר K = 3, וענף ה-OCR השתמש ברשת עצבית רקורסיבית קונבולוצית קלה עם גודל קלט של 128 × 64 פיקסלים. ענף ה-OCR עבר אופטימיזציה באמצעות האופטימייזר האדפטיבי המפורט בטבלת החומרים עם קצב למידה של 1 × 10⁻3, דעיכת משקלים (weight decay) של 1 × 10⁻5, גודל אצווה של 64 ו-40 תקופות אימון. לא נעשה שימוש בתזמון נוסף של קצב הלמידה במהלך אימון מודול מיצוי המאפיינים הסמנטיים. מקדם השקלול של הפסד ה-OCR (γ) הוגדר כהיפר-פרמטר שנקבע על ידי המשתמש ונבחר בהתאם לביצועים בערכת האימות. שחלוף רמות הביטחון (Confidence-level stratification) השתמש בחלוקת K-means אדפטיבית, שבה τ₁ ו-τ₂ חושבו מהתפלגות ביטחון הגילוי של כל פריים במקום להיקבע ידנית לפני ההסקה.

מעקב אחר ביצועים במקומות שונים בספורט ובמורכבות התרחיש

ביצועים כמותיים תחת תנאי ספורט וסביבה שונים:

ביצועי המעקב הוערכו תחת שני גורמי קיבוץ: קטגוריית ספורט ומורכבות הסצנה. ניתוח קטגוריית הספורט כלל רצפים של כדורגל, כדורסל וכדורעף. ניתוח מורכבות הסצנה בחן את רמת ההסתרה, מהירות התנועה וצפיפות המטרות תוך שימוש באותם קריטריוני קיבוץ לאורך הרצפים שהוערכו. המדדים שדווחו התאימו לפרוטוקול ההערכה המתואר בסעיף 7 של הפרוטוקול. 

איור 6 מסכם את תוצאות המעקב הכמותיות תחת קטגוריות ספורט ותנאי מורכבות סצנה שונים. איור 6A מציג את מדדי ה-MOTA וה-DetA ברצפי משחקי כדורגל, כדורסל וכדורעף. איור 6B מציג את השונות ב-MOTA תחת רמות שונות של הסתרה, מהירות תנועה וצפיפות מטרות. איור 6C מציג את ספירות ה-FP וה-FN המצטברות עבור כל ממד של מורכבות הסצנה.

figure-results-2
איור 6. ביצועי מעקב על פני קטגוריות ספורט ותנאי סצנה שונים. (A) דיוק מעקב של מספר עצמים (MOTA) ודיוק זיהוי (DetA) עבור כדורגל, כדורסל, כדורעף והממוצע הכללי. (B) MOTA על פני תנאי סצנה מייצגים עם רמות שונות של הסתרה (occlusion), צפיפות שחקנים ומורכבות תנועה. (C) מספר מקרי חיובי שגוי (FPs) ושלילי שגוי (FNs) על פני תנאי הסצנה שנבחנו. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

בשלוש קטגוריות הספורט, JerseyTrack השיג MOTA ממוצע של 88.9% ו-DetA ממוצע של 80.2%. ההבדל ב-MOTA בין קטגוריות הספורט עמד על 1.3 נקודות אחוז, כאשר ה-MOTA הגבוה ביותר נצפה ברצפי כדורעף (89.2%) והנמוך ביותר נצפה ברצפי כדורסל (87.9%). ה-MOTA הנמוך יותר שנצפה ברצפי כדורסל עולה בקנה אחד עם השכיחות הגבוהה יותר של אינטראקציות בטווח קצר והסתרות צפופות ברצפים שנבחנו. תחת תנאי סצנה פחות מורכבים, הכוללים הסתרה קלה, מהירות תנועה נמוכה והתפלגות מטרות דלילה, ה-MOTA הגיע ל-91.8%, 93.1% ו-93.8%, בהתאמה. תחת תנאי סצנה מורכבים יותר, ה-MOTA ירד ל-84.9% תחת הסתרה כבדה, ל-83.6% תחת תנועה במהירות גבוהה, ול-83.1% תחת התפלגות מטרות צפופה. תוצאות אלו מראות כי ביצועי המעקב ירדו ככל שמורכבות הסצנה עלתה, תוך שהם נשארים בטווח המדווח לאורך תרחישי הספורט שנבחנו.

מעקב אחר עקביות לאורך תרחישי ספורט מייצגים:

איור 7 מציג דוגמאות מעקב מייצגות המדגימות את העקביות הזמנית של JerseyTrack תחת שלושה תרחישי ספורט מאתגרים: אינטראקציות צפופות בין שחקנים, הסתרה חלקית ממושכת ושינויי כיוון מהירים. לאורך רצפים מייצגים אלו, המעקב שמר על זהויות מסלול עקביות למרות חפיפה תכופה בין ספורטאים ותנועה דינמית. פרגמנטציה של הזהות נצפתה בעיקר במהלך הסתרה חמורה או כאשר הסמנטיקה של החולצה הפסיקה להיות זמינה באופן זמני; עם זאת, אסטרטגיית השיוך מונחית-הביטחון אפשרה שחזור של המסלול לאחר שזיהויים מהימנים הופיעו שוב. דוגמאות מייצגות אלו תומכות באופן איכותני בתוצאות הכמותיות המוצגות באיור 6 על ידי הדגמת שימור זהות יציב תחת תנאי מעקב הספורט שנבחנו.

figure-results-3
איור 7תוצאות מעקב מייצגות שהופקו על ידי JerseyTrack. פריימים רצופים מרצפי כדורסל, כדורגל וכדורעף ממחישים את השמירה על זהות הספורטאים ומסלוליהם במהלך המעקב. תיבות חסם צבעוניות מייצגות זהויות מנוטרות שנשמרו לאורך פריימים רצופים של הווידאו. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

תוצאות אבלציה עבור שימור זהות:

ניתוח אבלציה בוצע כדי לבחון את התרומות של אסטרטגיית השיוך מונחית-הביטחון (confidence-guided association) ומודול היתוך הסמנטיקה של החולצה (jersey semantic fusion module) לשימור הזהות. ארבעה וריאנטים של המודל הושוו: V0, קו הבסיס ללא שיוך מונחה-ביטחון או היתוך סמנטיקה של החולצה; V1, הווריאנט המשתמש בשיוך מונחה-ביטחון בלבד; V2, הווריאנט המשתמש בהיתוך סמנטיקה של החולצה בלבד; ו-V3, תצורת ה-JerseyTrack המלאה המשלבת את שני הרכיבים. ההערכה התמקדה במדדים הקשורים לזהות, כולל IDs, IDF1, דיוק זהות (IDP) ו recalls זהות (IDR). דפוסי שימור הזהות המייצגים מוצגים ב-איור 8.

figure-results-4
איור 8. ניתוח אבלציה של אסוציאציה סמנטית של חולצות מונחית-ביטחון. (A) החלפות זהות כוללות (IDs) ומדד IDentity F1 (IDF1) עבור וריאנטים של המודל שנבדקו. (B) השוואה של IDs בין המודל המלא (V3) לבין תצורת הבסיס (V0) תחת תרחישי מעקב מאתגרים מייצגים. (C) IDF1, דיוק זהות (IDP) ו recall של זהות (IDR) של המודל המלא לאורך תרחישי מעקב שונים. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

במסגרת תהליך התיקוף הכולל של SportsMOT, הגדרת V3 המלאה הניבה את מספר ה-IDs הנמוך ביותר ואת ה-IDF1 הגבוה ביותר מבין ארבעת וריאנטי המודל. V3 רשם 2,768 IDs, המהווים 477 החלפות זהות פחות מאשר V0, והשיג IDF1 של 74.3%, המהווה עלייה של 7.1 נקודות אחוז לעומת V0. תוצאות אלו מעידות על כך ששני המודולים תרמו במשותף לשימור הזהות תחת תנאי מעקב הספורט שנבחנו. השוואה בין הווריאנטים בעלי המודול הבודד לבין ההגדרה המלאה הראתה עוד כי שני המודולים השפיעו על מקורות שונים של שגיאות מעקב. אסטרטגיית הקישור המונחית-ביטחון (confidence-guided association) הפחיתה שגיאות התאמה הקשורות לביטחון גילוי לא יציב ולאי-ודאות במיקום, בעוד שמודול מיזוג הסמנטיקה של החולצות סיפק מידע נוסף על הזהות כאשר מידע התנועה לבדו לא היה מספיק. הגדרת V3 המלאה השיגה ביצועים טובים יותר בהקשר של זהות מאשר כל אחד מהווריאנטים בעלי המודול הבודד, מה שמרמז על כך ששני המודולים סיפקו תרומה משלימה ולא כפולה.

תוצאות ברמת התרחיש הראו הבדלים גדולים יותר בתנאים מאתגרים יותר לשימור זהות. במהלך הסתרה (occlusion) למשך זמן ממושך, V3 רשם 215 IDs לעומת 482 עבור V0. בתרחישים צפופים של אותה קבוצה הכוללים 6–10 שחקנים, V3 רשם 328 IDs לעומת 615 עבור V0. תחת שינויי כיוון במהירות גבוהה, V3 רשם 482 IDs לעומת 960 עבור V0. הפחתות אלו עולות בקנה אחד עם השימוש המיועד ברמזים סמנטיים במהלך הסתרה ואינטראקציות צפופות, ועם אסוציאציה מונחית-ביטחון תחת ביטחון גילוי תנודתי במהלך תנועה מהירה. המגמות של IDP ו-IDR המוצגות ב-איור 8C מעידות על כך שההפחתה במספר ה-IDs לא ליוותה הפחתה משמעותית בדיוק הזהות (identity precision) או באחזור הזהות (identity recall). התצורה המלאה שמרה על ערכי IDF1 מעל 71% לאורך התרחישים המאתגרים שנבחנו, כאשר ערכים נמוכים יותר נצפו תחת אינטראקציות צפופות של אותה קבוצה ושינויי כיוון במהירות גבוהה. תוצאות אלו מעידות על שיפור בעקביות הזהות תחת התנאים שנבחנו, תוך זיהוי אינטראקציות צפופות ותנועה מהירה כמקורים העיקריים הנותרים לירידה בביצועים.

תוצאות הערכה בין-מערכי נתונים:

הסריקה הושוותה בין מאגרי נתונים שונים כדי לבחון האם התנהגות המעקב שנצפתה ב-SportsMOT ניתנת לשימור בתנאי מאגרי נתונים שונים. ההערכה כללה שני מאגרי נתונים ספציפיים לספורט, SoccerNet Tracking ו-TeamTrack, ושני מאגרי נתונים כלליים של MOT, MOT17 ו-MOT20. מטרת ניסוי זה הייתה לבחון את העברת הביצועים בין סוגים שונים של מאגרי נתונים. התוצאות לא שימשו כדי לטעון לעליונות ישירה ברמת המדדים בין מאגרי הנתונים, מכיוון שפרוטוקולי ההערה, הרכב הסצנה, זוויות הצילום וקטגוריות המטרות שונים.

טבלה 1 מסכמת את תוצאות ההערכה בין מערכי נתונים שונים. במערכי הנתונים הספציפיים לספורט, JerseyTrack שמר על ערכי MOTA ו-IDF1 יציבים יחסית בהשוואה להגדרת התיקוף הראשית של SportsMOT. מגמה זו מעידה על כך ששיטת האסוציאציה המונחית-ביטחון (confidence-guided association) והרמזים הסמנטיים הקשורים למדי חול שנותרו יעילים כאשר סצנות המעקב שימרו מאפיינים חזותיים של ספורט קבוצתי, כולל מדי תחרות חזרתיים, אינטראקציות צפופות בין ספורטאים והסתרות תכופות. במערכי נתונים כלליים של MOT, השיטה שמרה על ערכי MOTA ו-DetA תחרותיים, בעוד שערכי ה-IDF1 היו נמוכים יותר מאלה שנצפו במערכי הנתונים הספציפיים לספורט. דפוס זה תואם להיעדר רמזים של צבע חול ומספרי שחקנים ב-MOT17 וב-MOT20, המשמשים את מודול ההיתוך הסמנטי. תחת תנאים אלו, רכיב האסוציאציה המונחית-ביטחון נותר רלוונטי, בעוד שהענף הסמנטי תרם פחות מידע ספציפי לזהות מאשר בסרטוני ספורט קבוצתי. באופן כללי, תוצאות אלו מעידות כי JerseyTrack הועבר ביעילות רבה יותר למערכי נתונים המכילים סמנטיקה חזותית ספציפית לספורט מאשר למערכי נתונים כלליים למעקב אחר הולכים. לפיכך, ההערכה בין מערכי הנתונים תומכת ביישום המיועד של השיטה כמעקב מכוון-ספורט, תוך זיהוי היעדר סמנטיקה מפורשת של מדי חול כגורם מגביל עבור מערכי נתונים של MOT שאינם קשורי ספורט.

סט של נתוניםMOTA↑IDF1↑DetA↑FPS↑
SoccerNet Tracking86.871.377.932.1
TeamTrack86.270.777.332.8
MOT1784.769.576.133.9
MOT2084.168.975.333.2

טבלה 1: תוצאות הערכה בין-מאגרי נתונים. ביצועי מעקב של JerseyTrack שנבחנו בארבעה מאגרי נתונים ציבוריים להשוואה (benchmark). מדווחים מדדי דיוק מעקב אחר אובייקטים מרובים (MOTA), מדד IDF1 (IDentity F1 Score), דיוק זיהוי (DetA), ומהירות עיבוד הנמדדת כמספר פריימים לשנייה (FPS). ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור MOTA, IDF1, DetA ו-FPS.

חסינות תחת תנאי הפרעה מבוקרים

ניסויי הפרעה מבוקרים בוצעו כדי לבחון את היציבות של JerseyTrack תחת הפרעות נפוצות של ראייה ואיכות זיהוי המופיעות בסרטוני ספורט. ההפרעות שהוערכו חולקו לשלוש קטגוריות: הפרעת מאפיינים סמנטיים, הפרעת תיבת זיהוי והפרעה סביבתית. הפרעות מאפיינים סמנטיים כללו הסתרה של מספר השחקן, טשטוש תמונה, ירידה ברזולוציה וצבעי חולצות דומים. הפרעות תיבת זיהוי כללו היסט של תיבת תחומי הגבלה (bounding-box), תנודות בביטחון הזיהוי ותיבות זיהוי שגויות. הפרעות סביבתיות כללו רעש דמוי גשם, דגראדציה דמוית ערפל, תאורה חזקה והפרעות של צללים. איור 9 מסכם את ביצועי המעקב תחת תנאי הפרעה אלה. תחת הפרעת מאפיינים סמנטיים, ביצועי המעקב ירדו ככל שנראות מספר השחקן ואיכות החיתוך (crop) התדרדרו. כאשר 40% מאזור מספר השחקן הוסתרו, ה-MOTA ירד ב-3.2 נקודות אחוז וה-IDF1 ירד ב-5.3 נקודות אחוז ביחס למצב ללא הפרעה, בעוד שדיוק החילוץ הסמנטי נותר 86.7%. תוצאות אלו מעידות כי צבע החולצה והרמזים של מספר השחקן סיפקו מידע משלים כאשר רמז סמנטי אחד הפך לפחות אמין. תחת הפרעת תיבת זיהוי, השיטה הראתה ירידה מתונה בביצועים ולא כשל פתאומי. כאשר תיבות הזיהוי הוזזו ב-±10 pixels וציוני הביטחון הופרו באמצעות רעש גאוסי, הירידה ב-MOTA נותרה מתחת ל-3 נקודות אחוז, והעלייה ב-IDs נותרה בטווח של 16%. מגמה זו עקבית עם אסטרטגיית השיוך מונחית-הביטחון, שבה גילויים בעלי ביטחון בינוני ונמוך מעובדים באמצעות אילוצי שיוך נוספים, ולא באותה אסטרטגיה המיושמת לגילויים בעלי ביטחון גבוה.

figure-results-5
איור 9. הערכת חוסן תחת הפרעות מבוקרות. (A) שינויים במדדי Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), ו-Identity Switches (IDs) עם הגברת הסתרת מספר החולצה. (B) ירידה בביצועים תחת תנאי הפרעה מייצגים. (C) עלייה ב-IDs תחת סוגי הפרעה שונים. (D) דיוק חילוץ סמנטי של החולצה תחת תנאי ההפרעה שנבחנו. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

תחת הפרעה סביבתית, הירידות במדדי המעקב הראשוניים נותרו מתחת ל-5 נקודות אחוז בתנאים שנבחנו, ודיוק החילוץ הסמנטי נשאר 87.2%. השימוש במתארי צבע מבוססי HSV הפחית את הרגישות לשינויים בתאורה, בעוד שענף ה-OCR שמר על מידע שמיש לגבי מספרי השחקנים עבור תת-קבוצה של חיתוכי תמונה מטושטשים או פגומים. תוצאות אלו מעידות על כך שהמודול הסמנטי נותר שמיש תחת תנאי ההפרעה שנבחנו, אם כי אמינותו המשיכה להיות תלויה בנראות החולצה ובאיכות החיתוך. באופן כללי, ניסויי ההפרעה המבוקרים הראו כי JerseyTrack שמר על ביצועי מעקב מדידים תחת ההפרעות הסמנטיות, הפרעות איכות הזיהוי וההפרעות הסביבתיות שנבחנו. ממצאים אלו יש לפרש במסגרת טווח ההפרעה שנבדק. זיהוי מחדש שיטתי של שחקנים שיצאו מהפריים, רעש רקע חמור והסתרה מלאה לטווח ארוך לא נבחנו בנפרד בניסוי זה ונידונים כמגבלות בסעיף הדיון.

ניתוח תרומת מודולים ואפליה של מאפיינים

ניתוחים נוספים של תרומת המודולים והבחנה בין מאפיינים בוצעו כדי לבחון כיצד שני הרכיבים המוצעים השפיעו על ביצועי המעקב הקשורים לזהות. ניתוח תרומת המודולים השתמש בארבע גרסאות המודל שהוגדרו בניתוח האבלציה, בעוד שניתוח הבחנת המאפיינים השווה בין מאפייני Re-ID מסורתיים, מאפייני צבע בלבד, מאפייני מספר שחקן בלבד ומאפייני סמנטיקה ממוזגים של החולצה. יחס המרחקים הבין-מחלקתי/תוך-מחלקתי שימש לתיאור נפרדות המאפיינים, כאשר ערכים גבוהים יותר מעידים על הפרדה רבה יותר בין זהויות שונות ביחס לשונות בתוך אותה זהות. Table 2 מסכם את ניתוח תרומת המודולים. בהערכה הכוללת, התרומה המוערכת של אסטרטגיית הקישור המודרכת-ביטחון הייתה 41.7%, התרומה המוערכת של מיזוג סמנטי של החולצה הייתה 47.6%, ו-10.7% הנותרים יוחסו לשימוש המשולב של שני הרכיבים. ערכים אלו מעידים כי שני הרכיבים תרמו לשיפור שנצפה, בעוד שהתצורה המלאה הפיקה תועלת מהשימוש המשולב שלהם ולא מכל רכיב בנפרד. דפוס התרומה השתנה בין סוגי הסצנות. תחת הסתרה כבדה, התרומה המוערכת של מיזוג סמנטי של החולצה עלתה ל-69.4%, נתון העולה בקנה אחד עם האמינות המופחתת של רמזי תנועה כאשר ספורטאים היו מוסתרים באופן חלקי או זמני. תחת תנועה במהירות גבוהה, התרומה המוערכת של קישור מודרך-ביטחון הגיעה ל-44.3%, והרווח המשולב הגיע ל-20.6%, מה שמעיד על כך שחלוקה לפי רמת ביטחון הפכה לרלוונטית יותר כאשר ביטחון הזיהוי תנודד עקב תנועה מהירה או אי-וודאות במיקום.

גרסת מודלתרחיש בדיקהMOTA↑IDF1↑IDs↓תרומת מודולרווח סינרגטי
V0 (קו בסיס)סצנה כוללת83.567.23245––
סצנות עם הסתרה חמורה77.861.53862––
סצנת תנועה במהירות גבוהה77.162.33689––
V1 (אסוציאציה מודרכת-ביטחון)סצנה כוללת86.370.9289341.7–
סצנות עם הסתרה חמורה80.965.9341529.8–
סצנת תנועה במהירות גבוהה81.467.9302444.3–
V2 (אסוציאציה סמנטית של חולצה)סצנה כוללת85.271.8293747.6–
סצנות עם הסתרה חמורה82.772.8275369.4–
סצנת תנועה במהירות גבוהה80.166.8315735.1–
V3 (JerseyTrack מלא)סצנה כוללת88.974.32768–10.7
סצנות עם הסתרה חמורה84.975.62689–0.8
סצנת תנועה במהירות גבוהה83.671.52842–20.6

טבלה 2: ניתוח אבלציה של תרומות המודולים. השוואת ביצועים של וריאנטים שונים של מודל JerseyTrack תחת תרחישים כלליים, תרחישים עם הסתרה חמורה ותרחישי תנועה במהירות גבוהה. דיוק מעקב אחר מספר אובייקטים (MOTA), ציון F1 של זהות (IDF1), ומספר החלפות זהות (IDs) מדווחים יחד עם תרומת המודול המוערכת והרווח הסינרגטי. ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור MOTA, IDF1, תרומת המודול ורווח סינרגטי, בעוד שערכים נמוכים יותר מעידים על ביצועים טובים יותר עבור IDs.

טבלה 3 מסכמת את ניתוח הבחנה במאפיינים. מאפיין סמנטי ממוזג של המדים השיג יחס מרחק בין-מחלקתי/תוך-מחלקתי של 5.63, בהשוואה ל-1.82 עבור מאפייני Re-ID מסורתיים, מה שמתרגם לשיפור יחסי של 209.3% במדד יחס המרחק. מאפיינים המבוססים על צבע בלבד ומספר שחקן בלבד שיפרו גם הם את הפרדת המאפיינים ביחס למאפייני Re-ID מסורתיים, אם כי כל רמז בודד נותר רגיש למקרי כשל ספציפיים, כולל צבעי קבוצות דומים, הסתרת מספר השחקן, טשטוש תנועה ואזורים בבגדים שאינם קריאים. מבין ייצוגי המאפיינים שנבחנו, הייצוג הסמנטי הממוזג השיג את הפרדת המאפיינים הגבוהה ביותר והתאים ל-IDF1 הגבוה ביותר ולמספר ה-ID הנמוך ביותר שנצפו בניתוח האבלאציה. ממצאים אלו תומכים בשימוש ברמזים סמנטיים ספציפיים למדים כמידע זיהוי משלים עבור MOT בספורט כאשר לספורטאים מראה דומה ומידע תנועה לבדו אינו מספיק. תצפיות אלו מוגבלות להגדרות ה-SportsMOT שנבחנוו ואין לפרשן כראיה לכך שסמנטיקת מדים פותרת את כל עמימות הזיהוי בכל סרטון ספורט.

סוג מאפייןיחס מרחק בין-מחלקי/תוך-מחלקישיפור יחסי (%)IDF1↑IDs↓
מאפייני Re-ID מסורתיים1.82–65.73482
מאפייני צבע קבוצה3.1774.269.83125
מאפייני מספר שחקן3.4991.870.53018
מאפיינים סמנטיים ממוזגים של חולצה5.63209.374.32768

טבלה 3: ניתוח הבחנה של ייצוגי מאפיינים שונים.השוואה של הבחנה בין מאפיינים באמצעות מאפייני זיהוי חוזר (Re-ID) מסורתיים, מאפייני צבע חולצה, מאפייני מספר שחקן ומאפיינים סמנטיים ממוזגים. מדווחים יחס המרחק הבין-מחלקתי/תוך-מחלקתי, השיפור היחסי בהבחנה בין מאפיינים, מדד IDentity F1 Score (IDF1) ומספר החלפות הזהות (IDs). ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור יחס המרחק, השיפור היחסי ו-IDF1, בעוד שערכים נמוכים יותר מעידים על ביצועים טובים יותר עבור IDs.

השוואת ביצועים (Benchmark) מול שיטות MOT קיימות

בוצעה השוואת ביצועים (benchmark) כדי להשוות את JerseyTrack לשיטות MOT מייצגות תחת אותה הגדרת תיקוף של SportsMOT. השיטות שהושוו כללו את QDTrack, DeepSORT, ByteTrack, FairMOT, Deep OC-SORT ו-MOTR. כל השיטות השתמשו באותם פלטי גלאי שהופקו על ידי מסגרת הגילוי המפורטת בטבלת החומרים, כדי שההשוואה תתמקד בביצועי קישור המעקב (tracking association) ולא בשונות של הגלאי. ההערכה התבססה על המדדים שהוגדרו בסעיף 7 של הפרוטוקול. מדדי ההערכה העיקריים כללו MOTA, HOTA ו-IDF1. המדדים המשלימים כללו DetA, AssA, FPs, FNs ו-IDs. טבלה 4 מסכמת את ההשוואה הכמותית על פיצול התיקוף של SportsMOT, ואיור 10 מציג השוואה ויזואלית של דיוק המעקב, מהירות ההסקה והתפלגות HOTA לאורך סצנות הספורט שנבחנו. JerseyTrack השיגה את ערך ה-MOTA הגבוה ביותר מבין השיטות שהושוו, והגיעה ל-88.9%. ערך זה היה גבוה ב-1.1 נקודות אחוז מזה של Deep OC-SORT (87.8%) וב-2.5 נקודות אחוז מזה של ByteTrack (86.4%). לפיכך, תחת הגדרת התיקוף שנבחנה של SportsMOT, JerseyTrack השיגה את דיוק המעקב הכללי הגבוה ביותר מבין השיטות שהושוו. עבור HOTA, JerseyTrack השיגה 69.9%, לעומת 64.4% עבור Deep OC-SORT ו-62.8% עבור ByteTrack. הבדלים אלו תואמים לשיפורים של 5.5 ו-7.1 נקודות אחוז, בהתאמה, מה שמעיד על איזון גבוה יותר בין ביצועי הגילוי לביצועי הקישור תחת אותה הגדרת הערכה.

MethodMOTA↑HOTA↑IDF1↑DetA↑AssA↑FP↓FN↓IDs↓
QDTrack75.953.751.665.639.796,32489,8718,216
DeepSORT77.654.153.267.34476,22886,3196,836
ByteTrack86.462.867.773.850.933,75278,6984,192
FairMOT84.154.762.577.847.845,18783,6204,817
Deep OC-SORT87.864.469.978.252.125,01274,3853,211
MOTR82.957.258.468.946.154,93185,0635,137
JerseyTrack88.969.974.380.254.321,95367,1602,768

טבלה 4: השוואת ביצועים של JerseyTrack ושיטות מייצגות למעקב אחר מספר אובייקטים בערכת האימות של SportsMOT.השוואה בין JerseyTrack לבין שיטות מייצגות למעקב אחר מספר אובייקטים (MOT) במאגר הנתונים לאימות של SportsMOT. המדדים המדווחים כוללים דיוק מעקב אחר מספר אובייקטים (MOTA), דיוק מעקב מסדר גבוה (HOTA), ציון F1 של זהות (IDF1), דיוק זיהוי (DetA), דיוק קישור (AssA), חיוביים שגויים (FP), שליליים שגויים (FN), ומספר החלפות זהות (IDs). ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור MOTA, HOTA, IDF1, DetA ו-AssA, בעוד שערכים נמוכים יותר מעידים על ביצועים טובים יותר עבור FP, FN ו-IDs.

figure-results-6
איור 10. השוואת ביצועים מול שיטות מייצגות למעקב אחר מספר עצמים. (A) השוואה של דיוק מעקב אחר עצמים מרובים (MOTA) ומספר פריימים לשנייה (FPS) עבור JerseyTrack ושיטות מייצגות למעקב אחר מספר עצמים שהוערכו על מאגר הנתונים SportsMOT. (B) התפלגות של דיוק מעקב מסדר גבוה (HOTA) בין שיטות המעקב שהוערכו. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

עבור שימור זהות (identity preservation), JerseyTrack השיג IDF1 של 74.3%, בהשוואה ל-69.9% עבור Deep OC-SORT ו-67.7% עבור ByteTrack. JerseyTrack רשם גם 2,768 מזהים (IDs), פחות מה-3,211 מזהים שרשם Deep OC-SORT ומה-4,192 מזהים שרשם ByteTrack. תצפיות אלו עקביות עם תוצאות ה-ablation המוצגות ב-איור 8  ו-טבלה 2, שבהן תצורת ה-JerseyTrack המלאה הפחיתה את החלפת הזהויות ביחס לגרסאות מודל הבסיס. עבור איכות הזיהוי והאסוציאציה, JerseyTrack השיג DetA של 80.2% ו-AssA של 54.3%. בהשוואה ל-Deep OC-SORT, JerseyTrack שיפר את ה-DetA ב-2.0 נקודות אחוז ואת ה-AssA ב-2.2 נקודות אחוז. JerseyTrack הפיק גם פחות FP ו-FN מהשיטות האחרות שהושוו ומדווחות ב-טבלה 4, עם רישום של 21,953 FP ו-67,160 FN. באופן כללי, השוואת הבנצ'מרק הראתה ש-JerseyTrack השיג את הערכים הגבוהים ביותר עבור מדדי המעקב העיקריים מבין השיטות שנבחנו תחת הגדרת הוולידציה של SportsMOT. תוצאות אלו עקביות עם השיפורים שנצפו בשימור הזהות וביציבות האסוציאציה שהושגו באמצעות אסוציאציה מונחית-ביטחון (confidence-guided association) ומיזוג סמנטי של חולצות (jersey semantic fusion). ההשוואה מוגבלת לפלטי הגלאי המשותפים ולהגדרת הוולידציה של SportsMOT ששימשה במחקר זה.

תוצאות רגישות פרמטרים

ניתוח רגישות של פרמטרים נערך כדי לבחון כיצד פרמטרי יישום מרכזיים השפיעו על ביצועי המעקב תחת הגדרת התיקוף של SportsMOT. שלושה פרמטרים נבדקו: מקדם השקלול של הפסד ה-OCR (γ), מספר הצבירים ההיררכיים של רמת הביטחון (K), וקצב הלמידה של רשת ה-OCR (η). טבלה 5 מסכמת את ערכי ה-MOTA, IDF1, HOTA וה-IDs שהתקבלו תחת הגדרות פרמטרים שונות.

פרמטרערךMOTA↑IDF1↑HOTA↑IDs↓
משקל הפסד OCR (γ)0.284.769.466.22,944
0.486.371.568.22,893
0.687.973.168.92,815
0.8 (אופטימלי)88.974.369.92,768
188.273.869.32,792
מספר אשכולי ביטחון (K)286.772.168.52,876
3 (אופטימלי)88.974.369.92,768
488.173.669.72,803
587.372.869.22,851
קצב למידה של OCR (η)1 × 10⁻⁴85.970.867.32,934
5 × 10⁻⁴87.672.768.72,832
1 × 10⁻³ (אופטימלי)88.974.369.92,768
5 × 10⁻³87.873.2692,817
1 × 10⁻²86.571.668.72,889

טבלה 5: ניתוח רגישות של פרמטרים. ביצועי מעקב שהושגו באמצעות הגדרות פרמטרים שונות עבור JerseyTrack. רמת דיוק של מעקב אחר אובייקטים מרובים (MOTA), מדד F1 של זהות (IDF1), רמת דיוק מעקב מסדר גבוה (HOTA), ומספר החלפות זהות (IDs) מדווחים עבור ערכים שונים של מקדם השקלול של הפסד זיהוי תווים אופטי (OCR) (γ), מספר אשכולי הביטחון (K), וקצב הלמידה של ה-OCR (η). ערכי הפרמטרים שזוהו כאופטימליים תואמים להגדרות שנעשה בהן שימוש בניסויים המדווחים. ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור MOTA, IDF1 ו-HOTA, בעוד שערכים נמוכים יותר מעידים על ביצועים טובים יותר עבור IDs.

עבור מקדם השקלול של הפסד ה-OCR (γ), הביצועים המיטביים שנמדדו התקבלו כאשר γ = 0.8. תחת הגדרה זו, JerseyTrack השיג MOTA של 88.9%, IDF1 של 74.3%, HOTA של 69.9% ו-2,768 IDs. כאשר γ הופחת ל-0.2, מדדי ה-MOTA, IDF1 ו-HOTA ירדו ל-84.7%, 69.4% ו-66.2% בהתאמה, בעוד שמספר ה-IDs עלה ל-2,944. כאשר γ הועלה ל-1.0, מדדי הביצועים ירדו מעט ביחס ל-γ = 0.8, עם MOTA של 88.2%, IDF1 של 73.8%, HOTA של 69.3% ו-2,792 IDs. תוצאות אלו מעידות כי פיקוח OCR לא מספיק הפחית את היכולת להבחין בין מספרי השחקנים, בעוד שהעלאת שקלול הפסד ה-OCR מעבר לאופטימום שנמדד לא שיפרה את ביצועי המעקב תחת התנאים שנבחנו.

עבור מספר אשכולות היררכיים של רמת ביטחון (K), הביצועים המיטביים שנמדדו התקבלו כאשר K = 3. הגדרה זו תואמת לאסטרטגיית קישור של ביטחון גבוה, בינוני ונמוך, כפי שמתואר בשיטה. כאשר K = 2, חלוקת רמות הביטחון הייתה פחות גרנולרית, והמדדים MOTA, IDF1 ו-HOTA ירדו ל-86.7%, 72.1% ו-68.5%, בהתאמה. כאשר K עלה ל-4 או 5, הביצועים ירדו אף הם ביחס ל-K = 3, מה שמעיד כי חלוקה מרובה מדי פיצלה את הזיהויים לקבוצות ביטחון צרות מדי והפחיתה את יציבות אסטרטגיית הקישור. תוצאות אלו תומכות בשימוש בשלוש רמות ביטחון בתצורת ה-JerseyTrack שנבחנה.

עבור קצב הלמידה (η) של רשת ה-OCR, הביצועים המיטביים שנמדדו התקבלו ב-η = 1 × 10-3. בקצב למידה נמוך יותר של 1 × 10-4, מדדי ה-MOTA, IDF1 ו-HOTA ירדו ל-85.9%, 70.8% ו-67.3%, בהתאמה, בעוד שמספר ה-IDs עלה ל-2,934. בקצב למידה גבוה יותר של 1 × 10-2, מדדי ה-MOTA, IDF1 ו-HOTA ירדו ל-86.5%, 71.6% ו-68.7%, בהתאמה, בעוד שמספר ה-IDs עלה ל-2,889. תוצאות אלו מעידות כי ענף ה-OCR היה רגיש לבחירת קצב הלמידה, כאשר 1 × 10-3 סיפק את האיזון המיטבי בין זיהוי מספר השחקנים לבין ביצועי שימור הזהות תחת התנאים שנבחנו.

באופן כללי, Table 5 מראה כי שילוב הפרמטרים γ = 0.8, K = 3, ו- η = 1 × 10-3 הניב את ערכי ה-MOTA, IDF1 ו-HOTA הגבוהים ביותר שנמדדו, יחד עם מספר ה-IDs הנמוך ביותר. ניתוח הרגישות הראה גם שסטיות מתונות מערכי פרמטרים אלו הובילו לשינויים מדידים, אך לא פתאומיים, בביצועי המעקב. בהתאם לכך, הגדרות פרמטרים אלו שימשו להשוואת הבנצ'מרק ולניסויי התיקוף העיקריים של SportsMOT המדווחים במחקר זה.

זמינות נתונים

סיכומי ההערכה הגולמיים, פלטי המעקב הסופיים, רשומות הסביבה, קבצי מיפוי הנתונים וקבצי הסיכום הביניים התומכים בממצאי מחקר זה זמינים במאגר ציבורי בכתובת https://doi.org/10.5281/zenodo.21274353. מערכי הנתונים המקוריים של מדדי הביצועים הציבוריים ששימשו במחקר זה, כולל SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20, זמינים מהספקים שלהם ואינם מופצים מחדש במאגר.

דיון

מחקר זה העריך זרימת עבודה ל-MOT בספורט המונחית על ידי רמת ביטחון (confidence), המשלבת חלוקה לפי ביטחון-זיהוי עם רמזים סמנטיים של חולצות. קישוריות מונחית-ביטחון והיתוך תכונות סמנטיות נחקרו כאסטרטגיות משלימות לשיפור אסוציאציית נתונים במעקב אחר ריבוי אובייקטים12,20,23,24,46. התוצאות מראות כי תצורת ה-JerseyTrack המלאה שיפרה את שימור הזהות ואת יציבות האסוציאציה תחת הגדרות התיקוף של SportsMOT שנבחנו. תוצאת התיקוף המרכזית של SportsMOT הגיעה ל-MOTA של 88.9%, HOTA של 69.9%, IDF1 של 74.3%, DetA של 80.2% ו-AssA של 54.3%. יש לפרש ערכים אלו במסגרת פלט הגלאי, חלוקת מערך הנתונים ותצורת ה-TrackEval המתוארות בפרוטוקול.

שלב קריטי בתהליך העבודה הוא חלוקה לפי רמות ביטחון, המאפשרת להחיל אסטרטגיות קישור שונות בהתאם למהימנות של פלטי הגילוי20,22,23,24. על ידי הפרדת גילויים לקבוצות בעלות ביטחון גבוה, בינוני ונמוך, JerseyTrack מחיל כללי קישור שונים על גילויים עם רמות מהימנות שונות. גילויים בעלי ביטחון גבוה מקושרים בעיקר באמצעות עקביות בתנועה, בעוד שגילויים בעלי ביטחון בינוני משתמשים בתנועה ובסמנטיקה של המכנסיים/חולצות (jersey) יחד. גילויים בעלי ביטחון נמוך אינם משמשים לאתחול מסלולים חדשים ונשקלים רק במהלך שחזור מסלול. תכנון זה הפחית את הסיכון שגילויים חלשים או זיהויי שווא (false positives) ייצרו זהויות לא יציבות, ועם זאת אפשר לגילויים חלקיים לתרום לשחזור כאשר ראיות סמנטיות נוספות היו זמינות8,11,20. השלב הקריטי השני הוא חילוץ סמנטי של המכנסיים/חולצות. מאפייני צבע-קבוצה מספקים אילוץ ברמת הקבוצה, בעוד שמאפייני מספר-שחקן מספקים רמז זהות מדויק יותר כאשר אזור המספר נראה וניתן לקריאה35,41,42,43. תוצאות ה-ablation מעידות כי רמזים אלו מועילים ביותר במקרי אינטראקציה צפופה בין שחקני אותה קבוצה ובמקרי הסתרה (occlusion), שבהם קישור המבוסס על תנועה בלבד הוא פחות מהימן. עם זאת, יש להתייחס לסמנטיקת המכנסיים/חולצות כראיה עזר ולא כתחליף מלא לקישור תנועה. מספרי שחקנים עלולים להיות בלתי קריאים בשל טשטוש, קטיעה, תנוחות מבט מאחור, הסתרה חמורה או רזולוציית תמונה נמוכה. כמו כן, מאפייני צבע-קבוצה אינם יכולים להבחין בין ספורטאים מאותה קבוצה כאשר מידע על המספר אינו זמין35,42,43. תוצאות חוצות-מאגרי-נתונים מבהירות עוד יותר את היקף השיטה. JerseyTrack הועברה באופן טבעי יותר למאגרי נתונים של ספורט קבוצתי מאשר למאגרי נתונים כלליים של MOT להולכי רגל, מכיוון שהענף הסמנטי תוכנן סביב צבע המכנסיים/חולצות ורמזי מספר-שחקן19,33,34,35,36,37. במאגרי נתונים כלליים של MOT, רכיב הקישור המודרך-ביטחון נותר רלוונטי, אך הענף הסמנטי הספציפי לספורט תרם פחות מידע על הזהות. לכן, השיטה מתאימה ביותר לסרטוני ספורט קבוצתי שבהם ספורטאים לובשים תלבושות מובחנות ואזור המכנסיים/חולצה נראה מספיק לצורך חילוץ סמנטי19,33,34,35,36,37.

מספר מגבלות נותרו. ראשית, השיטה תלויה באיכות פלטי הגלאי; פספוסים חמורים של זיהויים או תיבות חיתוך (bounding boxes) לא מדויקות מפחיתים את האמינות הן של חיזוי התנועה והן של החיתוך הסמנטי14,17,46. שנית, זיהוי מחדש (re-identification) לטווח ארוך מחוץ לשדה הראייה לא עבר אופטימיזציה נפרדת במימוש הנוכחי. כאשר ספורטאי עוזב את שדה הראייה של המצלמה לתקופה ממושכת ונכנס שוב מאוחר יותר, אסטרטגיית שחזור המסלול הנוכחית עשויה שלא להספיק כדי להחזיר את הזהות המקורית19,34. שלישית, רעשי רקע חמורים, שחקנים חופפים, טשטוש תנועה ומספרי חולצה שאינם קריאים עלולים להפחית את האמינות של המאפיינים הסמנטיים14,35,42,46. רביעית, ההערכה הנוכחית התמקדה במערכי נתונים ציבוריים ובסביבות הפרעה מבוקרות; פריסה בסרטוני שידור הכוללים חיתוכי מצלמה, שינויי זום ונקודות מבט לא סטנדרטיות עשויה לדרוש מודולים נוספים של עיבוד מקדמי או זיהוי מחדש19,33,34.

ההסקה המעשית העיקרית היא שניתן לשלב אסוציאציה מונחית-ביטחון (confidence-guided association) ורמזים סמנטיים ספציפיים למדי זהה לתוך צינור עיבוד (pipeline) מודולרי של MOT מבלי לשנות את מבנה הגלאי. יכולת זו ישימה למשימות ניתוח ספורט כגון חילוץ מסלולי ספורטאים, ניתוח תנועת קבוצות, סקירה של אירועים טקטיים ואנוטציה חצי-אוטומטית של וידאו1,4,33,36. עבודות עתידיות צריכות להתמקד בזיהוי מחדש (re-identification) חזק יותר מחוץ לנראות, טיפול ברעשי רקע, אגרגציה של תכונות זמניות וזיהוי חסון יותר של מספרי שחקנים במצבי טשטוש חמור או הסתרה14,19,34,46.

לסיכום, JerseyTrack היא שיטת MOT לספורט המשלבת אסוציאציה מונחית-ביטחון (confidence-guided association) עם מיזוג סמנטי של המדים. השיטה מחלקת את הזיהויים לקבוצות בעלות ביטחון גבוה, בינוני ונמוך, ומחילה כללי אסוציאציה שונים בהתאם לאמינות הזיהוי, תוך שימוש בצבע המדים ובמספרי השחקנים כמידע זיהוי עזר במהלך אסוציאציה ברמת ביטחון בינונית ושחזור מסלול. תחת הגדרות התיקוף של SportsMOT שנבחנו, JerseyTrack הדגימה דיוק מעקב גבוה יותר ושימור טוב יותר של הזהות בהשוואה לתצורות הבסיס שנבחנו. תוצאות הניתוח (ablation) הראו כי התצורה המלאה הפחיתה את מספר חילופי הזהויות בהשוואה לבסיס ולגרסאות בעלות מודול בודד, והשוואת הביצועים (benchmark) הראתה ערכים גבוהים יותר במדדי המעקב העיקריים תחת תצורת הערכה ופלט-גלאי משותפת. ממצאים אלו תומכים בשימוש במידע על רמות ביטחון וברמזים סמנטיים ספציפיים למדים לצורך מעקב אחר ספורטאים בסרטוני ספורט קבוצתי, במיוחד כאשר אזורי המדים גלויים ומידע על צבע הקבוצה או מספר השחקן מספק ראיות זיהוי משלימות20,35,46. טיפול במגבלות שזוהו עשוי לשפר עוד יותר את ישימות זרימת העבודה המוצעת בתרחישי מעקב ספורטיביים מאתגרים יותר.

גילויים

המחברים מצהירים כי אין להם ניגודי עניינים פיננסיים.

תודות

המחברים מצהירים כי אין להם תודות להכריז עליהן.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
CUDA RuntimeNVIDIAגרסה 12.8סביבת הרצה לחישוב GPU המשמשת לאימון הגלאי, חילוץ תכונות סמנטיות והסקת מעקב.
EasyOCRJaided AIגרסה 1.7.2ערכת כלים לזיהוי תווים אופטי (OCR) המשמשת לזיהוי מספרי שחקנים.
קוד המקור של JerseyTrackהמחבריםN/Aמימוש מותאם הכולל את הסקריפטים להכנת נתונים, חילוץ תכונות סמנטיות, חלוקת ביטחון, מעקב, עיבוד לאחר מעקב והערכה. זמין בכתובת: https://doi.org/10.5281/zenodo.21274352
מודל Lightweight CRNN OCRהמחבריםN/Aרשת עצבית רקורסיבית קונבולוציונית (CRNN) מותאמת המשמשת לזיהוי מספרי שחקנים.
סט הנתונים MOT17MOTChallengeN/Aסט נתונים ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://motchallenge.net/data/MOT17/
סט הנתונים MOT20MOTChallengeN/Aסט נתונים ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://motchallenge.net/data/MOT20/
motmetricsמפתחי motmetricsגרסה 1.4.0ספרייה המשמשת לחישוב מדדי אבחון למעקב מרובה עצמים.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2יחידת עיבוד גרפית המשמשת לאימון הגלאי ולהסקת מעקב.
דרייבר NVIDIA GPUNVIDIAגרסה 610.62דרייבר GPU ששימש בסביבת הניסוי.
NumPyמפתחי NumPyגרסה 2.4.4ספרייה לחישובים מספריים המשמשת לעיבוד תכונות וטיפול בנתונים.
OpenCVOpenCVגרסה 4.10.0ספריית ראייה ממוחשבת המשמשת לטעינת תמונות, חיתוך, עיבוד מקדים והדמיה.
PythonPython Software Foundationגרסה 3.12.2שפת התכנות ששימשה לאורך כל זרימת העבודה.
PyTorchPyTorch Foundationגרסה 2.11.0+cu128מסגרת למידה עמוקה ששימשה למימוש הגלאי והמודל הסמנטי.
scikit-learnמפתחי scikit-learnגרסה 1.9.0ספריית למידת מכונה ששימשה לאשגור K-means במהלך חילוץ צבע המדי וחלוקת ביטחון.
סט הנתונים SoccerNet TrackingSoccerNetN/Aמדד מעקב כדורגל ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://www.soccer-net.org/tasks/tracking
סט הנתונים SportsMOTSportsMOT BenchmarkN/Aסט נתוני ייחוס מרכזי ששימש להכנת הגלאי ולהערכת מעקב. זמין בכתובת: https://deeperaction.github.io/datasets/sportsmot.html
סט הנתונים TeamTrackTeamTrack BenchmarkN/Aמדד מעקב ספורט ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch Foundationגרסה 0.26.0+cu128ספריית ראייה ממוחשבת המשמשת עם PyTorch לטרנספורמציה של תמונות ותמיכה במודלים.
TrackEvalמפתחי TrackEvalגרסה 1.3.0ערכת כלים להערכה המשמשת לחישוב דיוק מעקב מרובה עצמים (MOTA), מדד F1 של זהות (IDF1), דיוק מעקב מסדר גבוה (HOTA), דיוק גילוי (DetA), דיוק התאמה (AssA), זיהויים שגויים (FP), החמצות (FN), והחלפות זהות (IDs).
UltralyticsUltralyticsגרסה 8.4.90מסגרת לגילוי עצמים ששימשה לאימון הגלאי וליצירת גילויי ספורטאים.

מקורות

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

SportsMOT

מאמרים קשורים