הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.

מאמר שיטה

שיטת מעקב רב-עצמי מונחית-ביטחון לסרטוני ספורט באמצעות היתוך סמנטי של חולצות

59 צפיות

⸱

DOI:

10.3791/71557

⸱

14 באוגוסט 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

במאמר זה

סיכום

פרוטוקול זה מתאר תהליך עבודה למעקב אחר מספר אובייקטים המונחה על ידי רמת ביטחון (confidence-guided multi-object tracking) עבור סרטוני ספורט, אשר משלב מידע על צבע החולצה ומספר השחקן כדי לשפר את קישור המסלולים ואת עקביות הזהות במצבים של תנודות ברמת הביטחון, הסתרה ומראה ויזואלי דומה בין ספורטאים.

תקציר

מעקב אחר אובייקטים מרובים (MOT) בסרטוני ספורט מספק מידע על מסלולי תנועה לצורך ניתוח טקטי, פרשנות של התנהגות שחקנים וניתוח סטטיסטי אוטומטי. עם זאת, תרחישי ספורט כוללים לעיתים קרובות שינויי כיוון מהירים, עצירות פתאומיות, הסתרה תכופה ושחקני קבוצה הדומים חזותית, מה שמוביל לתנודות ברמת הביטחון של הזיהוי ולבלבול בזהויות במהלך השיוך בין פריימים. כדי להתמודד עם אתגרים אלו, מחקר זה מציג את JerseyTrack, שיטת MOT לספורט המודרכת על ידי רמת ביטחון ומבוססת על מיזוג סמנטי של החולצות. זרימת העבודה מחלקת באופן אדפטיבי את תיבות הזיהוי למרווחי ביטחון גבוה, בינוני ונמוך, בהתאם להתפלגות הביטחון של כל פריים. זיהויים בעלי ביטחון גבוה משויכים בעיקר באמצעות דמיון בתנועה, בעוד שזיהויים בעלי ביטחון בינוני ונמוך משלבים בנוסף מאפייני צבע חולצה ומספרי שחקנים שחולצו באמצעות קיבוץ צבעים ומודל זיהוי תווים אופטי (OCR) קל משקל. מאפיינים סמנטיים אלו ממוזגים עם מידע על תנועה במהלך התאמה משלימה כדי לשפר את רציפות המסלול ואת עקביות הזהות. השיטה הוערכה על גבי מאגר הנתונים SportsMOT. JerseyTrack השיג 88.9% דיוק במעקב אחר אובייקטים מרובים (MOTA), 74.3% מדד IDF1 (IDentity F1 Score), ו-69.9% דיוק מעקב מסדר גבוה (HOTA), מה שמעיד על ביצועי מעקב משופרים בתנאי המעקב עבור ספורט שנבחנו. פרוטוקול זה מספק זרימת עבודה הניתנת לשחזור לשילוב שיוך מודרך בביטחון עם מידע סמנטי של חולצות לשיפור מעקב אחר אובייקטים מרובים בסרטוני ספורט.

מבוא

מעקב אחר מספר עצמים (MOT) מספק לוקליזציה רציפה של עצמים ושמירה על זהותם ברצפי וידאו, ותומך בחילוץ מסלולי ספורטאים, בניתוח טקטי ובניתוח סטטיסטי אוטומטי ביישומי וידאו לספורט1,2,3. מידע חזותי מהימן קשור גם לקבלת החלטות ספציפיות לספורט ולהערכת ביצועים במדעי הספורט, מה שמדגיש עוד יותר את הערך של נתוני תנועה יציבים המופקים מוידאו עבור ניתוח ספורט בשלבים הבאים4. בתרחישי ספורט, המהימנות של נתונים טקטיים תלויה ברציפות של מסלולי המעקב ובעקביות של זהות המטרות.

בהשוואה לתרחישי MOT כלליים, סרטוני ספורט כוללים שינויי כיוון מהירים, עצירות פתאומיות, קפיצות, אינטראקציות צפופות והסתרות תכופות. גורמים אלו גורמים לתנודתיות משמעותית ברמת הביטחון (confidence) של תיבות הזיהוי ומגבירים את תדירות הזיהויים בעלי ביטחון נמוך, מה שעלול להפריע לאסוציאציית המסלול5,6. מדים אחידים של הקבוצה מפחיתים עוד יותר את יכולת ההבחנה של מאפייני מראה כלליים ומגבירים את בלבול הזהות בין חברי קבוצה דומים ויזואלית7,8. כאשר הסתרה ודמיון במראה מופיעים באותה רצף, ביטחון הזיהוי יורד והמידע על מראה המטרה הופך לחלקי, מה שמגביר את הקושי באסוציאציית מסלול ובשמירה על הזהות9,10. ב-MOT, זיהוי מחדש (Re-ID) מתייחס לתהליך של קישור אותה זהות מטרה לאורך פריימים, תקופות הסתרה או מקרים של כניסה מחדש, באמצעות ראיות ויזואליות הקשורות לזהות. בסרטוני ספורט קבוצתי, רמזי Re-ID כלליים עשויים להיות חלשים מכיוון שספורטאים מאותה קבוצה לובשים לעיתים קרובות מדים דומים ובעלי מראה גופני דומה. סקירת הספרות הטכנית מעידה כי התגשמות מסלולים ובלבול בזהות ב-MOT של ספורט מטופלים בדרך כלל באמצעות שתי גישות משלימות: ניצול ביטחון זיהוי והגברת רמזי זהות. JerseyTrack ממוקמת בצומת הגישות הללו על ידי ויסות השימוש ברמזים סמנטיים של המדים בהתאם לאיכות הזיהוי, במקום להחיל מידע על צבע ומספרי שחקנים באופן אחיד על כל הזיהויים.

מחקר זה מציג את JerseyTrack, שיטה למעקב אחר אובייקטים מרובים (MOT) בספורט, המודרכת על ידי רמת ביטחון ומבוססת על היתוך סמנטי של חולצות. השיטה מיועדת לסרטוני ספורט קבוצתי שבהם הספורטאים לובשים חולצות גלויות ותוצאות הזיהוי מספקות תיבות חסומות (bounding boxes) עם מדדי ביטחון. JerseyTrack משלבת ארבעה רכיבים עיקריים: זיהוי ספורטאים, חלוקה לפי רמות ביטחון, חילוץ מאפיינים סמנטיים של החולצה ואסוציאציה מדורגת בין פריימים. ביטחון הזיהוי משמש לחלוקה אדפטיבית של הזיהויים לקבוצות עם ביטחון גבוה, בינוני ונמוך, אשר מעובדות באמצעות אסטרטגיות אסוציאציה שונות. זיהויים בעלי ביטחון גבוה מקושרים בעיקר באמצעות מידע על תנועה, בעוד שזיהויים בעלי ביטחון בינוני ונמוך משלבים בנוסף מידע על צבע החולצה ומספר השחקן כדי לשפר את השמירה על הזהות כאשר הראיות הוויזואליות חלשות. השיטה מיועדת למשימות ניתוח של סרטוני ספורט הדורשות מסלולי ספורטאים יציבים, כגון ניתוח טקטי ופירוש התנהגות שחקנים.

לגישה המוצעת ישנן גם מגבלות תפעוליות. חילוץ סמנטי של המדיים עשוי להיות מושפע מהסתרה חמורה, טשטוש תנועה, רזולוציית תמונה נמוכה, תנוחות חריגות של המדיים או מספרי שחקנים שאינם נראים. במקרים אלה, רמזים סמנטיים המבוססים על המדיים עלולים להיות חלקיים, ותהליך הקישור נשען באופן משמעותי יותר על עקביות בתנועה ואימות רב-פריימים. לפיכך, טענות הביצועים במחקר זה מוגבלות למערכי הנתונים שבדקו ולהגדרות הניסוייות. ניסויים על מערך הנתונים SportsMOT מראים כי JerseyTrack משפר את מדדי המעקב שנבחנו ומפחית אירועי החלפת זהות (identity-switching) תחת תנאי מעקב ספורט שנבדקו. הקושי העיקרי של MOT בסרטוני ספורט טמון בשמירה על רציפות המסלול ועקביות הזהות תחת תנועה מהירה, הסתרה ודמיון במראה. מחקרים קיימים הרלוונטיים ל-JerseyTrack ניתן לסווג באופן כללי לשני כיווני מחקר: שימוש ברמת ביטחון של הזיהוי לקישור מסלולים, ושיפור רמזי זהות באמצעות מאפיינים סמנטיים ספציפיים לספורט.

ביטחון הגילוי (Detection confidence) שימש באופן נרחב להערכת המהימנות של תיבות גילוי ולהכוונת קישור מסלולים ב-MOT. שיטות מעקב מוקדמות התייחסו בדרך כלל לביטחון כקריטריון סינון בינארי, שבו גילויים שמתחת לסף קבוע הוסרו כדי להפחית זיהויים שגויים (false positives)11,12. אסטרטגיה זו מפחיתה גילויים רועשים אך עלולה להשמיט מטרות אמיתיות תחת הסתרה, תנועה מהירה או איכות תמונה נמוכה, מה שמוביל לקיטוע של המסלול13,14,15. אסטרטגיות סינון דומות הראו גם שספי ביטחון קבועים רגישים לשינויים בסצנה ולאיכות הגילוי16,17. כדי לשפר את הניצול של גילויי ביטחון נמוך, ByteTrack הציגה אסטרטגיית קישור המשמרת תיבות בעלות ביטחון נמוך כמטרות מועמדות להתאמה משנית, ומקשרת אותן למסלולים קיימים באמצעות דמיון בתנועה והיסטוריית המסלול18. McByte מרחיב עוד יותר את הקישור ב-MOT לספורט על ידי שילוב מסיכות סגמנטציה המופצות זמנית כרמז לקישור, דבר המשפר את החוסן תחת תנאי תנועה מהירה, הסתרה והזזת מצלמה ללא צורך באימון נוסף לכל סרטון19. מחקרים קשורים התאימו גם את השימוש בגילויי ביטחון נמוך כדי לשמר מטרות חלשות אך פוטנציאליות במהלך הקישור20,21,22. אסטרטגיות קישור המותאמות לביטחון (Confidence-adaptive) שכללו לאחר מכן את קריטריוני ההתאמה בהתאם לעקביות התנועה ומהימנות הגילוי23,24,25. שיטות לזיקוק מסלולים המבוססות על רגרסיה של תיבת גילוי ואופטימיזציה של חלקות המסלול שימשו גם הן להפחתת קיטועי מסלולים26,27,28. אסטרטגיות זיקוק נוספות מספקות תמיכה משלימה לשמירה על רציפות המסלול תחת תנאי תנועה מורכבים29. זרימת אובייקטים קוהרנטית זמנית ממדלת עוד יותר עקביות זמנית ברמת האובייקט בין פריימים, ומספקת גישה נוספת מוכוונת-קישור להפחתת הפרעות במסלול בתרחישי MOT מורכבים30. שיטות מיזוג מעקבים (Tracker fusion) לומדות גם מתוצריהם של מספר מעקבים ומשתמשות באסטרטגיות בחירה או מיזוג מבוססות-לומד כדי לשפר את חוסן המעקב במדדי MOT שונים31. יחד, מחקרים אלו מצביעים על כך שקישור מודע לביטחון עוזר לשחזר מסלולים שנקטעו; עם זאת, רמזי ביטחון ותנועה מספקים מידע מזהות מוגבל כאשר שחקנים מאותה קבוצה בעלי מראה חזותי דומה. אף על פי ששיטות אלו מקלות ביעילות על קיטוע מסלולים בתרחישים כלליים, הן ניצבות בפני מגבלות מובנות במסגרת ספורט, כיוון ששחקנים באותה קבוצה הם לעיתים קרובות בעלי מראה חזותי דומה מאוד, והסתמכות בלעדית על מידע על ביטחון ותנועה אינה יכולה לספק בסיס מספיק להבחנה בזהות32,33,34. גם כאשר תיבות בעלות ביטחון נמוך משולפות ביעילות, דמיון במאפיינים עדיין עלול להוביל להחלפת זהויות, מה שמקשה על עמידה בדרישות הקשיחות של עקביות הזהות בניתוח ספורט.

סימני זהות ספציפיים לספורט שימשו גם לשיפור הבחנה בין זהויות במעקב אחר ספורטאים. מידע סמנטי של המדים, כגון צבע הקבוצה ומספר השחקן, מספק סימני זהות הקשורים באופן ישיר יותר לתרחישי ספורט מאשר ייצוגי מראה (embeddings) כלליים35,36,37. צבע המדים שימש לתמיכה בהבחנה ברמת הקבוצה ולהפחתת בלבול בין קבוצות, בעוד שזיהוי מספר השחקן מספק סימן זהות מדויק יותר כאשר אזור המספר גלוי וקריא38,39. מחקרי מעקב בספורט קיימים שילבו תכונות חזותיות ספציפיות לתחום וזיהוי צבע מדיים כדי לשפר את השיוך של שחקנים בתנאי ספורט צפופים40,41. עבודות קשורות על זיהוי מספרי מדיים ונתוני מספרים סינתטיים תומכות עוד יותר במידול זהות בתנאי רזולוציה נמוכה או הסתרה חלקית42,43. מחקרים אלה מעידים כי סמנטיקה של מדיים יכולה לחזק את ייצוג הזהות ב-MOT (מעקב אובייקטים מרובים) בספורט. עם זאת, רוב שיטות המעקב המשופרות סמנטית אינן ממדלות באופן מספיק את הקשר בין רמת הביטחון בזיהוי (detection confidence) לבין איכות התכונה הסמנטית. זיהויים בעלי ביטחון גבוה עשויים כבר להכיל מידע מרחבי ומידע מראה אמינים, מה שהופך חילוץ סמנטי חוזר לפחות יעיל. זיהויים בעלי ביטחון נמוך סובלים לעיתים קרובות מהסתרה, טשטוש, קטיעה או רזולוציה נמוכה, דבר המפחית את האמינות של סימני הצבע ומספר השחקן. מגבלה זו מובילה לתכנון שיוך מונחה-ביטחון, שבו סמנטיקת מדיים מוכנסת בהתאם לאיכות הזיהוי ולא מיושמת באופן אחיד על כל הזיהויים. המחקרים שנסקרו מראים כי שיוך מודע לביטחון ומידול סמנטי של מדיים מטפלים בהיבטים שונים של MOT בספורט. אסטרטגיות מבוססות-ביטחון קובעות בעיקר האם זיהוי מסוים צריך להשתתף בשיוך וכיצד עליו להיות מושווה למסלולים קיימים, בעוד שאסטרטגיות סמנטיות של מדיים משפרות בעיקר את ייצוג הזהות באמצעות סימנים ספציפיים לספורט. עם זאת, שני מנגנונים אלו מתוכננים לעיתים קרובות כרכיבים נפרדים. כתוצאה מכך, סימנים סמנטיים אינם תמיד מותאמים לפי איכות הזיהוי, ורמות הביטחון אינן מווסתות באופן ישיר את השימוש במידע על צבע ומספר שחקן במהלך השיוך. הפרדה זו מגבילה את הטיפול המשותף בקיטוע מסלולים ובבלבול זהויות בסרטוני ספורט קבוצתיים. הפער המחקרי שנותר טמון בקישור בין הערכת איכות הביטחון בזיהוי לבין שיוך סמנטי של מדיים בתוך אותו זרימת עבודה של מעקב.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

מחקר זה כלל ניתוח משני של מאגרי נתוני וידאו בעייריים המשמשים כנקודת ייחוס (benchmark), והם SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20. לא גויסו משתפים, לא בוצעו התערבויות ולא נאספו נתונים חדשים על נבדקים אנושיים. אישור ועדת אתיקה לא היה נדרש למחקר זה תחת הדרישות המוסדיות החלות של אוניברסיטת בנגקוק תונבורי.

הפרוטוקול הבא מתאר את זרימת העבודה המשמשת לשחזור של JerseyTrack, החל מהכנת הנתונים ועד להערכת המעקב. זרימת העבודה כוללת הכנת מערך נתונים, הכנת הגלאי, חילוץ סמנטי של החולצות, חלוקה לרמות ביטחון, אסוציאציה מונחית ביטחון, הסקת מעקב והערכת ביצועים, כפי שסוכם ב-איור 1. התוכנה, מערכי הנתונים ומשאבי החומרה הנדרשים מפורטים ב-טבלת החומרים.

תרשים חילוץ מאפיינים של חולצה המשתמש במאפייני מראה; חיזוי מצב; תהליך קישור נתונים.
איור 1זרימת העבודה הכללית של שיטת ה-JerseyTrack. תהליך העבודה מורכב מחילוץ מאפיינים סמנטיים של המדי, התאמה ראשונית של אובייקטים, התאמה משלימה מונחית-ביטחון ומיזוג מאפיינים. מאפייני צבע-קבוצה ומספר-שחקן מחולצים מאזורי הספורטאים שזוהו ושולבים בתהליך האסוציאציה כדי לשפר את התאמת המסלול בתנאי זיהוי不 ודאיים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

1. הכנת מערכי הנתונים ומבנה הספריות

  1. הורידו את מערכי נתוני הבנצ'מרק הציבוריים המפורטים ב- טבלת חומריםהשתמשו ב-SportsMOT כבסיס הנתונים העיקרי להכנת הגלאי ולהערכת המעקב. שמרו את TeamTrack, SoccerNet Tracking, MOT17 ו-MOT20 לצורך הערכה בין-בסיסי נתונים (cross-dataset evaluation).
  2. אחסנו את כל מערכי הנתונים תחת ספריית פרויקט מאוחדת. ודאו כי הגלאי, מודול החילוץ הסמנטי, מודול המעקב וערכת כלי ההערכה משתמשים במזהי רצף זהים.
  3. המיר את האנוטציות הרשמיות של SportsMOT לפורמט אימון הגלאי (detector-training format) באמצעות סקריפט הכנת הנתונים ששימש במחקר זה. בצע את הפקודה הבאה:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. הסקריפט להכנת הנתונים (scripts/prepare_data.py) זמין במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). התלויות התוכנתיות הנדרשות מפורטות בקובץ environment.yml, והן כוללות את Python 3.12, PyTorch 2.1.0 ו-OpenCV 4.10 ומעלה. הגדירו את סביבת התוכנה באמצעות הפקודה הבאה: conda env create -f environment.yml. הפעילו את הסקריפט להכנת הנתונים באמצעות הפקודה הבאה: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. וודאו שהמרה יוצרת את קובץ הגדרות אימון הגלאי: data\processed\SportsMOT_yolo\data.yaml ואת מניפסט ההמרה: data\processed\SportsMOT_yolo\conversion_manifest.csv.
    הערה: במחקר זה, מערך הנתונים להדרכה וולידציה של SportsMOT לאחר ההמרה הכיל 90 רצפים, 55,54 פריימים ו-608,152 אובייקטים מתויגים.
  6. יש לבחון רצפים מייצגים כדי לוודא שסדר הפריימים, קואורדינטות תיבות התוחם (bounding-box) ותוויות הזהות נותרים עקביים עם הערות המקור של מדד הביצועים (benchmark annotations).
  7. שמרו את קבצי האנוטציה שהומרו ללא שינוי לאורך שלבי הכנת הגלאי, הסקת המעקב (tracking inference) וההערכה, כדי שכל השיטות ישתמשו באותה חלוקה של מערך הנתונים ובאותו פרוטוקול הערכה.
    הערה: התוצאה הצפויה של סעיף זה היא ספריית אימון סטנדרטית של גלאי SportsMOT, הכוללת את ההערות (annotations) המומרות, את המניפסט של ההמרה ואת קבצי חלוקת מערך הנתונים הנדרשים להכנת הגלאי ולהערכת המעקב.

2. הכנת פלטי הגלאי

  1. בצע כוונון עדין (Fine-tune) למגלה האובייקטים באמצעות חלוקת האימון המוכנה של SportsMOT. בצע אופטימיזציה למגלה באמצעות הפסד הסיווג (classification loss) והפסד רגרסיית תיבת החסום (bounding-box regression loss) המוגדרים ב- משוואה 1השתמש ברזולוציית קלט הגלאי, בגודל האצווה (batch size), בקצב הלמידה, במספר תקופות האימון (epochs) ובפרמטרי אימון אחרים שדווחו בהגדרות היישום וב- טבלת חומרים
    Lגזורת (Determinant) = Lניקוי מסך + Lקופסה   (1)
    כאן, Lנפרד  מציין את סך הפסדי הגלאה, Lנקה מסך  מייצג את הפסד הסיווג, Lתיבה ו- denotes את הפסד רגרסיית תיבת החסום (bounding-box regression loss).
    הערה: נקודת הבקרה (checkpoint) של הגלאי ששימשה בניסויים הראשיים (מזהה ניסוי פנימי e3) אומנה באמצעות מסגרת Ultralytics YOLO עם תצורת מערך הנתונים של SportsMOT בפורמט YOLO (הקובץ data/processed/SportsMOT_yolo/data.yaml). יש לבצע את אימון הגלאי באמצעות הפקודה הבאה: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo1x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. לאחר האימון, יש להשתמש בנקודת הבקרה בעלת הביצועים הטובים ביותר שהתקבלה כדי להפיק פלטי גלאי עבור רצפי התיקוף (validation sequences) באמצעות הפקודה הבאה: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. שמור את נקודת הבקרה (checkpoint) של הגלאי המאומן, את קובץ המטא-דאטה המתאים ואת יומן האימון לאחר סיום האימון.
    הערה: במחקר זה, נקודת הבקרה של הגלאש (detector checkpoint) ששימשה את הניסויים הרשמיים נשמרה כ:
    outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.pt. קובץ המטא-דאטה המתאים נשמר כ- :outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.json. ספריית פלט הגלאי (detector-output) ששימשה לניסויי תיקוף SportsMOT הראשיים הייתה: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections.
  3. הריצו את הגלאי המאומן על כל רצף אימות כדי להפיק תיבות תוחמות של הספורטאים ומדדי ביטחון. ייצאו קובץ זיהוי אחד עבור כל רצף, שיכיל את אינדקס הפריים, קואורדינטות התיבה התוחמת, ביטחון הזיהוי ותוית הסיווג.
    הערה: בהרצת האימות של SportsMOT ששימשה את הניסויים המרכזיים, סף ביטחון (confidence threshold) של 0.05 הניב 343,90 זיהויי ספורטאים.
  4. בדקו את ספריית פלט הגלאי (detector-output) לפני ביצוע מעקב ההסקה (tracking inference). ודאו שלכל רצף קיים קובץ זיהוי תואם, שאינדקסי הפריימים תואמים לרצף התמונות שהוכן, ושכל רשומת זיהוי כוללת ציון ביטחון (confidence score).
    הערה: התוצאה הצפויה של סעיף זה היא ספריית פלטי-גלאי (detector-output directory) מלאה, המשמשת כקלט לחילוץ סמנטי של חולצות, חלוקה לרמות ביטחון (confidence-level partitioning) ואסוציאציית מעקב.

3. חילוץ מאפיינים סמנטיים של החולצה

  1. השתמשו בקבצי הפלט של הגלאי כדי לחתוך את אזורי הספורטאים מכל פריים בווידאו. שמרו כל תמונת ספורטאי חתוכה יחד עם מזהה הרצף, אינדקס הפריים ואינדקס הגילוי שלה. הסִירו חיתוכים שאינם תקינים, הכוללים תוכן תמונה חסר או תיבות תוחמות החורגות מגבולות התמונה. שמרו על הקישור בין שם הקובץ של כל חיתוך לבין רשומת הגילוי המקורית שלו, כך שניתן יהיה להจับיין את המאפיינים הסמנטיים שהופקו עם הגילוי המתאים במהלך אסוציאציית המעקב.
  2. חלץ מאפייני צבע של חולצות מהתמונות החתוכות של הספורטאים באמצעות סקריפט החילוץ הסמנטי שנעשה בו שימוש במחקר זה.
    הערה: סקריפטים לחילוץ מאפיינים סמנטיים (scripts/extract_fast_color_semantics.py ו-scripts/formal_extract_semantics.py) זמינים במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ הגדרה נפרד; כל פרמטרי ההרצה מסופקים דרך ארגומנטים בשורת הפקודה.
    הפיקו תיאורי צבע למדי חול באמצעות הפקודה הבאה: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_color. הפיקו מאפיינים סמנטיים של מספרי שחקנים באמצעות מודל ה-OCR עם הפקודה הבאה: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_ocr. תיאורי צבע המדיים ותוצרי ההסתברות של מספרי השחקנים שהופקו מקושרים באמצעות מזהה רצף ומאוחדים לקובצי המאפיינים הסמנטיים המשמשים במהלך קישור המעקב.
  3. המיר כל תמונה חתוכה של ספורטאי למרחב הצבע Hue, Saturation, Value (HSV). חלץ פיקסלים של הרקע מאזור החולצה וסכם את צבע החולצה הדומיננטי באמצעות קיבוץ K-means כאשר K = 3. נרמל את מתאר הצבע שהתקבל באמצעות נרמול L2 לפני השוואת המאפיינים.
  4. אמן את ענף זיהוי מספרי השחקנים באמצעות תמונות גזורות של ספורטאים בגודל קלט של 128 × 64 פיקסלים. הפק תוויות פסאודו (pseudo-labels) למספרי השחקנים באמצעות הליך התיוג בפיקוח חלש שיושם במחקר זה. השמע גזירות שבהן אזורי מספרי השחקנים אינם נראים, אינם קריאים, חסומים באופן משמעותי או בעלי רמת ביטחון נמוכה מחישוב הפסד של זיהוי תווים אופטי (OCR).
  5. בצע אופטימיזציה לענף ה-OCR באמצעות פונקציית ההפסד של cross-entropy כפי שהוגדרה ב- משוואה 2.
    נוסחת הפסד צולב-אנטרופיה (Cross-entropy loss) \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), משוואה לסיווג. (2)
    כאן, Lזיהוי תווים אופטי (OCR) מייצג את הפסד ה-OCR, yi מציין את תווית מספר השחקן המפוקחת, ו- משוואת רגרסיה פולינומיאלית, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, תרשים ניתוח סטטיסטי מציין את קטגוריית מספר השחקנים החזויה.
  6. בצע אופטימיזציה למודול חילוץ המאפיינים הסמנטיים באמצעות האופטימייזר האדפטיבי, קצב הלמידה, גודל האשורה (batch size), דעיכת המשקלות ומשך האימון המפורטים ב- טבלת חומריםשלב את הפסד הגלאי (detector loss) ואת הפסד ה-OCR באמצעות יעד האימון הכולל המוגדר ב- משוואה 3.
    Lסה"כ = Lנראה כי לא סיפקת טקסט לתרגום. אנא שלח את הטקסט באנגלית שברצונך לתרגם לעברית. + γLזיהוי תווים אופטי (OCR)   (3)
    כאן, Lסה"כ מייצג את סך הפסד האימון, Lנתיב* (או: דטרמיננטה, תלוי בהקשר המדעי של המסמך) מציין את הפסד הגלאי המוגדר ב- משוואה 1, Lזיהוי תווים אופטי (OCR) מייצג את הפסד ה-OCR המוגדר ב- משוואה 2, ומסמל את מקדם השקלול שמוגדר על ידי המשתמש עבור הפסד ה-OCR.
  7. החיל את ענף ה-OCR המאומן על כל תמונה גזוזה של ספורטאי. שמור את קטגוריית מספר השחקן שנחזתה או את וקטור ההסתברות עבור כל גזירה. אם מספר השחקן אינו נראה או אם רמת הביטחון של ה-OCR נמוכה מהסף שהוגדר במימוש, רשום את מאפיין מספר השחקן כבלתי זמין במקום לכפות חיזוי.
  8. שלב את מתאר צבע החולצה ואת פלט מספר השחקן בתוך קובץ התכונות הסמנטיות המשמש את מודול המעקב.
    הערה: בהרצת האימות הראשית של SportsMOT, סקריפט החילוץ הסמנטי עיבד 343,90 זיהויים ללא פריימים חסרים או חיתוכים (crops) לא תקינים. בחבילת העדכון הנוכחית, סיכום החילוץ הסמנטי דיווח על דיוק חילוץ סמנטי כולל של צבע ו-OCR בשיעור של 86.7% תחת הגדרות ה-SportsMOT שנבדקו. התוצאה המצופה של סעיף זה היא קובץ מאפיינים סמנטיים שבו כל רשומת זיהוי תקפה מקושרת למתאר צבע של חולצת המשחק, לפלט של מספר השחקן כאשר הוא זמין, ולדגל המציין אם מידע סמנטי זמין עבור קישור המעקב (tracking association).

4. רמות ביטחון לגילוי מחיצות

  1. טענו את קובץ פלט הגלאי עבור כל רצף וידאו. אספו את מדדי הביטחון (confidence scores) של כל זיהויי הספורטאים בכל פריים.
  2. חלק את מדדי הביטחון ברמת הפריים למרווחי ביטחון גבוהים, בינוניים ונמוכים באמצעות קיבוץ K-means עם K = 3, בהתאם לזרימת העבודה של אסוציאציה מונחית-ביטחון המוצגת ב- איור 2קבע את ספי השמירת האדפטיביים (adaptive confidence thresholds) על ידי מזעור השונות בתוך הצבר (within-cluster variance) בהתאם ל משוואה 4.
    נוסחת סמל לשיווי משקל סטטי; J_conf=min Σ(sd-μ_i)^2; אופטימיזציה מתמטית.  (4)
    כאן, sד מציין את מדד הביטחון של הזיהוי ד; ד'1, D2ו- ד'3 סמנו את רווחי האמון הגבוהים, הבינוניים והנמוכים, בהתאמה; μ1, μ2ו- μ3 מסמנים את מדדי הביטחון הממוצעים של שלושת הרווחים; ו-τ1 ו-τ2 מסמנים את ספי Confidence thresholds האדפטיביים שהתקבלו מתוצאות השבץ (clustering) של K-means.
    הערה: סקריפט חלוקת רמות הביטחון (scripts/formal_partition_confidence.py) זמין במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). מודול חלוקת רמות הביטחון משתמש בהליך קיבוץ K-means חד-מדי המבוס על NumPy עם K = 3. אין צורך בקובץ הגדרות נפרד; ספריית הקלט, ספריית הפלט ופרמטר הקיבוץ מוגדרים באמצעות ארגומנטים של שורת הפקודה. בצעו את הליך חלוקת רמות הביטחון באמצעות הפקודה הבאה: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/confidence --k 3. תלויות התוכנה הנדרשות, כולל גרסת NumPy, מפורטות בקובץ environment.yml.
  3. הריצו את הליך חלוקת הביטחון (confidence-partitioning) תוך שימוש בספריית פלט הגלאים (detector-output) כקלט.
    הערה: במחקר זה, ספריית פלט הגלאי הייתה: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections. ספריית פלט חלוקת הביטחון (confidence-partition) הייתה: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\confidence. קבצי הפלט שהופקו כללו את קבצי ה-CSV של הביטחון לכל רצף, _confidence_frame_summary.csv, ו-_confidence_runtime.csv.
  4. הקצו תווית רמת-ביטחון לכל זיהוי. סמנו זיהויים בעלי ביטחון גבוה עבור אסוציאציה מבוססת תנועה, זיהויים בעלי ביטחון בינוני עבור אסוציאציה סמנטית-תנועתית, וזיהויים בעלי ביטחון נמוך עבור שחזור מסלול בלבד. שמרו על ציון הביטחון המקורי יחד עם תווית רמת-הביטחון שהוקצתה.
  5. בדקו את התפלגויות מדד הביטחון (confidence-score) ואת הפריימים המייצגים, כפי שמוצג ב- איור 3יש לוודא כי זיהויים ברמת ביטחון גבוהה תואמים ברובם למסגרות חובקי-אתלט (bounding boxes) שלמות ואמינות, בעוד שזיהויים ברמת ביטחון בינונית ונמוכה מכילים בעיקר זיהויים חלקיים, מוסתרים, מטושטשים או חלשים.
    הערה: התוצאה המצופה מסעיף זה היא קובץ חלוקת ביטחון (confidence-partition file) המכיל את מדד הזיהוי, ציון הביטחון המקורי, רמת הביטחון שהוקצתה וספי ביטחון אדפטיביים ברמת הפריימים עבור כל זיהוי.

ניתוח וידאו מונחה-ביטחון; תרשים עם קיבוב K-means וחישובי מרווחים למשם קורלציה.
איור 2אסטרטגיית קישור מונחית-ביטחון. תהליך העבודה מחלק את רמת הביטחון בזיהוי למרווחי ביטחון גבוהים, בינוניים ונמוכים באמצעות אשכולה ביטחון אדפטיבי (adaptive confidence clustering). זיהויים ברמת ביטחון גבוהה מקושרים באמצעות דמיון בתנועה, זיהויים ברמת ביטחון בינונית מקושרים באמצעות שילוב של דמיון בתנועה ודמיון סמנטי של החולצה, וזיהויים ברמת ביטחון נמוכה משמשים לשחזור מסלול בסיוע סמנטי עם אימות רב-מסגרי. הפאנל הימני מסכם את הניסוח המתמטי המשמש לחלוקת רמות הביטחון ולקישור. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

תרשים עמודות המשווה מינוני החלטות ספורט לפי רווח סמך; כדורגל, כדורסל, כדורעף.
איור 3התפלגות של מדדי ביטחון בזיהוי. ההיסטוגרמה מציגה את מספר תיבות הזיהוי של ספורטאים בתוך חמישה רווחי ביטחון עבור רצפי כדורגל, כדורסל וכדורעף במאגר הנתונים SportsMOT. ההתפלגות ממחישה הבדלים ברמת הביטחון של הגלאים בין קטגוריות הספורט שנבחנו. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

5. הרצת קישור מונחה-ביטחון (confidence-guided association)

  1. טען את קובץ פלט הגלאי, קובץ התכונות הסמנטיות וקובץ חלוקת הביטחון עבור כל רצף וידאו. אתחל את המעקב באמצעות הגליות התקפות הראשונות ושמור מצב מסלול אחד עבור כל ספורטאי במעקב. עבור כל פרמה עוקבת, חזה את המיקום של כל מסלול קיים באמצעות מודל התנועה של מסנן קלמן (Kalman filter).
  2. חשב את דמיון התנועה בין כל מסלול שנחזה לבין גילוי מועמד באמצעות מרחק מהאלנוביס (Mahalanobis distance) כפי שהוגדר ב- משוואה 5.
    נוסחה מתמטית לשיווי משקל סטטי, משוואה: S_mot(t_i^k,d_j) עם מטריצת שונויות.  (5)
    כאן, שיווי משקל סטטי, ΣFx=0, ΣFy=0, תרשים מאזן כוחות, מושג פיזיקלי, טכניקת פתרון בעיות מציין את ה- Iמסלול ה-th בפריים ק, דיאגרמת שיווי משקל סטטי, ΣFx=0, המציגה וקטורי כוח ואיזון, תרשים פיזיקה לימודי. מייצג את מצב מסלול הניבוי של קלמן, ד׳ג' מציין את זיהוי המועמד, משוואת שיווי משקל סטטי Σi^{-1}; דיאגרמה עם סממנים מתמטיים לשימוש פדגוגי. מייצג את מטריצת השונות המשותפת ההפוכה (inverse covariance matrix) של מצב המסלול החזוי, ו- Sמולקולה של תבנית גנטית (MOT) מציין את מרחק התנועה בין המסלול החזוי לבין הגילוי.
    הערה: זרימת העבודה (workflow) המרכזית של השיוך ממומשת בקובץ jerseytrack/formal_tracker.py ומופעלת באמצעות scripts/formal_track.py, שניהם זמינים במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ הגדרה נפרד. כל פרמטרי ההרצה, כולל ספי סמך (confidence thresholds), גיל מסלול מקסימלי, מקדמי משקל תנועה ומשקל מרחק מרכז, מסופקים באמצעות ארגומנטים בשורת הפקודה. פקודת ההרצה המלאה והגדרות הפרמטרים מופיעות בשלב 6.2. המימוש משתמש באלגוריתם linear sum assignment של SciPy עבור התאמה הונגרית (Hungarian matching) וב-NumPy עבור שיוך מבוס עלות.
  3. הפעילו את תהליך העקיבה (tracking workflow) תוך שימוש בקובץ פלט הגלאה (detector-output file), בקובץ תכונות סמנטיות (semantic-feature file) ובקובץ חלוקת ביטחון (confidence-partition file) כקלטים.
    הערה: במחקר זה, מעקב הליבה (core tracker) הוטמע בקובץ jerseytrack\formal_tracker.py, וזרימת העבודה של המעקב הופעלה באמצעות scripts\formal_track.py.
  4. שייכו זיהויים בעלי רמת ביטחון גבוהה למסלולים קיימים באמצעות עקביות בתנועה. עדכנו מסלולים שהותאמו ואתחילו מסלולים חדשים רק כאשר זיהויים בעלי רמת ביטחון גבוהה שלא הותאמו עומדים בקריטריונים לאתחול מסלול.
  5. בחן את פלטי חילוץ הסמנטיקה של החולצות המודגמים ב- איור 4ובניית וקטור תכונות סמנטי של החולצה עבור כל זיהוי, על ידי שילוב מתאר צבע הקבוצה ותכונת מספר השחקן בהתאם ל- משוואה 6.
    fמיקרוסקופ אלקטרונים סורק (SEM) = [fעמוד;fמזהה] (6)
    כאן, פמיקרוסקופ אלקטרונים סורק (SEM) מייצג את וקטור המאפיינים הסמנטי המאוחד, פעמודה מציין את מתאר צבע הקבוצה, ו- fמזהה מציין את תכונת מספר-השחקן שהופקה על ידי ענף ה-OCR.
  6. שייכו זיהויים בעלי רמת ביטחון בינונית על ידי שילוב דמיות תנועה עם דמיות סמנטית של החולצה. חשבו את ציון ההתאמה המאוחד בהתאם ל- משוואה 7.
    משוואה למיזוג תנועה וציון סמנטי, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    כאן, Sמיקרוסקופ אלקטרוני סורק (SEM) מציין את דמיון הקוסינוס (cosine similarity) בין וקטורי התכונות הסמנטיים של המסלול לבין זיהוי המועמד, Sמנוע של תנועה (motor) מציין את מרחק התנועה המוגדר ב- משוואה 5ו- λ מסמן את מקדם ההיתוך האדפטיבי המאזן בין מונחי הדמיות התנועה והסמנטיקה.
  7. חשב את מקדם ההיתוך האדפטיבי בהתאם ל- משוואה 8.
    שיווי משקל סטטי; λ=λ₀exp(-σsd/σmax); נוסחה הקשורה להתפלגות מאמצים בחומרים. (8)
    כאן, λ0 מציין את מקדם משקל התנועה הראשוני, σסטיות תקן (Standard Deviations) מציין את סטיית התקן של מדדי הביטחון-בזיהוי (detection-confidence scores) בפריים הנוכחי, ו- σמקסימום מייצג את סטיית התקן המקסימלית של מדד הביטחון המשמשת לנורמליזציה.
  8. השתמשו בזיהויים בעלי רמת ביטחון נמוכה אך ורק לצורך שחזור מסלול. התאימו זיהויים בעלי רמת ביטחון נמוכה למסלולים שהופסקו רק כאשר מידע סמנטי זמין וקריטריוני השחזור מתמלאים. בצעו אימות רב-פריים לפני שחזור זהות של מסלול, והשמידו זיהויים שנכשלו באימות.
    הערה: כאשר תכונת מספר-השחקן אינה זמינה, בצע את השיוך באמצעות המידע הסמנטי הזמין ועקביות התנועה, במקום לכפות התאמה של מספר השחקן. התוצאה הצפויה של סעיף זה היא רשומת מעקב פרימה הכוללת זהויות מסלול, תיבות חסומות (bounding boxes), תוויות רמת ביטחון, עלויות תנועה, מידע סמנטי והחלטות שיוך סופיות. בחבילת ראיות הבקרה, תוצאות המעקב נשמרו תחת: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

תרשים ניתוח משחק כדורעף עם נתוני מעקב אחר שחקנים להסקת תובנות ביצועים.
איור 4חילוץ תכונות סמנטיות של ג'רזי. זיהויים מייצגים של ספורטאים מסומנים עם מתארי צבע-הקבוצה שחולצו ומידע על מספרי השחקנים, אשר הופקו על ידי מודול החילוץ הסמנטי של המדי. התכונות הסמנטיות שחולצו משולבות לאחר מכן באסוציאציית נתונים מונחית-ביטחון (confidence-guided data association). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

6. הרצת הסקת מעקב וייצוא תוצאות

  1. הריצו הסקת מסקנות למעקב (tracking inference) עבור כל רצף וידאו באמצעות קבצי פלט הגלאי, קבצי התכונות הסמנטיות וקבצי חלוקת הביטחון (confidence-partition) שהוכנו. עיבדו את פריימי הוידאו בסדר כרונולוגי כדי שמצבי המסלול, ההיסטוריה הסמנטית והחלטות שחזור המסלול יעודכנו באופן עקבי לאורך הרצף. השתמשו באותה תצורת הסקה עבור כל הרצפים שמוערכים, אלא אם כן דווחה במפורש הגדרה ספציפית למסד נתונים.
    הערה: הסקת מסקנות למעקב בוצעה באמצעות scripts/formal_track.py, הזמין במאגר קוד המקור של JerseyTrack (https://doi.org/10.5281/zenodo.21274352). אין צורך בקובץ תצורה נפרד. הריצו את הסקת המסקנות למעקב באמצעות הפקודה הבאה: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t05/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. כל הפרמטרים שלא צוינו שמרו על ערכי ברירת המחדל המתועדים בקוד המקור שנשמר.
  2. לאחר ההסקה, החילו את רצף עיבוד הפוסט-פרוססינג הראשוני באמצעות הפקודות הבאות: python scripts/merge_tracklets.py ו-python scripts/sweep_track_filter.py --min-len 95.
  3. ייצאו את תוצאות המעקב בפורמט הנדרש על ידי ערכת כלי ההערכה. כללו את אינדקס הפריים, זהות המסלול, קואורדינטות תיבת התחמה וכל השדות הנדרשים על ידי פורמט הערכת הבנצ'מרק. שמרו קובץ תוצאות מעקב אחד עבור כל רצף תוך שימוש במוסכמי שם קובץ עקביים, כדי שניתן יהיה להתאים כל קובץ תוצאות לקובץ אנוטציית ה-ground-truth המתאים לו.
  4. החילו אך ורק את פעולות הפוסט-פרוססינג שנעשה בהן שימוש במחקר זה. בצעו מיזוג tracklets וסינון מסלולים באמצעות סקריפטים של פוסט-פרוססינג המתוארים בחבילת העדכונים.
    הערה: במחקר זה, זרימת העבודה של הפוסט-פרוססינג השתמשה בסקריפטים הבאים:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. בדקו את תוצאות המעקב המיוצאות לפני ההערכה הכמותית. ודאו שזהויות המסלולים נשארות מספריות ועקביות בתוך כל רצף, ששום אינדקס פריים לא חסר, ושכל תיבות ההתחמה נשארות בתוך גבולות התמונה.
    הערה: התוצאה המצופה מסעיף זה היא סט מלא של קבצי תוצאות מעקב ברמת הרצף, המוכנים להערכה כמותית.

7. הערכת ביצועי המעקב

  1. העריכו את קבצי תוצאות המעקב שיוצאו באמצעות ערכת ההערכה המפורטת בטבלת החומרים. התאימו כל קובץ תוצאות מעקב לקובץ הערות ה-ground-truth המתאים ולפיצול הנתונים (dataset split). השתמשו באותה תצורת הערכה עבור כל השיטות המושוות כדי להבטיח שהבדלי הביצועים נובעים מתוצאות המעקב ולא מהגדרות ההערכה.
  2. הריצו את ההערכה באמצעות הפקודה הבאה:
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    הערה: ההערכה בוצעה באמצעות מימוש מדדי TrackEval הסטנדרטיים (גרסה 1.3.0) שנשמרו בתוך חבילת השחזור של JerseyTrack. לא בוצעו שינויים במימושים של מדדי Higher Order Tracking Accuracy (HOTA), CLEAR או Identity. המאגר כולל את מעטפת ההרצה בסגנון MOTChallenge הממוקמת ב-evaluation/trackeval/scripts/run_mot_challenge.py, המגדירה את נתיבי מערך הנתונים והתוצאות ומפעילה את מדדי ההערכה הסטנדרטיים של TrackEval.
  3. תעדו את מדדי ההערכה המדווחים בכתב היד, כולל Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), חיוביים שגויים (FPs), שליליים שגויים (FNs), ואירועי החלפת זהות (identity-switching). ייצאו את סיכום ההערכה כטבלה ושמרו את קבצי ההערכה לכל רצף לצורך אימות.
  4. בעת השוואת JerseyTrack לשיטות בסיס (baseline), השתמשו באותו פיצול נתונים, פלטי גילוי ואותה תצורת הערכה עבור כל השיטות. תעדו את מערך הנתונים, מקור פלט הגילוי, תצורת ערכת ההערכה וערכי המדדים עבור כל השוואה.
  5. בחנו את לוגי ההערכה כדי לוודא שכל הרצפים הוערכו בהצלחה וששום קובץ תוצאות מעקב אינו חסר.
    הערה: במחקר זה, קובץ הסיכום הראשי של TrackEval נשמר ב: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. התוצאה המצופה מסעיף זה היא טבלת סיכום הערכה מלאה יחד עם קבצי המדדים לכל רצף התומכים בתוצאות המדווחות ובאימות העוקב.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

סעיף זה מדווח על התוצאות הכמותיות והאיכותיות שהתקבלו מניסויי מעקב רב-אובייקטים בספורט שהוערכו. התוצאות מתמקדות בדיוק המעקב, בשימור הזהות, באיכות הקישור ובעמידות תחת הגדרות מערכי הנתונים שנבדקו. טענות הביצועים מוגבלות לשיטות המעריכות, למערכי הנתונים, לפלטי הגלאים ולהגדרות ערכת כלי ההערכה המתוארות בפרוטוקול ובהגדרות היישום.

הסדר ניסיוני ותכנון הערכה

ערכה של נתונים ועיבוד מקדמי:

השימוש ב-SportsMOT נ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

מחקר זה העריך זרימת עבודה ל-MOT בספורט המונחית על ידי רמת ביטחון (confidence), המשלבת חלוקה לפי ביטחון-זיהוי עם רמזים סמנטיים של חולצות. קישוריות מונחית-ביטחון והיתוך תכונות סמנטיות נחקרו כאסטרטגיות משלימות לשיפור אסוציאציית נתונים במעקב אחר ריבוי אובייקטים12,20,23,24,46. התוצאות מראות כי תצורת ה-JerseyTrack המלאה שיפרה את שימור הזהות ואת יציבות האסוציאציה תחת...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

המחברים מצהירים כי אין להם ניגודי עניינים פיננסיים.

תודות

המחברים מצהירים כי אין להם תודות להכריז עליהן.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
CUDA RuntimeNVIDIAגרסה 12.8סביבת הרצה לחישוב GPU המשמשת לאימון הגלאי, חילוץ תכונות סמנטיות והסקת מעקב.
EasyOCRJaided AIגרסה 1.7.2ערכת כלים לזיהוי תווים אופטי (OCR) המשמשת לזיהוי מספרי שחקנים.
קוד המקור של JerseyTrackהמחבריםN/Aמימוש מותאם הכולל את הסקריפטים להכנת נתונים, חילוץ תכונות סמנטיות, חלוקת ביטחון, מעקב, עיבוד לאחר מעקב והערכה. זמין בכתובת: https://doi.org/10.5281/zenodo.21274352
מודל Lightweight CRNN OCRהמחבריםN/Aרשת עצבית רקורסיבית קונבולוציונית (CRNN) מותאמת המשמשת לזיהוי מספרי שחקנים.
סט הנתונים MOT17MOTChallengeN/Aסט נתונים ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://motchallenge.net/data/MOT17/
סט הנתונים MOT20MOTChallengeN/Aסט נתונים ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://motchallenge.net/data/MOT20/
motmetricsמפתחי motmetricsגרסה 1.4.0ספרייה המשמשת לחישוב מדדי אבחון למעקב מרובה עצמים.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2יחידת עיבוד גרפית המשמשת לאימון הגלאי ולהסקת מעקב.
דרייבר NVIDIA GPUNVIDIAגרסה 610.62דרייבר GPU ששימש בסביבת הניסוי.
NumPyמפתחי NumPyגרסה 2.4.4ספרייה לחישובים מספריים המשמשת לעיבוד תכונות וטיפול בנתונים.
OpenCVOpenCVגרסה 4.10.0ספריית ראייה ממוחשבת המשמשת לטעינת תמונות, חיתוך, עיבוד מקדים והדמיה.
PythonPython Software Foundationגרסה 3.12.2שפת התכנות ששימשה לאורך כל זרימת העבודה.
PyTorchPyTorch Foundationגרסה 2.11.0+cu128מסגרת למידה עמוקה ששימשה למימוש הגלאי והמודל הסמנטי.
scikit-learnמפתחי scikit-learnגרסה 1.9.0ספריית למידת מכונה ששימשה לאשגור K-means במהלך חילוץ צבע המדי וחלוקת ביטחון.
סט הנתונים SoccerNet TrackingSoccerNetN/Aמדד מעקב כדורגל ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://www.soccer-net.org/tasks/tracking
סט הנתונים SportsMOTSportsMOT BenchmarkN/Aסט נתוני ייחוס מרכזי ששימש להכנת הגלאי ולהערכת מעקב. זמין בכתובת: https://deeperaction.github.io/datasets/sportsmot.html
סט הנתונים TeamTrackTeamTrack BenchmarkN/Aמדד מעקב ספורט ציבורי המשמש להערכה בין-סטים. זמין בכתובת: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch Foundationגרסה 0.26.0+cu128ספריית ראייה ממוחשבת המשמשת עם PyTorch לטרנספורמציה של תמונות ותמיכה במודלים.
TrackEvalמפתחי TrackEvalגרסה 1.3.0ערכת כלים להערכה המשמשת לחישוב דיוק מעקב מרובה עצמים (MOTA), מדד F1 של זהות (IDF1), דיוק מעקב מסדר גבוה (HOTA), דיוק גילוי (DetA), דיוק התאמה (AssA), זיהויים שגויים (FP), החמצות (FN), והחלפות זהות (IDs).
UltralyticsUltralyticsגרסה 8.4.90מסגרת לגילוי עצמים ששימשה לאימון הגלאי וליצירת גילויי ספורטאים.

מקורות

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

תגיות

מעקב מונחה ביטחוןמסלול שחקןדמיון תנועהצבע חולצהזיהוי תווים אופטיעקביות זהותמערך נתוני SportsMOT
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.