يتطلب اشتراك JoVE لعرض هذا المحتوى. تسجيل الدخول أو ابدأ نسخة تجريبية مجانية

مقالة منهجية

طريقة لتتبع الأجسام المتعددة موجهة بالثقة لمقاطع فيديو الرياضة باستخدام دمج دلالات القمصان

59 مشاهدة

⸱

DOI:

10.3791/71557

⸱

أغسطس 14, 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

في هذه المقالة

ملخص

يصف هذا البروتوكول سير عمل لتتبع متعدد الأهداف موجه بالثقة لمقاطع الفيديو الرياضية، حيث يدمج معلومات لون القميص ورقم اللاعب لتحسين ربط المسارات واتساق الهوية في ظل تقلبات الثقة، وحالات الحجب، وتشابه المظهر البصري للرياضيين.

الملخص

يوفر تتبع الأجسام المتعددة (MOT) في مقاطع الفيديو الرياضية معلومات عن المسارات من أجل التحليل التكتيكي، وتفسير سلوك اللاعبين، والتحليل الإحصائي الآلي. ومع ذلك، غالباً ما تتضمن السيناريوهات الرياضية تغيرات سريعة في الاتجاه، وتوقفات مفاجئة، وحالات احتجاب متكررة، وزملاء فريق متشابهين بصرياً، مما يؤدي إلى تقلبات في ثقة الكشف وارتباك في الهوية أثناء الربط بين الإطارات. ولمعالجة هذه التحديات، تقدم هذه الدراسة JerseyTrack، وهي طريقة لتتبع الأجسام المتعددة في الرياضة موجهة بالثقة وتعتمد على الدمج الدلالي للقمصان. يقوم سير العمل بتقسيم صناديق الكشف تكيفياً إلى فترات ثقة عالية ومتوسطة ومنخفضة وفقاً لتوزيع الثقة في كل إطار. يتم ربط عمليات الكشف عالية الثقة بشكل أساسي باستخدام تشابه الحركة، بينما تدمج عمليات الكشف متوسطة ومنخفضة الثقة إضافياً ميزات لون القميص ورقم اللاعب المستخرجة عبر تجميع الألوان ونموذج خفيف للتعرف الضوئي على الحروف (OCR). يتم دمج هذه الميزات الدلالية مع معلومات الحركة أثناء المطابقة التكميلية لتحسين استمرارية المسار واتساق الهوية. تم تقييم هذه الطريقة باستخدام مجموعة بيانات SportsMOT؛ حيث حقق JerseyTrack دقة تتبع أجسام متعددة (MOTA) بلغت 88.9%، ودرجة F1 للهوية (IDF1) بلغت 74.3%، ودقة تتبع من الرتبة الأعلى (HOTA) بلغت 69.9%، مما أظهر تحسناً في أداء التتبع في ظل إعدادات تتبع الرياضة التي تم تقييمها. يوفر هذا البروتوكول سير عمل قابلاً للتكرار لدمج الربط الموجه بالثقة مع المعلومات الدلالية للقمصان لتحسين تتبع الأجسام المتعددة في مقاطع الفيديو الرياضية.

المقدمة

يوفر تتبع الأجسام المتعددة (MOT) تحديداً مستمراً لمواقع الأجسام والحفاظ على هويتها في التسلسلات المرئية، وهو ما يدعم استخراج مسارات الرياضيين، والتحليل التكتيكي، والتحليل الإحصائي الآلي في تطبيقات الفيديو الرياضي1,2,3. كما ترتبط المعلومات المرئية الموثوقة بعمليات اتخاذ القرار وتقييم الأداء الخاصة بكل رياضة في علوم الرياضة، مما يؤكد أهمية بيانات الحركة المستقرة المستمدة من الفيديو لإجراء التحليلات الرياضية اللاحقة4. وفي السيناريوهات الرياضية، تعتمد موثوقية البيانات التكتيكية على استمرارية مسارات التتبع واتساق هويات الأهداف.

بالمقارنة مع سيناريوهات تتبع الأجسام المتعددة (MOT) العامة، تحتوي مقاطع الفيديو الرياضية على تغيرات سريعة في الاتجاه، وتوقفات مفاجئة، وقفزات، وتفاعلات كثيفة، وحالات انسداد متكررة. وتتسبب هذه العوامل في تقلبات ملحوظة في درجة الثقة بصناديق الكشف، كما تزيد من تكرار عمليات الكشف ذات الثقة المنخفضة، مما قد يؤدي إلى انقطاع ارتباط المسارات5,6. علاوة على ذلك، تقلل قمصان الفريق الموحدة من قدرة التمييز لميزات المظهر العامة وتزيد من الخلط في الهوية بين الزملاء المتشابهين بصرياً7,8. وعندما يحدث الانسداد والتشابه في المظهر في نفس التسلسل، تنخفض الثقة في الكشف وتصبح معلومات مظهر الهدف غير مكتملة، مما يزيد من صعوبة ارتباط المسار والحفاظ على الهوية9,10. وفي سياق تتبع الأجسام المتعددة (MOT)، تشير إعادة التعرف (Re-ID) إلى عملية ربط هوية الهدف نفسه عبر الإطارات، أو فترات الانسداد، أو حالات إعادة الدخول باستخدام الأدلة البصرية المرتبطة بالهوية. وفي مقاطع الفيديو الخاصة بالرياضات الجماعية، قد تضعف مؤشرات إعادة التعرف العامة لأن الرياضيين من الفريق نفسه غالباً ما يتشاركون الزي الموحد والمظهر الجسدي المتشابه. وتشير المراجعة الفنية للأدبيات إلى أن تفتت المسارات والخلط في الهوية في تتبع الأجسام المتعددة الرياضي يتم معالجتهما عادةً من خلال نهجين متكاملين: الاستفادة من الثقة في الكشف وتعزيز مؤشرات الهوية. ويتموضع JerseyTrack عند تقاطع هذين النهجين من خلال تنظيم استخدام المؤشرات الدلالية للقميص وفقاً لجودة الكشف، بدلاً من تطبيق معلومات اللون ورقم اللاعب بشكل موحد على جميع عمليات الكشف.

تقدم هذه الدراسة JerseyTrack، وهي طريقة لتتبع كائنات متعددة (MOT) في الرياضات موجهة بالثقة وتعتمد على الدمج الدلالي لقمصان الرياضيين. صُممت هذه الطريقة لمقاطع فيديو الرياضات الجماعية التي يرتدي فيها الرياضيون قمصانًا مرئية، حيث توفر نتائج الكشف صناديق إحاطة مع درجات ثقة. يجمع JerseyTrack بين أربعة مكونات رئيسية: الكشف عن الرياضيين، وتقسيم مستويات الثقة، واستخراج الميزات الدلالية للقمصان، والربط المتتالي بين الإطارات. تُستخدم ثقة الكشف لتقسيم عمليات الكشف تكيفيًا إلى مجموعات عالية ومتوسطة ومنخفضة الثقة، والتي يتم معالجتها باستخدام استراتيجيات ربط مختلفة. يتم ربط عمليات الكشف عالية الثقة بشكل أساسي من خلال معلومات الحركة، بينما تدمج عمليات الكشف متوسطة ومنخفضة الثقة بالإضافة إلى ذلك معلومات لون القميص ورقم اللاعب لتحسين الحفاظ على الهوية عندما تكون الأدلة المرئية ضعيفة. تهدف هذه الطريقة إلى مهام تحليل مقاطع الفيديو الرياضية التي تتطلب مسارات مستقرة للرياضيين، مثل التحليل التكتيكي وتفسير سلوك اللاعبين.

كما أن النهج المقترح لديه قيود تشغيلية؛ إذ قد يتأثر الاستخراج الدلالي للقميص بالانسداد الشديد، أو ضبابية الحركة، أو انخفاض دقة الصورة، أو وضعيات القميص غير الطبيعية، أو عدم رؤية أرقام اللاعبين. وفي هذه الحالات، قد تصبح الإشارات الدلالية القائمة على القميص غير مكتملة، وتعتمد عملية الربط بشكل أكبر على اتساق الحركة والتحقق متعدد الإطارات. وبناءً على ذلك، فإن ادعاءات الأداء في هذه الدراسة تقتصر على مجموعات البيانات المقيّمة والإعدادات التجريبية. وتظهر التجارب على مجموعة بيانات SportsMOT أن JerseyTrack يحسن مقاييس التتبع المقيّمة ويقلل من أحداث تبديل الهوية في ظل ظروف تتبع الرياضة المختبرة. تكمن الصعوبة الرئيسية لتتبع الأجسام المتعددة (MOT) في الفيديوهات الرياضية في الحفاظ على استمرارية المسار واتساق الهوية في ظل الحركة السريعة، والانسداد، وتشابه المظهر. ويمكن تصنيف الدراسات الحالية ذات الصلة بـ JerseyTrack بشكل عام إلى اتجاهين بحثيين: استخدام ثقة الكشف لربط المسارات، وتعزيز إشارات الهوية من خلال الميزات الدلالية الخاصة بالرياضة.

لقد استُخدمت ثقة الكشف (detection confidence) على نطاق واسع لتقدير موثوقية صناديق الكشف وتوجيه ربط المسارات في تتبع الأجسام المتعددة (MOT). كانت طرق التتبع المبكرة تعامل الثقة عادةً كمعيار تصفية ثنائي، حيث يتم إزالة عمليات الكشف التي تقل عن عتبة ثابتة لتقليل الإيجابيات الكاذبة11,12. وتؤدي هذه الاستراتيجية إلى تقليل عمليات الكشف المشوشة، ولكنها قد تتسبب أيضاً في استبعاد أهداف حقيقية تحت ظروف الاحتجاب، أو الحركة السريعة، أو جودة الصورة المنخفضة، مما ينتج عنه تفتت في المسارات13,14,15. كما أظهرت استراتيجيات تصفية مماثلة أن عتبات الثقة الثابتة تكون حساسة للتغيرات في المشهد وجودة الكشف16,17. ولتحسين الاستفادة من عمليات الكشف ذات الثقة المنخفضة، قدم ByteTrack استراتيجية ربط تحتفظ بالصناديق ذات الثقة المنخفضة كأهداف مرشحة للمطابقة الثانوية، وتربطها بالمسارات الموجودة من خلال تشابه الحركة وسجل المسار18. ويقوم McByte بتوسيع ربط MOT في الرياضات بشكل أكبر من خلال دمج أقنعة التجزئة المنتشرة زمنياً كدليل للربط، مما يحسن المتانة في ظروف الحركة السريعة، والاحتجاب، وإزاحة الكاميرا دون الحاجة إلى تدريب إضافي لكل مقطع فيديو19. كما قامت دراسات ذات صلة بتعديل استخدام عمليات الكشف ذات الثقة المنخفضة للاحتفاظ بالأهداف الضعيفة ولكن الصالحة احتماليةً أثناء عملية الربط20,21,22. لاحقاً، قامت استراتيجيات الربط التكيفية مع الثقة بتنقية معايير المطابقة وفقاً لاتساق الحركة وموثوقية الكشف23,24,25. كما استُخدمت طرق تنقية المسارات القائمة على انحدار صندوق الكشف وتحسين سلاسة المسار لتقليل تفتت المسارات26,27,28. وتوفر استراتيجيات التنقية الإضافية دعماً تكميلياً للحفاظ على استمرارية المسار في ظروف الحركة المعقدة29. علاوة على ذلك، يقوم تدفق الأجسام المتسق زمنياً بنمذجة الاتساق الزمني على مستوى الجسم عبر الإطارات، مما يوفر نهجاً آخر موجهاً للربط لتقليل انقطاع المسارات في سيناريوهات MOT المعقدة30. كما تتعلم طرق دمج المتتبعات من مخرجات متتبعات متعددة وتستخدم استراتيجيات اختيار أو دمج قائمة على التعلم لتحسين متانة التتبع عبر معايير MOT المختلفة31. وبشكل جماعي، تشير هذه الدراسات إلى أن الربط المدرك للثقة يساعد في استعادة المسارات المنقطعة؛ ومع ذلك، فإن أدلة الثقة والحركة توفر معلومات محدودة عن الهوية عندما يكون للاعبين من نفس الفريق مظاهر بصرية متشابهة. ورغم أن هذه الطرق تخفف بفعالية من تفتت المسارات في السيناريوهات العامة، إلا أنها تواجه قيوداً متأصلة في الإعدادات الرياضية لأن اللاعبين في الفريق نفسه غالباً ما يمتلكون مظاهر بصرية متشابهة للغاية، والاعتماد فقط على معلومات الثقة والحركة لا يمكن أن يوفر أساساً كافياً لتمييز الهوية32,33,34. وحتى عند استعادة الصناديق ذات الثقة المنخفضة بفعالية، يمكن أن يؤدي تشابه الميزات إلى تبديل الهوية، مما يجعل من الصعب تلبية المتطلبات الصارمة لاتساق الهوية في التحليل الرياضي.

استُخدمت مؤشرات الهوية الخاصة بالرياضة أيضاً لتحسين تمييز الهوية في تتبع الرياضيين. توفر المعلومات الدلالية للقمصان، مثل لون الفريق ورقم اللاعب، مؤشرات هوية ترتبط بسيناريوهات الرياضة بشكل مباشر أكثر من تمثيلات المظهر العامة35,36,37. وقد استُخدم لون القميص لدعم التمييز على مستوى الفريق وتقليل الخلط بين الفرق، بينما يوفر التعرف على رقم اللاعب مؤشراً أدق للهوية عندما تكون منطقة الرقم مرئية وقابلة للقراءة38,39. وقد دمجت دراسات تتبع الرياضة الحالية الميزات البصرية الخاصة بالمجال والتعرف على لون القميص لتحسين ربط اللاعبين في الظروف الرياضية المزدحمة40,41. كما يدعم العمل ذو الصلة حول التعرف على رقم القميص وبيانات الأرقام الاصطناعية نمذجة الهوية في ظروف الدقة المنخفضة أو الانسداد الجزئي42,43. وتشير هذه الدراسات إلى أن دلالات القمصان يمكن أن تعزز تمثيل الهوية في تتبع الأهداف المتعددة (MOT) في الرياضة. ومع ذلك، فإن معظم طرق التتبع المعززة دلالياً لا تضع نموذجاً كافياً للعلاقة بين ثقة الكشف وجودة الميزات الدلالية. فقد تحتوي عمليات الكشف ذات الثقة العالية بالفعل على معلومات مكانية ومظهرية موثوقة، مما يجعل الاستخراج الدلالي المتكرر أقل كفاءة. بينما تعاني عمليات الكشف ذات الثقة المنخفضة غالباً من الانسداد، أو الضبابية، أو القطع، أو انخفاض الدقة، مما يقلل من موثوقية مؤشرات اللون ورقم اللاعب. يدفع هذا القصور نحو تصميم ربط موجه بالثقة، حيث يتم إدخال دلالات القمصان وفقاً لجودة الكشف بدلاً من تطبيقها بشكل موحد على جميع عمليات الكشف. وتظهر الدراسات المراجعة أن الربط المدرك للثقة ونمذجة دلالات القمصان يعالجان جوانب مختلفة من تتبع الأهداف المتعددة في الرياضة؛ حيث تحدد الاستراتيجيات القائمة على الثقة بشكل أساسي ما إذا كان يجب أن يشارك الكشف في عملية الربط وكيفية مطابقته مع المسارات الموجودة، بينما تعمل استراتيجيات دلالات القمصان أساساً على تعزيز تمثيل الهوية من خلال مؤشرات خاصة بالرياضة. ومع ذلك، غالباً ما يتم تصميم هاتين الآليتين كمكونات منفصلة. ونتيجة لذلك، لا يتم ضبط المؤشرات الدلالية دائماً وفقاً لجودة الكشف، ولا تنظم مستويات الثقة بشكل مباشر استخدام معلومات اللون ورقم اللاعب أثناء عملية الربط. يحد هذا الفصل من المعالجة المشتركة لتجزئة المسار والخلط في الهوية في فيديوهات الرياضات الجماعية. وتكمن الفجوة البحثية المتبقية في ربط تقييم جودة ثقة الكشف مع الربط الدلالي للقمصان ضمن سير عمل تتبع واحد.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

تضمنت هذه الدراسة تحليلاً ثانوياً لمجموعات بيانات فيديو مرجعية متاحة للعموم، وهي SportsMOT وTeamTrack وSoccerNet Tracking وMOT17 وMOT20. لم يتم استقطاب أي مشاركين، ولم يتم إجراء أي تدخل، ولم يتم جمع أي بيانات جديدة من مشاركين بشريين. لم تتطلب هذه الدراسة موافقة لجنة الأخلاقيات بموجب المتطلبات المؤسسية المعمول بها في جامعة بانكوك ثونبوري (Bangkok Thonburi University).

يصف البروتوكول التالي سير العمل المستخدم لإعادة إنتاج JerseyTrack، بدءاً من تحضير البيانات وصولاً إلى تقييم التتبع. يتضمن سير العمل تحضير مجموعة البيانات، وتحضير الكاشف، والاستخراج الدلالي للقميص، وتقسيم مستوى الثقة، والربط الموجه بالثقة، واستدلال التتبع، وتقييم الأداء، كما هو موضح في الشكل 1. تدرج البرمجيات ومجموعات البيانات وموارد الأجهزة المطلوبة في جدول المواد.

مخطط استخراج سمات القميص باستخدام سمات المظهر؛ التنبؤ بالحالة؛ عملية ربط البيانات.
الشكل 1. سير العمل العام لطريقة JerseyTrack. يتكون سير العمل من استخراج السمات الدلالية للقميص، والمطابقة الأولية للكائنات، والمطابقة التكميلية الموجهة بالثقة، ودمج السمات. يتم استخراج سمات لون الفريق ورقم اللاعب من مناطق الرياضيين المكتشفة ودمجها في عملية الربط لتحسين مطابقة المسار في ظل ظروف الكشف غير المؤكدة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

1. تحضير مجموعات البيانات وبنية الدليل

  1. قم بتنزيل مجموعات بيانات القياس المرجعية العامة المدرجة في جدول المواداستخدم SportsMOT كمجموعة البيانات الأساسية لتجهيز الكاشف وتقييم التتبع. واحتفظ بـ TeamTrack وSoccerNet Tracking وMOT17 وMOT20 لغرض التقييم عبر مجموعات البيانات.
  2. قم بتخزين جميع مجموعات البيانات ضمن دليل مشروع موحد. وتأكد من أن الكاشف، ووحدة الاستخراج الدلالي، ووحدة التتبع، ومجموعة أدوات التقييم تستخدم معرفات تسلسل متطابقة.
  3. قم بتحويل تعليقات SportsMOT الرسمية إلى تنسيق تدريب الكاشف باستخدام نص تحضير البيانات المستخدم في هذه الدراسة. نفذ الأمر التالي:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. يتوفر نص تجهيز البيانات البرمجي (scripts/prepare_data.py) في مستودع الشفرة المصدرية لـ JerseyTrack عبر الرابط (https://doi.org/10.5281/zenodo.21274352). تم تحديد التبعيات البرمجية المطلوبة في ملف environment.yml، والتي تشمل Python 3.12 وPyTorch 2.11.0 وOpenCV 4.10 أو إصداراً أحدث. قم بتكوين البيئة البرمجية باستخدام الأمر التالي: conda env create -f environment.yml. ثم قم بتشغيل نص تجهيز البيانات البرمجي باستخدام الأمر التالي: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. تحقق من أن عملية التحويل قد أنتجت ملف تكوين تدريب الكاشف: data\processed\SportsMOT_yolo\data.yaml وبيان التحويل: data\processed\SportsMOT_yolo\conversion_manifest.csv.
    ملاحظة: في هذه الدراسة، احتوت مجموعة بيانات التدريب والتحقق المحولة من SportsMOT على 90 تسلسلاً، و55,544 إطاراً، و608,152 كائناً مشروحاً.
  6. افحص تسلسلات ممثلة للتحقق من أن ترتيب الإطارات، وإحداثيات المربع المحيط، وتصنيفات الهوية تظل متسقة مع تعليقات المرجع الأصلية.
  7. يجب الحفاظ على ملفات التعليقات التوضيحية المحولة دون تعديل طوال مراحل تحضير الكاشف، واستنتاج التتبع، والتقييم؛ لضمان استخدام جميع الطرق لنفس تقسيم مجموعة البيانات وبروتوكول التقييم.
    ملاحظة: النتيجة المتوقعة من هذا القسم هي دليل تدريب موحد لكاشف SportsMOT، يحتوي على التعليقات التوضيحية المحولة، وبيان التحويل، وملفات تقسيم مجموعة البيانات المطلوبة لإعداد الكاشف وتقييم التتبع.

2. تحضير مخرجات الكاشف

  1. قم بضبط كاشف الأجسام بدقة باستخدام مجموعة تدريب SportsMOT المُجهزة. قم بتحسين الكاشف باستخدام خسارة التصنيف وخسارة تراجع المربع المحيط المحددة في المعادلة 1. استخدم دقة إدخال الكاشف، وحجم الدفعة، ومعدل التعلم، وعدد دورات التدريب، ومعلمات التدريب الأخرى الواردة في إعدادات التنفيذ وجدول المواد
    Ldet = Lcls + Lbox   (1)
    هنا، تشير Ldet  إلى إجمالي خسارة الكاشف، وتشير Lcls إلى خسارة التصنيف، وتشير Lbox  إلى خسارة تراجع المربع المحيط.
    ملاحظة: تم تدريب نقطة تحقق الكاشف المستخدمة في التجارب الأساسية (معرف التجربة الداخلي e3) باستخدام إطار عمل Ultralytics YOLO مع تكوين مجموعة بيانات SportsMOT بتنسيق YOLO ‏(data/processed/SportsMOT_yolo/data.yaml). قم بتنفيذ تدريب الكاشف باستخدام الأمر التالي: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. بعد التدريب، استخدم نقطة التحقق ذات الأداء الأفضل الناتجة لإنشاء مخرجات الكاشف لتسلسلات التحقق باستخدام الأمر التالي: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. احفظ نقطة تحقق الكاشف المُدربة، وملف البيانات الوصفية المقابل، وسجل التدريب بعد انتهاء التدريب.
    ملاحظة: في هذه الدراسة، تم حفظ نقطة تحقق الكاشف المستخدمة للتجارب الرسمية كـ:
    outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. وتم حفظ ملف البيانات الوصفية المقابل كـ: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. وكان دليل مخرجات الكاشف المستخدم لتجارب التحقق الرئيسية لـ SportsMOT هو: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
  3. قم بتشغيل الكاشف المُدرب على كل تسلسل تحقق لإنشاء المربعات المحيطة للرياضيين ودرجات الثقة. قم بتصدير ملف كشف واحد لكل تسلسل يحتوي على فهرس الإطار، وإحداثيات المربع المحيط، وثقة الكشف، وتصنيف الفئة.
    ملاحظة: في عملية التحقق من SportsMOT المستخدمة في التجارب الرئيسية، أدى استخدام عتبة ثقة تبلغ 0.05 إلى توليد 343,990 عملية كشف للرياضيين.
  4. افحص دليل مخرجات الكاشف قبل استدلال التتبع. تأكد من أن كل تسلسل له ملف كشف مقابل، وأن فهارس الإطارات تتطابق مع تسلسل الصور المُجهز، وأن كل سجل كشف يحتوي على درجة ثقة.
    ملاحظة: النتيجة المتوقعة من هذا القسم هي دليل مخرجات كاشف كامل يعمل كمدخل لاستخراج دلالات القميص، وتقسيم مستوى الثقة، وارتباط التتبع.

3. استخلاص السمات الدلالية للقميص

  1. استخدم ملفات مخرجات الكاشف لقص مناطق الرياضيين من كل إطار من إطارات الفيديو. احفظ كل صورة مقصوصة للرياضي مع معرف التسلسل الخاص بها، ومؤشر الإطار، ومؤشر الكشف. استبعد عمليات القص غير الصالحة التي تفتقر إلى محتوى الصورة أو التي تمتد صناديق الإحاطة الخاصة بها خارج حدود الصورة. حافظ على الربط بين اسم ملف كل صورة مقصوصة وسجل الكشف الأصلي الخاص بها، بحيث يمكن مطابقة السمات الدلالية المستخرجة مع عملية الكشف المقابلة لها أثناء ربط التتبع.
  2. استخلص سمات لون القميص من صور الرياضيين المقصوصة باستخدام نص الاستخلاص الدلالي المستخدم في هذه الدراسة.
    ملاحظة: تتوفر سكربتات استخراج السمات الدلالية (scripts/extract_fast_color_semantics.py و scripts/formal_extract_semantics.py) في مستودع الكود المصدري لـ JerseyTrack ‏(https://doi.org/10.5281/zenodo.21274352). ولا يتطلب الأمر ملف تكوين منفصل؛ حيث يتم توفير جميع معاملات التشغيل عبر وسائط سطر الأوامر.
    قم بتوليد واصفات ألوان القمصان باستخدام الأمر التالي: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. ثم قم بتوليد السمات الدلالية لأرقام اللاعبين باستخدام نموذج التعرف الضوئي على الحروف (OCR) عبر الأمر التالي: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. يتم ربط واصفات ألوان القمصان ومخرجات احتمالية أرقام اللاعبين المولدة بواسطة معرف التسلسل، ثم دمجها في ملفات السمات الدلالية المستخدمة أثناء عملية الربط في التتبع.
  3. قم بتحويل كل صورة مقصوصة للرياضي إلى فضاء الألوان Hue, Saturation, Value (HSV). استخرج بكسلات المقدمة من منطقة القميص، ولخّص اللون السائد للقميص باستخدام تجميع الوسائل الكيمية (K-means clustering) حيث K = 3. قم بتطبيع واصف اللون الناتج باستخدام تطبيع L2 قبل مقارنة الميزات.
  4. قم بتدريب فرع التعرف على أرقام اللاعبين باستخدام صور مقصوصة للرياضيين بحجم إدخال يبلغ 128 × 64 بكسل. قم بتوليد تسميات زائفة لأرقام اللاعبين باستخدام إجراء التوسيم بإشراف ضعيف المتبع في هذه الدراسة. استبعد الصور المقصوصة التي تحتوي على مناطق أرقام لاعبين غير مرئية، أو غير مقروءة، أو محجوبة بشدة، أو ذات ثقة منخفضة من حساب خسارة التعرف الضوئي على الحروف (OCR).
  5. تحسين فرع التعرف الضوئي على الحروف (OCR) باستخدام فقدان الإنتروبيا المتقاطعة المحدد في المعادلة ٢.
    صيغة فقدان الإنتروبيا المتقاطعة \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\)، وهي معادلة للتصنيف. (2)
    هنا، لـالتعرف الضوئي على الحروف تشير إلى فقدان التعرف الضوئي على الحروف (OCR loss)، يi يشير إلى تسمية عدد اللاعبين الخاضعة للإشراف، و معادلة الانحدار متعدد الحدود، ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ، مخطط التحليل الإحصائي يشير إلى فئة عدد اللاعبين المتوقعة.
  6. قم بتحسين وحدة استخراج السمات الدلالية باستخدام المُحسِّن التكيفي، ومعدل التعلم، وحجم الدفعة، واضمحلال الوزن، ومدة التدريب المدرجة في الـ جدول المواداجمع بين فقدان الكاشف وفقدان التعرف الضوئي على الحروف (OCR) باستخدام هدف التدريب الكلي المحدد في المعادلة 3.
    لـإجمالي = Lمحدد + γLالتعرف الضوئي على الحروف   (3)
    هنا، لـإجمالي يشير إلى إجمالي خسارة التدريب، لـمحدد يشير إلى فقدان الكاشف المحدد في المعادلة 1, لـالتعرف الضوئي على الحروف يشير إلى خسارة التعرف الضوئي على الحروف (OCR loss) المعرفة في المعادلة ٢، ويرمز إلى معامل الترجيح المحدد من قبل المستخدم لخسارة التعرف الضوئي على الحروف (OCR loss).
  7. طبق فرع التعرف الضوئي على الحروف (OCR) المُدرَّب على كل صورة مقصوصة للرياضي. احفظ فئة رقم اللاعب المتوقعة أو متجه الاحتمالات لكل قصاصة. وفي حال عدم ظهور رقم اللاعب أو إذا كانت درجة ثقة التعرف الضوئي على الحروف أقل من العتبة المحددة في التنفيذ، سَجِّل سمة رقم اللاعب على أنها غير متاحة بدلاً من فرض توقع معين.
  8. ادمج واصف لون القميص ومخرجات رقم اللاعب في ملف السمات الدلالية المستخدم بواسطة وحدة التتبع.
    ملاحظة: في عملية التحقق الرئيسية من SportsMOT، قام نص الاستخراج الدلالي (semantic extraction script) بمعالجة 343,990 عملية رصد دون فقدان أي إطارات أو وجود قصاصات غير صالحة. وفي حزمة المراجعة الحالية، سجل ملخص الاستخراج الدلالي دقة إجمالية في الاستخراج الدلالي للألوان والتعرف الضوئي على الحروف (OCR) بلغت 86.7% في ظل إعدادات SportsMOT التي تم تقييمها. والنتيجة المتوقعة لهذا القسم هي ملف سمات دلالية يتم فيه ربط كل سجل رصد صالح بواصف للون القميص، ومخرج لرقم اللاعب عند توفره، وعلامة تشير إلى مدى توفر المعلومات الدلالية لغرض الربط بالتتبع.

4. مستويات الثقة في الكشف عن التقسيم

  1. قم بتحميل ملف مخرجات الكاشف لكل تسلسل فيديو. اجمع درجات الثقة لجميع عمليات رصد الرياضيين في كل إطار.
  2. قم بتقسيم درجات الثقة على مستوى الإطار إلى فترات ثقة عالية، ومتوسطة، ومنخفضة باستخدام تجميع K-means بقيمة K = 3، باتباع سير عمل الربط الموجه بالثقة الموضح في الشكل 2. حدد عتبات الثقة التكيفية عن طريق تقليل التباين داخل العنقود وفقاً لـ المعادلة 4.
    صيغة رمز التوازن الساكن؛ J_conf=min Σ(sd-μ_i)^2؛ تحسين رياضي.  (4)
    هنا، يرمز sd إلى درجة الثقة للرصد d؛ وترمز D1 و D2 و D3 إلى فترات الثقة العالية والمتوسطة والمنخفضة على التوالي؛ وترمز μ1 و μ2 و μ3 إلى متوسط درجات الثقة للفترات الثلاث؛ وترمز τ1 و τ2 إلى عتبات الثقة التكيفية التي تم الحصول عليها من نتائج تجميع K-means.
    ملاحظة: يتوفر نص تقسيم الثقة البرمجي (scripts/formal_partition_confidence.py) في مستودع الكود المصدري لـ JerseyTrack عبر الرابط (https://doi.org/10.5281/zenodo.21274352). تستخدم وحدة تقسيم الثقة إجراء تجميع K-means أحادي البعد يعتمد على NumPy بقيمة K = 3. لا يلزم وجود ملف تكوين منفصل؛ حيث يتم تحديد دليل الإدخال، ودليل المخرجات، ومعلمة التجميع من خلال وسائط سطر الأوامر. نفذ إجراء تقسيم الثقة باستخدام الأمر التالي: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. تم تحديد التبعيات البرمجية المطلوبة، بما في ذلك إصدار NumPy، في ملف environment.yml.
  3. قم بتشغيل إجراء تقسيم الثقة باستخدام دليل مخرجات الكاشف كمدخل.
    ملاحظة: في هذه الدراسة، كان دليل مخرجات الكاشف هو: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. وكان دليل مخرجات تقسيم الثقة هو: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. تضمنت ملفات المخرجات الناتجة ملفات CSV للثقة لكل تسلسل، وملف _confidence_frame_summary.csv، وملف _confidence_runtime.csv.
  4. قم بتعيين تسمية لمستوى الثقة لكل عملية رصد. صنف عمليات الرصد ذات الثقة العالية للربط القائم على الحركة، وعمليات الرصد ذات الثقة المتوسطة للربط الدلالي الحركي، وعمليات الرصد ذات الثقة المنخفضة لاستعادة المسار فقط. احتفظ بدرجة الثقة الأصلية جنباً إلى جنب مع تسمية مستوى الثقة المعينة.
  5. افحص توزيعات درجات الثقة والإطارات التمثيلية، كما هو موضح في الشكل 3. تحقق من أن عمليات الرصد ذات الثقة العالية تتوافق بشكل أساسي مع صناديق إحاطة كاملة وموثوقة للرياضيين، بينما تحتوي عمليات الرصد ذات الثقة المتوسطة والمنخفضة بشكل أساسي على عمليات رصد جزئية، أو محجوبة، أو ضبابية، أو ضعيفة.
    ملاحظة: النتيجة المتوقعة من هذا القسم هي ملف تقسيم الثقة الذي يحتوي على فهرس الرصد، ودرجة الثقة الأصلية، ومستوى الثقة المعين، وعتبات الثقة التكيفية على مستوى الإطار لكل عملية رصد.

تحليل الفيديو القائم على الثقة؛ مخطط يوضح تجميع K-means وحسابات الفواصل للارتباط.
الشكل 2. استراتيجية الارتباط الموجهة بالثقة. يقوم سير العمل بتقسيم الثقة في الكشف إلى فواصل ثقة عالية، ومتوسطة، ومنخفضة باستخدام تجميع الثقة التكيفي. يتم ربط عمليات الكشف عالية الثقة باستخدام تشابه الحركة، وعمليات الكشف متوسطة الثقة باستخدام مزيج من تشابه الحركة والتشابه الدلالي للقميص الرياضي، بينما تُستخدم عمليات الكشف منخفضة الثقة لاستعادة المسار بمساعدة الدلالات مع التحقق متعدد الإطارات. يلخص اللوح الأيمن الصيغة الرياضية المستخدمة لتقسيم الثقة والارتباط. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخطط شريطي يقارن جرعات قرارات الرياضة حسب فاصل الثقة؛ كرة القدم، كرة السلة، والكرة الطائرة.
الشكل 3. توزيع درجات الثقة في الكشف. يوضح المدرج التكراري عدد صناديق كشف الرياضيين ضمن خمسة فواصل ثقة لتسلسلات كرة القدم وكرة السلة والكرة الطائرة في مجموعة بيانات SportsMOT. يوضح التوزيع الاختلافات في ثقة الكاشف عبر الفئات الرياضية التي تم تقييمها. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

5. إجراء الربط الموجه بالثقة

  1. قم بتحميل ملف مخرجات الكاشف، وملف الميزات الدلالية، وملف تقسيم الثقة لكل تسلسل فيديو. ابدأ تشغيل المتتبع باستخدام أول عمليات كشف صالحة، وحافظ على حالة مسار واحد لكل رياضي يتم تتبعه. وبالنسبة لكل إطار لاحق، قم بالتنبؤ بموقع كل مسار موجود باستخدام نموذج حركة مرشح كالمان (Kalman filter).
  2. احسب تشابه الحركة بين كل مسار متوقع وعملية كشف مرشحة باستخدام مسافة ماهالانوبيس (Mahalanobis distance) المحددة في المعادلة 5.
    الصيغة الرياضية للتوازن الاستاتيكي، المعادلة: S_mot(t_i^k,d_j) مع مصفوفة التباين المشترك.  (5)
    هنا، التوازن الاستاتيكي، ΣFx=0, ΣFy=0, مخطط توازن القوى، مفهوم فيزيائي، تقنية حل المشكلات تشير إلى المسار رقم I في الإطار k، ومخطط التوازن الاستاتيكي، ΣFx=0, يعرض نواقل القوة والتوازن، مخطط فيزيائي تعليمي. تشير إلى حالة المسار المتوقعة بواسطة مرشح كالمان، وdj تشير إلى عملية الكشف المرشحة، ومعادلة التوازن الاستاتيكي Σi^{-1}؛ مخطط برموز رياضية للاستخدام التعليمي. تشير إلى معكوس مصفوفة التباين المشترك لحالة المسار المتوقع، وSmot تشير إلى مسافة الحركة بين المسار المتوقع وعملية الكشف.
    ملاحظة: تم تنفيذ سير عمل الربط الأساسي في jerseytrack/formal_tracker.py ويتم تنفيذه عبر scripts/formal_track.py، وكلاهما متاح في مستودع الكود المصدري لـ JerseyTrack عبر الرابط (https://doi.org/10.5281/zenodo.21274352). لا يلزم وجود ملف تكوين منفصل، حيث يتم تقديم جميع معلمات وقت التشغيل، بما في ذلك عتبات الثقة، والحد الأقصى لعمر المسار، ومعاملات وزن الحركة، ووزن مسافة المركز، عبر وسيطات سطر الأوامر. يتوفر أمر التنفيذ الكامل وإعدادات المعلمات في الخطوة 6.2. يستخدم التنفيذ خوارزمية التعيين المجموع الخطي من SciPy للمطابقة المجرية (Hungarian matching) ومكتبة NumPy للربط القائم على التكلفة.
  3. قم بتشغيل سير عمل التتبع باستخدام ملف مخرجات الكاشف، وملف الميزات الدلالية، وملف تقسيم الثقة كمدخلات.
    ملاحظة: في هذه الدراسة، تم تنفيذ المتتبع الأساسي في jerseytrack\formal_tracker.py، وتم تنفيذ سير عمل التتبع باستخدام scripts\formal_track.py.
  4. اربط عمليات الكشف ذات الثقة العالية بالمسارات الموجودة باستخدام اتساق الحركة. قم بتحديث المسارات المطابقة وابدأ مسارات جديدة فقط عندما تستوفي عمليات الكشف غير المطابقة ذات الثقة العالية معايير بدء المسار.
  5. افحص مخرجات استخراج السمات الدلالية للقمصان الموضحة في الشكل 4، وقم ببناء متجه الميزات الدلالية للقميص لكل عملية كشف من خلال دمج واصف لون الفريق وميزة رقم اللاعب وفقاً لـ المعادلة 6.
    fsem = [fcol;fid] (6)
    هنا، fsem  يشير إلى متجه الميزات الدلالية المدمج، وfcol يشير إلى واصف لون الفريق، وfid يشير إلى ميزة رقم اللاعب التي تم إنشاؤها بواسطة فرع التعرف الضوئي على الحروف (OCR).
  6. اربط عمليات الكشف ذات الثقة المتوسطة من خلال دمج تشابه الحركة مع التشابه الدلالي للقميص. احسب درجة المطابقة المدمجة وفقاً لـ المعادلة 7.
    معادلة دمج درجة الحركة والدرجة الدلالية، Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    هنا، Ssem تشير إلى تشابه جيب التمام (cosine similarity) بين متجهات الميزات الدلالية للمسار وعملية الكشف المرشحة، وSmot تشير إلى مسافة الحركة المحددة في المعادلة 5، وλ تشير إلى معامل الدمج التكيفي الذي يوازن بين حدود تشابه الحركة والتشابه الدلالي.
  7. احسب معامل الدمج التكيفي وفقاً لـ المعادلة 8.
    التوازن الاستاتيكي؛ λ=λ₀exp(-σsd/σmax)؛ صيغة متعلقة بتوزيع الإجهاد في المواد. (8)
    هنا، λ0  يشير إلى معامل وزن الحركة الأولي، وσsd يشير إلى الانحراف المعياري لدرجات الثقة في عملية الكشف في الإطار الحالي، وσmax يشير إلى أقصى انحراف معياري لدرجة الثقة المستخدم للتطبيع.
  8. استخدم عمليات الكشف ذات الثقة المنخفضة فقط لاستعادة المسار. قم بمطابقة عمليات الكشف ذات الثقة المنخفضة مع المسارات المقطوعة فقط عندما تكون المعلومات الدلالية متاحة وتكون معايير الاستعادة مستوفاة. قم بتطبيق التحقق متعدد الإطارات قبل استعادة هوية المسار، وتجاهل عمليات الكشف التي تفشل في التحقق.
    ملاحظة: عندما تكون ميزة رقم اللاعب غير متاحة، قم بإجراء الربط باستخدام المعلومات الدلالية المتاحة واتساق الحركة بدلاً من فرض مطابقة رقم اللاعب. النتيجة المتوقعة من هذا القسم هي سجل تتبع إطار بإطار يحتوي على هويات المسارات، وصناديق الإحاطة (bounding boxes)، وتصنيفات مستوى الثقة، وتكاليف الحركة، والمعلومات الدلالية، وقرارات الربط النهائية. في حزمة أدلة المراجعة، تم تخزين نتائج التتبع تحت المسار: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

مخطط تحليل مباراة كرة طائرة مع بيانات تتبع اللاعبين للحصول على رؤى حول الأداء.
الشكل 4. استخراج السمات الدلالية للقميص. تم تدوين عمليات اكتشاف ممثلة للرياضيين مع واصفات ألوان الفريق ومعلومات أرقام اللاعبين التي استخرجتها وحدة استخراج السمات الدلالية للقميص. يتم بعد ذلك دمج السمات الدلالية المستخرجة في عملية ربط البيانات الموجهة بالثقة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

6. تشغيل استنتاج التتبع وتصدير النتائج

  1. قم بتشغيل استدلال التتبع لكل تسلسل فيديو باستخدام ملفات مخرجات الكاشف، وملفات الميزات الدلالية، وملفات تقسيم الثقة المُعدة مسبقاً. قم بمعالجة إطارات الفيديو بترتيب زمني بحيث يتم تحديث حالات المسار، والسجل الدلالي، وقرارات استعادة المسار بشكل متسق طوال التسلسل. استخدم نفس تكوين الاستدلال لجميع التسلسلات التي يتم تقييمها ما لم يتم الإبلاغ صراحةً عن إعداد خاص بمجموعة بيانات معينة.
    ملاحظة: تم تنفيذ استدلال التتبع باستخدام scripts/formal_track.py، والمتوفر في مستودع الكود المصدري لـ JerseyTrack عبر (https://doi.org/10.5281/zenodo.21274352). لا يلزم وجود ملف تكوين منفصل. قم بتنفيذ استدلال التتبع باستخدام الأمر التالي: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. احتفظت جميع المعلمات غير المحددة بالقيم الافتراضية المسجلة في الكود المصدري المؤرشف.
  2. بعد الاستدلال، قم بتطبيق تسلسل المعالجة اللاحقة الأساسي باستخدام الأوامر التالية: python scripts/merge_tracklets.py و python scripts/sweep_track_filter.py --min-len 95.
  3. قم بتصدير نتائج التتبع بالتنسيق المطلوب من قبل مجموعة أدوات التقييم. قم بتضمين فهرس الإطار، وهوية المسار، وإحداثيات مربع الإحاطة، وجميع الحقول المطلوبة في تنسيق تقييم المعيار المرجعي. احفظ ملف نتائج تتبع واحد لكل تسلسل باستخدام اتفاقية تسمية ملفات متسقة بحيث يمكن مطابقة كل ملف نتائج مع ملف تعليقات الحقيقة الأرضية المقابل له.
  4. طبق فقط عمليات المعالجة اللاحقة المستخدمة في هذه الدراسة. قم بدمج مقاطع التتبع وتصفية المسارات باستخدام سكربتات المعالجة اللاحقة الموضحة في حزمة المراجعة.
    ملاحظة: في هذه الدراسة، استخدم سير عمل المعالجة اللاحقة السكربتات التالية:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. افحص نتائج التتبع المصدرة قبل التقييم الكمي. تأكد من أن هويات المسارات تظل رقمية ومتسقة داخل كل تسلسل، وأنه لا توجد فهارس إطارات مفقودة، وأن جميع مربعات الإحاطة تظل ضمن حدود الصورة.
    ملاحظة: النتيجة المتوقعة من هذا القسم هي مجموعة كاملة من ملفات نتائج التتبع على مستوى التسلسل الجاهزة للتقييم الكمي.

7. تقييم أداء التتبع

  1. قم بتقييم ملفات نتائج التتبع المُصدَّرة باستخدام مجموعة أدوات التقييم المدرجة في جدول المواد. قم بمطابقة كل ملف نتائج تتبع مع ملف تعليقات الحقيقة الأرضية (ground-truth) المقابل له وتقسيم مجموعة البيانات. استخدم نفس تكوين التقييم لجميع الطرق المقارنة لضمان أن الاختلافات في الأداء ناتجة عن نتائج التتبع وليس عن إعدادات التقييم.
  2. قم بتشغيل التقييم باستخدام الأمر التالي
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    ملاحظة: تم إجراء التقييم باستخدام تنفيذ مقياس TrackEval القياسي (الإصدار 1.3.0) المؤرشف ضمن حزمة إعادة إنتاج JerseyTrack. لم يتم إجراء أي تعديلات على تنفيذات مقاييس دقة التتبع من الرتبة الأعلى (HOTA)، أو CLEAR، أو مقاييس الهوية (Identity). يتضمن المستودع غلاف التنفيذ بنمط MOTChallenge الموجود في evaluation/trackeval/scripts/run_mot_challenge.py، والذي يقوم بتكوين مسارات مجموعة البيانات والنتائج واستدعاء مقاييس تقييم TrackEval القياسية.
  3. سجل مقاييس التقييم الواردة في المخطوطة، بما في ذلك دقة تتبع الكائنات المتعددة (MOTA)، ودرجة F1 للهوية (IDF1)، ودقة التتبع من الرتبة الأعلى (HOTA)، ودقة الكشف (DetA)، ودقة الربط (AssA)، والإيجابيات الكاذبة (FPs)، والسلبيات الكاذبة (FNs)، وأحداث تبديل الهوية. قم بتصدير ملخص التقييم في شكل جدول واحتفظ بملفات التقييم الخاصة بكل تسلسل لأغراض التحقق.
  4. عند مقارنة JerseyTrack مع الطرق المرجعية، استخدم نفس تقسيم مجموعة البيانات، ومخرجات الكاشف، وتكوين التقييم لجميع الطرق. سجل مجموعة البيانات، ومصدر مخرجات الكاشف، وتكوين مجموعة أدوات التقييم، وقيم المقاييس لكل مقارنة.
  5. افحص سجلات التقييم للتحقق من تقييم جميع التسلسلات بنجاح وعدم فقدان أي من ملفات نتائج التتبع.
    ملاحظة: في هذه الدراسة، تم تخزين ملف ملخص TrackEval الأساسي في: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. النتيجة المتوقعة من هذا القسم هي جدول ملخص تقييم كامل بالإضافة إلى ملفات المقاييس الخاصة بكل تسلسل والتي تدعم النتائج المذكورة وعمليات التحقق اللاحقة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

يستعرض هذا القسم النتائج الكمية والنوعية التي تم الحصول عليها من تجارب تتبع الأشياء المتعددة في الرياضة التي تم تقييمها. تركز النتائج على دقة التتبع، والحفاظ على الهوية، وجودة الربط، والمتانة في ظل إعدادات مجموعة البيانات المختبرة. تقتصر ادعاءات الأداء على الطرق ومجموعات البيانات ومخرجات الكاشف وتكوين مجموعة أدوات التقييم الموصوفة في البروتوكول وإعداد التنفيذ.

الإعداد التجريبي وتصميم التقييم

مجموعة البيانات والمعالجة المسبقة:

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

قيمت هذه الدراسة سير عمل لتتبع الأجسام المتعددة (MOT) في الرياضات موجه بالثقة، والذي يجمع بين تقسيم الكشف بناءً على الثقة وبين الإشارات الدلالية لقمصان اللاعبين. وقد تم بحث الربط الموجه بالثقة ودمج الميزات الدلالية كاستراتيجيات تكميلية لتحسين ربط البيانات في تتبع الأجسام المتعددة12,20,23,24,46. وتظهر النتائج أن تكوين JerseyTrack الكامل قد أدى إلى تحسين الحفاظ ...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

يصرح المؤلفون بأنه لا توجد لديهم أي تضاربات في المصالح المالية.

شكر وتقدير

ليس لدى المؤلفين أي شكر لتقديمه.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
CUDA RuntimeNVIDIAVersion 12.8بيئة تشغيل الحوسبة باستخدام وحدة معالجة الرسوميات (GPU) المستخدمة لتدريب الكاشف، واستخراج الميزات الدلالية، واستنتاج التتبع.
EasyOCRJaided AIVersion 1.7.2مجموعة أدوات التعرف الضوئي على الحروف المستخدمة للتعرف على أرقام اللاعبين.
JerseyTrack source codeAuthorsN/Aتنفيذ مخصص يحتوي على برمجيات إعداد البيانات، واستخراج الميزات الدلالية، وتقسيم الثقة، والتتبع، وما بعد المعالجة، والتقييم. متاح على: https://doi.org/10.5281/zenodo.21274352
Lightweight CRNN OCR modelAuthorsN/Aشبكة عصبية تكرارية تلافيفية (CRNN) مخصصة وخفيفة الوزن مستخدمة للتعرف على أرقام اللاعبين.
MOT17 datasetMOTChallengeN/Aمجموعة بيانات مرجعية عامة مستخدمة للتقييم عبر مجموعات البيانات. متاحة من: https://motchallenge.net/data/MOT17/
MOT20 datasetMOTChallengeN/Aمجموعة بيانات مرجعية عامة مستخدمة للتقييم عبر مجموعات البيانات. متاحة من: https://motchallenge.net/data/MOT20/
motmetricsmotmetrics DevelopersVersion 1.4.0مكتبة مستخدمة لحسابات مقاييس تتبع الأجسام المتعددة التشخيصية.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2وحدة معالجة الرسوميات المستخدمة لتدريب الكاشف واستنتاج التتبع.
NVIDIA GPU DriverNVIDIAVersion 610.62برنامج تشغيل وحدة معالجة الرسوميات المستخدم في البيئة التجريبية.
NumPyNumPy DevelopersVersion 2.4.4مكتبة الحوسبة العددية المستخدمة لمعالجة الميزات والتعامل مع البيانات.
OpenCVOpenCVVersion 4.10.0مكتبة الرؤية الحاسوبية المستخدمة لتحميل الصور، واقتصاصها، ومعالجتها مسبقاً، وتصورها.
PythonPython Software FoundationVersion 3.12.2لغة البرمجة المستخدمة في كامل سير العمل.
PyTorchPyTorch FoundationVersion 2.11.0+cu128إطار عمل التعلم العميق المستخدم لتنفيذ الكاشف والنماذج الدلالية.
scikit-learnscikit-learn DevelopersVersion 1.9.0مكتبة تعلم الآلة المستخدمة لتجميع K-means أثناء استخراج ألوان القمصان وتقسيم الثقة.
SoccerNet Tracking datasetSoccerNetN/Aمرجع عام لتتبع كرة القدم مستخدم للتقييم عبر مجموعات البيانات. متاح من: https://www.soccer-net.org/tasks/tracking
SportsMOT datasetSportsMOT BenchmarkN/Aمجموعة البيانات المرجعية الأساسية المستخدمة لإعداد الكاشف وتقييم التتبع. متاحة من: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack datasetTeamTrack BenchmarkN/Aمرجع عام لتتبع الرياضة مستخدم للتقييم عبر مجموعات البيانات. متاح من: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationVersion 0.26.0+cu128مكتبة الرؤية الحاسوبية المستخدمة مع PyTorch لتحويل الصور ودعم النماذج.
TrackEvalTrackEval DevelopersVersion 1.3.0مجموعة أدوات التقييم المستخدمة لحساب دقة تتبع الأجسام المتعددة (MOTA)، ودرجة F1 للهوية (IDF1)، ودقة التتبع من الرتب العليا (HOTA)، ودقة الكشف (DetA)، ودقة الربط (AssA)، والإيجابيات الكاذبة (FP)، والسلبيات الكاذبة (FN)، وتبديلات الهوية (IDs).
UltralyticsUltralyticsVersion 8.4.90إطار عمل كشف الأجسام المستخدم لتدريب الكاشف وتوليد عمليات كشف الرياضيين.

المراجع

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

الوسوم

التتبع الموجه بالثقةمسار اللاعبتشابه الحركةلون القميصالتعرف الضوئي على الحروفاتساق الهويةمجموعة بيانات SportsMOT
تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.