Eine konfidenzgesteuerte Multi-Object-Tracking-Methode für Sportvideos unter Verwendung von Jersey-Semantikfusion

Zusammenfassung

Dieses Protokoll beschreibt einen vertrauensbasierten Workflow zur Mehrfachobjektverfolgung in Sportvideos, der Informationen zur Trikotfarbe und Spielernummer integriert, um die Zuordnung von Trajektorien und die Identitätskonsistenz bei Schwankungen des Vertrauens, bei Verdeckungen und optisch ähnlichen Erscheinungsbildern der Athleten zu verbessern.

Zusammenfassung

Die Mehrfach-Objektverfolgung (MOT) in Sportvideos liefert Trajektorieninformationen für taktische Analysen, die Interpretation des Spielerverhaltens und automatisierte statistische Auswertungen. Sportaufnahmen weisen jedoch häufig schnelle Richtungswechsel, abrupte Stopps, häufige Verdeckungen und optisch ähnliche Teamkameraden auf, was zu Schwankungen der Detektionszuverlässigkeit und Identitätsverwirrung bei der Zuordnung zwischen aufeinanderfolgenden Bildern führt. Um diese Herausforderungen zu bewältigen, stellt diese Studie JerseyTrack vor, eine vertrauensbasierte Methode zur Sport-MOT, die auf der semantischen Fusion von Trikotinformationen beruht. Der Arbeitsablauf unterteilt die Detektionsboxen adaptiv in hoch-, mittel- und niedrigvertrauenswürdige Intervalle, basierend auf der Konfidenzverteilung jedes Einzelbilds. Hochvertrauenswürdige Detektionen werden hauptsächlich anhand der Bewegungsähnlichkeit zugeordnet, während mittel- und niedrigvertrauenswürdige Detektionen zusätzlich Trikotfarb- und Spielernummernmerkmale nutzen, die mittels Farbclustering und einem leichten Optical Character Recognition-Modell (OCR) extrahiert werden. Diese semantischen Merkmale werden während der ergänzenden Zuordnung mit Bewegungsinformationen fusioniert, um die Kontinuität der Trajektorien und die Konsistenz der Identitäten zu verbessern. Die Methode wurde auf dem SportsMOT-Datensatz evaluiert. JerseyTrack erreichte eine Multiple Object Tracking Accuracy (MOTA) von 88,9 %, eine IDentity F1 Score (IDF1) von 74,3 % und eine Higher Order Tracking Accuracy (HOTA) von 69,9 %, was eine verbesserte Verfolgungsleistung im untersuchten Szenario der Sportverfolgung belegt. Dieses Protokoll stellt einen reproduzierbaren Arbeitsablauf bereit, um die vertrauensbasierte Zuordnung mit semantischen Trikotinformationen zu integrieren und dadurch die Mehrfach-Objektverfolgung in Sportvideos zu verbessern.

Einleitung

Das Mehrfachobjekt-Tracking (MOT) ermöglicht eine kontinuierliche Lokalisierung von Objekten und die Beibehaltung ihrer Identität in Videosequenzen und unterstützt die Extraktion von Athletentrajektorien, taktische Analysen sowie automatisierte statistische Auswertungen in Anwendungen mit Sportvideos^1,2,3. Zuverlässige visuelle Informationen sind zudem mit sportartspezifischen Entscheidungsprozessen und der Leistungsbewertung in der Sportwissenschaft verknüpft, was den Wert stabiler, aus Videos gewonnener Bewegungsdaten für nachgeschaltete sportliche Analysen weiter unterstre....

Protokoll

Diese Studie umfasste eine sekundäre Analyse öffentlich zugänglicher Benchmark-Videodatensätze, und zwar SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 und MOT20. Es wurden keine Teilnehmer rekrutiert, es wurde keine Intervention durchgeführt und es wurden keine neuen Daten an menschlichen Versuchspersonen erhoben. Eine Genehmigung durch einen Ethikausschuss war für diese Studie gemäß den geltenden institutionellen Vorgaben der Bangkok Thonburi University nicht erforderlich.

Das folgende Protokoll beschreibt den Arbeitsablauf zur Reproduktion von JerseyTrack, beginnend mit der Datenaufbereitung bis hin zur Auswertung der Objektverfolgung. ....

Ergebnisse

Dieser Abschnitt berichtet über die quantitativen und qualitativen Ergebnisse, die aus den evaluierten Experimenten zum Mehrfachobjekt-Tracking im Sport gewonnen wurden. Die Ergebnisse konzentrieren sich auf die Genauigkeit des Trackings, die Erhaltung der Identität, die Qualität der Zuordnung und die Robustheit unter den getesteten Datensatzeinstellungen. Leistungsbehauptungen beschränken sich auf die evaluierten Methoden, Datensätze, Detektorausgaben und die Konfiguration des Evaluierungstools, wie sie im Protokoll und.......

Diskussion

Diese Studie evaluierte einen vertrauensbasierten Sport-MOT-Workflow, der die Aufteilung nach Erkennungsvertrauen mit semantischen Trikotmerkmalen kombiniert. Vertrauensbasierte Zuordnung und semantische Merkmalsfusion wurden als komplementäre Strategien zur Verbesserung der Datenzuordnung beim Mehrfachobjekt-Tracking untersucht^{12,20,23,24,46}. Die Ergebnisse z.......

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
CUDA-Laufzeitumgebung	NVIDIA	Version 12.8	GPU-Rechenlaufzeitumgebung, die für das Training des Detektors, die semantische Merkmalsextraktion und die Verfolgungsinferenz verwendet wird.
EasyOCR	Jaided AI	Version 1.7.2	Optische Zeichenerkennungstoolbox, die zur Erkennung von Spielernummern verwendet wird.
JerseyTrack-Quellcode	Autoren	N/V	Benutzerdefinierte Implementierung, die die Datenaufbereitung, semantische Merkmalsextraktion, Konfidenzpartitionierung, Verfolgung, Nachbearbeitung und Bewertungsskripte enthält. Verfügbar unter: https://doi.org/10.5281/zenodo.21274352
Leichtgewichtiger CRNN-OCR-Modell	Autoren	N/V	Benutzerdefiniertes faltendes rekurrentes neuronales Netzwerk (CRNN), das zur Erkennung von Spielernummern verwendet wird.
MOT17-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT17/
MOT20-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT20/
motmetrics	motmetrics-Entwickler	Version 1.4.0	Bibliothek zur Berechnung diagnostischer Metriken für die Mehrfachobjektverfolgung.
NVIDIA-GPU	NVIDIA	GeForce RTX 5090 D V2	Graphikverarbeitungseinheit, die für das Training des Detektors und die Verfolgungsinferenz verwendet wird.
NVIDIA-GPU-Treiber	NVIDIA	Version 610.62	GPU-Treiber, der in der experimentellen Umgebung verwendet wird.
NumPy	NumPy-Entwickler	Version 2.4.4	Numerische Rechenbibliothek, die für die Merkmalsverarbeitung und Datenverwaltung verwendet wird.
OpenCV	OpenCV	Version 4.10.0	Bibliothek für maschinelles Sehen, die zum Laden, Zuschneiden, Vorverarbeiten und Visualisieren von Bildern verwendet wird.
Python	Python Software Foundation	Version 3.12.2	Programmiersprache, die im gesamten Workflow verwendet wird.
PyTorch	PyTorch Foundation	Version 2.11.0+cu128	Tiefenlern-Framework, das für die Implementierung des Detektors und des semantischen Modells verwendet wird.
scikit-learn	scikit-learn-Entwickler	Version 1.9.0	Machine-Learning-Bibliothek, die für das K-Means-Clustering während der Trikotfarben-Extraktion und Konfidenzpartitionierung verwendet wird.
SoccerNet-Verfolgungsdatensatz	SoccerNet	N/V	Öffentlicher Fußball-Verfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://www.soccer-net.org/tasks/tracking
SportsMOT-Datensatz	SportsMOT-Benchmark	N/V	Primärer Benchmark-Datensatz, der für die Detektorvorbereitung und Verfolgungsbewertung verwendet wird. Verfügbar unter: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack-Datensatz	TeamTrack-Benchmark	N/V	Öffentlicher Sportverfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://atomscott.github.io/TeamTrack/
Torchvision	PyTorch Foundation	Version 0.26.0+cu128	Bibliothek für maschinelles Sehen, die zusammen mit PyTorch für Bildtransformationen und Modellunterstützung verwendet wird.
TrackEval	TrackEval-Entwickler	Version 1.3.0	Bewertungstoolkit zur Berechnung der Genauigkeit der Mehrfachobjektverfolgung (MOTA), des ID-F1-Scores (IDF1), der höhergradigen Verfolgungsgenauigkeit (HOTA), der Detektionsgenauigkeit (DetA), der Assoziationsgenauigkeit (AssA), falsch positiver (FP), falsch negativer (FN) und Identitätswechsel (IDs).
Ultralytics	Ultralytics	Version 8.4.90	Objekterkennungs-Framework, das zum Training des Detektors und zur Generierung von Athletenerkennungen verwendet wird.