Eine konfidenzgesteuerte Multi-Object-Tracking-Methode für Sportvideos unter Verwendung von Jersey-Semantikfusion

Zusammenfassung

Dieses Protokoll beschreibt einen vertrauensbasierten Workflow zur Mehrfachobjektverfolgung in Sportvideos, der Informationen zur Trikotfarbe und Spielernummer integriert, um die Zuordnung von Trajektorien und die Identitätskonsistenz bei Schwankungen des Vertrauens, bei Verdeckungen und optisch ähnlichen Erscheinungsbildern der Athleten zu verbessern.

Zusammenfassung

Die Mehrfach-Objektverfolgung (MOT) in Sportvideos liefert Trajektorieninformationen für taktische Analysen, die Interpretation des Spielerverhaltens und automatisierte statistische Auswertungen. Sportaufnahmen weisen jedoch häufig schnelle Richtungswechsel, abrupte Stopps, häufige Verdeckungen und optisch ähnliche Teamkameraden auf, was zu Schwankungen der Detektionszuverlässigkeit und Identitätsverwirrung bei der Zuordnung zwischen aufeinanderfolgenden Bildern führt. Um diese Herausforderungen zu bewältigen, stellt diese Studie JerseyTrack vor, eine vertrauensbasierte Methode zur Sport-MOT, die auf der semantischen Fusion von Trikotinformationen beruht. Der Arbeitsablauf unterteilt die Detektionsboxen adaptiv in hoch-, mittel- und niedrigvertrauenswürdige Intervalle, basierend auf der Konfidenzverteilung jedes Einzelbilds. Hochvertrauenswürdige Detektionen werden hauptsächlich anhand der Bewegungsähnlichkeit zugeordnet, während mittel- und niedrigvertrauenswürdige Detektionen zusätzlich Trikotfarb- und Spielernummernmerkmale nutzen, die mittels Farbclustering und einem leichten Optical Character Recognition-Modell (OCR) extrahiert werden. Diese semantischen Merkmale werden während der ergänzenden Zuordnung mit Bewegungsinformationen fusioniert, um die Kontinuität der Trajektorien und die Konsistenz der Identitäten zu verbessern. Die Methode wurde auf dem SportsMOT-Datensatz evaluiert. JerseyTrack erreichte eine Multiple Object Tracking Accuracy (MOTA) von 88,9 %, eine IDentity F1 Score (IDF1) von 74,3 % und eine Higher Order Tracking Accuracy (HOTA) von 69,9 %, was eine verbesserte Verfolgungsleistung im untersuchten Szenario der Sportverfolgung belegt. Dieses Protokoll stellt einen reproduzierbaren Arbeitsablauf bereit, um die vertrauensbasierte Zuordnung mit semantischen Trikotinformationen zu integrieren und dadurch die Mehrfach-Objektverfolgung in Sportvideos zu verbessern.

Einleitung

Das Mehrfachobjekt-Tracking (MOT) ermöglicht eine kontinuierliche Lokalisierung von Objekten und die Beibehaltung ihrer Identität in Videosequenzen und unterstützt die Extraktion von Athletentrajektorien, taktische Analysen sowie automatisierte statistische Auswertungen in Anwendungen mit Sportvideos^1,2,3. Zuverlässige visuelle Informationen sind zudem mit sportartspezifischen Entscheidungsprozessen und der Leistungsbewertung in der Sportwissenschaft verknüpft, was den Wert stabiler, aus Videos gewonnener Bewegungsdaten für nachgeschaltete sportliche Analysen weiter unterstreicht⁴. In sportlichen Szenarien hängt die Zuverlässigkeit taktischer Daten von der Kontinuität der Verfolgungstrajectorien und der Konsistenz der Zielidentitäten ab.

Im Vergleich zu allgemeinen MOT-Szenarien enthalten Sportvideos schnelle Richtungswechsel, abrupte Stopps, Sprünge, dichte Interaktionen und häufige Verdeckungen. Diese Faktoren verursachen erhebliche Schwankungen der Vertrauenswürdigkeit der Erkennungsboxen und erhöhen die Häufigkeit von Erkennungen mit geringer Zuverlässigkeit, was die Zuordnung von Trajektorien unterbrechen kann^5,6. Einheitliche Teamtrikots verringern zudem die Unterscheidungsfähigkeit allgemeiner Erscheinungsmerkmale und erhöhen die Identitätsverwirrung zwischen optisch ähnlichen Teammitgliedern^7,8. Wenn Verdeckungen und Ähnlichkeit im Erscheinungsbild in derselben Sequenz auftreten, nimmt die Erkennungszuverlässigkeit ab und die Erscheinungsinformationen des Ziels werden unvollständig, wodurch die Schwierigkeit der Trajektorienzuordnung und der Identitätserhaltung zunimmt^9,10. In der mehrfachen Objektverfolgung (MOT) bezeichnet die Wiedererkennung (Re-ID) den Prozess, bei dem dieselbe Zielidentität über mehrere Bilder, Verdeckungsphasen oder Wiedereintrittssituationen hinweg anhand identitätsbezogener visueller Merkmale zugeordnet wird. In Videos von Mannschaftssportarten können allgemeine Re-ID-Merkmale geschwächt sein, da Athleten derselben Mannschaft oft ähnliche Trikots und Körperformen aufweisen. Die technische Literaturübersicht zeigt, dass Trajektorienbrüche und Identitätsverwirrungen in der Sport-MOT üblicherweise durch zwei komplementäre Ansätze angegangen werden: die Nutzung der Erkennungszuverlässigkeit und die Verbesserung der Identitätsmerkmale. JerseyTrack positioniert sich an der Schnittstelle dieser Ansätze, indem es die Verwendung semantischer Trikotmerkmale je nach Qualität der Erkennung reguliert, anstatt Farb- und Spielernummerninformationen einheitlich auf alle Erkennungen anzuwenden.

Die vorliegende Studie stellt JerseyTrack vor, eine vertrauensbasierte Methode zur mehrfachen Objektverfolgung (MOT) im Sport, die auf der semantischen Fusion von Trikotmerkmalen basiert. Die Methode ist für Videos von Mannschaftssportarten konzipiert, bei denen Athleten sichtbare Trikots tragen und die Detektionsergebnisse Begrenzungsboxen mit Vertrauenswerten liefert. JerseyTrack kombiniert vier Hauptkomponenten: Athletendetektion, vertrauensbasierte Gruppeneinteilung, Extraktion semantischer Trikotmerkmale und kaskadierte inter-frame-Verknüpfung. Die Vertrauenswerte der Detektion werden verwendet, um die erkannten Objekte adaptiv in Gruppen mit hohem, mittlerem und niedrigem Vertrauen einzuteilen, die jeweils mit unterschiedlichen Verknüpfungsstrategien verarbeitet werden. Detektionen mit hohem Vertrauen werden vorrangig über Bewegungsinformationen verknüpft, während bei Detektionen mit mittlerem und niedrigem Vertrauen zusätzlich Trikotfarbe und Spielernummern berücksichtigt werden, um die Identitätssicherung zu verbessern, wenn die visuellen Hinweise schwach sind. Die Methode ist für die Analyse von Sportvideos gedacht, die stabile Athletentrajektorien erfordern, beispielsweise für taktische Analysen oder die Interpretation des Spielerverhaltens.

Der vorgeschlagene Ansatz weist ebenfalls betriebliche Einschränkungen auf. Die semantische Extraktion von Trikots kann durch starke Verdeckung, Bewegungsunschärfe, niedrige Bildauflösung, abnormale Trikotpositionen oder unsichtbare Spielernummern beeinträchtigt werden. In solchen Fällen können die trikotbasierten semantischen Hinweise unvollständig werden, wodurch der Assoziierungsprozess stärker auf Bewegungskonsistenz und Mehrbildverifizierung angewiesen ist. Die Leistungsbehauptungen dieser Studie gelten daher nur für die ausgewerteten Datensätze und experimentellen Rahmenbedingungen. Experimente auf dem SportsMOT-Datensatz zeigen, dass JerseyTrack die bewerteten Tracking-Metriken verbessert und die Anzahl von Identitätswechseln unter den getesteten Sport-Tracking-Bedingungen verringert. Die Hauptschwierigkeit des Mehrfachobjekt-Trackings (MOT) in Sportvideos liegt darin, die Trajektorienkontinuität und Identitätskonsistenz bei schnellen Bewegungen, Verdeckungen und ähnlicher Erscheinung aufrechtzuerhalten. Bestehende Studien im Zusammenhang mit JerseyTrack lassen sich grob in zwei Forschungsrichtungen einteilen: die Nutzung der Detektionszuverlässigkeit für die Trajektorienzuordnung und die Verbesserung von Identitätshinweisen durch sportartspezifische semantische Merkmale.

Die Erkennungskonfidenz wird häufig verwendet, um die Zuverlässigkeit von Erkennungsboxen abzuschätzen und die Trajektorienzuordnung in der Mehrfachobjektverfolgung (MOT) zu steuern. Frühe Verfolgungsmethoden behandelten die Konfidenz meist als binäres Filterkriterium, bei dem Erkennungen unterhalb einer festen Schwelle entfernt wurden, um Falschpositiv-Ergebnisse zu reduzieren^11,12. Diese Strategie verringert verrauschte Erkennungen, kann jedoch auch echte Ziele bei Verdeckung, schneller Bewegung oder geringer Bildqualität verwerfen, was zu einer Fragmentierung der Trajektorien führt^13,14,15. Ähnliche Filterstrategien haben außerdem gezeigt, dass feste Konfidenzschwellen empfindlich gegenüber Szenenvariationen und der Qualität der Erkennung sind^16,17. Um die Nutzung von Erkennungen mit niedriger Konfidenz zu verbessern, führte ByteTrack eine Zuordnungsstrategie ein, die Erkennungsboxen mit niedriger Konfidenz als Kandidaten für eine sekundäre Zuordnung beibehält und sie mithilfe von Bewegungsähnlichkeit und Trajektorienverlauf mit bestehenden Trajektorien verknüpft¹⁸. McByte erweitert diese Zuordnung für Sport-MOT weiter, indem zeitlich fortgepflanzte Segmentierungsmasken als zusätzlicher Hinweis für die Zuordnung integriert werden, wodurch die Robustheit bei schneller Bewegung, Verdeckung und Kameraverschiebung verbessert wird, ohne zusätzliches Training pro Video zu erfordern¹⁹. Verwandte Studien haben ebenfalls die Nutzung von Erkennungen mit niedriger Konfidenz angepasst, um schwache, aber potenziell gültige Ziele während der Zuordnung zu erhalten^20,21,22. Konfidenzadaptive Zuordnungsstrategien haben daraufhin die Zuordnungskriterien basierend auf Bewegungskonsistenz und Erkennungszuverlässigkeit verfeinert^23,24,25. Methoden zur Trajektorienverbesserung, die auf der Regressionsanalyse von Erkennungsboxen und der Optimierung der Trajektorienglättung basieren, wurden ebenfalls eingesetzt, um die Fragmentierung von Trajektorien zu reduzieren^26,27,28. Zusätzliche Verfeinerungsstrategien liefern ergänzende Unterstützung, um die Kontinuität der Trajektorien unter komplexen Bewegungsbedingungen aufrechtzuerhalten²⁹. Der zeitlich kohärente Objektfluss modelliert zudem die objektbasierte zeitliche Konsistenz über mehrere Bilder hinweg und stellt einen weiteren, auf die Zuordnung ausgerichteten Ansatz zur Verringerung von Trajektorienunterbrechungen in komplexen MOT-Szenarien bereit³⁰. Tracker-Fusionsmethoden lernen aus den Ausgaben mehrerer Tracker und nutzen lernbasierte Selektions- oder Fusionsstrategien, um die Robustheit der Verfolgung über verschiedene MOT-Benchmarks hinweg zu verbessern³¹. Insgesamt zeigen diese Studien, dass eine konfidenzbewusste Zuordnung dabei hilft, unterbrochene Trajektorien wiederherzustellen. Allerdings liefern Konfidenz- und Bewegungshinweise nur begrenzte Identitätsinformationen, wenn Spieler derselben Mannschaft ein ähnliches visuelles Erscheinungsbild aufweisen. Obwohl diese Methoden die Trajektorienfragmentierung in allgemeinen Szenarien effektiv verringern, stoßen sie in Sportkontexten an inhärente Grenzen, da Spieler derselben Mannschaft oft ein sehr ähnliches visuelles Erscheinungsbild haben und eine alleinige Orientierung an Konfidenz- und Bewegungsinformationen keine ausreichende Grundlage für die Unterscheidung von Identitäten bietet^32,33,34. Selbst wenn Erkennungsboxen mit niedriger Konfidenz effektiv reidentifiziert werden, kann die Ähnlichkeit der Merkmale weiterhin zu Identitätswechseln führen, was die Erfüllung der strengen Anforderungen an die Identitätskonsistenz in der Sportanalyse erschwert.

Sportartspezifische Identitätsmerkmale wurden ebenfalls verwendet, um die Identitätsdiskriminierung bei der Athletenverfolgung zu verbessern. Semantische Informationen des Trikots, wie Mannschaftsfarbe und Spielernummer, liefern Identitätsmerkmale, die direkter mit Sportzenarien verknüpft sind als allgemeine Erscheinungseigenschaften^35,36,37. Die Trikotfarbe wurde genutzt, um die Unterscheidung auf Mannschaftsebene zu unterstützen und Verwechslungen zwischen Mannschaften zu reduzieren, während die Erkennung der Spielernummer einen feiner abgestuften Identitätsanhaltspunkt bietet, wenn der Nummernbereich sichtbar und lesbar ist^38,39. Bestehende Studien zur Sportverfolgung haben domänenspezifische visuelle Merkmale und die Erkennung von Trikotfarben integriert, um die Zuordnung von Spielern unter überfüllten Sportbedingungen zu verbessern^40,41. Arbeiten zur Erkennung von Trikotnummern und synthetischen Nummerndaten unterstützen zudem die Identitätsmodellierung unter Bedingungen niedriger Auflösung oder teilweiser Verdeckung^42,43. Diese Studien zeigen, dass Trikotsemantik die Identitätsrepräsentation im sportlichen Mehrfachobjekt-Tracking (MOT) stärken kann. Die meisten semantikbasierten Verfolgungsmethoden modellieren jedoch nicht ausreichend den Zusammenhang zwischen Detektionsvertrauen und der Qualität semantischer Merkmale. Detektionen mit hohem Vertrauen enthalten möglicherweise bereits zuverlässige räumliche und visuelle Informationen, wodurch eine wiederholte semantische Extraktion weniger effizient wird. Detektionen mit niedrigem Vertrauen leiden oft unter Verdeckung, Unschärfe, Abschneidung oder niedriger Auflösung, was die Zuverlässigkeit von Farb- und Spielernummernmerkmalen verringert. Diese Einschränkung motiviert ein vertrauensgeleitetes Zuordnungsdesign, bei dem Trikotsemantik entsprechend der Detektionsqualität eingeführt wird, anstatt einheitlich auf alle Detektionen angewendet zu werden. Die ausgewerteten Studien zeigen, dass vertrauensbasierte Zuordnung und semantische Trikotmodellierung unterschiedliche Aspekte des sportlichen MOT adressieren. Strategien basierend auf Vertrauen bestimmen hauptsächlich, ob eine Detektion an der Zuordnung teilnehmen soll und wie sie mit bestehenden Trajektorien abgeglichen werden soll, während semantische Trikotstrategien die Identitätsrepräsentation primär durch sportartspezifische Merkmale verbessern. Diese beiden Mechanismen werden jedoch oft als separate Komponenten konzipiert. Dadurch werden semantische Merkmale nicht immer entsprechend der Detektionsqualität angepasst, und Vertrauensniveaus regulieren nicht direkt die Nutzung von Farb- und Spielernummerinformationen während der Zuordnung. Diese Trennung begrenzt die gemeinsame Bewältigung von Trajektorienbrüchen und Identitätsverwirrung in Videos von Mannschaftssportarten. Die verbleibende Forschungslücke besteht darin, die Bewertung der Detektionsvertrauensqualität mit der semantischen Trikotzuordnung innerhalb desselben Tracking-Workflows zu verknüpfen.

Protokoll

Diese Studie umfasste eine sekundäre Analyse öffentlich zugänglicher Benchmark-Videodatensätze, und zwar SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 und MOT20. Es wurden keine Teilnehmer rekrutiert, es wurde keine Intervention durchgeführt und es wurden keine neuen Daten an menschlichen Versuchspersonen erhoben. Eine Genehmigung durch einen Ethikausschuss war für diese Studie gemäß den geltenden institutionellen Vorgaben der Bangkok Thonburi University nicht erforderlich.

Das folgende Protokoll beschreibt den Arbeitsablauf zur Reproduktion von JerseyTrack ausgehend von der Datenaufbereitung bis hin zur Auswertung der Objektverfolgung. Der Arbeitsablauf umfasst die Datensatzvorbereitung, die Vorbereitung des Detektors, die semantische Extraktion der Trikots, die Aufteilung nach Konfidenzniveau, die konfidenzgeleitete Zuordnung, die Verfolgungsanalyse und die Leistungsbewertung, wie in Abbildung 1 zusammengefasst. Die erforderliche Software, Datensätze und Hardwareressourcen sind in der Tabelle der Materialien aufgelistet.

Abbildung 1. Gesamter Arbeitsablauf der JerseyTrack-Methode. Der Arbeitsablauf umfasst die semantische Merkmalsextraktion aus Trikots, die anfängliche Objektzuordnung, die vertrauensbasierte ergänzende Zuordnung und die Merkmalsfusion. Teamfarb- und Spielernummernmerkmale werden aus erkannten Athletenbereichen extrahiert und in den Assoziierungsprozess integriert, um die Trajektorienzuordnung unter unsicheren Erkennungsbedingungen zu verbessern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

1. Bereiten Sie die Datensätze und die Verzeichnisstruktur vor

1. Laden Sie die in der Tabelle der Materialien aufgeführten öffentlichen Benchmark-Datensätze herunter. Verwenden Sie SportsMOT als primären Datensatz für die Vorbereitung des Detektors und die Bewertung der Verfolgung. Behalten Sie TeamTrack, SoccerNet Tracking, MOT17 und MOT20 für die Querdatensatz-Evaluation bei.
2. Speichern Sie alle Datensätze in einem einheitlichen Projektverzeichnis. Stellen Sie sicher, dass der Detektor, das Modul zur semantischen Extraktion, das Verfolgungsmodul und das Evaluierungswerkzeug identische Sequenzbezeichner verwenden.
3. Konvertieren Sie die offiziellen SportsMOT-Anmerkungen mithilfe des in dieser Studie verwendeten Datenvorbereitungsskripts in das Format für das Training des Detektors. Führen Sie den folgenden Befehl aus:
   ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
4. Das Datenvorbereitungsskript (scripts/prepare_data.py) ist im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Die erforderlichen Softwareabhängigkeiten sind in der Datei environment.yml angegeben, einschließlich Python 3.12, PyTorch 2.11.0 und OpenCV 4.10 oder höher. Richten Sie die Softwareumgebung mit dem folgenden Befehl ein: conda env create -f environment.yml. Führen Sie das Datenvorbereitungsskript mit dem folgenden Befehl aus: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
5. Überprüfen Sie, ob die Konvertierung die Konfigurationsdatei für das Training des Detektors erzeugt: data\processed\SportsMOT_yolo\data.yaml sowie das Konvertierungsprotokoll: data\processed\SportsMOT_yolo\conversion_manifest.csv.
   HINWEIS: In dieser Studie enthielt der konvertierte SportsMOT-Trainings- und Validierungsdatensatz 90 Sequenzen, 55.544 Bilder und 608.152 annotierte Objekte.
6. Untersuchen Sie repräsentative Sequenzen, um sicherzustellen, dass die Reihenfolge der Bilder, die Koordinaten der Begrenzungsboxen und die Identitätskennzeichnungen mit den ursprünglichen Benchmark-Anmerkungen übereinstimmen.
7. Behalten Sie die konvertierten Anmerkungsdateien unverändert während der gesamten Vorbereitung des Detektors, der Verfolgungsinferenz und der Evaluierung, sodass alle Methoden dieselbe Datensatzpartition und dasselbe Evaluierungsprotokoll verwenden.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist ein standardisiertes SportsMOT-Detektor-Trainingsverzeichnis, das die konvertierten Anmerkungen, das Konvertierungsprotokoll und die Datensatz-Aufteilungsdateien enthält, die für die Vorbereitung des Detektors und die Evaluierung der Verfolgung erforderlich sind.

2. Vorbereitung der Detektorausgänge

1. Feinjustieren Sie den Objekterkennungsalgorithmus mithilfe des vorbereiteten SportsMOT-Trainingsdatensplits. Optimieren Sie den Detektor anhand des Klassifizierungsverlusts und des Verlusts für die Bounding-Box-Regression, wie in Gleichung 1 definiert. Verwenden Sie die im Implementierungsaufbau sowie in der Tabelle der Materialien angegebenen Parameter: Eingangsauflösung des Detektors, Batch-Größe, Lernrate, Anzahl der Trainingsepochen und weitere Trainingsparameter.
   L_det = L_cls + L_box   (1)
   Hierbei bezeichnet  L_det  den gesamten Detektorverlust, L_cls  den Klassifizierungsverlust und L_box  den Verlust für die Bounding-Box-Regression.
   HINWEIS: Der im Hauptexperiment verwendete Detektor-Checkpoint (interner Experiment-Identifier e3) wurde mit dem Ultralytics-YOLO-Framework unter Verwendung der SportsMOT-YOLO-Datensatzkonfiguration (data/processed/SportsMOT_yolo/data.yaml) trainiert. Führen Sie das Training des Detektors mit folgendem Befehl durch: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Verwenden Sie nach Abschluss des Trainings den resultierenden besten Checkpoint, um mit folgendem Befehl die Detektor-Ausgaben für die Validierungssequenzen zu generieren: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
2. Speichern Sie nach dem Training den trainierten Detektor-Checkpoint, die zugehörige Metadatendatei und das Trainingsprotokoll.
   HINWEIS: In dieser Studie wurde der für die formalen Experimente verwendete Detektor-Checkpoint unter folgendem Pfad gespeichert:
   outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. Die entsprechende Metadatendatei wurde unter folgendem Pfad gespeichert: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. Das für die Hauptvalidierungsexperimente mit SportsMOT verwendete Ausgabeverzeichnis des Detektors lautete: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
3. Führen Sie den trainierten Detektor auf jeder Validierungssequenz aus, um die Bounding-Boxes und Konfidenzwerte der Athleten zu generieren. Exportieren Sie pro Sequenz eine Detektionsdatei, die den Frame-Index, die Koordinaten der Bounding-Box, das Konfidenzniveau der Detektion und die Klassenbezeichnung enthält.
   HINWEIS: Bei der für die Hauptexperimente verwendeten SportsMOT-Validierungslauf mit einem Konfidenzschwellenwert von 0,05 wurden insgesamt 343.990 Athletendetektionen generiert.
4. Überprüfen Sie das Ausgabeverzeichnis des Detektors vor der Tracking-Inferenz. Stellen Sie sicher, dass jeder Sequenz eine entsprechende Detektionsdatei zugeordnet ist, dass die Frame-Indizes mit der vorbereiteten Bildsequenz übereinstimmen und dass jeder Detektionsdatensatz einen Konfidenzwert enthält.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist ein vollständiges Ausgabeverzeichnis des Detektors, das als Eingabe für die semantische Extraktion der Trikots, die Aufteilung nach Konfidenzniveau und die Tracking-Zuordnung dient.

3. Extrahieren Sie semantische Merkmale des Trikots

1. Verwenden Sie die Ausgabedateien des Detektors, um die Athletenbereiche aus jedem Videobild auszuschneiden. Speichern Sie jedes zugeschnittene Athletenbild mit seinem Sequenzbezeichner, Bildindex und Detektionsindex. Schließen Sie ungültige Ausschnitte mit fehlendem Bildinhalt oder Begrenzungsrahmen, die außerhalb der Bildgrenze liegen, aus. Behalten Sie die Verknüpfung zwischen jedem Ausschnittdateinamen und seinem ursprünglichen Detektionsdatensatz bei, sodass die extrahierten semantischen Merkmale während der Verfolgungsverknüpfung dem entsprechenden Detektionsereignis zugeordnet werden können.
2. Extrahieren Sie die Trikotfarbmerkmale aus den zugeschnittenen Athletenbildern mithilfe des in dieser Studie verwendeten semantischen Extraktionsskripts.
   HINWEIS: Die Skripte zur semantischen Merkmalsextraktion (scripts/extract_fast_color_semantics.py und scripts/formal_extract_semantics.py) sind im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Es ist keine separate Konfigurationsdatei erforderlich; alle Laufzeitparameter werden über Befehlszeilenargumente bereitgestellt.
   Generieren Sie Trikotfarbdeskriptoren mit dem folgenden Befehl: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. Generieren Sie semantische Merkmale der Spielernummer mithilfe des OCR-Modells mit dem folgenden Befehl: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. Die generierten Trikotfarbdeskriptoren und die Wahrscheinlichkeitsausgaben für die Spielernummer werden über den Sequenzbezeichner verknüpft und zu den semantischen Merkmalsdateien kombiniert, die während der Verfolgungsverknüpfung verwendet werden.
3. Konvertieren Sie jedes zugeschnittene Athletenbild in den Farbraum Hue, Saturation, Value (HSV). Extrahieren Sie Vordergrundpixel aus dem Trikotbereich und fassen Sie die dominante Trikotfarbe mittels K-Means-Clustering mit K = 3 zusammen. Normalisieren Sie den resultierenden Farbdeskriptor vor dem Merkmalsvergleich mittels L2-Normalisierung.
4. Trainieren Sie den Zweig zur Erkennung der Spielernummer mit zugeschnittenen Athletenbildern mit einer Eingabegröße von 128 × 64 Pixeln. Generieren Sie Pseudobezeichnungen für die Spielernummer mithilfe des in dieser Studie verwendeten schwach überwachten Bezeichnungsverfahrens. Schließen Sie Ausschnitte mit unsichtbaren, unlesbaren, stark verdeckten oder niedrigen Vertrauensbereichen für die Spielernummer von der Berechnung des Optical-Character-Recognition-(OCR)-Verlusts aus.
5. Optimieren Sie den OCR-Zweig mithilfe des in Gleichung 2 definierten Kreuzentropieverlusts.
   (2)
   Hier bezeichnet L_ocr den OCR-Verlust, y_i bezeichnet die überwachte Bezeichnung der Spielernummer und bezeichnet die vorhergesagte Kategorie der Spielernummer.
6. Optimieren Sie das Modul zur semantischen Merkmalsextraktion mithilfe des adaptiven Optimierers, der Lernrate, der Batch-Größe, des Gewichtsverfalls und der Trainingsdauer, die in der Tabelle der Materialien aufgeführt sind. Kombinieren Sie den Detektorverlust und den OCR-Verlust mithilfe der in Gleichung 3 definierten gesamten Trainingszielsetzung.
   L_total = L_det + γL_ocr   (3)
   Hier bezeichnet L_totalden gesamten Trainingsverlust, L_det den in Gleichung 1 definierten Detektorverlust, L_ocr den in Gleichung 2 definierten OCR-Verlust und bezeichnet den benutzerdefinierten Gewichtungskoeffizienten für den OCR-Verlust.
7. Wenden Sie den trainierten OCR-Zweig auf jedes zugeschnittene Athletenbild an. Speichern Sie die vorhergesagte Kategorie oder den Wahrscheinlichkeitsvektor der Spielernummer für jeden Ausschnitt. Wenn die Spielernummer nicht sichtbar ist oder das OCR-Vertrauen unterhalb des in der Implementierung definierten Schwellwerts liegt, vermerken Sie das Spielernummernmerkmal als nicht verfügbar, anstatt eine Vorhersage zu erzwingen.
8. Kombinieren Sie den Trikotfarbdeskriptor und die Ausgabe der Spielernummer zur semantischen Merkmalsdatei, die vom Verfolgungsmodul verwendet wird.
   HINWEIS: Bei dem Hauptvalidierungslauf von SportsMOT verarbeitete das semantische Extraktionsskript 343.990 Detektionen ohne fehlende Bilder oder ungültige Ausschnitte. In dem aktuellen Überarbeitungspaket meldete die semantische Extraktionszusammenfassung eine Gesamtgenauigkeit der Extraktion semantischer Merkmale aus Farbe und OCR von 86,7 % unter den evaluierten SportsMOT-Bedingungen. Das erwartete Ergebnis dieses Abschnitts ist eine semantische Merkmalsdatei, in der jeder gültige Detektionsdatensatz mit einem Trikotfarbdeskriptor, einer Spielernummernausgabe (falls verfügbar) und einer Kennzeichnung verknüpft ist, die angibt, ob semantische Informationen für die Verfolgungsverknüpfung verfügbar sind.

4. Konfidenzniveaus für die Partitionserkennung

1. Laden Sie die Detektor-Ausgabedatei für jede Videosequenz. Sammeln Sie die Konfidenzwerte aller Athleten-Detektionen in jedem Einzelbild.
2. Teilen Sie die Konfidenzwerte auf Ebene der Einzelbilder in Intervalle mit hoher, mittlerer und niedriger Konfidenz mithilfe von K-Means-Clustering mit K = 3 auf, gemäß dem im Abbildung 2 gezeigten Konfidenz-gesteuerten Assoziierungsworkflow. Bestimmen Sie die adaptiven Konfidenzschwellwerte, indem Sie die Varianz innerhalb der Cluster gemäß Gleichung 4 minimieren.
     (4)
   Hier bezeichnet s_d den Konfidenzwert der Detektion d; D₁, D₂ und D₃ bezeichnen die Intervalle mit hoher, mittlerer und niedriger Konfidenz; μ₁, μ₂ und μ₃ bezeichnen die mittleren Konfidenzwerte der drei Intervalle; und τ₁ sowie τ₂ bezeichnen die adaptiven Konfidenzschwellwerte, die aus den K-Means-Clustering-Ergebnissen abgeleitet wurden.
   HINWEIS: Das Skript zur Konfidenzunterteilung (scripts/formal_partition_confidence.py) ist im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Das Konfidenzunterteilungsmodul verwendet ein eindimensionales K-Means-Clustering-Verfahren auf Basis von NumPy mit K = 3. Es ist keine separate Konfigurationsdatei erforderlich; das Eingabeverzeichnis, das Ausgabeverzeichnis und der Clustering-Parameter werden über Befehlszeilenargumente angegeben. Führen Sie die Konfidenzunterteilung mit folgendem Befehl aus: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. Die erforderlichen Softwareabhängigkeiten, einschließlich der NumPy-Version, sind in environment.yml angegeben.
3. Führen Sie die Konfidenzunterteilung mit dem Verzeichnis der Detektor-Ausgabe als Eingabe durch.
   HINWEIS: In dieser Studie war das Verzeichnis der Detektor-Ausgabe: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. Das Ausgabeverzeichnis der Konfidenzunterteilung war: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. Die generierten Ausgabedateien enthielten pro Sequenz die Konfidenz-CSV-Dateien, _confidence_frame_summary.csv und _confidence_runtime.csv.
4. Weisen Sie jeder Detektion eine Konfidenzstufen-Bezeichnung zu. Kennzeichnen Sie Detektionen mit hoher Konfidenz für die bewegungsbasierte Assoziierung, Detektionen mit mittlerer Konfidenz für die bewegungssemantische Assoziierung und Detektionen mit niedriger Konfidenz ausschließlich für die Trajektorienrekonstruktion. Behalten Sie den ursprünglichen Konfidenzwert zusammen mit der zugewiesenen Konfidenzstufen-Bezeichnung bei.
5. Überprüfen Sie die Verteilungen der Konfidenzwerte und repräsentative Einzelbilder, wie in Abbildung 3 veranschaulicht. Stellen Sie sicher, dass Detektionen mit hoher Konfidenz vorwiegend vollständigen und zuverlässigen Begrenzungsrahmen der Athleten entsprechen, während Detektionen mit mittlerer und niedriger Konfidenz hauptsächlich unvollständige, verdeckte, unscharfe oder schwache Detektionen enthalten.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist eine Konfidenzunterteilungsdatei, die den Detektionsindex, den ursprünglichen Konfidenzwert, die zugewiesene Konfidenzstufe und die adaptiven Konfidenzschwellwerte auf Ebene der Einzelbilder für jede Detektion enthält.

Abbildung 2. Strategie zur vertrauensbasierten Zuordnung. Der Arbeitsablauf unterteilt die Detektionszuverlässigkeit mithilfe einer adaptiven Zuverlässigkeitsgruppierung in hohe, mittlere und niedrige Zuverlässigkeitsintervalle. Zuverlässige Detektionen werden anhand der Bewegungsähnlichkeit zugeordnet, Detektionen mit mittlerer Zuverlässigkeit anhand der kombinierten Bewegungs- und Trikot-Semantikähnlichkeit, und Detektionen mit niedriger Zuverlässigkeit dienen der semantikgestützten Trajektorienrekonstruktion mit Mehrfrahmenverifikation. Das rechte Feld fasst die mathematische Formulierung zusammen, die für die Zuverlässigkeitsunterteilung und -zuordnung verwendet wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3. Verteilung der Nachweiskonfidenzwerte. Das Histogramm zeigt die Anzahl der Erkennungsfelder für Athleten in fünf Konfidenzintervallen für Fußball-, Basketball- und Volleyballsequenzen im SportsMOT-Datensatz. Die Verteilung veranschaulicht Unterschiede in der Detektorzuversichtlichkeit zwischen den bewerteten Sportkategorien. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

5. Führen Sie eine vertrauensgeleitete Assoziation durch

1. Laden Sie die Detektor-Ausgabedatei, die Datei mit semantischen Merkmalen und die Datei mit den Konfidenzpartitionen für jede Videosequenz. Initialisieren Sie den Tracker mithilfe der ersten gültigen Detektionen und verwalten Sie einen Trajektoriezustand für jeden verfolgten Athleten. Für jeden nachfolgenden Frame prognostizieren Sie die Position jeder bestehenden Trajektorie unter Verwendung des Bewegungsmodells des Kalman-Filters.
2. Berechnen Sie die Bewegungsähnlichkeit zwischen jeder prognostizierten Trajektorie und der Kandidatendetektion unter Verwendung des in Gleichung 5 definierten Mahalanobis-Abstands.
     (5)
   Hierbei bezeichnet die I-te Trajektorie im Frame k, den Kalman-prognostizierten Trajektoriezustand, d_j die Kandidatendetektion, die inverse Kovarianzmatrix des prognostizierten Trajektoriezustands und S_mot den Bewegungsabstand zwischen der prognostizierten Trajektorie und der Detektion.
   HINWEIS: Der Kern des Zuordnungsworkflows ist in jerseytrack/formal_tracker.py implementiert und wird über scripts/formal_track.py ausgeführt, beides verfügbar im JerseyTrack-Quellcode-Repository (https://doi.org/10.5281/zenodo.21274352). Es ist keine separate Konfigurationsdatei erforderlich. Alle Laufzeitparameter, einschließlich der Konfidenzschwellen, maximale Track-Alter, Bewegungsgewichtskoeffizienten und Zentrumsabstandsgewichtung, werden über Kommandozeilenargumente übergeben. Der vollständige Ausführungsbefehl und die Parameter sind in Schritt 6.2 angegeben. Die Implementierung verwendet den linearen Summenzuweisungsalgorithmus von SciPy für das ungarische Matching und NumPy für die kostenbasierte Zuordnung.
3. Führen Sie den Tracking-Workflow mit der Detektor-Ausgabedatei, der Datei mit semantischen Merkmalen und der Konfidenzpartition-Datei als Eingaben aus.
   HINWEIS: In dieser Studie wurde der Kern-Tracker in jerseytrack\formal_tracker.py implementiert, und der Tracking-Workflow wurde mithilfe von scripts\formal_track.py ausgeführt.
4. Ordnen Sie Detektionen mit hoher Konfidenz bestehenden Trajektorien unter Berücksichtigung der Bewegungskonsistenz zu. Aktualisieren Sie die zugeordneten Trajektorien und initialisieren Sie neue Trajektorien nur, wenn nicht zugeordnete Detektionen mit hoher Konfidenz die Kriterien für die Trajektorieninitialisierung erfüllen.
5. Überprüfen Sie die in Abbildung 4 dargestellten Ergebnisse der semantischen Merkmalsextraktion aus den Trikots und erstellen Sie für jede Detektion den semantischen Merkmalsvektor des Trikots, indem Sie den Teamfarb-Deskriptor und das Spielernummern-Merkmal gemäß Gleichung 6 kombinieren.
   f_sem = [f_col;f_id] (6)
   Hierbei bezeichnet f_sem den fusionierten semantischen Merkmalsvektor, f_col den Teamfarb-Deskriptor und f_id das vom OCR-Zweig generierte Spielernummern-Merkmal.
6. Ordnen Sie Detektionen mit mittlerer Konfidenz unter Kombination der Bewegungsähnlichkeit und der semantischen Trikot-Ähnlichkeit zu. Berechnen Sie die fusionierte Matching-Bewertung gemäß Gleichung 7.
   (7)
   Hierbei bezeichnet S_sem die Kosinus-Ähnlichkeit zwischen den semantischen Merkmalsvektoren der Trajektorie und der Kandidatendetektion, S_mot den in Gleichung 5 definierten Bewegungsabstand und λden adaptiven Fusionskoeffizienten, der die Terme für Bewegungs- und semantische Ähnlichkeit ausgleicht.
7. Berechnen Sie den adaptiven Fusionskoeffizienten gemäß Gleichung 8.
   (8)
   Hierbei bezeichnet λ₀ den initialen Bewegungsgewichtskoeffizienten, σ_sd die Standardabweichung der Detektions-Konfidenzwerte im aktuellen Frame und σ_max die maximale Standardabweichung der Konfidenzwerte, die zur Normalisierung verwendet wird.
8. Verwenden Sie Detektionen mit niedriger Konfidenz ausschließlich zur Wiederherstellung von Trajektorien. Ordnen Sie Detektionen mit niedriger Konfidenz nur unterbrochenen Trajektorien zu, wenn semantische Informationen verfügbar sind und die Wiederherstellungskriterien erfüllt sind. Wenden Sie eine Mehr-Frames-Verifizierung an, bevor die Trajektorienidentität wiederhergestellt wird, und verwerfen Sie Detektionen, die die Verifizierung nicht bestehen.
   HINWEIS: Wenn das Spielernummern-Merkmal nicht verfügbar ist, führen Sie die Zuordnung unter Verwendung der verfügbaren semantischen Informationen und der Bewegungskonsistenz durch, anstatt eine Übereinstimmung der Spielernummer erzwingen zu wollen. Das erwartete Ergebnis dieses Abschnitts ist eine Frame-für-Frame-Tracking-Aufzeichnung, die Trajektorienidentitäten, Bounding-Boxes, Konfidenzstufen, Bewegungskosten, semantische Informationen und endgültige Zuordnungsentscheidungen enthält. Im Überarbeitungsnachweis-Paket wurden die Tracking-Ergebnisse unter: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking gespeichert.

Abbildung 4. Extraktion semantischer Merkmale aus Trikots. Repräsentative Erkennungen von Athleten sind mit den extrahierten Farbbeschreibungen der Mannschaft und den vom Modul zur semantischen Trikotmerkmalsextraktion generierten Spielernummerninformationen annotiert. Die extrahierten semantischen Merkmale werden anschließend in die vertrauensgeleitete Datenzuordnung integriert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

6. Führen Sie die Verfolgungsinferenz durch und exportieren Sie die Ergebnisse

1. Führen Sie die Verfolgungsinferenz für jede Videosequenz unter Verwendung der vorbereiteten Dateien mit Detektorergebnissen, semantischen Merkmalen und Konfidenz-Partitionsdateien durch. Verarbeiten Sie die Videobilder in chronologischer Reihenfolge, damit die Zustände der Trajektorien, die semantische Historie und die Entscheidungen zur Trajektorienwiederherstellung während der gesamten Sequenz konsistent aktualisiert werden. Verwenden Sie für alle ausgewerteten Sequenzen dieselbe Inferenzkonfiguration, sofern nicht ausdrücklich eine datensatzspezifische Einstellung angegeben ist.
   HINWEIS: Die Verfolgungsinferenz wurde mit dem Skript scripts/formal_track.py durchgeführt, das im JerseyTrack-Quellcode-Repository verfügbar ist (https://doi.org/10.5281/zenodo.21274352). Eine separate Konfigurationsdatei ist nicht erforderlich. Führen Sie die Verfolgungsinferenz mit dem folgenden Befehl aus: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Alle nicht angegebenen Parameter behielten die Standardwerte, die im archivierten Quellcode festgelegt sind.
2. Wenden Sie nach der Inferenz die primäre Nachbearbeitungssequenz mit den folgenden Befehlen an: python scripts/merge_tracklets.py und python scripts/sweep_track_filter.py --min-len 95.
3. Exportieren Sie die Verfolgungsergebnisse im vom Evaluierungswerkzeug benötigten Format. Schließen Sie den Bildindex, die Trajektorienidentität, die Begrenzungsrahmenkoordinaten und alle vom Benchmark-Evaluierungsformat geforderten Felder ein. Speichern Sie für jede Sequenz eine einzelne Ergebnisdatei unter Verwendung einer einheitlichen Benennungskonvention, sodass jede Ergebnisdatei mit ihrer entsprechenden Ground-Truth-Anmerkungsdatei verknüpft werden kann.
4. Wenden Sie ausschließlich die in dieser Studie verwendeten Nachbearbeitungsschritte an. Führen Sie das Zusammenführen von Tracklets und das Filtern von Spuren mithilfe der in dem Überarbeitungspaket beschriebenen Nachbearbeitungsskripte durch.
   HINWEIS: In dieser Studie wurde der folgende Nachbearbeitungsworkflow verwendet:
   ⋅ scripts\merge_tracklets.py
   ⋅ scripts\sweep_track_filter.py
   ⋅ scripts\correct_identity_swaps.py
   ⋅ scripts\sweep_identity_swap_correction.py
   ⋅ scripts\interpolate_tracks.py
   ⋅ scripts\sweep_track_interpolation.py
5. Überprüfen Sie die exportierten Verfolgungsergebnisse vor der quantitativen Auswertung. Stellen Sie sicher, dass die Trajektorienidentitäten innerhalb jeder Sequenz numerisch und konsistent bleiben, dass keine Bildindizes fehlen und dass alle Begrenzungsrahmen innerhalb der Bildgrenzen liegen.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist ein vollständiger Satz von sequenzbasierten Verfolgungsergebnisdateien, die zur quantitativen Evaluierung bereitstehen.

7. Bewertung der Verfolgungsleistung

1. Werten Sie die exportierten Nachverfolgungsergebnisdateien mithilfe des im Materialienverzeichnis aufgeführten Evaluierungstools aus. Ordnen Sie jede Nachverfolgungsergebnisdatei der entsprechenden Ground-Truth-Anmerkungsdatei und Datensatz-Aufteilung zu. Verwenden Sie für alle zu vergleichenden Methoden dieselbe Evaluierungskonfiguration, um sicherzustellen, dass Leistungsunterschiede auf den Nachverfolgungsergebnissen und nicht auf den Evaluierungseinstellungen beruhen.
2. Führen Sie die Auswertung mit dem folgenden Befehl durch
   \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
   _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
   HINWEIS: Die Evaluierung wurde mit der standardmäßigen TrackEval-Metrikimplementierung (Version 1.3.0) durchgeführt, die im JerseyTrack-Reproduzierbarkeitspaket archiviert ist. Es wurden keine Änderungen an den Implementierungen der Higher Order Tracking Accuracy (HOTA), CLEAR oder Identity-Metriken vorgenommen. Das Repository enthält die MOTChallenge-artige Ausführungsumgebung unter evaluation/trackeval/scripts/run_mot_challenge.py, die die Pfade für Datensatz und Ergebnisse konfiguriert und die standardmäßigen TrackEval-Evaluierungsmetriken aufruft.
3. Notieren Sie die in der Publikation angegebenen Evaluierungsmetriken, darunter Multiple Object Tracking Accuracy (MOTA), IDentity F1-Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detektionsgenauigkeit (DetA), Assoziationsgenauigkeit (AssA), falsch positive (FPs) und falsch negative (FNs) Ergebnisse sowie Identitätswechselereignisse. Exportieren Sie die Evaluierungszusammenfassung als Tabelle und bewahren Sie die pro Sequenz vorliegenden Evaluierungsdateien zur Überprüfung auf.
4. Vergleichen Sie JerseyTrack mit Baseline-Methoden unter Verwendung derselben Datensatz-Aufteilung, derselben Detektor-Ausgaben und derselben Evaluierungskonfiguration für alle Methoden. Dokumentieren Sie den Datensatz, die Quelle der Detektor-Ausgaben, die Konfiguration des Evaluierungstools sowie die Metrikwerte für jeden Vergleich.
5. Überprüfen Sie die Evaluierungs-Logs, um sicherzustellen, dass alle Sequenzen erfolgreich ausgewertet wurden und keine Nachverfolgungsergebnisdateien fehlen.
   HINWEIS: In dieser Studie wurde die primäre TrackEval-Zusammenfassungsdatei gespeichert unter: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval\JerseyTrack_i960_
   e3_center_motion_minlen95\pedestrian_summary.txt. Das erwartete Ergebnis dieses Abschnitts ist eine vollständige Zusammenfassungstabelle der Evaluierung sowie die metrischen Dateien pro Sequenz, die die berichteten Ergebnisse unterstützen und eine nachträgliche Überprüfung ermöglichen.

Ergebnisse

Dieser Abschnitt berichtet über die quantitativen und qualitativen Ergebnisse, die aus den evaluierten Experimenten zum Mehrfachobjekt-Tracking im Sport gewonnen wurden. Die Ergebnisse konzentrieren sich auf die Verfolgungsgenauigkeit, die Erhaltung der Identität, die Qualität der Zuordnung sowie die Robustheit unter den getesteten Datensatzeinstellungen. Leistungsansprüche beschränken sich auf die evaluierten Methoden, Datensätze, Detektorergebnisse und die Konfiguration des Evaluierungstools, wie sie im Protokoll und der Implementierung beschrieben sind.

Experimenteller Aufbau und Evaluationsdesign

Datensatz und Vorverarbeitung:

SportsMOT wurde als primärer Benchmark für die Vorbereitung des Detektors, die Verfolgungsanalyse und die quantitative Bewertung verwendet. Der Datensatz enthält 240 Videosequenzen und mehr als 150.000 Bildframes aus Szenarien des Fußballs, Basketball und Volleyball (Abbildung 5). Bei der offiziellen Bewertung wurden die Hauptergebnisse von SportsMOT unter Verwendung des Validierungssplits sowie der Detektorergebnisse, der Verfolgungskonfiguration und der in dem Protokoll beschriebenen TrackEval-Einstellungen berechnet. Die Bewertung über verschiedene Datensätze hinweg wurde auf TeamTrack, SoccerNet Tracking, MOT17 und MOT20 durchgeführt, um die Übertragbarkeit der Leistungsfähigkeit zwischen unterschiedlichen Datensatztypen zu untersuchen, anstatt direkte vergleichende Metriken auf Datensatzebene zu erstellen.

Abbildung 5. Repräsentative Datensätze zur Evaluierung. Beispielbilder zeigen repräsentative Sequenzen aus Fußball, Basketball und Volleyball, die für die experimentelle Evaluierung verwendet wurden. Die Abbildung verdeutlicht Unterschiede in der Kameraperspektive, der Spielerdichte und der Szenenkomplexität zwischen den evaluierten Datensätzen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Die SportsMOT-Daten wurden gemäß der offiziellen Datensatzstruktur organisiert und in das im Protokoll beschriebene Format für das Training des Detektors umgewandelt. Die konvertierten SportsMOT-Trainings- und Validierungsdaten enthielten 90 Sequenzen, 55.544 Bilder und 608.152 annotierte Objekte. Die Trainingspartition wurde zur Vorbereitung des Detektors und zur Anpassung der Parameter verwendet, während die Validierungspartition für die formale Verfolgungsauswertung genutzt wurde, die in dieser Studie berichtet wird. Alle Eingabebilder wurden entsprechend der im Protokoll und in der Tabelle der Materialien angegebenen Detektor-Konfiguration skaliert. Derselbe Vorverarbeitungsschritt wurde während der Detektorvorbereitung, der semantischen Merkmalsextraktion, der Verfolgungsinferenz und der TrackEval-Auswertung angewandt, sodass die berichteten Unterschiede hauptsächlich auf die Strategie der Verfolgungszuordnung und nicht auf Unterschiede bei der Datenverarbeitung zurückzuführen waren.

Auswertungskriterien:

Die Verfolgungsleistung wurde mithilfe eines mit MOTChallenge kompatiblen Evaluierungsprotokolls bewertet, das mit dem im Materialtabelle aufgeführten Evaluierungstoolkit implementiert wurde. Die angegebenen Metriken beschreiben drei Aspekte der Verfolgungsleistung im Sport: die Gesamtverfolgungsgenauigkeit, die Identitätserhaltung sowie die Qualität von Detektion und Zuordnung. Als primäre Evaluierungsmetriken wurden MOTA, IDF1 und HOTA verwendet^44,45. MOTA fasst falsch positive, falsch negative Ergebnisse und Identitätswechsel in einer Gesamtbewertung der Verfolgungsgenauigkeit zusammen. IDF1 misst die Konsistenz zwischen vorhergesagten Trajektorien und den tatsächlichen Identitäten. HOTA bewertet gemeinsam die Genauigkeit der Detektion und die Genauigkeit der Zuordnung und charakterisiert somit das Gleichgewicht zwischen Ziellokalisation und Trajektorienzuordnung. DetA und AssA wurden als ergänzende Metriken angegeben. FPs, FNs und Identitätswechsel (IDs) dienten zur Beschreibung von Fehlerquellen im Zusammenhang mit falschen Detektionen, verpassten Detektionen und Identitätsänderungen. Bei Vergleichen zwischen Methoden auf SportsMOT wurden dieselben Detektorausgaben und dieselbe Konfiguration des Evaluierungstoolkits verwendet, um den Einfluss von Unterschieden zwischen Detektoren und Evaluierungseinstellungen zu reduzieren. Bei Vergleichen über verschiedene Datensätze hinweg wurden die Metrikwerte als innerhalb eines Datensatzes erzielte Evaluierungsergebnisse interpretiert und nicht als Beleg für eine absolute Leistungsüberlegenheit über verschiedene Datensätze hinweg.

Experimentelles Umfeld und Parameterkonfiguration:

Die Experimente wurden unter Verwendung der in der Tabelle der Materialien aufgeführten Hardware- und Software-Ressourcen durchgeführt. Während der primären SportsMOT-Experimente wurde zur Gewährleistung der Konsistenz bei der Vorbereitung des Detektors, der Tracking-Inferenz und der Leistungsbewertung dieselbe Rechenumgebung, derselbe Detektor-Algorithmus, dieselben Detektor-Ausgaben und derselbe Evaluierungs-Toolkit verwendet. Der in der Tabelle der Materialien aufgeführte Detektor-Algorithmus wurde mit einer Batch-Größe von 16, einer anfänglichen Lernrate von 0,01 und 80 Trainingsepochen trainiert. Im Modul zur semantischen Extraktion der Trikots wurde zur Farbclustering die K-Means-Methode mit K = 3 verwendet, und der OCR-Zweig verwendete ein leichtgewichtiges faltendes rekurrentes neuronales Netzwerk mit einer Eingabegröße von 128 × 64 Pixeln. Der OCR-Zweig wurde mithilfe des in der Tabelle der Materialien aufgeführten adaptiven Optimierers mit einer Lernrate von 1 × 10⁻³, einer Gewichtsverlustquote (weight decay) von 1 × 10⁻⁵, einer Batch-Größe von 64 und 40 Trainingsepochen optimiert. Während des Trainings des Moduls zur semantischen Merkmalsextraktion wurde kein zusätzliches Lernraten-Scheduling verwendet. Der Gewichtungskoeffizient für den OCR-Verlust (γ) wurde als benutzerdefinierter Hyperparameter behandelt und basierend auf der Leistung auf dem Validierungsdatensatz ausgewählt. Die stratifizierte Aufteilung nach Konfidenzniveau verwendete eine adaptive K-Means-Partitionierung, bei der τ₁ und τ₂ aus der Verteilung der Detektionskonfidenz jedes Einzelbildes berechnet wurden, anstatt vor der Inferenz manuell festgelegt zu werden.

Verfolgungsleistung über verschiedene Sportarten und Szenariokomplexitäten hinweg

Quantitative Leistung unter verschiedenen Sport- und Szenenbedingungen:

Die Verfolgungsleistung wurde anhand zweier Gruppierungsfaktoren bewertet: Sportart und Szenenkomplexität. Die Analyse nach Sportart umfasste Sequenzen aus Fußball, Basketball und Volleyball. Die Analyse der Szenenkomplexität berücksichtigte den Grad der Verdeckung, die Bewegungsgeschwindigkeit und die Zielauflösung, wobei dieselben Gruppierungskriterien für alle bewerteten Sequenzen angewendet wurden. Die angegebenen Metriken folgten dem in Abschnitt 7 des Protokolls beschriebenen Evaluierungsprotokoll. 

Abbildung 6 fasst die Ergebnisse der quantitativen Verfolgung unter verschiedenen Sportkategorien und Szenenkomplexitätsbedingungen zusammen. Abbildung 6A zeigt MOTA und DetA für Sequenzen aus Fußball, Basketball und Volleyball. Abbildung 6B zeigt die Variation von MOTA unter verschiedenen Grad der Verdeckung, Bewegungsgeschwindigkeit und Ziel-Dichte. Abbildung 6C zeigt aufsummierte FP- und FN-Zahlen für jede Dimension der Szenenkomplexität.

Abbildung 6. Verfolgungsleistung über Sportkategorien und Szenenbedingungen hinweg. (A) Genauigkeit der Mehrfachobjektverfolgung (MOTA) und Erkennungsgenauigkeit (DetA) für Fußball, Basketball, Volleyball und den Gesamtdurchschnitt. (B) MOTA über repräsentative Szenenbedingungen mit unterschiedlichen Grad an Verdeckung, Spielerdichte und Bewegungskomplexität. (C) Anzahl der falsch positiven (FPs) und falsch negativen (FNs) Ergebnisse über die evaluierten Szenenbedingungen hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

In den drei Sportkategorien erzielte JerseyTrack eine durchschnittliche MOTA von 88,9 % und eine durchschnittliche DetA von 80,2 %. Der Unterschied in der MOTA zwischen den Sportkategorien betrug 1,3 Prozentpunkte, wobei die höchste MOTA bei Volleyballsequenzen (89,2 %) und die niedrigste bei Basketballsequenzen (87,9 %) beobachtet wurde. Die niedrigere MOTA bei Basketballsequenzen steht im Einklang mit der höheren Häufigkeit von Nahbereichsinteraktionen und starker Verdeckung in den ausgewerteten Sequenzen. Unter weniger komplexen Szenenbedingungen, einschließlich leichter Verdeckung, geringer Bewegungsgeschwindigkeit und spärlicher Zielverteilung, erreichte die MOTA jeweils 91,8 %, 93,1 % und 93,8 %. Unter komplexeren Szenenbedingungen sank die MOTA auf 84,9 % bei starker Verdeckung, 83,6 % bei schneller Bewegung und 83,1 % bei dichter Zielverteilung. Diese Ergebnisse zeigen, dass die Verfolgungsleistung abnahm, wenn die Szenenkomplexität zunahm, jedoch innerhalb des berichteten Bereichs über alle ausgewerteten Sportzenarien hinweg blieb.

Verfolgung der Konsistenz über repräsentative Sport-Szenarien hinweg:

Abbildung 7 zeigt repräsentative Verfolgungsbeispiele, die die zeitliche Konsistenz von JerseyTrack unter drei anspruchsvollen Sport-Szenarien veranschaulichen: dichte Spielerinteraktionen, längere teilweise Verdeckungen und schnelle Richtungswechsel. In diesen repräsentativen Sequenzen behielt der Verfolgungsalgorithmus konsistente Trajektorien-Identitäten bei, trotz häufiger Überlappung der Athleten und dynamischer Bewegungen. Identitätsbrüche traten hauptsächlich bei starker Verdeckung oder vorübergehendem Fehlen der Trikot-Informationen auf; die vertrauensbasierte Zuordnungsstrategie ermöglichte jedoch die Wiederherstellung der Trajektorien, sobald zuverlässige Erkennungen erneut verfügbar waren. Diese repräsentativen Beispiele unterstützen qualitativ die quantitativen Ergebnisse aus Abbildung 6, indem sie eine stabile Identitätserhaltung unter den evaluierten Sportverfolgungsbedingungen demonstrieren.

Abbildung 7. Repräsentative Verfolgungsergebnisse, erzeugt von JerseyTrack. Aufeinanderfolgende Einzelbilder aus Basketball-, Fußball- und Volleyballsequenzen veranschaulichen die Beibehaltung der Identitäten und Trajektorien der Athleten während der Verfolgung. Farbige Begrenzungsrahmen stellen die verfolgten Identitäten dar, die über aufeinanderfolgende Videobilder hinweg beibehalten werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Ergebnisse der Ablation hinsichtlich der Erhaltung der Identität:

Eine Ablationsanalyse wurde durchgeführt, um die Beiträge der konfidenzgeleiteten Assoziationsstrategie und des Trikot-Semantik-Fusionsmoduls zur Identitätserhaltung zu untersuchen. Vier Modellvarianten wurden verglichen: V0, die Baseline ohne konfidenzgeleitete Assoziation oder Trikot-Semantik-Fusion; V1, die Variante mit ausschließlicher Verwendung der konfidenzgeleiteten Assoziation; V2, die Variante mit ausschließlicher Verwendung der Trikot-Semantik-Fusion; und V3, die vollständige JerseyTrack-Konfiguration, die beide Komponenten integriert. Die Bewertung konzentrierte sich auf identitätsbezogene Metriken, einschließlich IDs, IDF1, Identitätspräzision (IDP) und Identitätsrückruf (IDR). Die repräsentativen Muster der Identitätserhaltung sind in Abbildung 8 dargestellt.

Abbildung 8. Ablationsanalyse der konfidenzgeleiteten semantischen Trikotzuordnung. (A) Gesamtanzahl der Identitätswechsel (IDs) und der ID-F1-Wert (IDF1) für die evaluierten Modellvarianten. (B) Vergleich der IDs zwischen dem vollständigen Modell (V3) und der Basiskonfiguration (V0) unter repräsentativen, herausfordernden Verfolgungsszenarien. (C) IDF1, ID-Präzision (IDP) und ID-Recall (IDR) des vollständigen Modells über verschiedene Verfolgungsszenarien hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

In der gesamten SportsMOT-Validierungskonfiguration erzielte die vollständige V3-Konfiguration die geringste Anzahl an IDs und den höchsten IDF1-Wert unter den vier Modellvarianten. V3 verzeichnete 2.768 IDs, was 477 weniger Identitätswechsel als bei V0 entspricht, und erreichte einen IDF1-Wert von 74,3 %, was einer Steigerung um 7,1 Prozentpunkte gegenüber V0 entspricht. Diese Ergebnisse deuten darauf hin, dass beide Module gemeinsam zur Erhaltung der Identität unter den evaluierten Sportverfolgungsbedingungen beigetragen haben. Der Vergleich der Einzelmodulvarianten mit der vollständigen Konfiguration zeigte weiterhin, dass die beiden Module unterschiedliche Quellen von Verfolgungsfehlern beeinflussten. Die konfidenzgeleitete Zuordnungsstrategie verringerte Zuordnungsfehler, die mit instabiler Detektionskonfidenz und Lokalisationsunsicherheit verbunden waren, während das Modul zur semantischen Fusion von Trikotinformationen zusätzliche Identitätsinformationen bereitstellte, wenn alleinige Bewegungsinformationen unzureichend waren. Die vollständige V3-Konfiguration erzielte eine bessere leistungsbezogene Identitätsleistung als jede der Einzelmodulvarianten, was darauf hindeutet, dass die beiden Module komplementäre statt redundante Beiträge leisteten.

Ergebnisse auf Szenenebene zeigten größere Unterschiede unter anspruchsvolleren Bedingungen zur Identitätserhaltung. Während langer Verdeckungsphasen verzeichnete V3 215 Identitäten im Vergleich zu 482 bei V0. In dichten Szenarien mit Spielern derselben Mannschaft mit 6–10 Personen verzeichnete V3 328 Identitäten im Vergleich zu 615 bei V0. Bei schnellen Richtungswechseln verzeichnete V3 482 Identitäten im Vergleich zu 960 bei V0. Diese Reduktionen stimmen mit der beabsichtigten Nutzung semantischer Hinweise während Verdeckungen und dichter Interaktionen sowie mit einer konfidenzgeleiteten Zuordnung bei wechselnder Detektionszuverlässigkeit während schneller Bewegungen überein. Die Trends bei IDP und IDR in Abbildung 8C zeigen, dass die Verringerung der Identitäten nicht mit einem erheblichen Rückgang der Identitätsgenauigkeit oder des Identitätsabrufs einherging. Die vollständige Konfiguration hielt IDF1-Werte über 71 % in allen untersuchten anspruchsvollen Szenarien aufrecht, wobei niedrigere Werte bei dichten Interaktionen innerhalb derselben Mannschaft und bei schnellen Richtungswechseln beobachtet wurden. Diese Ergebnisse deuten auf eine verbesserte Konsistenz der Identität unter den untersuchten Bedingungen hin, wobei dichte Interaktionen und schnelle Bewegungen als wesentliche verbleibende Quellen für Leistungseinbußen identifiziert wurden.

Ergebnisse der Querschnittsdaten-Auswertung:

Die Querdatensatz-Evaluation wurde durchgeführt, um zu untersuchen, ob das auf SportsMOT beobachtete Verfolgungsverhalten unter unterschiedlichen Datensatzbedingungen aufrechterhalten werden kann. Die Evaluation umfasste zwei sportartspezifische Datensätze, SoccerNet Tracking und TeamTrack, sowie zwei allgemeine MOT-Datensätze, MOT17 und MOT20. Der Zweck dieses Experiments bestand darin, die Übertragbarkeit der Leistungsfähigkeit zwischen verschiedenen Datensatztypen zu prüfen. Die Ergebnisse wurden nicht verwendet, um eine direkte Überlegenheit auf Metrik-Ebene über verschiedene Datensätze hinweg zu behaupten, da sich die Annotationsschemata, Szenenzusammensetzungen, Kameraperspektiven und Zielkategorien unterscheiden.

Tabelle 1 fasst die Ergebnisse der Querdatensatzauswertung zusammen. Auf den sportartspezifischen Datensätzen wies JerseyTrack im Vergleich zur Hauptvalidierungseinstellung SportsMOT relativ stabile MOTA- und IDF1-Werte auf. Dieser Trend deutet darauf hin, dass die vertrauensgeleitete Assoziationsstrategie und die mit Trikots verbundenen semantischen Hinweise wirksam blieben, solange die Verfolgungsszenen die visuellen Merkmale von Mannschaftssportarten beibehielten, einschließlich wiederholter Trikots, dichter Athleteninteraktionen und häufiger Verdeckungen. Auf den allgemeinen MOT-Datensätzen erzielte die Methode wettbewerbsfähige MOTA- und DetA-Werte, während IDF1 niedriger war als bei den sportartspezifischen Datensätzen. Dieses Muster entspricht dem Fehlen von Trikotfarb- und Spielernummernhinweisen in MOT17 und MOT20, die vom semantischen Fusionierungsmodul genutzt werden. Unter diesen Bedingungen blieb die vertrauensgeleitete Assoziationskomponente anwendbar, während der semantische Zweig weniger identitätsspezifische Informationen beisteuerte als bei Videos von Mannschaftssportarten. Insgesamt zeigen diese Ergebnisse, dass JerseyTrack effektiver auf Datensätze übertragen wurde, die sportartspezifische visuelle Semantik enthalten, im Vergleich zu allgemeinen Fußgänger-Verfolgungsdatensätzen. Die Querdatensatzauswertung stützt daher die beabsichtigte Anwendung der Methode als sportorientierter Verfolgungsalgorithmus und identifiziert gleichzeitig das Fehlen expliziter Trikotsemantik als limitierenden Faktor für MOT-Datensätze außerhalb des Sportsportbereichs.

Datensatz	MOTA↑	IDF1↑	DetA↑	FPS↑
SoccerNet Tracking	86,8	71,3	77,9	32,1
TeamTrack	86,2	70,7	77,3	32,8
MOT17	84,7	69,5	76,1	33,9
MOT20	84,1	68,9	75,3	33,2

Tabelle 1: Ergebnisse der Querdatensatzauswertung. Verfolgungsleistung von JerseyTrack, bewertet anhand von vier öffentlichen Benchmark-Datensätzen. Es werden die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die ID-Identitäts-F1-Score (IDF1), die Erkennungsgenauigkeit (DetA) und die Verarbeitungsgeschwindigkeit in Bildern pro Sekunde (FPS) angegeben. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1, DetA und FPS an.

Robustheit unter kontrollierten Störbedingungen

Kontrollierte Störungsversuche wurden durchgeführt, um die Stabilität von JerseyTrack unter häufigen visuellen Störungen und Qualitätsminderungen bei der Erkennung in Sportvideos zu untersuchen. Die evaluierten Störungen wurden in drei Kategorien eingeteilt: semantische-Merkmal-Störung, Erkennungsbox-Störung und Umweltstörung. Zu den semantischen-Merkmal-Störungen gehörten die Verdeckung der Spielernummer, Bildunschärfe, Auflösungsverlust und ähnliche Trikotfarben. Zu den Erkennungsbox-Störungen zählten Verschiebungen der Begrenzungsbox, Schwankungen der Erkennungssicherheit und falsche Erkennungsboxen. Umweltstörungen umfassten regenartiges Rauschen, nebelartige Verschlechterung, starke Beleuchtung und Schatteninterferenzen. Abbildung 9 fasst die Verfolgungsleistung unter diesen Störbedingungen zusammen. Bei semantischen-Merkmal-Störungen nahm die Verfolgungsleistung ab, je stärker die Sichtbarkeit der Spielernummer und die Qualität des Bildausschnitts abnahmen. Wenn 40 % des Bereichs der Spielernummer verdeckt waren, sank die MOTA um 3,2 Prozentpunkte und die IDF1 um 5,3 Prozentpunkte gegenüber der Bedingung ohne Störung, während die Genauigkeit der semantischen Extraktion bei 86,7 % verblieb. Diese Ergebnisse deuten darauf hin, dass die Trikotfarbe und die Spielernummer komplementäre Informationen bereitstellten, wenn ein semantisches Merkmal weniger zuverlässig wurde. Bei Erkennungsbox-Störungen zeigte die Methode eine moderate Leistungsminderung statt eines plötzlichen Versagens. Wenn die Erkennungsboxen um ±10 Pixel verschoben wurden und die Konfidenzwerte mit Gaußschem Rauschen gestört wurden, blieb der Rückgang der MOTA unter 3 Prozentpunkten und der Anstieg der IDs innerhalb von 16 %. Dieser Trend stimmt mit der konfidenzgesteuerten Zuordnungsstrategie überein, bei der mittlere und niedrige Konfidenz-Erkennungen unter zusätzlichen Zuordnungsbeschränkungen verarbeitet werden, anstatt dieselbe Strategie wie bei hochsicheren Erkennungen anzuwenden.

Abbildung 9. Bewertung der Robustheit unter kontrollierten Störungen. (A) Veränderungen der Genauigkeit beim Mehrfach-Objekt-Tracking (MOTA), der IDentitäts-F1-Score (IDF1) und der Identitätswechsel (IDs) mit zunehmender Verdeckung der Trikotnummer. (B) Leistungsabnahme unter repräsentativen Störbedingungen. (C) Zunahme der IDs bei verschiedenen Störungstypen. (D) Genauigkeit der semantischen Extraktion von Trikotnummern unter den evaluierten Störbedingungen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Unter Umwelteinflüssen blieben die Abnahmen der primären Verfolgungsmetriken unter den evaluierten Bedingungen unter fünf Prozentpunkten, und die Genauigkeit der semantischen Extraktion lag bei 87,2 %. Die Verwendung von HSV-basierten Farbdeskriptoren verringerte die Empfindlichkeit gegenüber Beleuchtungsänderungen, während der OCR-Teil brauchbare Informationen zur Spielernummer für eine Teilmenge unscharfer oder beschädigter Bildausschnitte beibehielt. Diese Ergebnisse deuten darauf hin, dass das semantische Modul unter den evaluierten Störbedingungen weiterhin verwendbar war, obwohl seine Zuverlässigkeit weiterhin von der Sichtbarkeit der Trikots und der Qualität der Ausschnitte abhing. Insgesamt zeigten die kontrollierten Störungsexperimente, dass JerseyTrack unter den evaluierten semantischen, detektionsqualitätsbezogenen und umweltbedingten Störungen eine messbare Verfolgungsleistung beibehielt. Diese Befunde sollten im Rahmen des getesteten Störungsbereichs interpretiert werden. Systematische Wiedererkennung bei vorübergehendem Verlust aus dem Blickfeld, starke Hintergrundunordnung und langfristige vollständige Verdeckung wurden in diesem Experiment nicht separat untersucht und werden in der Diskussion als Limitationen erörtert.

Analysen zur Modulbeteiligung und Merkmalsdiskriminierung

Der Modulbeitrag und die Merkmalunterscheidung wurden weiter analysiert, um zu untersuchen, wie die beiden vorgeschlagenen Komponenten die leistungsbezogene Verfolgung der Identität beeinflussten. Bei der Analyse des Modulbeitrags kamen die vier im Ablationsversuch definierten Modellvarianten zum Einsatz, während bei der Analyse der Merkmalunterscheidung traditionelle Re-ID-Merkmale, nur farbbasierte Merkmale, nur spielernummerbasierte Merkmale sowie fusionierte jerseysemantische Merkmale miteinander verglichen wurden. Das Verhältnis von interklassen- zu intraklassenweitem Abstand wurde verwendet, um die Trennbarkeit der Merkmale zu beschreiben, wobei größere Werte auf eine stärkere Trennung zwischen verschiedenen Identitäten im Vergleich zur Variation innerhalb derselben Identität hinweisen. Tabelle 2 fasst die Analyse des Modulbeitrags zusammen. In der Gesamtbewertung betrug der geschätzte Beitrag der konfidenzgeleiteten Assoziationsstrategie 41,7 %, der geschätzte Beitrag der jerseysemantischen Fusion 47,6 % und die verbleibenden 10,7 % wurden der kombinierten Nutzung beider Komponenten zugeschrieben. Diese Werte zeigen, dass beide Komponenten zur beobachteten Leistungssteigerung beigetragen haben, wobei die vollständige Konfiguration von ihrer gemeinsamen Nutzung profitiert, anstatt von einer einzelnen Komponente allein. Das Beitragungsmuster variierte je nach Szenentyp. Bei starker Verdeckung stieg der geschätzte Beitrag der jerseysemantischen Fusion auf 69,4 %, was mit der verringerten Zuverlässigkeit von Bewegungshinweisen übereinstimmt, wenn Athleten teilweise oder zeitweise verdeckt waren. Bei schneller Bewegung erreichte der geschätzte Beitrag der konfidenzgeleiteten Assoziation 44,3 %, und der kombinierte Gewinn betrug 20,6 %, was darauf hindeutet, dass die Aufteilung nach Konfidenzniveau relevanter wurde, wenn die Detektionskonfidenz aufgrund schneller Bewegung oder Unsicherheit bei der Lokalisierung schwankte.

Modellvariante	Testszenario	MOTA↑	IDF1↑	IDs↓	Modulbeitrag	Synergetischer Gewinn
V0 (Baseline)	Gesamtszene	83,5	67,2	3245	–	–
	Stark verdeckte Szenen	77,8	61,5	3862	–	–
	Szene mit schneller Bewegung	77,1	62,3	3689	–	–
V1 (Konfidenzgeleitete Zuordnung)	Gesamtszene	86,3	70,9	2893	41,7	–
	Stark verdeckte Szenen	80,9	65,9	3415	29,8	–
	Szene mit schneller Bewegung	81,4	67,9	3024	44,3	–
V2 (Semantische Trikotzuordnung)	Gesamtszene	85,2	71,8	2937	47,6	–
	Stark verdeckte Szenen	82,7	72,8	2753	69,4	–
	Szene mit schneller Bewegung	80,1	66,8	3157	35,1	–
V3 (Vollständiges JerseyTrack)	Gesamtszene	88,9	74,3	2768	–	10,7
	Stark verdeckte Szenen	84,9	75,6	2689	–	0,8
	Szene mit schneller Bewegung	83,6	71,5	2842	–	20,6

Tabelle 2:  Ablationsanalyse der Modulbeiträge. Leistungsvergleich verschiedener JerseyTrack-Modellvarianten unter Gesamt-, stark verdeckten und Hochgeschwindigkeits-Bewegungsszenarien. Die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die IDentitäts-F1-Score (IDF1) sowie die Anzahl der Identitätswechsel (IDs) werden zusammen mit dem geschätzten Modulbeitrag und dem synergetischen Gewinn angegeben. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1, Modulbeitrag und synergetischem Gewinn an, während niedrigere Werte eine bessere Leistung bei IDs anzeigen.

Tabelle 3 fasst die Merkmalsdiskriminierungsanalyse zusammen. Das fusionierte semantische Merkmal des Trikots erreichte ein Verhältnis von Inter-Klassen- zu Intra-Klassen-Distanz von 5,63 im Vergleich zu 1,82 für traditionelle Re-ID-Merkmale, was einer relativen Verbesserung des Distanzverhältnisses um 209,3 % entspricht. Alleinige Farbmerkmale und alleinige Spielernummernmerkmale verbesserten ebenfalls die Merkmalstrennbarkeit im Vergleich zu traditionellen Re-ID-Merkmalen, obwohl jedes einzelne Merkmal weiterhin anfällig für spezifische Fehlerquellen blieb, darunter ähnliche Teamfarben, Verdeckung der Spielernummer, Bewegungsunschärfe und nicht lesbare Trikotbereiche. Unter den evaluierten Merkmalsrepräsentationen erzielte die fusionierte semantische Repräsentation die höchste Merkmalstrennbarkeit und korrespondierte mit dem höchsten IDF1-Wert sowie der niedrigsten ID-Anzahl in der Ablationsanalyse. Diese Ergebnisse unterstützen die Verwendung trikotspezifischer semantischer Hinweise als ergänzende Identitätsinformation für die Mehrfachobjektverfolgung im Sport (MOT), wenn Athleten ähnliche Erscheinungsbilder aufweisen und alleinige Bewegungsinformationen nicht ausreichen. Diese Beobachtungen gelten nur für die evaluierte SportsMOT-Situation und sollten nicht als Beleg dafür interpretiert werden, dass Semantik der Trikots alle Identitätsunsicherheiten in jedem Sportvideo beseitigt.

Merkmalsart	Verhältnis Inter-Klassen/Intra-Klassen-Abstand	Relative Verbesserung (%)	IDF1↑	IDs↓
Traditionelle Re-ID-Merkmale	1.82	–	65.7	3482
Teamfarben-Merkmale	3.17	74,2	69,8	3125
Spieler-Nummern-Merkmale	3.49	91,8	70,5	3018
Gemischte semantische Trikot-Merkmale	5,63	209,3	74,3	2768

Tabelle 3:  Diskriminanzanalyse verschiedener Merkmalsdarstellungen. Vergleich der Merkmalsdiskriminierung unter Verwendung traditioneller Wiedererkennungsmerkmale (Re-ID), Trikotfarbmerkmale, Spielernummernmerkmale und fusionierter semantischer Merkmale. Es werden das Verhältnis von interklassen- zu intraklassen-Abstand, die relative Verbesserung der Merkmalsdiskriminierung, die IDentity-F1-Score (IDF1) sowie die Anzahl der Identitätswechsel (IDs) angegeben. Höhere Werte deuten auf eine bessere Leistung bezüglich des Abstandsverhältnisses, der relativen Verbesserung und der IDF1 hin, während niedrigere Werte eine bessere Leistung bezüglich der IDs anzeigen.

Vergleich der Leistung mit bestehenden MOT-Methoden

Ein Benchmark-Vergleich wurde durchgeführt, um JerseyTrack mit repräsentativen MOT-Methoden unter denselben SportsMOT-Validierungseinstellungen zu vergleichen. Die verglichenen Methoden umfassten QDTrack, DeepSORT, ByteTrack, FairMOT, Deep OC-SORT und MOTR. Alle Methoden verwendeten dieselben Detektor-Ausgaben, die durch den im Materialverzeichnis aufgeführten Detektor-Algorithmus generiert wurden, sodass der Vergleich auf der Leistung der Verfolgungsassoziation und nicht auf Unterschieden der Detektoren basierte. Die Bewertung verwendete die in Protokollabschnitt 7 definierten Metriken. Zu den primären Bewertungsmetriken gehörten MOTA, HOTA und IDF1. Die sekundären Metriken umfassten DetA, AssA, FPs, FNs und IDs. Tabelle 4 fasst den quantitativen Vergleich auf dem SportsMOT-Validierungssplit zusammen, und Abbildung 10 zeigt einen visuellen Vergleich der Verfolgungsgenauigkeit, der Inferenzgeschwindigkeit und der HOTA-Verteilung über die ausgewerteten Sport-Szenen hinweg. JerseyTrack erzielte unter den verglichenen Methoden den höchsten MOTA-Wert mit 88,9 %. Dieser Wert lag 1,1 Prozentpunkte über dem von Deep OC-SORT (87,8 %) und 2,5 Prozentpunkte über dem von ByteTrack (86,4 %). JerseyTrack erreichte somit unter der ausgewerteten SportsMOT-Validierungseinstellung die höchste Gesamtverfolgungsgenauigkeit aller verglichenen Methoden. Bei HOTA erzielte JerseyTrack 69,9 %, verglichen mit 64,4 % für Deep OC-SORT und 62,8 % für ByteTrack. Diese Unterschiede entsprechen Verbesserungen von 5,5 bzw. 7,1 Prozentpunkten und deuten auf eine bessere Balance zwischen Detektions- und Assoziationsleistung unter denselben Bewertungsbedingungen hin.

Methode	MOTA↑	HOTA↑	IDF1↑	DetA↑	AssA↑	FP↓	FN↓	IDs↓
QDTrack	75,9	53,7	51,6	65,6	39,7	96.324	89.871	8.216
DeepSORT	77,6	54,1	53,2	67,3	44	76.228	86.319	6.836
ByteTrack	86,4	62,8	67,7	73,8	50,9	33.752	78.698	4.192
FairMOT	84,1	54,7	62,5	77,8	47,8	45.187	83.620	4.817
Deep OC-SORT	87,8	64,4	69,9	78,2	52,1	25.012	74.385	3.211
MOTR	82,9	57,2	58,4	68,9	46,1	54.931	85.063	5.137
JerseyTrack	88,9	69,9	74,3	80,2	54,3	21.953	67.160	2.768

Tabelle 4: Leistungsvergleich von JerseyTrack und repräsentativen Methoden zur Mehrfachobjektverfolgung auf dem Validierungsdatensatz von SportsMOT. Vergleich von JerseyTrack mit repräsentativen Methoden zur Mehrfachobjektverfolgung (MOT) auf dem Validierungsdatensatz von SportsMOT. Berichtete Metriken umfassen die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die Genauigkeit der Verfolgung höherer Ordnung (HOTA), die ID-F1-Score (IDF1), die Erkennungsgenauigkeit (DetA), die Assoziationsgenauigkeit (AssA), falsch positive Ergebnisse (FP), falsch negative Ergebnisse (FN) sowie die Anzahl der Identitätswechsel (IDs). Höhere Werte zeigen eine bessere Leistung bei MOTA, HOTA, IDF1, DetA und AssA an, während niedrigere Werte eine bessere Leistung bei FP, FN und IDs anzeigen.

Abbildung 10. Leistungsvergleich mit repräsentativen Methoden zur Verfolgung mehrerer Objekte. (A) Vergleich der Genauigkeit bei der Verfolgung mehrerer Objekte (MOTA) und der Bilder pro Sekunde (FPS) für JerseyTrack und repräsentative Methoden zur Verfolgung mehrerer Objekte, bewertet anhand des SportsMOT-Datensatzes. (B) Verteilung der genauen Verfolgung höherer Ordnung (HOTA) über die bewerteten Verfolgungsmethoden hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Bezüglich der Erhaltung der Identität erreichte JerseyTrack einen IDF1-Wert von 74,3 %, verglichen mit 69,9 % für Deep OC-SORT und 67,7 % für ByteTrack. JerseyTrack verzeichnete außerdem 2.768 IDs, weniger als die 3.211 IDs von Deep OC-SORT und die 4.192 IDs von ByteTrack. Diese Beobachtungen stimmen mit den Ablationsresultaten überein, die in Abbildung 8 und Tabelle 2 dargestellt sind, wobei die vollständige JerseyTrack-Konfiguration im Vergleich zu den Basismodellvarianten die Identitätswechsel reduzierte. Hinsichtlich der Qualität von Detektion und Zuordnung erreichte JerseyTrack eine DetA von 80,2 % und eine AssA von 54,3 %. Gegenüber Deep OC-SORT verbesserte JerseyTrack die DetA um 2,0 Prozentpunkte und die AssA um 2,2 Prozentpunkte. JerseyTrack erzeugte zudem weniger FP und FN als die anderen in Tabelle 4 genannten Methoden, mit 21.953 FP und 67.160 FN. Insgesamt zeigte der Benchmark-Vergleich, dass JerseyTrack unter der SportsMOT-Validierungskonfiguration die höchsten Werte für die primären Tracking-Metriken unter den evaluierten Methoden erreichte. Diese Ergebnisse stimmen mit den beobachteten Verbesserungen bei der Identitätserhaltung und der Stabilität der Zuordnung überein, die durch die konfidenzgeleitete Assoziation und die semantische Fusion der Trikots erzielt wurden. Der Vergleich beschränkt sich auf die gemeinsam genutzten Detektor-Ausgaben und die in dieser Studie verwendete SportsMOT-Validierungskonfiguration.

Ergebnisse zur Parameterempfindlichkeit

Es wurde eine Parameter-Sensitivitätsanalyse durchgeführt, um zu untersuchen, wie Schlüssel-Implementierungsparameter die Verfolgungsleistung unter der SportsMOT-Validierungseinstellung beeinflussten. Drei Parameter wurden evaluiert: der Gewichtungskoeffizient des OCR-Verlusts (γ), die Anzahl der hierarchischen Cluster auf Konfidenzebene (K) und die Lernrate des OCR-Netzwerks (η). Tabelle 5 fasst die unter verschiedenen Parametereinstellungen erzielten Werte für MOTA, IDF1, HOTA und IDs zusammen.

Parameter	Wert	MOTA↑	IDF1↑	HOTA↑	IDs↓
OCR-Verlustgewichtung (γ)	0,2	84,7	69,4	66,2	2.944
	0,4	86,3	71,5	68,2	2.893
	0,6	87,9	73,1	68,9	2.815
	0,8 (optimal)	88,9	74,3	69,9	2.768
	1	88,2	73,8	69,3	2.792
Anzahl der Konfidenzcluster (K)	2	86,7	72,1	68,5	2.876
	3 (optimal)	88,9	74,3	69,9	2.768
	4	88,1	73,6	69,7	2.803
	5	87,3	72,8	69,2	2.851
OCR-Lernrate (η)	1 × 10⁻⁴	85,9	70,8	67,3	2.934
	5 × 10⁻⁴	87,6	72,7	68,7	2.832
	1 × 10⁻³ (optimal)	88,9	74,3	69,9	2.768
	5 × 10⁻³	87,8	73,2	69	2.817
	1 × 10⁻²	86,5	71,6	68,7	2.889

Tabelle 5: Parameter-Sensitivitätsanalyse. Verfolgungsleistung, erzielt mit verschiedenen Parametereinstellungen für JerseyTrack. Die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die ID-Identitäts-F1-Score (IDF1), die Verfolgungsgenauigkeit höherer Ordnung (HOTA) und die Anzahl der Identitätswechsel (IDs) werden für unterschiedliche Werte des Gewichtungskoeffizienten für den Optical Character Recognition (OCR)-Verlust (γ), der Anzahl der Konfidenzcluster (K) und der OCR-Lernrate (η) angegeben. Die als optimal identifizierten Parametereinstellungen entsprechen den in den beschriebenen Experimenten verwendeten Einstellungen. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1 und HOTA an, während niedrigere Werte eine bessere Leistung bei IDs anzeigen.

Für den OCR-Verlust-Gewichtungskoeffizienten (γ) wurde die beste bewertete Leistung bei γ = 0,8 erzielt. Unter dieser Einstellung erreichte JerseyTrack eine MOTA von 88,9 %, eine IDF1 von 74,3 %, eine HOTA von 69,9 % und 2.768 IDs. Als γ auf 0,2 reduziert wurde, sanken MOTA, IDF1 und HOTA auf 84,7 %, 69,4 % bzw. 66,2 %, während die Anzahl der IDs auf 2.944 anstieg. Bei Erhöhung von γ auf 1,0 verringerten sich die Leistungskennzahlen im Vergleich zu γ = 0,8 leicht, mit einer MOTA von 88,2 %, einer IDF1 von 73,8 %, einer HOTA von 69,3 % und 2.792 IDs. Diese Ergebnisse zeigen, dass unzureichende OCR-Überwachung die Unterscheidung der Spielernummern beeinträchtigte, während eine Erhöhung des OCR-Verlust-Gewichtungsfaktors über das evaluierte Optimum hinaus unter den getesteten Bedingungen keine Verbesserung der Verfolgungsleistung bewirkte.

Für die hierarchische Clusteranzahl auf Vertrauensniveau (K) wurde die beste Leistung bei K = 3 erzielt. Diese Einstellung entspricht der in der Methode beschriebenen Strategie mit hoher, mittlerer und niedriger Zuverlässigkeit. Bei K = 2 war die Aufteilung nach Vertrauensstufen weniger differenziert, und MOTA, IDF1 sowie HOTA sanken auf 86,7 %, 72,1 % bzw. 68,5 %. Wenn K auf 4 oder 5 anstieg, nahm die Leistung im Vergleich zu K = 3 ebenfalls ab, was darauf hindeutet, dass eine übermäßige Aufteilung die Detektionen in zu enge Vertrauensgruppen unterteilte und die Stabilität der Zuordnungsstrategie verringerte. Diese Ergebnisse untermauern die Verwendung von drei Vertrauensstufen in der evaluierten JerseyTrack-Konfiguration.

Für die Lernrate (η) des OCR-Netzwerks wurde die beste bewertete Leistung bei η = 1 × 10^-3 erzielt. Bei einer niedrigeren Lernrate von 1 × 10^-4 sanken MOTA, IDF1 und HOTA auf 85,9 %, 70,8 % bzw. 67,3 %, während die Anzahl der IDs auf 2.934 anstieg. Bei einer höheren Lernrate von 1 × 10^-2 verringerten sich MOTA, IDF1 und HOTA auf 86,5 %, 71,6 % bzw. 68,7 %, während die Anzahl der IDs auf 2.889 anstieg. Diese Ergebnisse zeigen, dass der OCR-Zweig empfindlich gegenüber der Auswahl der Lernrate war, wobei 1 × 10^-3 unter den bewerteten Bedingungen das beste Gleichgewicht zwischen der Erkennung der Spielernummer und der Leistung bei der Identitätserhaltung bot.

Insgesamt zeigt Tabelle 5, dass die Parameterkombination γ = 0,8, K = 3 und η = 1 × 10^-3 die höchsten bewerteten MOTA-, IDF1- und HOTA-Werte zusammen mit der geringsten Anzahl an IDs erzielte. Die Sensitivitätsanalyse zeigte außerdem, dass moderate Abweichungen von diesen Parameterwerten messbare, jedoch keine sprunghaften Veränderungen in der Verfolgungsleistung zur Folge hatten. Daher wurden diese Parametereinstellungen für den Vergleichstest und die primären SportsMOT-Validierungsexperimente verwendet, die in dieser Studie berichtet werden.

Datenverfügbarkeit

Die Rohauswertungszusammenfassungen, endgültigen Nachführungsdaten, Umgebungsaufzeichnungen, Datensatz-Zuordnungsdateien und Zwischenergebnisdateien, die die Ergebnisse dieser Studie unterstützen, sind in einem öffentlichen Repository unter https://doi.org/10.5281/zenodo.21274353 verfügbar. Die ursprünglichen öffentlichen Benchmark-Datensätze, die in dieser Studie verwendet wurden, einschließlich SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 und MOT20, sind von ihren jeweiligen Anbietern erhältlich und werden nicht im Repository erneut verbreitet.

Diskussion

Diese Studie evaluierte einen vertrauensbasierten Sport-MOT-Workflow, der die Aufteilung nach Erkennungsvertrauen mit semantischen Trikotmerkmalen kombiniert. Vertrauensbasierte Zuordnung und semantische Merkmalsfusion wurden als komplementäre Strategien zur Verbesserung der Datenzuordnung beim Mehrfachobjekt-Tracking untersucht^{12,20,23,24,46}. Die Ergebnisse zeigen, dass die vollständige JerseyTrack-Konfiguration die Identitätserhaltung und die Stabilität der Zuordnung unter den evaluierten SportsMOT-Validierungseinstellungen verbesserte. Das Hauptresultat der SportsMOT-Validierung erreichte eine MOTA von 88,9 %, eine HOTA von 69,9 %, eine IDF1 von 74,3 %, eine DetA von 80,2 % und eine AssA von 54,3 %. Diese Werte sollten im Kontext der im Protokoll beschriebenen Detektor-Ausgabedatenquelle, Datensatz-Aufteilung und TrackEval-Konfiguration interpretiert werden.

Ein entscheidender Schritt im Workflow ist die Aufteilung nach Zuverlässigkeitsstufen, die es ermöglicht, je nach Zuverlässigkeit der Detektor-Ausgaben unterschiedliche Assoziierungsstrategien anzuwenden^20,22,23,24. Indem die Detektionen in Gruppen mit hoher, mittlerer und niedriger Zuverlässigkeit unterteilt werden, wendet JerseyTrack unterschiedliche Assoziierungsregeln auf Detektionen mit verschiedenen Zuverlässigkeitsgraden an. Detektionen mit hoher Zuverlässigkeit werden hauptsächlich über Bewegungskonsistenz assoziiert, während bei mittlerer Zuverlässigkeit Bewegung und Trikotsemantik kombiniert genutzt werden. Detektionen mit niedriger Zuverlässigkeit dienen nicht zur Initialisierung neuer Trajektorien und werden nur während der Trajektorienwiederherstellung berücksichtigt. Diese Gestaltung verringerte das Risiko, dass schwache Detektionen oder Fehlalarme instabile Identitäten erzeugen, und ermöglicht gleichzeitig, dass teilweise Detektionen zur Wiederherstellung beitragen können, wenn zusätzliche semantische Hinweise verfügbar sind^8,11,20. Der zweite entscheidende Schritt ist die Extraktion der Trikotsemantik. Teamfarb-Merkmale liefern eine Einschränkung auf Teamebene, während Spielernummern-Merkmale einen feineren Identitätshinweis bieten, wenn der Nummernbereich sichtbar und lesbar ist^35,41,42,43. Die Abationsstudien zeigen, dass diese Hinweise besonders in dichten Interaktionen innerhalb eines Teams und bei Verdeckungen nützlich sind, wo die alleinige Bewegungsassoziierung weniger zuverlässig ist. Trikotsemantik sollte jedoch als unterstützender Beleg betrachtet werden, nicht als vollständiger Ersatz für die Bewegungsassoziierung. Spielernummern können bei Unschärfe, Abschneidung, Rückenansicht, starker Verdeckung oder niedriger Bildauflösung unlesbar sein. Teamfarb-Merkmale können Athleten desselben Teams ebenfalls nicht unterscheiden, wenn keine Nummerninformation verfügbar ist^35,42,43. Die Ergebnisse über verschiedene Datensätze hinweg verdeutlichen zudem den Anwendungsbereich der Methode. JerseyTrack ließ sich natürlicher auf Datensätze von Mannschaftssportarten übertragen als auf allgemeine Fußgänger-MOT-Datensätze, da der semantische Zweig speziell auf Trikotfarben und Spielernummern-Hinweise ausgelegt war^{19,33,34,35,36,37}. Auf allgemeinen MOT-Datensätzen blieb die assoziative Komponente, die durch Zuverlässigkeit gesteuert wird, weiterhin anwendbar, doch der sportartspezifische semantische Zweig trug weniger zur Identitätsbestimmung bei. Die Methode eignet sich daher am besten für Videos von Mannschaftssportarten, bei denen die Athleten unterscheidbare Trikots tragen und der Trikotbereich ausreichend sichtbar ist, um semantische Merkmale extrahieren zu können^{19,33,34,35,36,37}.

Mehrere Einschränkungen bleiben bestehen. Erstens hängt die Methode von der Qualität der Detektor-Ausgaben ab; starke Fehldetektionen oder ungenaue Begrenzungsboxen verringern die Zuverlässigkeit sowohl der Bewegungsvorhersage als auch des semantischen Zuschneidens^14,17,46. Zweitens wurde die langfristige Wiedererkennung außerhalb des Sichtfelds in der aktuellen Implementierung nicht separat optimiert. Wenn ein Athlet längere Zeit das Kamerabild verlässt und später erneut eintritt, reicht die derzeitige Strategie zur Wiederherstellung der Trajektorie möglicherweise nicht aus, um die ursprüngliche Identität wiederherzustellen^19,34. Drittens können starker Hintergrundlärm, überlappende Spieler, Bewegungsunschärfe und nicht lesbare Trikotnummern die Zuverlässigkeit semantischer Merkmale beeinträchtigen^14,35,42,46. Viertens konzentrierte sich die aktuelle Evaluation auf öffentliche Benchmark-Datensätze und kontrollierte Störungsszenarien; der Einsatz in Sendevideos mit Kamerawechseln, Zoomänderungen und nicht standardisierten Blickwinkeln könnte zusätzliche Vorverarbeitungsschritte oder Wiedererkennungsmoduln erfordern^19,33,34.

Die wichtigste praktische Konsequenz besteht darin, dass vertrauensbasierte Assoziationen und trikotspezifische semantische Hinweise in eine modulare MOT-Pipeline integriert werden können, ohne die Struktur des Detektors zu verändern. Diese Fähigkeit ist anwendbar auf Aufgaben der Sportanalyse wie die Extraktion von Athletentrajektorien, die Analyse von Teambewegungen, die Überprüfung taktischer Ereignisse sowie die halbautomatische Videoannotation^1,4,33,36. Zukünftige Arbeiten sollten sich auf eine verbesserte Wiedererkennung außerhalb der Sicht, die Handhabung von Hintergrundstörungen, die Aggregation zeitlicher Merkmale sowie eine robustere Erkennung von Spielernummern bei starker Unschärfe oder Verdeckung konzentrieren^14,19,34,46.

Zusammenfassend ist JerseyTrack eine Sport-MOT-Methode, die eine Verknüpfung unter Berücksichtigung der Zuverlässigkeit mit einer semantischen Fusion von Trikotinformationen kombiniert. Die Methode unterteilt Detektionen in Gruppen mit hoher, mittlerer und niedriger Zuverlässigkeit und wendet unterschiedliche Verknüpfungsregeln entsprechend der Detektionszuverlässigkeit an, wobei Trikotfarbe und Spielernummern als zusätzliche Identitätsmerkmale während der Verknüpfung mittlerer Zuverlässigkeit und der Trajektorienrekonstruktion genutzt werden. Im bewerteten SportsMOT-Validierungsszenario zeigte JerseyTrack eine verbesserte Verfolgungsgenauigkeit und bessere Erhaltung der Identitäten im Vergleich zu den evaluierten Baseline-Konfigurationen. Die Ablationsstudien ergaben, dass die vollständige Konfiguration im Vergleich zur Baseline und zu Varianten mit nur einem Modul weniger Identitätswechsel aufwies, und der Benchmark-Vergleich zeigte höhere Werte bei den primären Verfolgungsmetriken unter gemeinsamer Nutzung der Detektor-Ausgaben und Evaluierungskonfiguration. Diese Ergebnisse untermauern die Verwendung von Zuverlässigkeitsgraden und trikotspezifischen semantischen Hinweisen zur Verfolgung von Athleten in Videos von Mannschaftssportarten, insbesondere dann, wenn Trikotbereiche sichtbar sind und Teamfarben oder Spielernummern zusätzliche Identitätshinweise liefern^20,35,46. Die Behebung der identifizierten Einschränkungen könnte die Anwendbarkeit des vorgeschlagenen Workflows auf anspruchsvollere Szenarien der Sportverfolgung weiter verbessern.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
CUDA-Laufzeitumgebung	NVIDIA	Version 12.8	GPU-Rechenlaufzeitumgebung, die für das Training des Detektors, die semantische Merkmalsextraktion und die Verfolgungsinferenz verwendet wird.
EasyOCR	Jaided AI	Version 1.7.2	Optische Zeichenerkennungstoolbox, die zur Erkennung von Spielernummern verwendet wird.
JerseyTrack-Quellcode	Autoren	N/V	Benutzerdefinierte Implementierung, die die Datenaufbereitung, semantische Merkmalsextraktion, Konfidenzpartitionierung, Verfolgung, Nachbearbeitung und Bewertungsskripte enthält. Verfügbar unter: https://doi.org/10.5281/zenodo.21274352
Leichtgewichtiger CRNN-OCR-Modell	Autoren	N/V	Benutzerdefiniertes faltendes rekurrentes neuronales Netzwerk (CRNN), das zur Erkennung von Spielernummern verwendet wird.
MOT17-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT17/
MOT20-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT20/
motmetrics	motmetrics-Entwickler	Version 1.4.0	Bibliothek zur Berechnung diagnostischer Metriken für die Mehrfachobjektverfolgung.
NVIDIA-GPU	NVIDIA	GeForce RTX 5090 D V2	Graphikverarbeitungseinheit, die für das Training des Detektors und die Verfolgungsinferenz verwendet wird.
NVIDIA-GPU-Treiber	NVIDIA	Version 610.62	GPU-Treiber, der in der experimentellen Umgebung verwendet wird.
NumPy	NumPy-Entwickler	Version 2.4.4	Numerische Rechenbibliothek, die für die Merkmalsverarbeitung und Datenverwaltung verwendet wird.
OpenCV	OpenCV	Version 4.10.0	Bibliothek für maschinelles Sehen, die zum Laden, Zuschneiden, Vorverarbeiten und Visualisieren von Bildern verwendet wird.
Python	Python Software Foundation	Version 3.12.2	Programmiersprache, die im gesamten Workflow verwendet wird.
PyTorch	PyTorch Foundation	Version 2.11.0+cu128	Tiefenlern-Framework, das für die Implementierung des Detektors und des semantischen Modells verwendet wird.
scikit-learn	scikit-learn-Entwickler	Version 1.9.0	Machine-Learning-Bibliothek, die für das K-Means-Clustering während der Trikotfarben-Extraktion und Konfidenzpartitionierung verwendet wird.
SoccerNet-Verfolgungsdatensatz	SoccerNet	N/V	Öffentlicher Fußball-Verfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://www.soccer-net.org/tasks/tracking
SportsMOT-Datensatz	SportsMOT-Benchmark	N/V	Primärer Benchmark-Datensatz, der für die Detektorvorbereitung und Verfolgungsbewertung verwendet wird. Verfügbar unter: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack-Datensatz	TeamTrack-Benchmark	N/V	Öffentlicher Sportverfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://atomscott.github.io/TeamTrack/
Torchvision	PyTorch Foundation	Version 0.26.0+cu128	Bibliothek für maschinelles Sehen, die zusammen mit PyTorch für Bildtransformationen und Modellunterstützung verwendet wird.
TrackEval	TrackEval-Entwickler	Version 1.3.0	Bewertungstoolkit zur Berechnung der Genauigkeit der Mehrfachobjektverfolgung (MOTA), des ID-F1-Scores (IDF1), der höhergradigen Verfolgungsgenauigkeit (HOTA), der Detektionsgenauigkeit (DetA), der Assoziationsgenauigkeit (AssA), falsch positiver (FP), falsch negativer (FN) und Identitätswechsel (IDs).
Ultralytics	Ultralytics	Version 8.4.90	Objekterkennungs-Framework, das zum Training des Detektors und zur Generierung von Athletenerkennungen verwendet wird.