Een door betrouwbaarheid geleide methode voor multi-object tracking in sportvideo's middels jersey semantische fusie

Samenvatting

Dit protocol beschrijft een door betrouwbaarheid gestuurde workflow voor multi-object tracking in sportvideo's, die informatie over shirtkleuren en spelersnummers integreert om de trajectassociatie en identiteitsconsistentie te verbeteren bij schommelingen in de betrouwbaarheid, occlusie en visueel gelijkaardige verschijningsvormen van atleten.

Samenvatting

Multi-Object Tracking (MOT) in sportvideo's levert trajectinformatie voor tactische analyse, interpretatie van spelersgedrag en geautomatiseerde statistische analyse. Sportscenario's gaan echter vaak gepaard met snelle richtingsveranderingen, abrupte stops, frequente occlusie en visueel gelijkaardige teamgenoten, wat resulteert in fluctuaties in de detectiebetrouwbaarheid en identiteitsverwarring tijdens de associatie tussen frames. Om deze uitdagingen aan te pakken, presenteert deze studie JerseyTrack, een door betrouwbaarheid geleide sports MOT-methode gebaseerd op jersey-semantische fusie. De workflow verdeelt detectiekaders adaptief in intervallen met een hoge, gemiddelde en lage betrouwbaarheid op basis van de betrouwbaarheidsverdeling van elk frame. Detecties met een hoge betrouwbaarheid worden primair geassocieerd op basis van bewegingsgelijkenis, terwijl detecties met een gemiddelde en lage betrouwbaarheid aanvullend gebruikmaken van kenmerken van shirtkleur en spelersnummer, geëxtraheerd via kleurclustering en een lichtgewicht Optical Character Recognition (OCR)-model. Deze semantische kenmerken worden tijdens aanvullende matching gefuseerd met bewegingsinformatie om de continuïteit van trajecten en de consistentie van identiteiten te verbeteren. De methode werd geëvalueerd op de SportsMOT-dataset. JerseyTrack behaalde een Multiple Object Tracking Accuracy (MOTA) van 88,9%, een IDentity F1 Score (IDF1) van 74,3% en een Higher Order Tracking Accuracy (HOTA) van 69,9%, wat wijst op verbeterde trackingprestaties binnen de geëvalueerde sporttracking-setting. Dit protocol biedt een reproduceerbare workflow voor de integratie van door betrouwbaarheid geleide associatie met jersey-semantische informatie om multi-object tracking in sportvideo's te verbeteren.

Inleiding

Multi-object tracking (MOT) maakt continue objectlokalisatie en identiteitsbehoud in videosequenties mogelijk en ondersteunt de extractie van atleettrajecten, tactische analyse en geautomatiseerde statistische analyse in sportvideo-applicaties^1,2,3. Betrouwbare visuele informatie is bovendien gerelateerd aan sportspecifieke besluitvorming en prestatiebeoordeling in de sportwetenschap, wat de waarde van stabiele, uit video afgeleide bewegingsgegevens voor downstream sportanalyse verder benadrukt⁴. In sportscenario's hangt de betrouwbaarheid van tactische gegevens af van de continuïteit van de trackingtrajecten en de consistentie van de doelidentiteiten.

In vergelijking met algemene MOT-scenario's bevatten sportvideo's snelle richtingsveranderingen, abrupte stops, sprongen, dichte interacties en frequente occlusie. Deze factoren veroorzaken aanzienlijke schommelingen in de betrouwbaarheid van de detectieboxen en verhogen de frequentie van detecties met een lage betrouwbaarheid, wat de trajectassociatie kan onderbreken^5,6. Uniforme teamshirts verminderen bovendien het onderscheidend vermogen van algemene kenmerken van het uiterlijk en verhogen de identiteitsverwarring tussen visueel vergelijkbare teamgenoten^7,8. Wanneer occlusie en gelijkenis in uiterlijk in dezelfde sequentie voorkomen, neemt de detectiebetrouwbaarheid af en wordt de informatie over het uiterlijk van het doelwit onvolledig, wat de moeilijkheid van trajectassociatie en identiteitsbehoud vergroot^9,10. In MOT verwijst re-identificatie (Re-ID) naar het proces van het associëren van dezelfde doelwitidentiteit over frames, occlusieperioden of gevallen van herintreding met behulp van identiteitsgerelateerd visueel bewijs. In video's van teamsporten kunnen algemene Re-ID-aanwijzingen verzwakt zijn, omdat atleten van hetzelfde team vaak vergelijkbare uniformen en lichaamsvormen hebben. De review van de technische literatuur geeft aan dat trajectfragmentatie en identiteitsverwarring in sports MOT gewoonlijk worden aangepakt via twee complementaire benaderingen: het benutten van detectiebetrouwbaarheid en het verbeteren van identiteitsaanwijzingen. JerseyTrack bevindt zich op het snijvlak van deze benaderingen door het gebruik van semantische shirtaanwijzingen te reguleren op basis van de detectiekwaliteit, in plaats van kleur- en spelersnummerinformatie uniform toe te passen op alle detecties.

Deze studie presenteert JerseyTrack, een op betrouwbaarheid gestuurde MOT-methode voor sport, gebaseerd op jersey-semantische fusie. De methode is ontworpen voor videos van teamsporten waarin atleten zichtbare tenues dragen en detectieresultaten bounding boxes met betrouwbaarheidsscores opleveren. JerseyTrack combineert vier hoofdonderdelen: atletendetectie, partitionering op betrouwbaarheidsniveau, extractie van jersey-semantische kenmerken en gecascadeerde inter-frame associatie. De detectiebetrouwbaarheid wordt gebruikt om detecties adaptief te partitioneren in groepen met een hoge, gemiddelde en lage betrouwbaarheid, die worden verwerkt met verschillende associatiestrategieën. Detecties met een hoge betrouwbaarheid worden primair geassocieerd via bewegingsinformatie, terwijl detecties met een gemiddelde en lage betrouwbaarheid aanvullend gebruikmaken van informatie over jerseykleur en spelersnummers om het behoud van de identiteit te verbeteren wanneer het visuele bewijs zwak is. De methode is bedoeld voor taken op het gebied van sportvideoanalyse die stabiele atletentrajecten vereisen, zoals tactische analyse en interpretatie van spelersgedrag.

De voorgestelde aanpak kent ook operationele beperkingen. De semantische extractie van tenues kan worden beïnvloed door ernstige occlusie, bewegingsonscherpte, een lage beeldresolutie, abnormale houdingen van het tenue of onzichtbare spelersnummers. In dergelijke gevallen kunnen tenue-gebaseerde semantische aanwijzingen onvolledig worden, waardoor het associatieproces sterker afhankelijk is van bewegingsconsistentie en verificatie over meerdere frames. Daarom zijn de prestatieclaims in deze studie beperkt tot de geëvalueerde datasets en experimentele instellingen. Experimenten op de SportsMOT-dataset tonen aan dat JerseyTrack de geëvalueerde trackingmetrics verbetert en het aantal identity-switching-gebeurtenissen vermindert onder de geteste sporttrackingcondities. De belangrijkste moeilijkheid van MOT in sportvideo's ligt in het behouden van trajectcontinuïteit en identiteitsconsistentie bij snelle bewegingen, occlusie en gelijkenis in uiterlijk. Bestaande studies die relevant zijn voor JerseyTrack kunnen breed worden gecategoriseerd in twee onderzoeksrichtingen: het gebruik van detectiebetrouwbaarheid voor trajectassociatie en de verbetering van identiteitsaanwijzingen via sportspecifieke semantische kenmerken.

Detectiebetrouwbaarheid (detection confidence) wordt op grote schaal gebruikt om de betrouwbaarheid van detectiekaders te schatten en om trajectassociatie in MOT te sturen. Vroege trackingmethoden behandelden betrouwbaarheid gewoonlijk als een binair filtercriterium, waarbij detecties onder een vaste drempelwaarde werden verwijderd om fout-positieven te verminderen^11,12. Deze strategie vermindert ruisachtige detecties, maar kan ook ware doelwitten weggooien bij occlusie, snelle beweging of een lage beeldkwaliteit, wat leidt tot trajectfragmentatie^13,14,15. Vergelijkbare filterstrategieën hebben ook aangetoond dat vaste betrouwbaarheidsdrempels gevoelig zijn voor scènevariaties en detectiekwaliteit^16,17. Om het gebruik van detecties met een lage betrouwbaarheid te verbeteren, introduceerde ByteTrack een associatiestrategie die kaders met een lage betrouwbaarheid behoudt als kandidaat-doelwitten voor secundaire matching en deze koppelt aan bestaande trajecten via bewegingsgelijkenis en trajectgeschiedenis¹⁸. McByte breidt de associatie bij sport-MOT verder uit door temporeel gepropageerde segmentatiemaskers als associatie-aanwijzing te integreren, wat de robuustheid bij snelle bewegingen, occlusie en cameraverschuivingen verbetert zonder aanvullende training per video¹⁹. Gerelateerde studies hebben het gebruik van detecties met een lage betrouwbaarheid eveneens aangepast om zwakke, maar potentieel geldige doelwitten tijdens de associatie te behouden^20,21,22. Betrouwbaarheidsadaptieve associatiestrategieën hebben vervolgens de matchingcriteria verfijnd op basis van bewegingsconsistentie en detectiebetrouwbaarheid^23,24,25. Trajectverfijningsmethoden gebaseerd op detectiekader-regressie en optimalisatie van trajectgladheid zijn ook gebruikt om trajectfragmentatie te verminderen^26,27,28. Aanvullende verfijningsstrategieën bieden complementaire ondersteuning voor het handhaven van de trajectcontinuïteit onder complexe bewegingsomstandigheden²⁹. Temporeel coherente objectflow modelleert bovendien de temporele consistentie op objectniveau over frames heen, wat een andere associatiegerichte benadering biedt voor het verminderen van trajectonderbrekingen in complexe MOT-scenario's³⁰. Tracker-fusiemethoden leren daarnaast van de outputs van meerdere trackers en gebruiken selectie- of fusiestrategieën op basis van learners om de trackingrobuustheid over verschillende MOT-benchmarks te verbeteren³¹. Gezamenlijk wijzen deze studies erop dat betrouwbaarheidsbewuste associatie helpt bij het herstellen van onderbroken trajecten; echter, betrouwbaarheids- en bewegingsaanwijzingen bieden beperkte identiteitsinformatie wanneer spelers van hetzelfde team een vergelijkbaar visueel uiterlijk hebben. Hoewel deze methoden trajectfragmentatie in algemene scenario's effectief verlichten, kennen ze inherente beperkingen in sportomgevingen omdat spelers in hetzelfde team vaak een zeer gelijkaardig visueel uiterlijk hebben, en het uitsluitend vertrouwen op betrouwbaarheids- en bewegingsinformatie geen voldoende basis biedt voor identiteitsdifferentiatie^32,33,34. Zelfs wanneer kaders met een lage betrouwbaarheid effectief worden teruggehaald, kan kenmerkgelijkenis nog steeds leiden tot identiteitswisseling, waardoor het moeilijk is om aan de strikte eisen voor identiteitsconsistentie bij sportanalyse te voldoen.

Sportspecifieke identiteitskenmerken zijn ook gebruikt om de identiteitsdiscriminatie bij het volgen van atleten te verbeteren. Semantische informatie van het tenue, zoals teamkleur en spelersnummer, biedt identiteitskenmerken die directer gerelateerd zijn aan sportsituaties dan algemene representaties van het uiterlijk^35,36,37. Tenuekleur is gebruikt om discriminatie op teamniveau te ondersteunen en verwarring tussen teams te verminderen, terwijl herkenning van het spelersnummer een nauwkeuriger identiteitskenmerk biedt wanneer het nummergebied zichtbaar en leesbaar is^38,39. Bestaande studies naar sporttracking hebben domeinspecifieke visuele kenmerken en herkenning van de tenuekleur geïntegreerd om de associatie van spelers onder drukke sportomstandigheden te verbeteren^40,41. Gerelateerd werk over de herkenning van tenuenummers en synthetische nummergegevens ondersteunt verder de identiteitsmodellering onder omstandigheden met een lage resolutie of gedeeltelijke occlusie^42,43. Deze studies geven aan dat tenue-semantiek de identiteitsrepresentatie in sports MOT kan versterken. De meeste semantisch verbeterde trackingmethoden modelleren echter de relatie tussen de detectiebetrouwbaarheid en de kwaliteit van de semantische kenmerken onvoldoende. Detecties met een hoge betrouwbaarheid bevatten mogelijk al betrouwbare ruimtelijke informatie en informatie over het uiterlijk, waardoor herhaalde semantische extractie minder efficiënt is. Detecties met een lage betrouwbaarheid lijden vaak onder occlusie, onscherpte, afsnijding of een lage resolutie, wat de betrouwbaarheid van kleur- en spelersnummerkenmerken vermindert. Deze beperking motiveert een betrouwbaarheidsgestuurd associatie-ontwerp waarin tenue-semantiek wordt geïntroduceerd op basis van de detectiekwaliteit, in plaats van uniform op alle detecties te worden toegepast. De beoordeelde studies tonen aan dat betrouwbaarheidsbewuste associatie en tenue-semantische modellering verschillende aspecten van sports MOT adresseren. Strategieën op basis van betrouwbaarheid bepalen voornamelijk of een detectie moet deelnemen aan de associatie en hoe deze moet worden gekoppeld aan bestaande trajecten, terwijl tenue-semantische strategieën primair de identiteitsrepresentatie verbeteren via sportspecifieke kenmerken. Deze twee mechanismen zijn echter vaak ontworpen als afzonderlijke componenten. Hierdoor worden semantische kenmerken niet altijd aangepast aan de detectiekwaliteit, en reguleren betrouwbaarheidsniveaus het gebruik van kleur- en spelersnummerinformatie tijdens de associatie niet direct. Deze scheiding beperkt de gezamenlijke aanpak van trajectfragmentatie en identiteitsverwarring in video's van teamsporten. De resterende onderzoekskloof ligt in het koppelen van de kwaliteitsbeoordeling van de detectiebetrouwbaarheid aan de tenue-semantische associatie binnen dezelfde tracking-workflow.

Protocol

Deze studie omvatte een secundaire analyse van publiek beschikbare benchmark-videodatasets, namelijk SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 en MOT20. Er zijn geen deelnemers geworven, er is geen interventie uitgevoerd en er zijn geen nieuwe data van menselijke proefpersonen verzameld. Goedkeuring van een ethische commissie was voor deze studie niet vereist volgens de toepasselijke institutionele vereisten van de Bangkok Thonburi University.

Het volgende protocol beschrijft de workflow die is gebruikt om JerseyTrack te reproduceren, van de datapreparatie tot de evaluatie van de tracking. De workflow omvat de voorbereiding van de dataset, de voorbereiding van de detector, semantische extractie van shirts, partitionering op basis van betrouwbaarheidsniveau, betrouwbaarheidsgestuurde associatie, tracking-inferentie en prestatie-evaluatie, zoals samengevat in Figuur 1. De benodigde software, datasets en hardwarebronnen staan vermeld in de Tabel met Materialen.

Figuur 1. Algemene workflow van de JerseyTrack-methode. De workflow bestaat uit de extractie van semantische kenmerken van het shirt, initiële objectmatching, betrouwbaarheidsgestuurde aanvullende matching en kenmerkfusie. Teamkleur- en spelersnummerkenmerken worden geëxtraheerd uit gedetecteerde regio's van atleten en geïntegreerd in het associatieproces om de trajectmatching onder onzekere detectieomstandigheden te verbeteren. Klik hier om een grotere versie van deze figuur te bekijken.

1. Bereid de datasets en de mappenstructuur voor

1. Download de openbare benchmark-datasets die zijn vermeld in de Tabel met Materialen. Gebruik SportsMOT als de primaire dataset voor de voorbereiding van de detector en de evaluatie van het volgen (tracking). Bewaar TeamTrack, SoccerNet Tracking, MOT17 en MOT20 voor cross-dataset evaluatie.
2. Sla alle datasets op in één centrale projectmap. Zorg ervoor dat de detector, de module voor semantische extractie, de trackingmodule en de evaluatietoolkit identieke sequentie-identificatoren gebruiken.
3. Converteer de officiële SportsMOT-annotaties naar het detector-trainingsformaat met behulp van het script voor datavoorbereiding dat in deze studie is gebruikt. Voer het volgende commando uit:
   ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
4. Het script voor datavoorbereiding (scripts/prepare_data.py) is beschikbaar in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). De vereiste softwareafhankelijkheden zijn gespecificeerd in environment.yml, waaronder Python 3.12, PyTorch 2.11.0 en OpenCV 4.10 of later. Configureer de softwareomgeving met het volgende commando: conda env create -f environment.yml. Voer het script voor datavoorbereiding uit met het volgende commando: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
5. Verifieer of de conversie het configuratiebestand voor de detector-training genereert: data\processed\SportsMOT_yolo\data.yaml en het conversiemanifest: data\processed\SportsMOT_yolo\conversion_manifest.csv.
   OPMERKING: In deze studie bevatte de geconverteerde SportsMOT trainings- en validatiedataset 90 sequenties, 55.544 frames en 608.152 geannoteerde objecten.
6. Inspecteer representatieve sequenties om te verifiëren dat de volgorde van de frames, de coördinaten van de bounding boxes en de identiteitslabels consistent blijven met de originele benchmark-annotaties.
7. Bewaar de geconverteerde annotatiebestanden zonder wijzigingen gedurende de voorbereiding van de detector, de tracking-inferentie en de evaluatie, zodat alle methoden dezelfde datasetpartitie en hetzelfde evaluatieprotocol gebruiken.
   OPMERKING: Het verwachte resultaat van deze sectie is een gestandaardiseerde SportsMOT detector-trainingsmap die de geconverteerde annotaties, het conversiemanifest en de bestanden voor de dataset-splits bevat die nodig zijn voor de voorbereiding van de detector en de evaluatie van het volgen.

2. Detectoroutputs voorbereiden

1. Optimaliseer de objectdetector met behulp van de voorbereide SportsMOT-trainingsset. Optimaliseer de detector met gebruik van het classificatieverlies en het bounding-box regressieverlies zoals gedefinieerd in Vergelijking 1Gebruik de detectoringangsresolutie, batchgrootte, leerstroom (learning rate), het aantal trainingsepochen en andere trainingsparameters zoals gerapporteerd in de implementatie-opstelling en de Tabel van materialen
   L_Determinant = L_{wis scherm} + L_doos   (1)
   Hier, L_{Het is onduidelijk wat u met "det" bedoelt. Kunt u aangeraden de brontekst aanleveren die vertaald moet worden?}  staat voor het totale detectortrapsverlies, L_cls  duidt het classificatieverlies aan, L_doos en geeft het verlies van de bounding-box-regressie aan.
   OPMERKING: Het detector-checkpoint dat werd gebruikt in de primaire experimenten (interne experiment-identificatie e3) is getraind met het Ultralytics YOLO-framework en de SportsMOT YOLO-formaat datasetconfiguratie (data/processed/SportsMOT_yolo/data.yaml). Voer de training van de detector uit met het volgende commando: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Gebruik na de training het resulterende best presterende checkpoint om detector-outputs te genereren voor de validatiesequenties met het volgende commando: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
2. Sla na het trainen het checkpoint van de getrainde detector, het bijbehorende metadata-bestand en het trainingslogbestand op.
   OPMERKING: In deze studie werd het detectorcheckpoint dat is gebruikt voor de formele experimenten opgeslagen als:
   outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. Het bijbehorende metadatabestand werd opgeslagen als: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. De directory voor de detector-output die werd gebruikt voor de belangrijkste SportsMOT-validatie-experimenten was: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
3. Voer de getrainde detector uit op elke validatiesequentie om bounding boxes van atleten en betrouwbaarheidsscores te genereren. Exporteer voor elke sequentie één detectiebestand met daarin de frame-index, de coördinaten van de bounding box, de detectiebetrouwbaarheid en het klasselabel.
   OPMERKING: In de SportsMOT-validatieron die werd gebruikt voor de hoofdexperimenten, genereerde een betrouwheidsdrempel van 0,05 in totaal 343.990 atleetdetecties.
4. Inspecteer de directory met detector-output voordat u overgaat tot tracking-inferentie. Bevestig dat elke sequentie een bijbehorend detectiebestand heeft, dat de frame-indexen overeenkomen met de voorbereide beeldsequentie en dat elk detectierecord een betrouwbaarheidsscore bevat.
   OPMERKING: Het verwachte resultaat van deze sectie is een volledige directory met detector-output die dient als input voor de semantische extractie van wedstrijdshirts, partitionering op basis van betrouwbaarheidsniveau en trackingassociatie.

3. Semantische kenmerken van het shirt extraheren

1. Gebruik de bestanden met de detector-output om atleetregio's uit elk videoframe bij te snijden. Sla elke bijgesneden atleetafbeelding op met de bijbehorende sequentie-identificatie, frame-index en detectie-index. Sluit ongeldige uitsneden uit met ontbrekende beeldinhoud of bounding boxes die buiten de beeldrand vallen. Behoud de koppeling tussen elke bestandsnaam van de uitsnede en het oorspronkelijke detectierecord, zodat de geëxtraheerde semantische kenmerken kunnen worden gekoppeld aan de overeenkomstige detectie tijdens de tracking-associatie.
2. Extraheer kenmerken van de shirtkleur uit de bijgesneden atleetafbeeldingen met behulp van het script voor semantische extractie dat in deze studie is gebruikt.
   OPMERKING: De scripts voor semantische kenmerkextractie (scripts/extract_fast_color_semantics.py en scripts/formal_extract_semantics.py) zijn beschikbaar in de broncode-repository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist; alle runtime-parameters worden via de opdrachtregelargumenten meegegeven.
   Genereer shirtkleur-descriptoren met het volgende commando: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. Genereer semantische kenmerken voor spelersnummers met het OCR-model via het volgende commando: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. De gegenereerde shirtkleur-descriptoren en de outputs voor de waarschijnlijkheid van het spelersnummer worden gekoppeld via de sequentie-identificatie en samengevoegd in de bestanden met semantische kenmerken die worden gebruikt tijdens de tracking-associatie.
3. Converteer elke bijgesneden atleetafbeelding naar de Hue, Saturation, Value (HSV) kleurruimte. Extraheer voorgrondpixels uit de shirtregio en vat de dominante shirtkleur samen met behulp van K-means clustering met K = 3. Normaliseer de resulterende kleurdescriptor met L2-normalisatie vóór de kenmerkvergelijking.
4. Train de tak voor spelersnummerherkenning met bijgesneden atleetafbeeldingen met een invoerformaat van 128 × 64 pixels. Genereer pseudo-labels voor spelersnummers met de zwak gesuperviseerde labelprocedure die in deze studie is toegepast. Sluit uitsnedes met onzichtbare, onleesbare, ernstig occludeerde of onbetrouwbare regio's voor spelersnummers uit van de berekening van het Optical Character Recognition (OCR) verlies.
5. Optimaliseer de OCR-tak met behulp van het cross-entropy verlies zoals gedefinieerd in Vergelijking 2.
   (2)
   Hierbij geeft L_ocr het OCR-verlies aan, geeft y_i het gesuperviseerde label van het spelersnummer aan, en geeft de voorspelde categorie van het spelersnummer aan.
6. Optimaliseer de module voor semantische kenmerkextractie met de adaptieve optimizer, leercurve, batchgrootte, weight decay en trainingsduur zoals vermeld in de Tabel met Materialen. Combineer het detector-verlies en het OCR-verlies met behulp van het totale trainingsdoel gedefinieerd in Vergelijking 3.
   L_total = L_det + γL_ocr   (3)
   Hierbij geeft L_total het totale trainingsverlies aan, geeft L_det het detector-verlies aan zoals gedefinieerd in Vergelijking 1, geeft L_ocr het OCR-verlies aan zoals gedefinieerd in Vergelijking 2, en geeft γ de door de gebruiker gedefinieerde wegingscoëfficiënt voor het OCR-verlies aan.
7. Pas de getrainde OCR-tak toe op elke bijgesneden atleetafbeelding. Sla de voorspelde categorie van het spelersnummer of de waarschijnlijkheidsvector voor elke uitsnede op. Als het spelersnummer niet zichtbaar is of als de OCR-betrouwbaarheid onder de drempelwaarde ligt die in de implementatie is gedefinieerd, registreer het kenmerk van het spelersnummer dan als niet beschikbaar in plaats van een voorspelling af te dwingen.
8. Voeg de shirtkleur-descriptor en de output van het spelersnummer samen in het bestand met semantische kenmerken dat wordt gebruikt door de tracking-module.
   OPMERKING: In de hoofdvalidatieronde van SportsMOT verwerkte het script voor semantische extractie 343.990 detecties zonder ontbrekende frames of ongeldige uitsnedes. In het huidige revisiepakket rapporteerde de samenvatting van de semantische extractie een algemene nauwkeurigheid van de kleur- en OCR-semantische extractie van 86,7% onder de geëvalueerde SportsMOT-instelling. Het verwachte resultaat van deze sectie is een bestand met semantische kenmerken waarin elk geldig detectierecord is gekoppeld aan een shirtkleur-descriptor, een output van het spelersnummer indien beschikbaar, en een vlag die aangeeft of semantische informatie beschikbaar is voor tracking-associatie.

4. Betrouwbaarheidsniveaus voor partitiedetectie

1. Laad het bestand met de detector-output voor elke videosequentie. Verzamel de betrouwbaarheidsscores van alle atleet-detecties in elk frame.
2. Partitioneer de betrouwbaarheidsscores op frameniveau in intervallen met een hoge, gemiddelde en lage betrouwbaarheid met behulp van K-means clustering met K = 3, volgens de betrouwbaarheidsgestuurde associatieworkflow zoals getoond in Figuur 2. Bepaal de adaptieve betrouwheidsdrempels door de variantie binnen de clusters te minimaliseren volgens Vergelijking 4.
     (4)
   Hierbij geeft s_d de betrouwbaarheidsscore van detectie d aan; D₁, D₂ en D₃ staan respectievelijk voor de intervallen met hoge, gemiddelde en lage betrouwbaarheid; μ₁, μ₂ en μ₃ geven de gemiddelde betrouwbaarheidsscores van de drie intervallen aan; en τ₁ en τ₂ geven de adaptieve betrouwheidsdrempels aan die zijn verkregen uit de K-means clusteringresultaten.
   OPMERKING: Het script voor betrouwbaarheidspartitionering (scripts/formal_partition_confidence.py) is beschikbaar in de JerseyTrack broncode-repository (https://doi.org/10.5281/zenodo.21274352). De module voor betrouwbaarheidspartitionering maakt gebruik van een NumPy-gebaseerde eendimensionale K-means clusteringprocedure met K = 3. Er is geen apart configuratiebestand vereist; de invoermap, uitvoermap en clusteringparameter worden opgegeven via de opdrachtregelargumenten. Voer de betrouwbaarheidspartitioneringsprocedure uit met het volgende commando: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. De vereiste softwareafhankelijkheden, inclusief de NumPy-versie, zijn gespecificeerd in environment.yml.
3. Voer de betrouwbaarheidspartitioneringsprocedure uit met de directorie van de detector-output als invoer.
   OPMERKING: In deze studie was de detector-output directorie: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. De uitvoerdirectorie voor de betrouwbaarheidspartitionering was: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. De gegenereerde outputbestanden bevatten de CSV-bestanden van de betrouwbaarheid per sequentie, _confidence_frame_summary.csv en _confidence_runtime.csv.
4. Wijs een label voor het betrouwbaarheidsniveau toe aan elke detectie. Label detecties met een hoge betrouwbaarheid voor bewegingsgebaseerde associatie, detecties met een gemiddelde betrouwbaarheid voor bewegings-semantische associatie en detecties met een lage betrouwbaarheid uitsluitend voor trajectherstel. Bewaar de oorspronkelijke betrouwbaarheidsscore samen met het toegewezen label voor het betrouwbaarheidsniveau.
5. Inspecteer de distributies van de betrouwbaarheidsscores en de representatieve frames, zoals geïllustreerd in Figuur 3. Verifieer dat detecties met een hoge betrouwbaarheid hoofdzakelijk overeenkomen met volledige en betrouwbare bounding boxes van atleten, terwijl detecties met een gemiddelde en lage betrouwbaarheid voornamelijk gedeeltelijke, occludeerde, vervaagde of zwakke detecties bevatten.
   OPMERKING: Het verwachte resultaat van deze sectie is een betrouwbaarheidspartitiebestand met daarin de detectie-index, de oorspronkelijke betrouwbaarheidsscore, het toegewezen betrouwbaarheidsniveau en de adaptieve betrouwheidsdrempels op frameniveau voor elke detectie.

Figuur 2. Betrouwingsgestuurde associatiestrategie. De workflow verdeelt de detectiebetrouwbaarheid in intervallen met een hoge, gemiddelde en lage betrouwbaarheid middels adaptieve betrouwbaarheidsclustering. Detecties met een hoge betrouwbaarheid worden geassocieerd op basis van bewegingsgelijkenis, detecties met een gemiddelde betrouwbaarheid worden geassocieerd op basis van een combinatie van bewegings- en tenue-semantische gelijkenis, en detecties met een lage betrouwbaarheid worden gebruikt voor semantisch ondersteund trajectherstel met verificatie over meerdere frames. Het rechterpaneel vat de wiskundige formulering samen die wordt gebruikt voor de betrouwbaarheidsverdeling en associatie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3. Verdeling van de betrouwbaarheidsscores voor detectie. Het histogram toont het aantal detectiekaders van atleten binnen vijf betrouwbaarheidsintervallen voor voetbal-, basketbal- en volleyballsequenties in de SportsMOT-dataset. De verdeling illustreert de verschillen in de betrouwbaarheid van de detector over de geëvalueerde sportcategorieën. Klik hier om een grotere versie van deze figuur te bekijken.

5. Voer betrouwbaarheidsgestuurde associatie uit

1. Laad het detector-outputbestand, het bestand met semantische kenmerken en het confidence-partition-bestand voor elke videosequentie. Initialiseer de tracker met behulp van de eerste geldige detecties en houd één trajectstatus bij voor elke gevolgde atleet. Voorspel voor elk volgend frame de positie van elk bestaand traject met behulp van het bewegingsmodel van het Kalman-filter.
2. Bereken de bewegingsgelijkenis tussen elke voorspelde trajectorie en kandidaatdetectie met behulp van de Mahalanobis-afstand zoals gedefinieerd in Vergelijking 5.
     (5)
   Hier, duidt op de I-ste traject in frame k, staat voor de door Kalman voorspelde trajecttoestand, d_j duidt de detectie van de kandidaat aan, staat voor de inverse covariantiematrix van de voorspelde trajecttoestand, en S_mot staat voor de bewegingsafstand tussen de voorspelde baan en de detectie.
   OPMERKING: De kernworkflow voor associatie is geïmplementeerd in jerseytrack/formal_tracker.py en wordt uitgevoerd via scripts/formal_track.py, welke beide beschikbaar zijn in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist. Alle runtime-parameters, inclusief de betrouwbaarheidsdrempels, de maximale trackleeftijd, de bewegingswegingscoëfficiënten en de weging van de centrumafstand, worden via opdrachtregelargumenten opgegeven. Het volledige uitvoeringscommando en de parameterinstellingen worden vermeld in stap 6.2. De implementatie maakt gebruik van het algoritme voor lineaire somtoewijzing van SciPy voor Hongaarse matching en NumPy voor kostengebaseerde associatie.
3. Voer de tracking-workflow uit met het detector-outputbestand, het bestand met semantische kenmerken en het confidence-partitionbestand als inputs.
   OPMERKING: In deze studie werd de core tracker geïmplementeerd in jerseytrack\formal_tracker.py, en werd de tracking-workflow uitgevoerd met behulp van scripts\formal_track.py.
4. Koppel detecties met een hoge betrouwbaarheid aan bestaande trajecten met behulp van bewegingsconsistentie. Werk gematchte trajecten bij en initialiseer nieuwe trajecten alleen wanneer niet-gematchte detecties met een hoge betrouwbaarheid voldoen aan de criteria voor trajectinitialisatie.
5. Inspecteer de resultaten van de semantische extractie van de jerseys, zoals geïllustreerd in Figuur 4en stel de semantische kenmerkvector van het shirt voor elke detectie samen door de teamkleurdescriptor en het spelersnummerkenmerk te combineren volgens Vergelijking 6.
   f_{SEM (scanningelektronenmicroscopie)} Het lijkt erop dat de brontekst onvolledig is. Voer a.u.b. de volledige tekst in die u vertaald wilt hebben._kolom;f_id] (6)
   Hier, f_SEM staat voor de gefuseerde semantische kenmerkvector, f_kolom staat voor de teamkleur-beschrijving, en f_id duidt de kenmerk van het spelersnummer aan dat door de OCR-branch is gegenereerd.
6. Koppel detecties met een gemiddeld betrouwbaarheidsniveau door bewegingsgelijkenis te combineren met semantische gelijkenis van het shirt. Bereken de gefuseerde matchingscore volgens Vergelijking 7.
   (7)
   Hier, S_{SEM (scanningelektronenmicroscopie)} duidt de cosinusgelijkenis aan tussen de semantische kenmerkvectoren van de trajectorie en de kandidaatdetectie, S_mot duidt de bewegingsafstand aan die is gedefinieerd in Vergelijking 5, en λ geeft de adaptieve fusiecoëfficiënt aan die de termen voor bewegings- en semantische gelijkenis in evenwicht brengt.
7. Bereken de adaptieve fusiecoëfficiënt volgens Vergelijking 8.
   (8)
   Hier, λ₀ staat voor de initiële bewegingsgewichtcoëfficiënt, σ_sd duidt de standaarddeviatie van de detectiebetrouwbaarheidsscores in het huidige frame aan, en σ_max Geeft de maximale standaarddeviatie van de betrouwbaarheidsscore aan die wordt gebruikt voor normalisatie.
8. Gebruik detecties met een lage betrouwbaarheid uitsluitend voor het herstel van trajecten. Koppel detecties met een lage betrouwbaarheid alleen aan onderbroken trajecten wanneer semantische informatie beschikbaar is en aan de herstelcriteria is voldaan. Pas multi-frame verificatie toe voordat een trajectidentiteit wordt hersteld, en verwerp detecties die de verificatie niet doorstaan.
   OPMERKING: Wanneer de functie voor spelersnummers niet beschikbaar is, dient de associatie te worden uitgevoerd op basis van de beschikbare semantische informatie en bewegingsconsistentie, in plaats van een match op basis van spelersnummers af te dwingen. Het verwachte resultaat van dit onderdeel is een frame-voor-frame trackingrecord met daarin trajectidentiteiten, bounding boxes, labels voor betrouwbaarheidsniveaus, bewegingskosten, semantische informatie en definitieve associatiebeslissingen. In het bewijspakket van de revisie waren de trackingresultaten opgeslagen onder: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

Figuur 4. Semantische kenmerkextractie van tenues. Representatieve detecties van atleten zijn geannoteerd met de geëxtraheerde teamkleur-descriptoren en spelernummerinformatie die zijn gegenereerd door de module voor semantische extractie van tenues. De geëxtraheerde semantische kenmerken worden vervolgens opgenomen in de betrouwbaarheidsgestuurde data-associatie. Klik hier om een grotere versie van deze figuur te bekijken.

6. Voer tracking-inferentie uit en exporteer de resultaten

1. Voer de tracking-inferentie uit voor elke videosequentie met behulp van de voorbereide detector-outputbestanden, semantic-feature-bestanden en confidence-partition-bestanden. Verwerk de videoframes in chronologische volgorde, zodat trajecttoestanden, semantische geschiedenis en beslissingen voor trajectherstel consistent gedurende de sequentie worden bijgewerkt. Gebruik dezelfde inferentieconfiguratie voor alle geëvalueerde sequenties, tenzij een dataset-specifieke instelling expliciet wordt vermeld.
   OPMERKING: De tracking-inferentie werd uitgevoerd met scripts/formal_track.py, dat beschikbaar is in de JerseyTrack source code repository (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist. Voer de tracking-inferentie uit met het volgende commando: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Alle niet-gespecificeerde parameters behielden de standaardwaarden die in de gearchiveerde broncode zijn opgenomen.
2. Pas na de inferentie de primaire post-processing-sequentie toe met de volgende commando's: python scripts/merge_tracklets.py en python scripts/sweep_track_filter.py --min-len 95.
3. Exporteer de tracking-resultaten in het formaat dat vereist is door de evaluatietoolkit. Voeg de frame-index, de trajectidentiteit, de bounding-box-coördinaten en alle velden toe die vereist zijn door het benchmark-evaluatieformaat. Sla voor elke sequentie één tracking-resultaatbestand op met een consistente bestandnaamconventie, zodat elk resultaatbestand kan worden gekoppeld aan het bijbehorende ground-truth-annotatiebestand.
4. Pas uitsluitend de post-processing-operaties toe die in deze studie zijn gebruikt. Voer het samenvoegen van tracklets en het filteren van tracks uit met de post-processing-scripts die worden beschreven in het revisiepakket.
   OPMERKING: In deze studie maakte de post-processing-workflow gebruik van de volgende scripts:
   ⋅ scripts\merge_tracklets.py
   ⋅ scripts\sweep_track_filter.py
   ⋅ scripts\correct_identity_swaps.py
   ⋅ scripts\sweep_identity_swap_correction.py
   ⋅ scripts\interpolate_tracks.py
   ⋅ scripts\sweep_track_interpolation.py
5. Inspecteer de geëxporteerde tracking-resultaten voor de kwantitatieve evaluatie. Bevestig dat de trajectidentiteiten numeriek en consistent blijven binnen elke sequentie, dat er geen frame-indices ontbreken en dat alle bounding boxes binnen de beeldrand blijven.
   OPMERKING: Het verwachte resultaat van deze sectie is een volledige set tracking-resultaatbestanden op sequentieniveau, klaar voor kwantitatieve evaluatie.

7. Evalueer de trackingprestaties

1. Evalueer de geëxporteerde bestanden met trackingresultaten met behulp van de evaluatietoolkit vermeld in de Tabel met materialenKoppel elk trackingresultaatbestand aan het overeenkomstige ground-truth annotatiebestand en de dataset-split. Gebruik voor alle vergeleken methoden dezelfde evaluatieconfiguratie om ervoor te zorgen dat prestatieverschillen voortkomen uit de trackingresultaten en niet uit de evaluatie-instellingen.
2. Voer de evaluatie uit met het volgende commando
   \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
   _ronde1\minlen95 --OUTPUT_MAP outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
   OPMERKING: De evaluatie werd uitgevoerd met behulp van de standaard TrackEval (versie 1.3.0) metriek-implementatie, gearchiveerd in het JerseyTrack reproduceerbaarheidspakket. Er zijn geen wijzigingen aangebracht in de implementaties van de Higher Order Tracking Accuracy (HOTA), CLEAR of Identity metrieken. De repository bevat de uitvoeringwrapper in de stijl van MOTChallenge, te vinden onder evaluation/trackeval/scripts/run_mot_challenge.py, die de dataset- en resultaatpaden configureert en de standaard TrackEval evaluatiemetrieken aanroept.
3. Noteer de in het manuscript gerapporteerde evaluatiemetrieken, waaronder Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), fout-positieven (FPs), fout-negatieven (FNs) en identity-switching events. Exporteer de evaluatiesamenvatting als een tabel en bewaar de evaluatiebestanden per sequentie voor verificatie.
4. Bij het vergelijken van JerseyTrack met basismethoden moeten voor alle methoden dezelfde datasetverdeling, detectoroutputs en evaluatieconfiguratie worden gebruikt. Noteer de dataset, de bron van de detectoroutput, de configuratie van de evaluatietoolkit en de metriekwaarden voor elke vergelijking.
5. Inspecteer de evaluatielogs om te verifiëren dat alle sequenties succesvol zijn geëvalueerd en dat er geen bestanden met trackingresultaten ontbreken.
   OPMERKING: In deze studie werd het primaire TrackEval-samenvattingsbestand opgeslagen onder: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   ronde1\minlengte95\trackeval\JerseyTrack_i960_
   e3_center_motion_minlen95\pedestrian_summary.txt. De verwachte uitkomst van dit onderdeel is een volledige evaluatiesamenvattingstabel, samen met de metriekbestanden per sequentie ter ondersteuning van de gerapporteerde resultaten en de daaropvolgende verificatie.

Resultaten

Deze sectie rapporteert de kwantitatieve en kwalitatieve resultaten die zijn behaald uit de geëvalueerde experimenten voor multi-object tracking in sport. De resultaten richten zich op trackingnauwkeurigheid, behoud van identiteit, associatiekwaliteit en robuustheid onder de geteste datasetinstellingen. Prestatieclaims zijn beperkt tot de geëvalueerde methoden, datasets, detectoroutputs en de configuratie van de evaluatietoolkit zoals beschreven in het Protocol en de Implementatie-opstelling.

Experimentele opstelling en evaluatieontwerp

Dataset en voorbewerking:

SportsMOT werd gebruikt als de primaire benchmark voor de voorbereiding van de detector, tracking-inferentie en kwantitatieve evaluatie. De dataset bevat 240 videosequenties en meer dan 150.000 image frames uit scenario's van voetbal, basketbal en volleybal (Figuur 5). Bij de formele evaluatie werden de belangrijkste SportsMOT-resultaten berekend met behulp van de validatiesplit samen met de detectoruitgangen, de trackingconfiguratie en de TrackEval-instellingen zoals beschreven in het Protocol. Cross-dataset evaluatie werd uitgevoerd op TeamTrack, SoccerNet Tracking, MOT17 en MOT20 om de prestatieoverdracht tussen verschillende dataset-typen te onderzoeken, in plaats van om directe vergelijkingen op metric-niveau tussen datasets te maken.

Figuur 5. Representatieve datasets gebruikt voor evaluatie. Voorbeeldframes illustreren representatieve voetbal-, basketbal- en volleyballsequenties die zijn gebruikt voor de experimentele evaluatie. De figuur benadrukt variaties in camerastandpunt, spelersdichtheid en scenecomplexiteit over de geëvalueerde datasets. Klik hier om een grotere versie van deze figuur te bekijken.

De SportsMOT-gegevens werden georganiseerd volgens de officiële datasetstructuur en omgezet naar het detector-trainingsformaat dat in het Protocol wordt beschreven. De geconverteerde SportsMOT-trainings- en validatiedata bevatten 90 sequenties, 55.544 frames en 608.152 geannoteerde objecten. De trainingspartitie werd gebruikt voor de voorbereiding van de detector en het afstellen van parameters, terwijl de validatiepartitie werd gebruikt voor de formele tracking-evaluatie die in deze studie wordt gerapporteerd. Alle inputframes werden aangepast in grootte volgens de detectorconfiguratie die wordt vermeld in het Protocol en de Tabel met Materialen. Dezelfde preprocessingprocedure werd toegepast tijdens de voorbereiding van de detector, de extractie van semantische kenmerken, de tracking-inferentie en de TrackEval-evaluatie, zodat de gerapporteerde verschillen primair de tracking-associatiestrategie weerspiegelden in plaats van verschillen in de gegevensverwerking.

Evaluatie-indicatoren:

De trackingprestaties werden geëvalueerd met een MOTChallenge-compatibel evaluatieprotocol, geïmplementeerd met de evaluatietoolkit die in de tabel met materialen wordt vermeld. De gerapporteerde metrieken beschrijven drie aspecten van de MOT-prestaties bij sporten: algehele trackingnauwkeurigheid, identiteitsbehoud en de kwaliteit van de detectie-associatie. MOTA, IDF1 en HOTA werden gebruikt als de primaire evaluatiemetrieken^44,45. MOTA vat fout-positieven, fout-negatieven en identiteitswisselingen samen in een score voor de algehele trackingnauwkeurigheid. IDF1 meet de consistentie tussen voorspelde trajecten en ground-truth-identiteiten. HOTA evalueert gezamenlijk de detectienauwkeurigheid en de associatienauwkeurigheid en karakteriseert daarmee de balans tussen doellokalisatie en trajectassociatie. DetA en AssA werden gerapporteerd als aanvullende metrieken. FPs, FNs en Identity Switches (IDs) werden gebruikt om foutbronnen gerelateerd aan foutieve detecties, gemiste detecties en identiteitswijzigingen te karakteriseren. Voor vergelijkingen tussen methoden op SportsMOT werden dezelfde detector-outputs en dezelfde configuratie van de evaluatietoolkit gebruikt om de invloed van detectievariatie en verschillen in de evaluatie-instellingen te verminderen. Voor vergelijkingen tussen datasets werden de metriekwaarden geïnterpreteerd als resultaten van evaluaties binnen de dataset, in plaats van als bewijs voor absolute superioriteit van de prestaties over verschillende datasets heen.

Experimentele omgeving en parameterconfiguratie:

De experimenten werden uitgevoerd met gebruik van de hardware- en softwaremiddelen die zijn vermeld in de Tabel met Materialen. Om consistentie te waarborgen tijdens de detectorvoorbereiding, tracking-inferentie en prestatie-evaluatie, werden gedurende de primaire SportsMOT-experimenten dezelfde computationele omgeving, detectorframework, detectoroutputs en evaluatietoolkit gebruikt. Het in de Tabel met Materialen vermelde detectorframework werd getraind met een batchgrootte van 16, een initiële leercurve van 0,01 en 80 training-epochs. In de module voor semantische extractie van shirts werd voor kleurclustering K-means gebruikt met K = 3, en de OCR-branch maakte gebruik van een lichtgewicht convolutioneel recurrent neuraal netwerk met een invoerformaat van 128 × 64 pixels. De OCR-branch werd geoptimaliseerd met de in de Tabel met Materialen vermelde adaptieve optimizer met een leercurve van 1 × 10⁻³, een weight decay van 1 × 10⁻⁵, een batchgrootte van 64 en 40 training-epochs. Tijdens de training van de module voor semantische kenmerkextractie werd geen aanvullende leercurve-planning gebruikt. De weegcoëfficiënt voor het OCR-verlies (γ) werd behandeld als een door de gebruiker gedefinieerde hyperparameter en geselecteerd op basis van de prestaties van de validatieset. Voor de stratificatie van het betrouwbaarheidsniveau werd adaptieve K-means-partitionering gebruikt, waarbij τ₁ en τ₂ werden berekend op basis van de detectiebetrouwbaarheidsverdeling van elk frame, in plaats van dat deze handmatig voorafgaand aan de inferentie waren gedefinieerd.

Prestaties volgen over verschillende sporten en scenario-complexiteit

Kwantitatieve prestaties onder verschillende sport- en sceneomstandigheden:

De trackingprestaties werden geëvalueerd op basis van twee groeperingsfactoren: sportcategorie en scenekomplexiteit. De analyse van de sportcategorie omvatte sequenties van voetbal, basketbal en volleybal. De analyse van de scenekomplexiteit hield rekening met het occlusieniveau, de bewegingssnelheid en de doeldichtheid, waarbij voor alle geëvalueerde sequenties dezelfde groeperingscriteria werden gebruikt. De gerapporteerde metrieken volgden het evaluatieprotocol zoals beschreven in Protocol Sectie 7. 

Figuur 6 vat de kwantitatieve trackingresultaten samen onder verschillende sportcategorieën en omgevingscomplexiteitscondities. Figuur 6A rapporteert MOTA en DetA over sequenties van voetbal, basketbal en volleybal. Figuur 6B rapporteert de variatie in MOTA onder verschillende niveaus van occlusie, bewegingssnelheid en doeldichtheid. Figuur 6C rapporteert gestapelde FP- en FN-aantallen voor elke dimensie van de omgevingscomplexiteit.

Figuur 6. Trackingprestaties over sportcategorieën en scènecondities. (A) Multiple Object Tracking Accuracy (MOTA) en Detection Accuracy (DetA) voor voetbal, basketbal, volleybal en het algemene gemiddelde. (B) MOTA over representatieve scènecondities met verschillende niveaus van occlusie, spelersdichtheid en bewegingscomplexiteit. (C) Aantallen fout-positieven (FPs) en fout-negatieven (FNs) over de geëvalueerde scènecondities. Klik hier om een grotere versie van deze figuur te bekijken.

Over de drie sportcategorieën behaalde JerseyTrack een gemiddelde MOTA van 88,9% en een gemiddelde DetA van 80,2%. Het verschil in MOTA tussen de sportcategorieën was 1,3 procentpunt, waarbij de hoogste MOTA werd waargenomen voor volleyballsequenties (89,2%) en de laagste voor basketballsequenties (87,9%). De lagere MOTA voor basketballsequenties is consistent met de hogere frequentie van interacties van dichtbij en dichte occlusie in de geëvalueerde sequenties. Onder minder complexe scèneomstandigheden, waaronder lichte occlusie, een lage bewegingssnelheid en een schaarse doelwitdistributie, bereikte de MOTA respectievelijk 91,8%, 93,1% en 93,8%. Onder complexere scèneomstandigheden daalde de MOTA naar 84,9% bij zware occlusie, 83,6% bij hoge bewegingssnelheid en 83,1% bij een dichte doelwitdistributie. Deze resultaten tonen aan dat de trackingprestaties afnamen naarmate de complexiteit van de scène toenam, terwijl ze binnen het gerapporteerde bereik bleven over de geëvalueerde sportsenario's.

Consistentie bijhouden over representatieve sportscenario's:

Figuur 7 toont representatieve tracking-voorbeelden die de temporele consistentie van JerseyTrack illustreren onder drie uitdagende sportsituaties: dichte interacties tussen spelers, langdurige gedeeltelijke occlusie en snelle richtingsveranderingen. In deze representatieve sequenties behield de tracker consistente trajectidentiteiten, ondanks frequent overlappen van atleten en dynamische bewegingen. Identiteitsfragmentatie werd primair waargenomen tijdens ernstige occlusie of wanneer jersey-semantiek tijdelijk niet beschikbaar was; de door betrouwbaarheid gestuurde associatiestrategie maakte echter herstel van het traject mogelijk zodra betrouwbare detecties opnieuw verschenen. Deze representatieve voorbeelden ondersteunen kwalitatief de kwantitatieve resultaten getoond in Figuur 6 door het aantonen van een stabiele behoud van identiteit onder de geëvalueerde sport-trackingcondities.

Figuur 7. Representatieve trackingresultaten gegenereerd door JerseyTrack. Opeenvolgende frames uit basketbal-, voetbal- en volleybalsequenties illustreren het behoud van atletenidentiteiten en trajecten tijdens het volgen. Gekleurde begrenzingskaders representeren gevolgde identiteiten die over opeenvolgende videoframes worden behouden. Klik hier om een grotere versie van deze figuur te bekijken.

Ablatieresultaten voor het behoud van identiteit:

Er werd een ablatieanalyse uitgevoerd om de bijdragen van de door vertrouwen geleide associatiestrategie en de jersey-semantische fusiemodule aan het behoud van de identiteit te onderzoeken. Vier modelvarianten werden vergeleken: V0, de baseline zonder door vertrouwen geleide associatie of jersey-semantische fusie; V1, de variant die alleen gebruikmaakt van door vertrouwen geleide associatie; V2, de variant die alleen gebruikmaakt van jersey-semantische fusie; en V3, de volledige JerseyTrack-configuratie waarin beide componenten zijn opgenomen. De evaluatie richtte zich op identiteitsgerelateerde metrieken, waaronder IDs, IDF1, Identity Precision (IDP) en Identity Recall (IDR). De representatieve patronen voor identiteitsbehoud zijn weergegeven in Figuur 8.

Figuur 8. Ablatieanalyse van betrouwbaarheidsgestuurde semantische associatie van shirts. (A) Totaal aantal Identity Switches (IDs) en de IDentity F1-score (IDF1) voor de geëvalueerde modelvarianten. (B) Vergelijking van IDs tussen het volledige model (V3) en de basisconfiguratie (V0) onder representatieve uitdagende trackingscenario's. (C) IDF1, ID Precision (IDP) en ID Recall (IDR) van het volledige model over verschillende trackingscenario's. Klik hier om een grotere versie van deze figuur te bekijken.

In de algemene validatie-instelling van SportsMOT produceerde de volledige V3-configuratie het laagste aantal ID's en de hoogste IDF1 van de vier modelvarianten. V3 registreerde 2.768 ID's, wat 477 minder identiteitswisselingen betekent dan V0, en behaalde een IDF1 van 74,3%, een stijging van 7,1 procentpunt ten opzichte van V0. Deze resultaten geven aan dat de twee modules gezamenlijk hebben bijgedragen aan het behoud van de identiteit onder de geëvalueerde sporttrackingcondities. Vergelijking van de enkelvoudige modulevarianten met de volledige configuratie liet verder zien dat de twee modules verschillende bronnen van trackingfouten beïnvloedden. De door vertrouwen geleide associatiestrategie verminderde matchingfouten die gerelateerd waren aan onstabiel detectievertrouwen en lokalisatie-onzekerheid, terwijl de jersey-semantische fusiemodule aanvullende identiteitsinformatie verschaft wanneer bewegingsinformatie alleen onvoldoende was. De volledige V3-configuratie behaalde betere prestaties op het gebied van identiteit dan beide enkelvoudige modulevarianten, wat suggereert dat de twee modules complementaire in plaats van redundante bijdragen leverden.

Resultaten op scenarioniveau toonden grotere verschillen onder uitdagendere omstandigheden voor het behoud van identiteit. Tijdens occlusie van lange duur registreerde V3 215 ID's vergeleken met 482 voor V0. In scenario's met een hoge dichtheid van spelers uit hetzelfde team met 6–10 spelers registreerde V3 328 ID's vergeleken met 615 voor V0. Bij richtingsveranderingen met hoge snelheid registreerde V3 482 ID's vergeleken met 960 voor V0. Deze reducties zijn consistent met het beoogde gebruik van semantische aanwijzingen tijdens occlusie en dichte interacties, en met betrouwbaarheidsgestuurde associatie bij fluctuerende detectiebetrouwbaarheid tijdens snelle bewegingen. De trends in IDP en IDR getoond in Figuur 8C geven aan dat de afname in ID's niet gepaard ging met een substantiële afname van respectievelijk de identiteitsprecisie of de identiteitsherinnering. De volledige configuratie behield IDF1-waarden boven 71% over de geëvalueerde uitdagende scenario's, waarbij lagere waarden werden waargenomen bij dichte interacties binnen hetzelfde team en bij richtingsveranderingen met hoge snelheid. Deze resultaten wijzen op een verbeterde identiteitsconsistentie onder de geëvalueerde condities, terwijl dichte interacties en snelle bewegingen zijn geïdentificeerd als de belangrijkste resterende bronnen van prestatievermindering.

Resultaten van de evaluatie over verschillende datasets:

Er werd een evaluatie over verschillende datasets uitgevoerd om te onderzoeken of het trackinggedrag dat waargenomen werd bij SportsMOT behouden kon blijven onder verschillende datasetcondities. De evaluatie omvatte twee sportspecifieke datasets, SoccerNet Tracking en TeamTrack, en twee algemene MOT-datasets, MOT17 en MOT20. Het doel van dit experiment was om de overdracht van prestaties tussen verschillende soorten datasets te onderzoeken. De resultaten werden niet gebruikt om een directe superioriteit op metric-niveau tussen datasets te claimen, aangezien de annotatieprotocollen, scenesamenstelling, cameraperspectieven en doelcategorieën verschillen.

Tabel 1 vat de resultaten van de cross-dataset evaluatie samen. Op de sportspecifieke datasets behield JerseyTrack relatief stabiele MOTA- en IDF1-waarden in vergelijking met de hoofdvalidatie-instelling van SportsMOT. Deze trend suggereert dat de door betrouwbaarheid gestuurde associatiestrategie en de jersey-gerelateerde semantische aanwijzingen effectief bleven wanneer de trackingscenario's visuele kenmerken van teamsporten behielden, waaronder uniforme kleding, dichte interacties tussen atleten en frequente occlusie. Op de algemene MOT-datasets behield de methode concurrerende MOTA- en DetA-waarden, terwijl IDF1 lager was dan wat werd waargenomen bij de sportspecifieke datasets. Dit patroon is consistent met de afwezigheid van jerseykleuren en spelersnummers in MOT17 en MOT20, die door de semantische fusiemodule worden gebruikt. Onder deze omstandigheden bleef het component voor betrouwbaarheidsgestuurde associatie toepasbaar, terwijl de semantische tak minder identiteitsspecifieke informatie bijdroeg dan bij teamsportvideo's. Over het geheel genomen geven deze resultaten aan dat JerseyTrack effectiever werd overgedragen naar datasets met sportspecifieke visuele semantiek dan naar algemene datasets voor voetgangerstracking. De cross-dataset evaluatie ondersteunt daarom de beoogde toepassing van de methode als een sportgerichte tracker, terwijl het tegelijkertijd de afwezigheid van expliciete jersey-semantiek identificeert als een beperkende factor voor niet-sport-gerelateerde MOT-datasets.

Dataset	MOTA↑	IDF1↑	DetA↑	FPS↑
SoccerNet Tracking	86.8	71.3	77.9	32.1
TeamTrack	86.2	70.7	77.3	32.8
MOT17	84.7	69.5	76.1	33.9
MOT20	84.1	68.9	75.3	33.2

Tabel 1: Resultaten van de cross-dataset evaluatie. Trackingprestaties van JerseyTrack geëvalueerd op vier openbare benchmark-datasets. De Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Detectie-accuratesse (DetA) en de verwerkingssnelheid gemeten in Frames Per Seconde (FPS) worden gerapporteerd. Hogere waarden duiden op betere prestaties voor MOTA, IDF1, DetA en FPS.

Robuustheid onder gecontroleerde perturbatiecondities

Er werden gecontroleerde perturbatie-experimenten uitgevoerd om de stabiliteit van JerseyTrack te onderzoeken onder veelvoorkomende visuele verstoringen en detectiekwaliteitsproblemen die in sportvideo's worden aangetroffen. De geëvalueerde perturbaties werden onderverdeeld in drie categorieën: semantische-kenmerkperturbatie, detectiebox-perturbatie en omgevingsperturbatie. Semantische-kenmerkperturbaties omvatten occlusie van het spelersnummer, beeldonscherpte, resolutiedegradatie en vergelijkbare shirtkleuren. Detectiebox-perturbaties omvatten bounding-box offset, fluctuaties in de detectiebetrouwbaarheid en foutieve detectieboxen. Omgevingsperturbaties omvatten regenachtige ruis, mistachtige degradatie, sterke verlichting en schaduwinterferentie. Figuur 9 vat de trackingprestaties onder deze perturbatiecondities samen. Bij semantische-kenmerkperturbatie namen de trackingprestaties af naarmate de zichtbaarheid van het spelersnummer en de uitsnijkwaliteit verslechterden. Wanneer 40% van het gebied van het spelersnummer was geoccludeerd, nam de MOTA met 3,2 procentpunt en de IDF1 met 5,3 procentpunt af ten opzichte van de conditie zonder perturbatie, terwijl de nauwkeurigheid van de semantische extractie 86,7% bleef. Deze resultaten geven aan dat de shirtkleur en de cues van het spelersnummer complementaire informatie boden wanneer één semantische cue minder betrouwbaar werd. Bij detectiebox-perturbatie vertoonde de methode een matige prestatiedegradatie in plaats van een abrupte uitval. Wanneer de detectieboxen met ±10 pixels werden verschoven en de betrouwbaarheidsscores werden verstoord met Gaussische ruis, bleef de afname in MOTA onder de 3 procentpunten en bleef de toename in ID's binnen 16%. Deze trend is consistent met de betrouwbaarheidsgestuurde associatiestrategie, waarbij detecties met gemiddelde en lage betrouwbaarheid worden verwerkt met behulp van aanvullende associatiebeperkingen in plaats van dezelfde strategie die wordt toegepast op detecties met een hoge betrouwbaarheid.

Figuur 9. Robuustheidsbeoordeling onder gecontroleerde perturbaties. (A) Veranderingen in Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1) en Identity Switches (IDs) bij toenemende occlusie van het rugnummer. (B) Prestatievermindering onder representatieve interferentiecondities. (C) Toename in IDs onder verschillende typen interferentie. (D) Nauwkeurigheid van de semantische extractie van het rugnummer onder de geëvalueerde perturbatiecondities. Klik hier om een grotere versie van deze figuur te bekijken.

Onder omgevingsperturbaties bleven de afnames in de primaire trackingmetrieken onder de geëvalueerde condities onder de 5 procentpunten, en de nauwkeurigheid van de semantische extractie bleef 87,2%. Het gebruik van HSV-gebaseerde kleurdescriptors verminderde de gevoeligheid voor verlichtingsveranderingen, terwijl de OCR-branch bruikbare informatie over spelernummers behield voor een subset van vervaagde of gedegradeerde beeldfragmenten. Deze resultaten geven aan dat de semantische module bruikbaar bleef onder de geëvalueerde perturbatiecondities, hoewel de betrouwbaarheid ervan afhankelijk bleef van de zichtbaarheid van het tenue en de kwaliteit van het fragment. Over het algemeen toonden de gecontroleerde perturbatie-experimenten aan dat JerseyTrack meetbare trackingprestaties behield onder de geëvalueerde semantische, detectiekwaliteits- en omgevingsperturbaties. Deze bevindingen dienen te worden geïnterpreteerd binnen het geteste perturbatiebereik. Systematische re-identificatie buiten het beeldveld, ernstige achtergrondruis en langdurige volledige occlusie werden in dit experiment niet afzonderlijk geëvalueerd en worden besproken als beperkingen in de sectie Discussie.

Analyse van modulebijdrage en kenmerkdiscriminatie

De modulebijdrage en kenmerkdiscriminatie werden verder geanalyseerd om te onderzoeken hoe de twee voorgestelde componenten de prestaties van de identiteitsgerelateerde tracking beïnvloedden. De analyse van de modulebijdrage maakte gebruik van de vier modelvarianten die in de ablatieanalyse waren gedefinieerd, terwijl de analyse van de kenmerkdiscriminatie traditionele Re-ID-kenmerken, uitsluitend kleurkenmerken, uitsluitend spelersnummerkenmerken en gefuseerde jersey-semantische kenmerken vergeleek. De verhouding tussen de interklasse- en intraclasse-afstand werd gebruikt om de scheidbaarheid van kenmerken te beschrijven, waarbij grotere waarden duidden op een grotere scheiding tussen verschillende identiteiten ten opzichte van de variatie binnen dezelfde identiteit. Tabel 2 vat de analyse van de modulebijdrage samen. In de algehele evaluatie was de geschatte bijdrage van de confidence-guided associatiestrategie 41,7%, de geschatte bijdrage van jersey-semantische fusie 47,6%, en de resterende 10,7% werd toegeschreven aan het gecombineerde gebruik van de twee componenten. Deze waarden geven aan dat beide componenten bijdroegen aan de waargenomen verbetering, terwijl de volledige configuratie profiteerde van hun gecombineerde gebruik in plaats van van één enkele component. Het bijdragepatroon varieerde per scenariotype. Bij zware occlusie steeg de geschatte bijdrage van jersey-semantische fusie naar 69,4%, wat consistent is met de verminderde betrouwbaarheid van bewegingsaanwijzingen wanneer atleten gedeeltelijk of tijdelijk werden occludeerd. Bij beweging met hoge snelheid bereikte de geschatte bijdrage van confidence-guided associatie 44,3% en bereikte de gecombineerde winst 20,6%, wat aangeeft dat partitionering op basis van het betrouwbaarheidsniveau relevanter werd wanneer de detectiebetrouwbaarheid fluctueerde door snelle beweging of lokalisatie-onzekerheid.

Modelvariant	Testscenario	MOTA↑	IDF1↑	IDs↓	Modulebijdrage	Synergetische winst
V0 (Baseline)	Algehele scène	83.5	67.2	3245	–	–
	Zwaar occludeerde scènes	77.8	61.5	3862	–	–
	Scène met hoge snelheid	77.1	62.3	3689	–	–
V1 (Betrouwbaarheidsgestuurde associatie)	Algehele scène	86.3	70.9	2893	41.7	–
	Zwaar occludeerde scènes	80.9	65.9	3415	29.8	–
	Scène met hoge snelheid	81.4	67.9	3024	44.3	–
V2 (Jersey semantische associatie)	Algehele scène	85.2	71.8	2937	47.6	–
	Zwaar occludeerde scènes	82.7	72.8	2753	69.4	–
	Scène met hoge snelheid	80.1	66.8	3157	35.1	–
V3 (Complete JerseyTrack)	Algehele scène	88.9	74.3	2768	–	10.7
	Zwaar occludeerde scènes	84.9	75.6	2689	–	0.8
	Scène met hoge snelheid	83.6	71.5	2842	–	20.6

Tabel 2: Ablatieanalyse van modulebijdragen. Prestatievergelijking van verschillende JerseyTrack-modelvarianten onder scenario's met algehele, ernstig occludeerde en hoge-snelheidsbewegingen. De Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1) en het aantal Identity Switches (IDs) worden gerapporteerd samen met de geschatte modulebijdrage en synergetische winst. Hogere waarden duiden op betere prestaties voor MOTA, IDF1, modulebijdrage en synergetische winst, terwijl lagere waarden duiden op betere prestaties voor IDs.

Tabel 3 vat de analyse van de kenmerkdiscriminatie samen. Het gefuseerde semantische kenmerk van het shirt behaalde een ratio tussen interklasse- en intraclasse-afstand van 5,63, vergeleken met 1,82 voor traditionele Re-ID-kenmerken, wat overeenkomt met een relatieve verbetering van 209,3% in de afstandsratio-maatstaf. Kenmerken die uitsluitend gebaseerd waren op kleur of uitsluitend op het spelersnummer verbeterden de scheidbaarheid van kenmerken eveneens ten opzichte van traditionele Re-ID-kenmerken, hoewel elke individuele aanwijzing vatbaar bleef voor specifieke foutgevallen, waaronder vergelijkbare teamkleuren, occlusie van het spelersnummer, bewegingsonscherpte en onleesbare regio's van het shirt. Van de geëvalueerde kenmerkrepresentaties behaalde de gefuseerde semantische representatie de hoogste kenmerkscheidbaarheid en correspondeerde deze met de hoogste IDF1 en het laagste ID-aantal waargenomen in de ablatieanalyse. Deze bevindingen ondersteunen het gebruik van shirtspecifieke semantische aanwijzingen als complementaire identiteitsinformatie voor sports MOT wanneer atleten een vergelijkbaar uiterlijk hebben en bewegingsinformatie alleen onvoldoende is. Deze observaties zijn beperkt tot de geëvalueerde SportsMOT-setting en mogen niet worden geïnterpreteerd als bewijs dat shirtsemantiek alle identiteitsambiguïteit in elke sportvideo oplost.

Kenmerktype	Interklasse/Intraklasse-afstandsratio	Relatieve verbetering (%)	IDF1↑	ID's↓
Traditionele Re-ID-kenmerken	1.82	–	65.7	3482
Teamkleurenspecificaties	3.17	74.2	69.8	3125
Kenmerken van spelersaantallen	3.49	91.8	70.5	3018
Gesmolten jersey semantische kenmerken	5.63	209.3	74.3	2768

Tabel 3: Discriminatieanalyse van verschillende kenmerkrepresentaties. Vergelijking van kenmerkdiscriminatie met behulp van traditionele re-identificatie (Re-ID)-kenmerken, shirtkleurkenmerken, spelernummerkenmerken en gefuseerde semantische kenmerken. De ratio van interklasse/intraklasse-afstand, de relatieve verbetering in kenmerkdiscriminatie, de IDentity F1-score (IDF1) en het aantal identiteitswisselingen (IDs) worden gerapporteerd. Hogere waarden duiden op betere prestaties voor de afstandsratio, de relatieve verbetering en IDF1, terwijl lagere waarden duiden op betere prestaties voor IDs.

Benchmarkvergelijking met bestaande MOT-methoden

Er is een benchmarkvergelijking uitgevoerd om JerseyTrack te vergelijken met representatieve MOT-methoden onder dezelfde SportsMOT-validatie-instellingen. De vergeleken methoden waren QDTrack, DeepSORT, ByteTrack, FairMOT, Deep OC-SORT en MOTR. Alle methoden gebruikten dezelfde detectoruitvoer, gegenereerd door het detectorframework dat in de Materialentabel staat vermeld, zodat de vergelijking gericht was op de prestaties van de tracking-associatie in plaats van op variaties in de detector. Voor de evaluatie zijn de metrieken gebruikt die zijn gedefinieerd in Protocol Sectie 7. De primaire evaluatiemetrieken waren MOTA, HOTA en IDF1. De auxiliary metrieken waren DetA, AssA, FPs, FNs en IDs. Tabel 4 vat de kwantitatieve vergelijking op de SportsMOT-validatiesplit samen, en Figuur 10 presenteert een visuele vergelijking van de tracking-nauwkeurigheid, de inferentiesnelheid en de HOTA-distributie over de geëvalueerde sports cenas. JerseyTrack behaalde de hoogste MOTA van de vergeleken methoden, met 88,9%. Deze waarde was 1,1 procentpunt hoger dan die van Deep OC-SORT (87,8%) en 2,5 procentpunt hoger dan die van ByteTrack (86,4%). Onder de geëvalueerde SportsMOT-validatie-instellingen behaalde JerseyTrack dus de hoogste algemene tracking-nauwkeurigheid van de vergeleken methoden. Voor HOTA behaalde JerseyTrack 69,9%, vergeleken met 64,4% voor Deep OC-SORT en 62,8% voor ByteTrack. Deze verschillen komen overeen met verbeteringen van respectievelijk 5,5 en 7,1 procentpunt, wat duidt op een betere balans tussen detectie- en associatieprestaties onder dezelfde evaluatie-instellingen.

Methode	MOTA↑	HOTA↑	IDF1↑	DetA↑	AssA↑	FP↓	FN↓	ID's↓
QDTrack	75.9	53.7	51.6	65.6	39.7	96,324	89,871	8,216
DeepSORT	77.6	54.1	53.2	67.3	44	76,228	86,319	6,836
ByteTrack	86.4	62.8	67.7	73.8	50.9	33,752	78,698	4,192
FairMOT	84.1	54.7	62.5	77.8	47.8	45,187	83,620	4,817
Deep OC-SORT	87.8	64.4	69.9	78.2	52.1	25,012	74,385	3,211
MOTR	82.9	57.2	58.4	68.9	46.1	54,931	85,063	5,137
JerseyTrack	88.9	69.9	74.3	80.2	54.3	21,953	67,160	2,768

Tabel 4: Prestatievergelijking van JerseyTrack en representatieve multi-object tracking-methoden op de validatiesplit van SportsMOT. Vergelijking van JerseyTrack met representatieve multi-object tracking (MOT)-methoden op de SportsMOT-validatiedataset. De gerapporteerde metrieken omvatten Multiple Object Tracking Accuracy (MOTA), Higher Order Tracking Accuracy (HOTA), IDentity F1 Score (IDF1), Detection Accuracy (DetA), Association Accuracy (AssA), False Positives (FP), False Negatives (FN) en het aantal Identity Switches (IDs). Hogere waarden duiden op betere prestaties voor MOTA, HOTA, IDF1, DetA en AssA, terwijl lagere waarden duiden op betere prestaties voor FP, FN en IDs.

Figuur 10. Prestatievergelijking met representatieve methoden voor multi-object tracking. (A) Vergelijking van de Multiple Object Tracking Accuracy (MOTA) en Frames Per Second (FPS) voor JerseyTrack en representatieve multi-object tracking-methoden geëvalueerd op de SportsMOT-dataset. (B) Distributie van de Higher Order Tracking Accuracy (HOTA) over de geëvalueerde tracking-methoden. Klik hier om een grotere versie van deze figuur te bekijken.

Voor het behoud van identiteit behaalde JerseyTrack een IDF1 van 74,3%, vergeleken met 69,9% voor Deep OC-SORT en 67,7% voor ByteTrack. JerseyTrack registreerde daarnaast 2.768 ID's, minder dan de 3.211 ID's geregistreerd door Deep OC-SORT en de 4.192 ID's geregistreerd door ByteTrack. Deze waarnemingen zijn consistent met de ablatieresultaten gepresenteerd in Figuur 8 en Tabel 2, waarin de volledige JerseyTrack-configuratie het wisselen van identiteiten verminderde ten opzichte van de baseline-modelvarianten. Wat betreft de detectie- en associatiekwaliteit behaalde JerseyTrack een DetA van 80,2% en een AssA van 54,3%. Vergeleken met Deep OC-SORT verbeterde JerseyTrack de DetA met 2,0 procentpunt en de AssA met 2,2 procentpunt. JerseyTrack produceerde ook minder FP en FN dan de andere vergeleken methoden gerapporteerd in Tabel 4, met 21.953 FP en 67.160 FN. Over het algemeen toonde de benchmarkvergelijking aan dat JerseyTrack de hoogste waarden behaalde voor de primaire trackingmetrics onder de geëvalueerde methoden binnen de SportsMOT-validatie-instelling. Deze resultaten zijn consistent met de waargenomen verbeteringen in identiteitsbehoud en associatiestabiliteit die zijn verkregen door gebruik te maken van confidence-guided association en jersey semantic fusion. De vergelijking is beperkt tot de gedeelde detector-outputs en de SportsMOT-validatieconfiguratie die in deze studie zijn gebruikt.

Resultaten van de parametersensitiviteit

Er is een parametergevoeligheidsanalyse uitgevoerd om te onderzoeken hoe belangrijke implementatieparameters de trackingprestaties beïnvloedden onder de validatie-instellingen van SportsMOT. Drie parameters werden geëvalueerd: de wegingscoëfficiënt van het OCR-verlies (γ), het aantal hiërarchische clusters van het betrouwbaarheidsniveau (K) en de leer-snelheid van het OCR-netwerk (η). Tabel 5 vat de MOTA, IDF1, HOTA en IDs samen die zijn verkregen onder verschillende parameterinstellingen.

Parameter	Waarde	MOTA↑	IDF1↑	HOTA↑	ID's↓
OCR-verliesgewicht (γ)	0.2	84.7	69.4	66.2	2,944
	0.4	86.3	71.5	68.2	2,893
	0.6	87.9	73.1	68.9	2,815
	0,8 (optimaal)	88.9	74.3	69.9	2,768
	1	88.2	73.8	69.3	2,792
Aantal betrouwbaarheidsclusters (K)	2	86.7	72.1	68.5	2,876
	3 (optimaal)	88.9	74.3	69.9	2,768
	4	88.1	73.6	69.7	2,803
	5	87.3	72.8	69.2	2,851
leersnelheid voor OCR (η)	1 × 10⁻⁴	85.9	70.8	67.3	2,934
	5 × 10⁻⁴	87.6	72.7	68.7	2,832
	1 × 10⁻³ (optimaal)	88.9	74.3	69.9	2,768
	5 × 10⁻³	87.8	73.2	69	2,817
	1 × 10⁻²	86.5	71.6	68.7	2,889

Tabel 5: Parametergevoeligheidsanalyse. Prestaties van de tracking verkregen met verschillende parameterinstellingen voor JerseyTrack. De Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA) en het aantal Identity Switches (IDs) worden gerapporteerd voor verschillende waarden van de wegingscoëfficiënt voor het Optical Character Recognition (OCR)-verlies (γ), het aantal betrouwbaarheidsclusters (K) en de OCR-leersnelheid (η). Parameterwaarden die als optimaal zijn geïdentificeerd, komen overeen met de instellingen die zijn gebruikt in de gerapporteerde experimenten. Hogere waarden duiden op betere prestaties voor MOTA, IDF1 en HOTA, terwijl lagere waarden duiden op betere prestaties voor IDs.

Voor de wegingscoëfficiënt van het OCR-verlies (γ) werd de beste geëvalueerde prestatie behaald bij γ = 0.8. Onder deze instelling behaalde JerseyTrack een MOTA van 88.9%, een IDF1 van 74.3%, een HOTA van 69.9% en 2.768 ID's. Toen γ werd verlaagd naar 0.2, namen MOTA, IDF1 en HOTA respectievelijk af tot 84.7%, 69.4% en 66.2%, terwijl het aantal ID's toenam tot 2.944. Wanneer γ werd verhoogd naar 1.0, namen de prestatiematrices licht af ten opzichte van γ = 0.8, met een MOTA van 88.2%, een IDF1 van 73.8%, een HOTA van 69.3% en 2.792 ID's. Deze resultaten geven aan dat onvoldoende OCR-supervisie het onderscheidend vermogen tussen spelersnummers verminderde, terwijl het verhogen van de weging van het OCR-verlies boven het geëvalueerde optimum de trackingprestaties onder de geteste omstandigheden niet verbeterde.

Voor het aantal hiërarchische clusters op basis van het betrouwbaarheidsniveau (K) werd de beste geëvalueerde prestatie behaald bij K = 3. Deze instelling komt overeen met de strategie voor associaties met een hoog, gemiddeld en laag betrouwbaarheidsniveau zoals beschreven in de methode. Bij K = 2 was de partitionering van de betrouwbaarheid minder granulair, en namen MOTA, IDF1 en HOTA respectievelijk af naar 86,7%, 72,1% en 68,5%. Wanneer K toenam naar 4 of 5, namen de prestaties ook af ten opzichte van K = 3, wat suggereert dat overmatige partitionering de detecties verdeelde in te nauwe betrouwbaarheidsgroepen en de stabiliteit van de associatiestrategie verminderde. Deze resultaten ondersteunen het gebruik van drie betrouwbaarheidsniveaus in de geëvalueerde JerseyTrack-configuratie.

Voor de leer Frequentie (η) van het OCR-netwerk werd de beste geëvalueerde prestatie behaald bij η = 1 × 10^-3. Bij een lagere leerfrequentie van 1 × 10^-4 namen MOTA, IDF1 en HOTA af tot respectievelijk 85,9%, 70,8% en 67,3%, terwijl het aantal ID's toenam tot 2.934. Bij een hogere leerfrequentie van 1 × 10^-2 namen MOTA, IDF1 en HOTA af tot respectievelijk 86,5%, 71,6% en 68,7%, terwijl het aantal ID's toenam tot 2.889. Deze resultaten geven aan dat de OCR-branch gevoelig was voor de keuze van de leerfrequentie, waarbij 1 × 10^-3 de beste balans bood tussen de herkenning van het spelersnummer en de prestaties van het behoud van de identiteit onder de geëvalueerde condities.

Over het algemeen laat Tabel 5 zien dat de parametercombinatie γ = 0.8, K = 3 en η = 1 × 10^-3 de hoogste geëvalueerde MOTA-, IDF1- en HOTA-waarden opleverde, samen met het laagste aantal ID's. De gevoeligheidsanalyse toonde daarnaast aan dat matige afwijkingen van deze parameterwaarden leidden tot meetbare, maar niet abrupte, veranderingen in de trackingprestaties. Bijgevolg werden deze parameterinstellingen gebruikt voor de benchmarkvergelijking en de primaire SportsMOT-validatie-experimenten die in deze studie worden beschreven.

Beschikbaarheid van gegevens

De ruwe evaluatiesamenvattingen, uiteindelijke tracking-outputs, omgevingsgegevens, dataset-mappingbestanden en tussenliggende samenvattingsbestanden die de bevindingen van deze studie ondersteunen, zijn beschikbaar in een openbare repository op https://doi.org/10.5281/zenodo.21274353. De oorspronkelijke openbare benchmark-datasets die in deze studie zijn gebruikt, waaronder SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 en MOT20, zijn verkrijgbaar bij hun respectievelijke leveranciers en worden niet opnieuw verspreid in de repository.

Discussie

Deze studie evalueerde een op betrouwbaarheid gestuurde sports MOT-workflow die detectie-betrouwbaarheidspartitionering combineert met semantische cues van shirts. Betrouwbaarheidsgestuurde associatie en semantische feature-fusie zijn onderzocht als complementaire strategieën voor het verbeteren van data-associatie bij multi-object tracking^{12,20,23,24,46}. De resultaten tonen aan dat de volledige JerseyTrack-configuratie de identiteitsbehoud en associatiestabiliteit verbeterde onder de geëvalueerde SportsMOT-validatie-instellingen. Het belangrijkste SportsMOT-validatieresultaat bereikte een MOTA van 88.9%, een HOTA van 69.9%, een IDF1 van 74.3%, een DetA van 80.2% en een AssA van 54.3%. Deze waarden moeten worden geïnterpreteerd binnen de detector-outputbron, de dataset-split en de TrackEval-configuratie zoals beschreven in het Protocol.

Een cruciale stap in de workflow is de partitionering op basis van het betrouwbaarheidsniveau, waardoor verschillende associatiestrategieën kunnen worden toegepast afhankelijk van de betrouwbaarheid van de detector-outputs^20,22,23,24. Door detecties te verdelen in groepen met een hoog, medium en laag betrouwbaarheidsniveau, past JerseyTrack verschillende associatieregels toe op detecties met verschillende betrouwbaarheidsniveaus. Detecties met een hoge betrouwbaarheid worden voornamelijk geassocieerd via bewegingsconsistentie, terwijl detecties met een medium betrouwbaarheid zowel beweging als shirtsemantiek gebruiken. Detecties met een lage betrouwbaarheid worden niet gebruikt om nieuwe trajecten te initialiseren en worden alleen overwogen tijdens trajectherstelling. Dit ontwerp verminderde het risico dat zwakke detecties of fout-positieven instabiele identiteiten zouden creëren, terwijl gedeeltelijke detecties nog steeds konden bijdragen aan herstelling wanneer aanvullend semantisch bewijs beschikbaar was^8,11,20. De tweede cruciale stap is de extractie van shirtsemantiek. Teamkleurkenmerken bieden een beperking op teamniveau, terwijl spelersnummertoeken een nauwkeuriger identiteitssignaal geven wanneer het nummergebied zichtbaar en leesbaar is^35,41,42,43. De ablatieresultaten geven aan dat deze signalen het meest nuttig zijn bij dichte interacties binnen hetzelfde team en in gevallen van occlusie, waarbij associatie op basis van alleen beweging minder betrouwbaar is. Shirtsemantiek moet echter worden beschouwd als aanvullend bewijs en niet als een volledige vervanging voor bewegingsassociatie. Spelersnummers kunnen onleesbaar zijn door onscherpte, afsnijding, rugaanzichten, ernstige occlusie of een lage beeldresolutie. Teamkleurkenmerken kunnen atleten van hetzelfde team bovendien niet onderscheiden wanneer nummerinformatie niet beschikbaar is^35,42,43. De resultaten over verschillende datasets verduidelijken verder de reikwijdte van de methode. JerseyTrack was natuurlijker overdraagbaar naar datasets van teamsporten dan naar algemene MOT-datasets voor voetgangers, omdat de semantische tak is ontworpen rond shirtkleur- en spelersnummersignalen^{19,33,34,35,36,37}. Bij algemene MOT-datasets bleef de component voor betrouwbaarheidsgestuurde associatie toepasbaar, maar de sportspecifieke semantische tak droeg minder identiteitsinformatie bij. Daarom is de methode het meest geschikt voor videos van teamsporten waarin atleten onderscheidbare uniformen dragen en het shirtgebied voldoende zichtbaar is voor semantische extractie^{19,33,34,35,36,37}.

Er blijven enkele beperkingen bestaan. Ten eerste is de methode afhankelijk van de kwaliteit van de detector-outputs; ernstige gemiste detecties of onnauwkeurige bounding boxes verminderen de betrouwbaarheid van zowel de bewegingsvoorspelling als het semantische uitsnijden^14,17,46. Ten tweede is langetermijn re-identificatie buiten het gezichtsveld in de huidige implementatie niet afzonderlijk geoptimaliseerd. Wanneer een atleet voor een langere periode uit het cameragezicht verdwijnt en later weer terugkeert, is de huidige strategie voor trajectherstel mogelijk onvoldoende om de oorspronkelijke identiteit te herstellen^19,34. Ten derde kunnen ernstige achtergrondruis, overlappende spelers, bewegingsonscherpte en onleesbare rugnummers de betrouwbaarheid van de semantische kenmerken verminderen^14,35,42,46. Ten vierde richtte de huidige evaluatie zich op publieke benchmark-datasets en gecontroleerde perturbatie-instellingen; implementatie in broadcastvideo's met camerawisselingen, zoomwijzigingen en niet-standaard gezichtspunten kan aanvullende voorbewerking of re-identificatiemodules vereisen^19,33,34.

De belangrijkste praktische implicatie is dat betrouwbaarheidsgestuurde associatie en shirtspecifieke semantische aanwijzingen kunnen worden geïntegreerd in een modulaire MOT-pipeline zonder de structuur van de detector te wijzigen. Deze mogelijkheid is toepasbaar op sportanalyse-taken zoals het extraheren van atleet-trajecten, teambewegingsanalyse, tactische evaluatie van gebeurtenissen en semi-automatische video-annotatie^1,4,33,36. Toekomstig werk moet zich richten op sterkere re-identificatie buiten het gezichtsveld, het omgaan met achtergrondruis, temporele kenmerkaggregatie en robuustere herkenning van spelersnummers bij ernstige vervaging of occlusie^14,19,34,46.

Samenvattend is JerseyTrack een sports MOT-methode die confidence-guided association combineert met jersey semantic fusion. De methode verdeelt detecties in groepen met een hoge, medium en lage betrouwbaarheid (confidence) en past verschillende associatieregels toe op basis van de betrouwbaarheid van de detectie, terwijl shirtkleuren en spelersnummers worden gebruikt als aanvullende identiteitsinformatie tijdens medium-confidence association en trajectory recovery. Binnen de geëvalueerde SportsMOT-validatiesetting demonstreerde JerseyTrack een verbeterde trackingnauwkeurigheid en identiteitsbehoud ten opzichte van de geëvalueerde baseline-configuraties. De ablatieresultaten toonden aan dat de volledige configuratie het aantal identiteitswisselingen verminderde in vergelijking met de baseline en varianten met een enkele module, en de benchmarkvergelijking liet hogere waarden zien voor de primaire trackingmetrieken onder de gedeelde detector-output en evaluatieconfiguratie. Deze bevindingen ondersteunen het gebruik van informatie over het betrouwbaarheidsniveau en shirtspecifieke semantische aanwijzingen voor het tracken van atleten in video's van teamsporten, vooral wanneer shirtregio's zichtbaar zijn en informatie over teamkleuren of spelersnummers aanvullend bewijs voor de identiteit levert^20,35,46. Het aanpakken van de geïdentificeerde beperkingen kan de toepasbaarheid van de voorgestelde workflow voor uitdagendere sports-tracking-scenario's verder verbeteren.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
CUDA Runtime	NVIDIA	Versie 12.8	GPU-computing runtime gebruikt voor detector-training, semantische kenmerkextractie en tracking-inferentie.
EasyOCR	Jaided AI	Versie 1.7.2	Toolkit voor optische tekenherkenning gebruikt voor de herkenning van spelersnummers.
JerseyTrack broncode	Auteurs	N/A	Aangepaste implementatie met scripts voor datapreparatie, semantische kenmerkextractie, betrouwbaarheidspartitionering, tracking, post-processing en evaluatie. Beschikbaar op: https://doi.org/10.5281/zenodo.21274352
Lightweight CRNN OCR-model	Auteurs	N/A	Aangepast convolutioneel recurrent neuraal netwerk (CRNN) gebruikt voor de herkenning van spelersnummers.
MOT17 dataset	MOTChallenge	N/A	Openbare benchmark-dataset gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://motchallenge.net/data/MOT17/
MOT20 dataset	MOTChallenge	N/A	Openbare benchmark-dataset gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://motchallenge.net/data/MOT20/
motmetrics	motmetrics Ontwikkelaars	Versie 1.4.0	Bibliotheek gebruikt voor de berekening van diagnostische metrieken voor multi-object tracking.
NVIDIA GPU	NVIDIA	GeForce RTX 5090 D V2	Graphics processing unit gebruikt voor detector-training en tracking-inferentie.
NVIDIA GPU-driver	NVIDIA	Versie 610.62	GPU-driver gebruikt in de experimentele omgeving.
NumPy	NumPy Ontwikkelaars	Versie 2.4.4	Bibliotheek voor numerieke berekeningen gebruikt voor kenmerkverwerking en data-afhandeling.
OpenCV	OpenCV	Versie 4.10.0	Computer vision-bibliotheek gebruikt voor het laden, bijsnijden, voorbewerken en visualiseren van afbeeldingen.
Python	Python Software Foundation	Versie 3.12.2	Programmeertaal gebruikt in de gehele workflow.
PyTorch	PyTorch Foundation	Versie 2.11.0+cu128	Deep learning-framework gebruikt voor de implementatie van de detector en het semantische model.
scikit-learn	scikit-learn Ontwikkelaars	Versie 1.9.0	Machine-learning-bibliotheek gebruikt voor K-means clustering tijdens de extractie van shirtkleuren en betrouwbaarheidspartitionering.
SoccerNet Tracking dataset	SoccerNet	N/A	Openbare benchmark voor voetbal-tracking gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://www.soccer-net.org/tasks/tracking
SportsMOT dataset	SportsMOT Benchmark	N/A	Primaire benchmark-dataset gebruikt voor detector-preparatie en tracking-evaluatie. Beschikbaar via: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack dataset	TeamTrack Benchmark	N/A	Openbare benchmark voor sport-tracking gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://atomscott.github.io/TeamTrack/
Torchvision	PyTorch Foundation	Versie 0.26.0+cu128	Computer vision-bibliotheek gebruikt in combinatie met PyTorch voor beeldtransformatie en modelondersteuning.
TrackEval	TrackEval Ontwikkelaars	Versie 1.3.0	Evaluatie-toolkit gebruikt om Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), fout-positieven (FP), fout-negatieven (FN) en identiteitswisselingen (IDs) te berekenen.
Ultralytics	Ultralytics	Versie 8.4.90	Framework voor objectdetectie gebruikt om de detector te trainen en atleet-detecties te genereren.