Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Een door betrouwbaarheid geleide methode voor multi-object tracking in sportvideo's middels jersey semantische fusie

59 weergaven

⸱

DOI:

10.3791/71557

⸱

14 augustus 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

In dit artikel

Samenvatting

Dit protocol beschrijft een door betrouwbaarheid gestuurde workflow voor multi-object tracking in sportvideo's, die informatie over shirtkleuren en spelersnummers integreert om de trajectassociatie en identiteitsconsistentie te verbeteren bij schommelingen in de betrouwbaarheid, occlusie en visueel gelijkaardige verschijningsvormen van atleten.

Samenvatting

Multi-Object Tracking (MOT) in sportvideo's levert trajectinformatie voor tactische analyse, interpretatie van spelersgedrag en geautomatiseerde statistische analyse. Sportscenario's gaan echter vaak gepaard met snelle richtingsveranderingen, abrupte stops, frequente occlusie en visueel gelijkaardige teamgenoten, wat resulteert in fluctuaties in de detectiebetrouwbaarheid en identiteitsverwarring tijdens de associatie tussen frames. Om deze uitdagingen aan te pakken, presenteert deze studie JerseyTrack, een door betrouwbaarheid geleide sports MOT-methode gebaseerd op jersey-semantische fusie. De workflow verdeelt detectiekaders adaptief in intervallen met een hoge, gemiddelde en lage betrouwbaarheid op basis van de betrouwbaarheidsverdeling van elk frame. Detecties met een hoge betrouwbaarheid worden primair geassocieerd op basis van bewegingsgelijkenis, terwijl detecties met een gemiddelde en lage betrouwbaarheid aanvullend gebruikmaken van kenmerken van shirtkleur en spelersnummer, geëxtraheerd via kleurclustering en een lichtgewicht Optical Character Recognition (OCR)-model. Deze semantische kenmerken worden tijdens aanvullende matching gefuseerd met bewegingsinformatie om de continuïteit van trajecten en de consistentie van identiteiten te verbeteren. De methode werd geëvalueerd op de SportsMOT-dataset. JerseyTrack behaalde een Multiple Object Tracking Accuracy (MOTA) van 88,9%, een IDentity F1 Score (IDF1) van 74,3% en een Higher Order Tracking Accuracy (HOTA) van 69,9%, wat wijst op verbeterde trackingprestaties binnen de geëvalueerde sporttracking-setting. Dit protocol biedt een reproduceerbare workflow voor de integratie van door betrouwbaarheid geleide associatie met jersey-semantische informatie om multi-object tracking in sportvideo's te verbeteren.

Inleiding

Multi-object tracking (MOT) maakt continue objectlokalisatie en identiteitsbehoud in videosequenties mogelijk en ondersteunt de extractie van atleettrajecten, tactische analyse en geautomatiseerde statistische analyse in sportvideo-applicaties1,2,3. Betrouwbare visuele informatie is bovendien gerelateerd aan sportspecifieke besluitvorming en prestatiebeoordeling in de sportwetenschap, wat de waarde van stabiele, uit video afgeleide bewegingsgegevens voor downstream sportanalyse verder benadrukt4. In sportscenario's hangt de betrouwbaarheid van tactische gegevens af van de continuïteit van de trackingtrajecten en de consistentie van de doelidentiteiten.

In vergelijking met algemene MOT-scenario's bevatten sportvideo's snelle richtingsveranderingen, abrupte stops, sprongen, dichte interacties en frequente occlusie. Deze factoren veroorzaken aanzienlijke schommelingen in de betrouwbaarheid van de detectieboxen en verhogen de frequentie van detecties met een lage betrouwbaarheid, wat de trajectassociatie kan onderbreken5,6. Uniforme teamshirts verminderen bovendien het onderscheidend vermogen van algemene kenmerken van het uiterlijk en verhogen de identiteitsverwarring tussen visueel vergelijkbare teamgenoten7,8. Wanneer occlusie en gelijkenis in uiterlijk in dezelfde sequentie voorkomen, neemt de detectiebetrouwbaarheid af en wordt de informatie over het uiterlijk van het doelwit onvolledig, wat de moeilijkheid van trajectassociatie en identiteitsbehoud vergroot9,10. In MOT verwijst re-identificatie (Re-ID) naar het proces van het associëren van dezelfde doelwitidentiteit over frames, occlusieperioden of gevallen van herintreding met behulp van identiteitsgerelateerd visueel bewijs. In video's van teamsporten kunnen algemene Re-ID-aanwijzingen verzwakt zijn, omdat atleten van hetzelfde team vaak vergelijkbare uniformen en lichaamsvormen hebben. De review van de technische literatuur geeft aan dat trajectfragmentatie en identiteitsverwarring in sports MOT gewoonlijk worden aangepakt via twee complementaire benaderingen: het benutten van detectiebetrouwbaarheid en het verbeteren van identiteitsaanwijzingen. JerseyTrack bevindt zich op het snijvlak van deze benaderingen door het gebruik van semantische shirtaanwijzingen te reguleren op basis van de detectiekwaliteit, in plaats van kleur- en spelersnummerinformatie uniform toe te passen op alle detecties.

Deze studie presenteert JerseyTrack, een op betrouwbaarheid gestuurde MOT-methode voor sport, gebaseerd op jersey-semantische fusie. De methode is ontworpen voor videos van teamsporten waarin atleten zichtbare tenues dragen en detectieresultaten bounding boxes met betrouwbaarheidsscores opleveren. JerseyTrack combineert vier hoofdonderdelen: atletendetectie, partitionering op betrouwbaarheidsniveau, extractie van jersey-semantische kenmerken en gecascadeerde inter-frame associatie. De detectiebetrouwbaarheid wordt gebruikt om detecties adaptief te partitioneren in groepen met een hoge, gemiddelde en lage betrouwbaarheid, die worden verwerkt met verschillende associatiestrategieën. Detecties met een hoge betrouwbaarheid worden primair geassocieerd via bewegingsinformatie, terwijl detecties met een gemiddelde en lage betrouwbaarheid aanvullend gebruikmaken van informatie over jerseykleur en spelersnummers om het behoud van de identiteit te verbeteren wanneer het visuele bewijs zwak is. De methode is bedoeld voor taken op het gebied van sportvideoanalyse die stabiele atletentrajecten vereisen, zoals tactische analyse en interpretatie van spelersgedrag.

De voorgestelde aanpak kent ook operationele beperkingen. De semantische extractie van tenues kan worden beïnvloed door ernstige occlusie, bewegingsonscherpte, een lage beeldresolutie, abnormale houdingen van het tenue of onzichtbare spelersnummers. In dergelijke gevallen kunnen tenue-gebaseerde semantische aanwijzingen onvolledig worden, waardoor het associatieproces sterker afhankelijk is van bewegingsconsistentie en verificatie over meerdere frames. Daarom zijn de prestatieclaims in deze studie beperkt tot de geëvalueerde datasets en experimentele instellingen. Experimenten op de SportsMOT-dataset tonen aan dat JerseyTrack de geëvalueerde trackingmetrics verbetert en het aantal identity-switching-gebeurtenissen vermindert onder de geteste sporttrackingcondities. De belangrijkste moeilijkheid van MOT in sportvideo's ligt in het behouden van trajectcontinuïteit en identiteitsconsistentie bij snelle bewegingen, occlusie en gelijkenis in uiterlijk. Bestaande studies die relevant zijn voor JerseyTrack kunnen breed worden gecategoriseerd in twee onderzoeksrichtingen: het gebruik van detectiebetrouwbaarheid voor trajectassociatie en de verbetering van identiteitsaanwijzingen via sportspecifieke semantische kenmerken.

Detectiebetrouwbaarheid (detection confidence) wordt op grote schaal gebruikt om de betrouwbaarheid van detectiekaders te schatten en om trajectassociatie in MOT te sturen. Vroege trackingmethoden behandelden betrouwbaarheid gewoonlijk als een binair filtercriterium, waarbij detecties onder een vaste drempelwaarde werden verwijderd om fout-positieven te verminderen11,12. Deze strategie vermindert ruisachtige detecties, maar kan ook ware doelwitten weggooien bij occlusie, snelle beweging of een lage beeldkwaliteit, wat leidt tot trajectfragmentatie13,14,15. Vergelijkbare filterstrategieën hebben ook aangetoond dat vaste betrouwbaarheidsdrempels gevoelig zijn voor scènevariaties en detectiekwaliteit16,17. Om het gebruik van detecties met een lage betrouwbaarheid te verbeteren, introduceerde ByteTrack een associatiestrategie die kaders met een lage betrouwbaarheid behoudt als kandidaat-doelwitten voor secundaire matching en deze koppelt aan bestaande trajecten via bewegingsgelijkenis en trajectgeschiedenis18. McByte breidt de associatie bij sport-MOT verder uit door temporeel gepropageerde segmentatiemaskers als associatie-aanwijzing te integreren, wat de robuustheid bij snelle bewegingen, occlusie en cameraverschuivingen verbetert zonder aanvullende training per video19. Gerelateerde studies hebben het gebruik van detecties met een lage betrouwbaarheid eveneens aangepast om zwakke, maar potentieel geldige doelwitten tijdens de associatie te behouden20,21,22. Betrouwbaarheidsadaptieve associatiestrategieën hebben vervolgens de matchingcriteria verfijnd op basis van bewegingsconsistentie en detectiebetrouwbaarheid23,24,25. Trajectverfijningsmethoden gebaseerd op detectiekader-regressie en optimalisatie van trajectgladheid zijn ook gebruikt om trajectfragmentatie te verminderen26,27,28. Aanvullende verfijningsstrategieën bieden complementaire ondersteuning voor het handhaven van de trajectcontinuïteit onder complexe bewegingsomstandigheden29. Temporeel coherente objectflow modelleert bovendien de temporele consistentie op objectniveau over frames heen, wat een andere associatiegerichte benadering biedt voor het verminderen van trajectonderbrekingen in complexe MOT-scenario's30. Tracker-fusiemethoden leren daarnaast van de outputs van meerdere trackers en gebruiken selectie- of fusiestrategieën op basis van learners om de trackingrobuustheid over verschillende MOT-benchmarks te verbeteren31. Gezamenlijk wijzen deze studies erop dat betrouwbaarheidsbewuste associatie helpt bij het herstellen van onderbroken trajecten; echter, betrouwbaarheids- en bewegingsaanwijzingen bieden beperkte identiteitsinformatie wanneer spelers van hetzelfde team een vergelijkbaar visueel uiterlijk hebben. Hoewel deze methoden trajectfragmentatie in algemene scenario's effectief verlichten, kennen ze inherente beperkingen in sportomgevingen omdat spelers in hetzelfde team vaak een zeer gelijkaardig visueel uiterlijk hebben, en het uitsluitend vertrouwen op betrouwbaarheids- en bewegingsinformatie geen voldoende basis biedt voor identiteitsdifferentiatie32,33,34. Zelfs wanneer kaders met een lage betrouwbaarheid effectief worden teruggehaald, kan kenmerkgelijkenis nog steeds leiden tot identiteitswisseling, waardoor het moeilijk is om aan de strikte eisen voor identiteitsconsistentie bij sportanalyse te voldoen.

Sportspecifieke identiteitskenmerken zijn ook gebruikt om de identiteitsdiscriminatie bij het volgen van atleten te verbeteren. Semantische informatie van het tenue, zoals teamkleur en spelersnummer, biedt identiteitskenmerken die directer gerelateerd zijn aan sportsituaties dan algemene representaties van het uiterlijk35,36,37. Tenuekleur is gebruikt om discriminatie op teamniveau te ondersteunen en verwarring tussen teams te verminderen, terwijl herkenning van het spelersnummer een nauwkeuriger identiteitskenmerk biedt wanneer het nummergebied zichtbaar en leesbaar is38,39. Bestaande studies naar sporttracking hebben domeinspecifieke visuele kenmerken en herkenning van de tenuekleur geïntegreerd om de associatie van spelers onder drukke sportomstandigheden te verbeteren40,41. Gerelateerd werk over de herkenning van tenuenummers en synthetische nummergegevens ondersteunt verder de identiteitsmodellering onder omstandigheden met een lage resolutie of gedeeltelijke occlusie42,43. Deze studies geven aan dat tenue-semantiek de identiteitsrepresentatie in sports MOT kan versterken. De meeste semantisch verbeterde trackingmethoden modelleren echter de relatie tussen de detectiebetrouwbaarheid en de kwaliteit van de semantische kenmerken onvoldoende. Detecties met een hoge betrouwbaarheid bevatten mogelijk al betrouwbare ruimtelijke informatie en informatie over het uiterlijk, waardoor herhaalde semantische extractie minder efficiënt is. Detecties met een lage betrouwbaarheid lijden vaak onder occlusie, onscherpte, afsnijding of een lage resolutie, wat de betrouwbaarheid van kleur- en spelersnummerkenmerken vermindert. Deze beperking motiveert een betrouwbaarheidsgestuurd associatie-ontwerp waarin tenue-semantiek wordt geïntroduceerd op basis van de detectiekwaliteit, in plaats van uniform op alle detecties te worden toegepast. De beoordeelde studies tonen aan dat betrouwbaarheidsbewuste associatie en tenue-semantische modellering verschillende aspecten van sports MOT adresseren. Strategieën op basis van betrouwbaarheid bepalen voornamelijk of een detectie moet deelnemen aan de associatie en hoe deze moet worden gekoppeld aan bestaande trajecten, terwijl tenue-semantische strategieën primair de identiteitsrepresentatie verbeteren via sportspecifieke kenmerken. Deze twee mechanismen zijn echter vaak ontworpen als afzonderlijke componenten. Hierdoor worden semantische kenmerken niet altijd aangepast aan de detectiekwaliteit, en reguleren betrouwbaarheidsniveaus het gebruik van kleur- en spelersnummerinformatie tijdens de associatie niet direct. Deze scheiding beperkt de gezamenlijke aanpak van trajectfragmentatie en identiteitsverwarring in video's van teamsporten. De resterende onderzoekskloof ligt in het koppelen van de kwaliteitsbeoordeling van de detectiebetrouwbaarheid aan de tenue-semantische associatie binnen dezelfde tracking-workflow.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

Deze studie omvatte een secundaire analyse van publiekelijk beschikbare benchmark-videodatasets, namelijk SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 en MOT20. Er zijn geen deelnemers geworven, er is geen interventie uitgevoerd en er zijn geen nieuwe gegevens van menselijke subjecten verzameld. Goedkeuring van de ethische commissie was niet vereist voor deze studie onder de toepasselijke institutionele vereisten van de Bangkok Thonburi University.

Het volgende protocol beschrijft de workflow die is gebruikt om JerseyTrack te reproduceren, van de datapreparatie tot de evaluatie van de tracking. De workflow omvat datasetpreparatie, detectorpreparatie, semantische extractie van rugnummers, partitionering op basis van betrouwbaarheidsniveau, betrouwbaarheidsgestuurde associatie, tracking-inferentie en prestatie-evaluatie, zoals samengevat in Figuur 1De benodigde software, datasets en hardwarebronnen zijn opgesomd in de Tabel met materialen.

Diagram voor extractie van shirtkenmerken met gebruik van uiterlijke kenmerken; statusvoorspelling; proces van data-associatie.
Figuur 1Algemene workflow van de JerseyTrack-methode. De workflow bestaat uit extractie van semantische kenmerken van het shirt, initiële objectmatching, aanvullende matching gestuurd door betrouwbaarheid en kenmerkfusie. Kenmerken van teamkleur en spelersnummer worden geëxtraheerd uit de gedetecteerde regio's van de atleten en geïntegreerd in het associatieproces om de trajectmatching onder onzekere detectieomstandigheden te verbeteren. Klik hier om een grotere versie van deze figuur te bekijken.

1. Bereid de datasets en de mappenstructuur voor

  1. Download de publieke benchmark-datasets die zijn vermeld in de Tabel van Materialen. Gebruik SportsMOT als de primaire dataset voor de voorbereiding van de detector en de evaluatie van het trackingproces. Bewaar TeamTrack, SoccerNet Tracking, MOT17 en MOT20 voor cross-dataset evaluatie.
  2. Sla alle datasets op in een uniforme projectmap. Zorg ervoor dat de detector, de module voor semantische extractie, de trackingmodule en de evaluatie-toolkit identieke sequentie-identificatoren gebruiken.
  3. Converteer de officiële SportsMOT-annotaties naar het formaat voor detector-training met behulp van het data-voorbereidingsscript dat in deze studie is gebruikt. Voer het volgende commando uit:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. Het data-voorbereidingsscript (scripts/prepare_data.py) is beschikbaar in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). De vereiste softwareafhankelijkheden zijn gespecificeerd in environment.yml, inclusief Python 3.12, PyTorch 2.11.0 en OpenCV 4.10 of later. Configureer de softwareomgeving met behulp van het volgende commando: conda env create -f environment.yml. Voer het data-voorbereidingsscript uit met behulp van het volgende commando: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. Verifieer dat de conversie het configuratiebestand voor detector-training genereert: data\processed\SportsMOT_yolo\data.yaml en het conversiemanifest: data\processed\SportsMOT_yolo\conversion_manifest.csv.
    OPMERKING: In deze studie bevatte de geconverteerde SportsMOT-trainings- en validatiedataset 90 sequenties, 5.54 frames en 608.152 geannoteerde objecten.
  6. Inspecteer representatieve sequenties om te verifiëren dat de volgorde van de frames, de coördinaten van de bounding-box en de identiteitslabels consistent blijven met de oorspronkelijke benchmark-annotaties.
  7. Bewaar de geconverteerde annotatiebestanden zonder wijzigingen gedurende de voorbereiding van de detector, de tracking-inferentie en de evaluatie, zodat alle methoden dezelfde datasetpartitie en hetzelfde evaluatieprotocol gebruiken.
    OPMERKING: Het verwachte resultaat van deze sectie is een gestandaardiseerde SportsMOT-map voor detector-training die de geconverteerde annotaties, het conversiemanifest en de bestanden voor de dataset-splits bevat die nodig zijn voor de voorbereiding van de detector en de evaluatie van het trackingproces.

2. Detectoruitgangen voorbereiden

  1. Optimalise de objectdetector met behulp van de voorbereide SportsMOT-trainingssplit. Optimaliseer de detector met behulp van het classificatieverlies en het bounding-box regressieverlies zoals gedefinieerd in Vergelijking 1. Gebruik de inputresolutie van de detector, batchgrootte, leerpercentage, het aantal trainingsepochs en andere trainingsparameters zoals vermeld in de implementatie-instellingen en de Tabel van Materialen
    Ldet = Lcls + Lbox  (1)
    Hierbij staat Ldet  voor het totale detectorverlies, Lcls voor het classificatieverlies en Lbox  voor het bounding-box regressieverlies.
    OPMERKING: Het detector-checkpoint dat is gebruikt in de primaire experimenten (interne experiment-identifier e3) is getraind met het Ultralytics YOLO-framework met de SportsMOT YOLO-formaat datasetconfiguratie (data/processed/SportsMOT_yolo/data.yaml). Voer de detectortraining uit met het volgende commando: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo1x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Gebruik na het trainen het resulterende best presterende checkpoint om detector-outputs voor de validatiesequenties te genereren met het volgende commando: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. Sla na het trainen het getrainde detector-checkpoint, het bijbehorende metadatabestand en het trainingslogboek op.
    OPMERKING: In deze studie is het detector-checkpoint dat voor de formele experimenten werd gebruikt, opgeslagen als:
    outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.pt. Het bijbehorende metadatabestand is opgeslagen als: outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.json. De directory voor de detector-output die is gebruikt voor de belangrijkste SportsMOT-validatie-experimenten was: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections.
  3. Voer de getrainde detector uit op elke validatiesequentie om bounding boxes van atleten en betrouwbaarheidsscores te genereren. Exporteer voor elke sequentie één detectiebestand met daarin de frame-index, bounding-box coördinaten, detectiebetrouwbaarheid en het klasselabel.
    OPMERKING: In de SportsMOT-validatierun die voor de belangrijkste experimenten is gebruikt, genereerde een betrouwheidsdrempel van 0,05 343.90 detecties van atleten.
  4. Controleer de directory voor detector-outputs vóór de tracking-inferentie. Bevestig dat elke sequentie een bijbehorend detectiebestand heeft, dat de frame-indices overeenkomen met de voorbereide beeldsequentie en dat elk detectierecord een betrouwbaarheidsscore bevat.
    OPMERKING: Het verwachte resultaat van deze sectie is een volledige directory met detector-outputs die dient als input voor de semantische extractie van shirts, partitioning op betrouwbaarheidsniveau en tracking-associatie.

3. Semantische kenmerken van het shirt extraheren

  1. Gebruik de outputbestanden van de detector om de regio's van de atleten uit elk videoframe uit te snijden. Sla elke uitgesneden afbeelding van een atleet op met de bijbehorende sequentie-identificatie, frame-index en detectie-index. Sluit ongeldige uitsneden uit waarbij beeldinhoud ontbreekt of waarbij bounding boxes buiten de beeldrand vallen. Behoud de koppeling tussen elke bestandsnaam van een uitsnede en het oorspronkelijke detectierecord, zodat de geëxtraheerde semantische kenmerken tijdens de tracking-associatie kunnen worden gekoppeld aan de overeenkomstige detectie.
  2. Extraheer de kenmerken van de kleur van het shirt uit de bijgesneden afbeeldingen van de atleten met behulp van het script voor semantische extractie dat in deze studie is gebruikt.
    OPMERKING: De scripts voor de extractie van semantische kenmerken (scripts/extract_fast_color_semantics.py en scripts/formal_extract_semantics.py) zijn beschikbaar in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist; alle runtime-parameters worden opgegeven via de opdrachtregelargumenten.
    Genereer beschrijvers voor de kleur van het tenue met het volgende commando: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_color. Genereer semantische kenmerken voor spelersnummers met het OCR-model via het volgende commando: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t005_ocr. De gegenereerde beschrijvers voor de kleur van het tenue en de output van de waarschijnlijkheid van spelersnummers worden gekoppeld via de sequentie-identificatie en samengevoegd tot de bestanden met semantische kenmerken die tijdens de tracking-associatie worden gebruikt.
  3. Zet elke uitgesneden afbeelding van de atleet om naar de kleurruimte Hue, Saturation, Value (HSV). Extraheer de voorgrondpixels uit het gebied van het shirt en vat de dominante kleur van het shirt samen middels K-means clustering met K = 3. Normaliseer de resulterende kleurdescriptor met L2-normalisatie vóór de kenmerkvergelijking.
  4. Train de tak voor rugnummerherkenning met bijgesneden afbeeldingen van atleten met een invoerformaat van 128 × 64 pixels. Genereer pseudo-labels voor de rugnummers met behulp van de in deze studie toegepaste zwak gesuperviseerde labelprocedure. Sluit uitsneden met onzichtbare, onleesbare, ernstig geoccludeerde of onbetrouwbare rugnummerregio's uit bij de berekening van het Optical Character Recognition (OCR)-verlies.
  5. Optimaliseer de OCR-branch met behulp van het cross-entropy-verlies zoals gedefinieerd in Vergelijking 2.
    Cross-entropy verliesformule \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), vergelijking voor classificatie. (2)
    Hier, Loptische tekenherkenning staat voor het OCR-verlies, yi staat voor het label van het aantal gesuperviseerde spelers, en Polynomiale regressievergelijking, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, statistisch analyseoverzicht geeft de voorspelde categorie van het spelersaantal aan.
  6. Optimaliseer de module voor semantische kenmerkextractie met behulp van de adaptieve optimizer, leersnelheid, batchgrootte, weight decay en trainingsduur die vermeld staan in de Tabel met materialenCombineer het detectorverlies en het OCR-verlies met behulp van de totale trainingsdoelstelling zoals gedefinieerd in Vergelijking 3.
    Ltotaal = LDeterminatie + γLoptische tekenherkenning   (3)
    Hier, Ltotaal staat voor het totale trainingsverlies, LHet lijkt erop dat u alleen het prefix "det" heeft ingevoerd. Kunt u de volledige brontekst verstrekken die u wilt laten vertalen naar het Nederlands? staat voor het detectorverlies gedefinieerd in Vergelijking 1, Loptische tekensherkenning staat voor het OCR-verlies gedefinieerd in Vergelijking 2en geeft de door de gebruiker gedefinieerde wegingscoëfficiënt voor het OCR-verlies aan.
  7. Pas de getrainde OCR-branch toe op elke uitgesneden afbeelding van de atleet. Sla de voorspelde spelernummercategorie of de waarschijnlijkheidsvector voor elke uitsnede op. Indien het spelernummer niet zichtbaar is of het OCR-betrouwbaarheidsniveau onder de in de implementatie gedefinieerde drempelwaarde ligt, dient het kenmerk voor het spelernummer als niet beschikbaar te worden geregistreerd in plaats van een voorspelling af te dwingen.
  8. Combine de beschrijving van de kleur van het shirt en de output van het spelersnummer in het bestand met semantische kenmerken dat wordt gebruikt door de trackingmodule.
    OPMERKING: In de belangrijkste SportsMOT-validatierun heeft het script voor semantische extractie 343.90 detecties verwerkt zonder ontbrekende frames of ongeldige uitsneden. In het huidige revisiepakket rapporteerde de samenvatting van de semantische extractie een totale nauwkeurigheid van de kleur- en OCR-semantische extractie van 86,7% onder de geëvalueerde SportsMOT-instelling. Het verwachte resultaat van deze sectie is een bestand met semantische kenmerken waarin elk geldig detectierecord is gekoppeld aan een descriptor van de kleur van het shirt, een output van het spelersnummer indien beschikbaar, en een vlag die aangeeft of semantische informatie beschikbaar is voor tracking-associatie.

4. Betrouwbaarheidsniveaus van partitiedetectie

  1. Laad het detector-outputbestand voor elke videosequentie. Verzamel de betrouwbaarheidsscores van alle gedetecteerde atleten in elk frame.
  2. Verdeel de betrouwbaarheidsscores op frameniveau in intervallen met een hoge, gemiddelde en lage betrouwbaarheid met behulp van K-means clustering met K = 3, volgens de betrouwbaarheidsgestuurde associatieworkflow zoals getoond in Figuur 2Bepaal de adaptieve betrouwbaarheidsdrempelwaarden door de variantie binnen de clusters te minimaliseren volgens Vergelijking 4.
    Formule voor het symbool van statisch evenwicht; J_conf=min Σ(sd-μ_i)^2; wiskundige optimalisatie.  (4)
    Hier, sd staat voor de betrouwbaarheidsscore van de detectie d; D1, D2, en D3 geven respectievelijk de intervallen met een hoog, medium en laag betrouwbaarheidsniveau aan; μ1, μ2en μ3 geef de gemiddelde betrouwbaarheidsscores van de drie intervallen aan; en τ1 en τ2 duiden de adaptieve betrouwbaarheidsdrempels die zijn verkregen uit de resultaten van de K-means clustering.
    OPMERKING: Het script voor betrouwbaarheidspartitiering (scripts/formal_partition_confidence.py) is beschikbaar in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). De module voor betrouwbaarheidspartitiering maakt gebruik van een op NumPy gebaseerde eendimensionale K-means clusteringprocedure met K = 3. Er is geen apart configuratiebestand vereist; de invoermap, uitvoermap en clusteringparameter worden opgegeven via de opdrachtregelargumenten. Voer de procedure voor betrouwbaarheidspartitiering uit met het volgende commando: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t05/detections --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/confidence --k 3. De vereiste softwareafhankelijkheden, inclusief de NumPy-versie, zijn gespecificeerd in environment.yml.
  3. Voer de procedure voor betrouwbaarheidspartitiering uit met de directory van de detectoroutput als input.
    OPMERKING: In deze studie was de map voor de detector-output: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections. De map voor de confidence-partition output was: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t05\confidence. De gegenereerde outputbestanden bevatten de per sequentie confidence CSV-bestanden, _confidence_frame_summary.csv en _confidence_runtime.csv.
  4. Ken een betrouwbaarheidsniveau-label toe aan elke detectie. Label detecties met een hoge betrouwbaarheid voor bewegingsgebaseerde associatie, detecties met een gemiddelde betrouwbaarheid voor bewegings-semantische associatie en detecties met een lage betrouwbaarheid uitsluitend voor trajectherstel. Bewaar de oorspronkelijke betrouwbaarheidsscore samen met het toegewezen betrouwbaarheidsniveau-label.
  5. Inspecteer de betrouwbaarheidsscore-distributies en representatieve frames, zoals geïllustreerd in Figuur 3Verifieer dat detecties met een hoge betrouwbaarheid hoofdzakelijk overeenkomen met volledige en betrouwbare bounding boxes van atleten, terwijl detecties met een gemiddelde en lage betrouwbaarheid voornamelijk gedeeltelijke, occludeerde, vervaagde of zwakke detecties bevatten.
    OPMERKING: De verwachte uitkomst van dit gedeelte is een confidence-partition-bestand met de detectie-index, de oorspronkelijke betrouwbaarheidsscore, het toegewezen betrouwbaarheidsniveau en frame-niveau adaptieve betrouwheidsdrempels voor elke detectie.

Vertrouwen-gestuurde videoanalyse; diagram met K-means clustering en intervalberekeningen voor correlatie.
Figuur 2Vertrouwensgestuurde associatiestrategie. De workflow verdeelt de detectiebetrouwbaarheid in intervallen van hoge, gemiddelde en lage betrouwbaarheid middels adaptieve betrouwbaarheidsclustering. Detecties met een hoge betrouwbaarheid worden gekoppeld op basis van bewegingsgelijkenis, detecties met een gemiddelde betrouwbaarheid worden gekoppeld op basis van een combinatie van bewegings- en shirtsemantische gelijkenis, en detecties met een lage betrouwbaarheid worden gebruikt voor semantisch ondersteund trajectherstel met multi-frame verificatie. Het rechterpaneel vat de wiskundige formulering samen die wordt gebruikt voor de betrouwbaarheidsverdeling en koppeling. Klik hier om een grotere versie van deze figuur te bekijken.

Staafdiagram dat sportbeslissingsdoses vergelijkt op basis van het betrouwbaarheidsinterval; voetbal, basketbal, volleybal.
Figuur 3Distributie van de betrouwbaarheidsscores van de detecties. Het histogram toont het aantal detectiekaders van atleten binnen vijf betrouwbaarheidsintervallen voor voetbal-, basketbal- en volleyballsequences in de SportsMOT-dataset. De distributie illustreert de verschillen in de betrouwbaarheid van de detector over de geëvalueerde sportcategorieën. Klik hier om een grotere versie van deze figuur te bekijken.

5. Voer betrouwbaarheidsgestuurde associatie uit

  1. Laad het detector-outputbestand, het bestand met semantische kenmerken en het confidence-partition-bestand voor elke videosequentie. Initialiseer de tracker met de eerste geldige detecties en houd één trajectstatus bij voor elke gevolgde atleet. Voorspel voor elk volgend frame de positie van elk bestaand traject met behulp van het bewegingsmodel van het Kalman-filter.
  2. Bereken de bewegingsgelijkenis tussen elke voorspelde trajectorie en kandidaatdetectie met behulp van de Mahalanobisafstand zoals gedefinieerd in Vergelijking 5.
    Wiskundige formule voor statisch evenwicht, vergelijking: S_mot(t_i^k,d_j) met covariantiematrix.  (5)
    Hier, statisch evenwicht, ΣFx=0, ΣFy=0, krachtenevenwichtsdiagram, natuurkundig concept, probleemoplossingstechniek betekent de I-ste traject in frame k, Diagram van statisch evenwicht, ΣFx=0, met weergave van krachtvectoren en balans, educatieve natuurkundige tabel. staat voor de door Kalman voorspelde trajecttoestand, dj duidt de detectie van kandidaten aan, Statische evenwijktingsvergelijking Σi^{-1}; diagram met wiskundige symbolen voor educatief gebruik. duidt de inverse covariantiematrix van de voorspelde trajecttoestand aan, en Smot geeft de bewegingsafstand aan tussen de voorspelde baan en de detectie.
    OPMERKING: De kernworkflow voor associatie is geïmplementeerd in jerseytrack/formal_tracker.py en wordt uitgevoerd via scripts/formal_track.py; beide zijn beschikbaar in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist. Alle runtime-parameters, inclusief de betrouwheidsdrempels, de maximale trackleeftijd, de bewegingsgewichtcoëfficiënten en het gewicht van de centrumafstand, worden via opdrachtregelargumenten opgegeven. Het volledige uitvoeringscommando en de parameterinstellingen worden beschreven in stap 6.2. De implementatie maakt gebruik van het linear sum assignment-algoritme van SciPy voor Hungarian matching en NumPy voor kostengebaseerde associatie.
  3. Voer de tracking-workflow uit met het detector-outputbestand, het semantische-kenmerkenbestand en het confidence-partitionbestand als inputs.
    OPMERKING: In deze studie werd de kern-tracker geïmplementeerd in jerseytrack\formal_tracker.py en werd de tracking-workflow uitgevoerd met behulp van scripts\formal_track.py.
  4. Koppel detecties met een hoge betrouwbaarheid aan bestaande trajecten met behulp van bewegingsconsistentie. Werk gematchte trajecten bij en initialiseer nieuwe trajecten alleen wanneer niet-gematchte detecties met een hoge betrouwbaarheid voldoen aan de criteria voor trajectinitialisatie.
  5. Inspecteer de resultaten van de semantische extractie van de jerseys, zoals geïllustreerd in Figuur 4en stel voor elke detectie de semantische kenmerkvector van het shirt samen door de teamkleurbeschrijver en het spelersnummerkennmerk te combineren volgens Vergelijking 6.
    fSEM (scanningelektronenmicroscopie) = [fkolom;fid] (6)
    Hier, fSEM (scanningelektronenmicroscopie) staat voor de gefuseerde semantische kenmerkvector, fkolom staat voor de beschrijver van de teamkleur, en fid staat voor de kenmerk van het spelersnummer dat door de OCR-branch is gegenereerd.
  6. Koppel detecties met een gemiddeld betrouwbaarheidsniveau door bewegingsgelijkenis te combineren met semantische gelijkenis van de shirts. Bereken de gefuseerde matchingscore volgens Vergelijking 7.
    Vergelijking voor fusie van bewegings- en semantische scores, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    Hier, SSEM (scanningelektronenmicroscopie) staat voor de cosinusovereenkomst tussen de semantische kenmerkvectoren van de trajectorie en de kandidaatdetectie, Smot staat voor de bewegingsafstand gedefinieerd in Vergelijking 5, en λ staat voor de adaptieve fusiecoëfficiënt die de termen voor bewegings- en semantische gelijkenis in evenwicht brengt.
  7. Bereken de adaptieve fusiecoëfficiënt volgens Vergelijking 8.
    Statisch evenwicht; λ=λ₀exp(-σsd/σmax); formule gerelateerd aan spanningsverdeling in materialen. (8)
    Hier, λ0 staat voor de initiële bewegingsgewichtsfactor, σsd staat voor de standaarddeviatie van de detectie-betrouwbaarheidsscores in het huidige frame, en σmax staat voor de maximale standaarddeviatie van de betrouwbaarheidsscore die voor normalisatie wordt gebruikt.
  8. Gebruik detecties met een lage betrouwbaarheid uitsluitend voor het herstel van trajecten. Koppel detecties met een lage betrouwbaarheid alleen aan onderbroken trajecten wanneer semantische informatie beschikbaar is en aan de herstelcriteria is voldaan. Pas verificatie over meerdere frames toe voordat een trajectidentiteit wordt hersteld, en verwijder detecties die de verificatie niet doorstaan.
    OPMERKING: Wanneer de functie voor spelernummers niet beschikbaar is, moet de associatie worden uitgevoerd op basis van de beschikbare semantische informatie en bewegingsconsistentie, in plaats van een match op spelernummer af te dwingen. De verwachte uitkomst van deze sectie is een trackingrecord per frame met daarin trajectidentiteiten, bounding boxes, labels voor betrouwbaarheidsniveaus, bewegingskosten, semantische informatie en definitieve associatiebeslissingen. In het pakket met bewijsmateriaal van de revisie werden de trackingresultaten opgeslagen onder: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

Diagram voor volleybalwedstrijdanalyse met spelers-trackingsgegevens voor prestatie-inzichten.
Figuur 4Jersey semantische kenmerkextractie. Representatieve detecties van atleten worden geannoteerd met de geëxtraheerde teamkleur-descriptoren en spelernummerinformatie die zijn gegenereerd door de module voor semantische extractie van shirts. De geëxtraheerde semantische kenmerken worden vervolgens geïntegreerd in een betrouwbaarheidsgestuurde data-associatie. Klik hier om een grotere versie van deze figuur te bekijken.

6. Voer tracking-inferentie uit en exporteer de resultaten

  1. Voer de tracking-inferentie uit voor elke videosequentie met behulp van de voorbereide detector-outputbestanden, semantische-featurebestanden en confidence-partitionbestanden. Verwerk de videoframes in chronologische volgorde, zodat trajecttoestanden, semantische geschiedenis en beslissingen over trajectherstel consistent gedurende de gehele sequentie worden bijgewerkt. Gebruik dezelfde inferentieconfiguratie voor alle geëvalueerde sequenties, tenzij er expliciet een dataset-specifieke instelling wordt vermeld.
    OPMERKING: De tracking-inferentie werd uitgevoerd met scripts/formal_track.py, dat beschikbaar is in de broncoderepository van JerseyTrack (https://doi.org/10.5281/zenodo.21274352). Er is geen apart configuratiebestand vereist. Voer de tracking-inferentie uit met het volgende commando: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Alle niet-gespecificeerde parameters behielden de standaardwaarden die in de gearchiveerde broncode zijn vastgelegd.
  2. Pas na de inferentie de primaire post-processingsequentie toe met behulp van de volgende commando's: python scripts/merge_tracklets.py en python scripts/sweep_track_filter.py --min-len 95.
  3. Exporteer de trackingresultaten in het formaat dat vereist is door de evaluatietoolkit. Voeg de frame-index, de trajectidentiteit, de bounding-box-coördinaten en alle velden toe die vereist zijn door het benchmark-evaluatieformaat. Sla voor elke sequentie één tracking-resultaatbestand op met een consistente naamgevingsconventie, zodat elk resultaatbestand kan worden gekoppeld aan het bijbehorende ground-truth annotatiebestand.
  4. Pas uitsluitend de post-processingoperaties toe die in deze studie zijn gebruikt. Voer het samenvoegen van tracklets en trackfiltering uit met de post-processing-scripts die worden beschreven in het revisiepakket.
    OPMERKING: In deze studie maakte de post-processingworkflow gebruik van de volgende scripts:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. Inspecteer de geëxporteerde trackingresultaten vóór de kwantitatieve evaluatie. Bevestig dat trajectidentiteiten numeriek en consistent blijven binnen elke sequentie, dat er geen frame-indices ontbreken en dat alle bounding boxes binnen de afbeeldingsgrenzen blijven.
    OPMERKING: Het verwachte resultaat van dit onderdeel is een volledige set tracking-resultaatbestanden op sequentieniveau, klaar voor kwantitatieve evaluatie.

7. Evalueer de trackingprestaties

  1. Evalueer de geëxporteerde bestanden met trackingresultaten met behulp van de evaluatietoolkit die vermeld staat in de Tabel met materialenKoppel elk tracking-resultatenbestand aan het corresponderende ground-truth annotatiebestand en de dataset-split. Gebruik voor alle vergeleken methoden dezelfde evaluatieconfiguratie om te waarborgen dat prestatieverschillen voortkomen uit de tracking-resultaten en niet uit de evaluatie-instellingen.
  2. Voer de evaluatie uit met het volgende commando
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _ronde1\minlen95 --OUTPUT_MAPPER outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    OPMERKING: De evaluatie werd uitgevoerd met behulp van de standaard TrackEval-metriekimplementatie (versie 1.3.0), gearchiveerd in het JerseyTrack-reproduceerbaarheidspakket. Er zijn geen wijzigingen aangebracht in de implementaties van de Higher Order Tracking Accuracy (HOTA), CLEAR of de Identity-metriek. De repository bevat de wrapper voor uitvoering in de stijl van MOTChallenge, te vinden op evaluation/trackeval/scripts/run_mot_challenge.py, die de paden naar de dataset en de resultaten configureert en de standaard TrackEval-evaluatiemetrieken aanroept.
  3. Registreer de in het manuscript gerapporteerde evaluatiemetrieken, waaronder de Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), fout-positieven (FPs), fout-negatieven (FNs) en identity-switching events. Exporteer de evaluatiesamenvatting als een tabel en behoud de evaluatiebestanden per sequentie voor verificatie.
  4. Gebruik bij het vergelijken van JerseyTrack met baseline-methoden dezelfde dataset-splitsing, detector-outputs en evaluatieconfiguratie voor alle methoden. Leg de dataset, de bron van de detector-output, de configuratie van de evaluatietoolkit en de metriekwaarden voor elke vergelijking vast.
  5. Controleer de evaluatielogboeken om te verifiëren dat alle sequenties succesvol zijn geëvalueerd en dat er geen trackingresultaatbestanden ontbreken.
    OPMERKING: In deze studie werd het primaire TrackEval-samenvattingsbestand opgeslagen op: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine_
    ronde1\minlengte95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. De verwachte uitkomst van deze sectie is een volledige evaluatiesamenvattingstabel samen met de metric-bestanden per sequentie ter ondersteuning van de gerapporteerde resultaten en de daaropvolgende verificatie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Deze sectie rapporteert de kwantitatieve en kwalitatieve resultaten die zijn verkregen uit de geëvalueerde experimenten voor multi-object tracking in sport. De resultaten richten zich op tracking-nauwkeurigheid, behoud van identiteit, associatiekwaliteit en robuustheid onder de geteste datasetinstellingen. Prestatieclaims zijn beperkt tot de geëvalueerde methoden, datasets, detector-outputs en de configuratie van de evaluatietoolkit zoals beschreven in het Protocol en de Implementatie-opstelling.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Deze studie evalueerde een op betrouwbaarheid gestuurde sports MOT-workflow die detectie-betrouwbaarheidspartitionering combineert met semantische cues van shirts. Betrouwbaarheidsgestuurde associatie en semantische feature-fusie zijn onderzocht als complementaire strategieën voor het verbeteren van data-associatie bij multi-object tracking12,20,23,24,46. De r...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs verklaren dat zij geen financiële belangenverstrengeling hebben.

Dankbetuigingen

De auteurs hebben geen dankbetuigingen te verklaren.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
CUDA RuntimeNVIDIAVersie 12.8GPU-computing runtime gebruikt voor detector-training, semantische kenmerkextractie en tracking-inferentie.
EasyOCRJaided AIVersie 1.7.2Toolkit voor optische tekenherkenning gebruikt voor de herkenning van spelersnummers.
JerseyTrack broncodeAuteursN/AAangepaste implementatie met scripts voor datapreparatie, semantische kenmerkextractie, betrouwbaarheidspartitionering, tracking, post-processing en evaluatie. Beschikbaar op: https://doi.org/10.5281/zenodo.21274352
Lightweight CRNN OCR-modelAuteursN/AAangepast convolutioneel recurrent neuraal netwerk (CRNN) gebruikt voor de herkenning van spelersnummers.
MOT17 datasetMOTChallengeN/AOpenbare benchmark-dataset gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://motchallenge.net/data/MOT17/
MOT20 datasetMOTChallengeN/AOpenbare benchmark-dataset gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://motchallenge.net/data/MOT20/
motmetricsmotmetrics OntwikkelaarsVersie 1.4.0Bibliotheek gebruikt voor de berekening van diagnostische metrieken voor multi-object tracking.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2Graphics processing unit gebruikt voor detector-training en tracking-inferentie.
NVIDIA GPU-driverNVIDIAVersie 610.62GPU-driver gebruikt in de experimentele omgeving.
NumPyNumPy OntwikkelaarsVersie 2.4.4Bibliotheek voor numerieke berekeningen gebruikt voor kenmerkverwerking en data-afhandeling.
OpenCVOpenCVVersie 4.10.0Computer vision-bibliotheek gebruikt voor het laden, bijsnijden, voorbewerken en visualiseren van afbeeldingen.
PythonPython Software FoundationVersie 3.12.2Programmeertaal gebruikt in de gehele workflow.
PyTorchPyTorch FoundationVersie 2.11.0+cu128Deep learning-framework gebruikt voor de implementatie van de detector en het semantische model.
scikit-learnscikit-learn OntwikkelaarsVersie 1.9.0Machine-learning-bibliotheek gebruikt voor K-means clustering tijdens de extractie van shirtkleuren en betrouwbaarheidspartitionering.
SoccerNet Tracking datasetSoccerNetN/AOpenbare benchmark voor voetbal-tracking gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://www.soccer-net.org/tasks/tracking
SportsMOT datasetSportsMOT BenchmarkN/APrimaire benchmark-dataset gebruikt voor detector-preparatie en tracking-evaluatie. Beschikbaar via: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack datasetTeamTrack BenchmarkN/AOpenbare benchmark voor sport-tracking gebruikt voor cross-dataset evaluatie. Beschikbaar via: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationVersie 0.26.0+cu128Computer vision-bibliotheek gebruikt in combinatie met PyTorch voor beeldtransformatie en modelondersteuning.
TrackEvalTrackEval OntwikkelaarsVersie 1.3.0Evaluatie-toolkit gebruikt om Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), fout-positieven (FP), fout-negatieven (FN) en identiteitswisselingen (IDs) te berekenen.
UltralyticsUltralyticsVersie 8.4.90Framework voor objectdetectie gebruikt om de detector te trainen en atleet-detecties te genereren.

Referenties

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Tags

Vertrouwen-gestuurd volgentraject van de spelerbewegingsgelijkeniskleur van het shirtoptische tekenherkenningidentiteitsconsistentieSportsMOT-dataset
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.