Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

Forma Semantik Füzyonu Kullanan Spor Videoları İçin Güven Tabanlı Çoklu Nesne İzleme Yöntemi

40 görüntülenme

⸱

DOI:

10.3791/71557

⸱

14 Ağustos 2026

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

Bu makalede

Özet

Bu protokol, güven odaklı çoklu nesne izleme iş akışını spor videoları için tanımlamakta olup; güven dalgalanmaları, örtüşmeler ve görsel olarak benzer atlet görünümleri altında yörünge ilişkilendirmesini ve kimlik tutarlılığını iyileştirmek için forma rengi ve oyuncu numarası bilgilerini entegre eder.

Özet

Spor videolarında Çoklu Nesne İzleme (MOT), taktiksel analiz, oyuncu davranışı yorumlama ve otomatik istatistiksel analizler için yörünge bilgisi sağlar. Ancak, spor senaryoları sıklıkla hızlı yön değişimleri, ani duruşlar, sık kapanmalar (oklüzyon) ve görsel olarak benzer takım arkadaşları içerir; bu durum, kareler arası ilişkilendirme sırasında tespit güveninde dalgalanmalara ve kimlik karışıklığına yol açar. Bu zorlukların üstesinden gelmek için bu çalışma, forma semantik füzyonuna dayalı, güven odaklı bir spor MOT yöntemi olan JerseyTrack'i sunmaktadır. İş akışı, tespit kutularını her karenin güven dağılımına göre yüksek, orta ve düşük güven aralıklarına adaptif olarak ayırır. Yüksek güvenli tespitler öncelikle hareket benzerliği kullanılarak ilişkilendirilirken; orta ve düşük güvenli tespitler, renk kümeleme ve hafif bir Optik Karakter Tanıma (OCR) modeli aracılığıyla çıkarılan forma rengi ve oyuncu numarası özelliklerini ek olarak bünyesine katar. Bu semantik özellikler, yörünge sürekliliğini ve kimlik tutarlılığını artırmak için ek eşleştirme sırasında hareket bilgileriyle birleştirilir. Yöntem, SportsMOT veri seti üzerinde değerlendirilmiştir. JerseyTrack; %88,9 Çoklu Nesne İzleme Doğruluğu (MOTA), %74,3 Kimlik F1 Puanı (IDF1) ve %69,9 Yüksek Dereceli İzleme Doğruluğu (HOTA) elde ederek, değerlendirilen spor izleme ortamında geliştirilmiş bir izleme performansı sergilemiştir. Bu protokol, spor videolarında çoklu nesne izlemeyi iyileştirmek için güven odaklı ilişkilendirmenin forma semantik bilgileriyle entegre edilmesine yönelik tekrarlanabilir bir iş akışı sunmaktadır.

Giriş

Çoklu nesne takibi (MOT), video dizilerinde sürekli nesne yerelleştirmesi ve kimlik koruması sağlar; spor videosu uygulamalarında sporcu yörünge çıkarımı, taktiksel analiz ve otomatik istatistiksel analizi destekler1,2,3. Güvenilir görsel bilgiler, spor bilimlerinde spora özgü karar verme ve performans değerlendirmesiyle de ilişkilidir; bu da sonraki spor analizleri için videodan türetilen kararlı hareket verilerinin değerini daha da vurgulamaktadır4. Spor senaryolarında, taktiksel verilerin güvenilirliği, takip yörüngelerinin sürekliliğine ve hedef kimliklerinin tutarlılığına bağlıdır.

Genel MOT senaryolarıyla karşılaştırıldığında, spor videoları hızlı yön değişimleri, ani duruşlar, sıçramalar, yoğun etkileşimler ve sık occlusion durumları içerir. Bu faktörler, tespit kutusu güveninde önemli dalgalanmalara neden olur ve düşük güvenli tespitlerin sıklığını artırarak yörünge ilişkilendirmesini kesintiye uğratabilir5,6. Tek tip takım formaları, genel görünüm özelliklerinin ayırt edici yeteneğini daha da azaltır ve görsel olarak benzer takım arkadaşları arasında kimlik karışıklığını artırır7,8. Occlusion ve görünüm benzerliği aynı dizide meydana geldiğinde, tespit güveni azalır ve hedef görünüm bilgisi eksik hale gelir; bu da yörünge ilişkilendirme ve kimlik koruma zorluğunu artırır9,10. MOT'ta, yeniden tanımlama (Re-ID), kimlikle ilgili görsel kanıtlar kullanılarak aynı hedef kimliğinin kareler, occlusion dönemleri veya yeniden giriş durumları boyunca ilişkilendirilmesi sürecini ifade eder. Takım sporları videolarında, aynı takımdaki sporcuların genellikle benzer üniformalara ve vücut görünümlerine sahip olması nedeniyle genel Re-ID ipuçları zayıflayabilir. Teknik literatür incelemesi, spor MOT'undaki yörünge parçalanması ve kimlik karışıklığının yaygın olarak iki tamamlayıcı yaklaşımla ele alındığını göstermektedir: tespit güveni kullanımı ve kimlik ipucu geliştirme. JerseyTrack, renk ve oyuncu numarası bilgilerini tüm tespitlere tekdüze şekilde uygulamak yerine, forma semantik ipuçlarının kullanımını tespit kalitesine göre düzenleyerek bu yaklaşımların kesişim noktasında konumlandırılmıştır.

Bu çalışma, forma anlamsal füzyonuna dayalı, güven odaklı bir spor MOT yöntemi olan JerseyTrack'i sunmaktadır. Yöntem, sporcuların görünür formalar giydiği ve tespit sonuçlarının güven skorlarıyla birlikte sınırlayıcı kutular sağladığı takım sporu videoları için tasarlanmıştır. JerseyTrack dört ana bileşeni birleştirir: sporcu tespiti, güven düzeyi bölümlendirme, forma anlamsal özellik çıkarımı ve kademeli kareler arası ilişkilendirme. Tespit güveni, tespitleri yüksek, orta ve düşük güvenli gruplara uyarlanabilir şekilde bölmek için kullanılır ve bu gruplar farklı ilişkilendirme stratejileri kullanılarak işlenir. Yüksek güvenli tespitler öncelikle hareket bilgisi aracılığıyla ilişkilendirilirken, orta ve düşük güvenli tespitler, görsel kanıtların zayıf olduğu durumlarda kimlik korumasını iyileştirmek için ek olarak forma rengi ve oyuncu numarası bilgilerini içerir. Yöntem, taktiksel analiz ve oyuncu davranışı yorumlama gibi stabil sporcu yörüngeleri gerektiren spor videosu analiz görevleri için amaçlanmıştır.

Önerilen yaklaşımın operasyonel sınırlamaları da bulunmaktadır. Forma semantik çıkarımı; şiddetli kapanma (oklüzyon), hareket bulanıklığı, düşük görüntü çözünürlüğü, anormal forma pozları veya görünmeyen oyuncu numaralarından etkilenebilir. Bu durumlarda, formaya dayalı semantik ipuçları yetersiz kalabilir ve ilişkilendirme süreci daha çok hareket tutarlılığına ve çok kareli doğrulamaya dayanır. Bu nedenle, bu çalışmadaki performans iddiaları, değerlendirilen veri setleri ve deneysel ortamlarla sınırlıdır. SportsMOT veri seti üzerinde yapılan deneyler, JerseyTrack'in test edilen spor takip koşulları altında değerlendirilen takip metriklerini iyileştirdiğini ve kimlik değiştirme (identity-switching) olaylarını azalttığını göstermektedir. Spor videolarında MOT'un temel zorluğu, hızlı hareket, kapanma ve görünüm benzerliği altında yörünge sürekliliğini ve kimlik tutarlılığını korumaktır. JerseyTrack ile ilgili mevcut çalışmalar genel olarak iki araştırma yönüne ayrılabilir: yörünge ilişkilendirmesi için tespit güveninin kullanımı ve spora özgü semantik özellikler aracılığıyla kimlik ipuçlarının geliştirilmesi.

Tespit güven değeri, tespit kutularının güvenilirliğini tahmin etmek ve MOT'ta yörünge ilişkilendirmesine rehberlik etmek için yaygın olarak kullanılmıştır. Erken dönem izleme yöntemleri, güven değerini genellikle ikili bir filtreleme kriteri olarak ele almış ve yanlış pozitifleri azaltmak için sabit bir eşiğin altındaki tespitleri kaldırmıştır11,12. Bu strateji gürültülü tespitleri azaltsa da, oklüzyon (örtünme), hızlı hareket veya düşük görüntü kalitesi altındaki gerçek hedeflerin de atılmasına neden olarak yörünge parçalanmasıyla sonuçlanabilmektedir13,14,15. Benzer filtreleme stratejileri, sabit güven eşiklerinin sahne varyasyonuna ve tespit kalitesine karşı duyarlı olduğunu da göstermiştir16,17. Düşük güvenli tespitlerin kullanımını geliştirmek için ByteTrack, düşük güvenli kutuları ikincil eşleştirme için aday hedefler olarak tutan ve bunları hareket benzerliği ile yörünge geçmişi üzerinden mevcut yörüngelerle bağlayan bir ilişkilendirme stratejisi sunmuştur18. McByte, zamansal olarak yayılmış segmentasyon maskelerini bir ilişkilendirme ipucu olarak ekleyerek spor MOT ilişkilendirmesini daha da genişletmiş; video başına ek eğitim gerektirmeden hızlı hareket, oklüzyon ve kamera kayması koşulları altında dayanıklılığı artırmıştır19. İlgili çalışmalar, ilişkilendirme sırasında zayıf ancak potansiyel olarak geçerli hedefleri tutmak için düşük güvenli tespitlerin kullanımını da düzenlemiştir20,21,22. Güvene duyarlı ilişkilendirme stratejileri, daha sonra eşleştirme kriterlerini hareket tutarlılığına ve tespit güvenilirliğine göre rafine etmiştir23,24,25. Tespit kutusu regresyonu ve yörünge pürüzsüzlüğü optimizasyonuna dayalı yörünge rafinasyon yöntemleri de yörünge parçalanmasını azaltmak için kullanılmıştır26,27,28. Ek rafinasyon stratejileri, karmaşık hareket koşulları altında yörünge sürekliliğinin korunması için tamamlayıcı destek sağlamaktadır29. Zamansal tutarlı nesne akışı, kareler arası nesne düzeyinde zamansal tutarlılığı daha ayrıntılı modellerken, karmaşık MOT senaryolarında yörünge kesintilerini azaltmak için ilişkilendirme odaklı başka bir yaklaşım sunmaktadır30. İzleyici füzyon yöntemleri ayrıca birden fazla izleyicinin çıktılarından öğrenmekte ve farklı MOT kıyaslamalarında izleme dayanıklılığını artırmak için öğrenici tabanlı seçim veya füzyon stratejileri kullanmaktadır31. Topluca bakıldığında bu çalışmalar, güvende farkındalık yaratan ilişkilendirmenin kesintiye uğramış yörüngeleri geri kazanmaya yardımcı olduğunu göstermektedir; ancak, aynı takımdaki oyuncuların görsel görünümleri benzer olduğunda, güven ve hareket ipuçları sınırlı kimlik bilgisi sağlamaktadır. Bu yöntemler genel senaryolarda yörünge parçalanmasını etkili bir şekilde hafifletse de, spor ortamlarında doğuştan gelen sınırlamalarla karşı karşıyadır; çünkü aynı takımdaki oyuncular genellikle oldukça benzer görsel görünümlere sahiptir ve yalnızca güven ve hareket bilgilerine güvenmek, kimlik ayrımı için yeterli bir temel sağlayamaz32,33,34. Düşük güvenli kutular etkili bir şekilde geri çağrıldığında bile, özellik benzerliği hala kimlik değişimlerine yol açabilmekte ve spor analizinin katı kimlik tutarlılığı gereksinimlerini karşılamayı zorlaştırmaktadır.

Spora özgü kimlik ipuçları, sporcu takibinde kimlik ayrımını iyileştirmek için de kullanılmıştır. Takım rengi ve oyuncu numarası gibi forma semantik bilgileri, genel görünüm gömmelerinden ziyade spor senaryolarıyla daha doğrudan ilişkili kimlik ipuçları sağlar35,36,37. Forma rengi, takım düzeyindeki ayrımı desteklemek ve takımlar arası karışıklığı azaltmak için kullanılırken, oyuncu numarası tanıma, numara bölgesinin görünür ve okunabilir olduğu durumlarda daha hassas bir kimlik ipucu sağlar38,39. Mevcut spor takip çalışmaları, kalabalık spor koşulları altında oyuncu ilişkilendirmesini iyileştirmek için alana özgü görsel özellikleri ve forma rengi tanımayı dahil etmiştir40,41. Forma numarası tanıma ve sentetik numara verileri üzerine yapılan ilgili çalışmalar, düşük çözünürlüklü veya kısmen gizlenmiş koşullar altında kimlik modellemeyi daha da desteklemektedir42,43. Bu çalışmalar, forma semantiğinin spor MOT'unda kimlik temsilini güçlendirebileceğini göstermektedir. Ancak, semantik olarak geliştirilmiş takip yöntemlerinin çoğu, tespit güveni ile semantik özellik kalitesi arasındaki ilişkiyi yeterince modellememektedir. Yüksek güvenli tespitler zaten güvenilir uzamsal ve görünüm bilgileri içerebilir, bu da tekrarlanan semantik çıkarımı daha az verimli hale getirir. Düşük güvenli tespitler ise genellikle gizlenme, bulanıklık, kırpılma veya düşük çözünürlükten etkilenerek renk ve oyuncu numarası ipuçlarının güvenilirliğini azaltır. Bu sınırlama, forma semantiğinin tüm tespitlere tek tip uygulanması yerine tespit kalitesine göre sunulduğu güven odaklı bir ilişkilendirme tasarımını tetiklemektedir. İncelenen çalışmalar, güven duyarlı ilişkilendirmenin ve forma semantik modellemesinin spor MOT'unun farklı yönlerini ele aldığını göstermektedir. Güvene dayalı stratejiler temel olarak bir tespitin ilişkilendirmeye katılıp katılmaması gerektiğini ve mevcut yörüngelerle nasıl eşleşmesi gerektiğini belirlerken, forma semantik stratejileri öncelikle spora özgü ipuçları aracılığıyla kimlik temsilini geliştirir. Bununla birlikte, bu iki mekanizma genellikle ayrı bileşenler olarak tasarlanmıştır. Sonuç olarak, semantik ipuçları her zaman tespit kalitesine göre ayarlanmaz ve güven seviyeleri ilişkilendirme sırasında renk ve oyuncu numarası bilgilerinin kullanımını doğrudan düzenlemez. Bu ayrım, takım sporu videolarında yörünge parçalanması ve kimlik karışıklığının ortaklaşa ele alınmasını sınırlar. Mevcut araştırma boşluğu, aynı takip iş akışı içerisinde tespit güveni kalite değerlendirmesi ile forma semantik ilişkilendirmesinin birbirine bağlanmasında yatmaktadır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Bu çalışma; SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 ve MOT20 adlı, halka açık kıyaslama video veri setlerinin ikincil analizini içermektedir. Herhangi bir katılımcı alınmamış, herhangi bir müdahale gerçekleştirilmemiş ve yeni insan denek verisi toplanmamıştır. Bangkok Thonburi Üniversitesi'nin geçerli kurumsal gereklilikleri uyarınca bu çalışma için etik kurul onayı gerekmemiştir.

Aşağıdaki protokol, veri hazırlığından takip değerlendirmesine kadar JerseyTrack'i yeniden üretmek için kullanılan iş akışını açıklamaktadır. İş akışı; Şekil 1'de özetlendiği üzere veri seti hazırlama, dedektör hazırlama, forma anlamsal çıkarımı, güven seviyesi bölümlendirme, güven kılavuzlu ilişkilendirme, takip çıkarımı ve performans değerlendirmesini içermektedir. Gerekli yazılımlar, veri setleri ve donanım kaynakları Materyaller Tablosu'nda listelenmiştir.

Görünüm özellikleri kullanılarak yapılan forma özellik çıkarımı diyagramı; durum tahmini; veri ilişkilendirme süreci.
Şekil 1JerseyTrack yönteminin genel iş akışı. İş akışı; forma semantik özellik çıkarımı, başlangıç nesne eşleştirme, güven odaklı tamamlayıcı eşleştirme ve özellik füzyonundan oluşmaktadır. Belirlenen sporcu bölgelerinden takım rengi ve oyuncu numarası özellikleri çıkarılarak, belirsiz tespit koşulları altında yörünge eşleştirmeyi iyileştirmek amacıyla ilişkilendirme sürecine dahil edilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

1. Veri setlerini ve dizin yapısını hazırlayın

  1. Materyaller Tablosu'nda listelenen kamuya açık kıyaslama veri setlerini indirin. Dedektör hazırlama ve izleme değerlendirmesi için birincil veri seti olarak SportsMOT'u kullanın. Veri setleri arası değerlendirme için TeamTrack, SoccerNet Tracking, MOT17 ve MOT20'yi saklayın.
  2. Tüm veri setlerini birleştirilmiş bir proje dizini altında depolayın. Dedektörün, semantik çıkarma modülünün, izleme modülünün ve değerlendirme kitinin özdeş sekans tanımlayıcılar kullandığından emin olun.
  3. Bu çalışmada kullanılan veri hazırlama betiğini kullanarak resmi SportsMOT açıklama satırlarını (annotations) dedektör eğitim formatına dönüştürün. Şu komutu çalıştırın:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. Veri hazırlama betiği (scripts/prepare_data.py), JerseyTrack kaynak kod deposunda (https://doi.org/10.5281/zenodo.21274352) mevcuttur. Python 3.12, PyTorch 2.1.0 ve OpenCV 4.10 veya daha yeni versiyonlarını içeren gerekli yazılım bağımlılıkları environment.yml dosyasında belirtilmiştir. Yazılım ortamını şu komutu kullanarak yapılandırın: conda env create -f environment.yml. Veri hazırlama betiğini şu komutu kullanarak çalıştırın: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. Dönüştürme işleminin, dedektör eğitim yapılandırma dosyası olan data\processed\SportsMOT_yolo\data.yaml ve dönüştürme manifestosu olan data\processed\SportsMOT_yolo\conversion_manifest.csv dosyalarını oluşturduğunu doğrulayın.
    NOT: Bu çalışmada, dönüştürülen SportsMOT eğitim ve doğrulama veri seti 90 sekans, 5,54 kare ve 608,152 etiketlenmiş nesne içermektedir.
  6. Kare sırasının, sınırlayıcı kutu (bounding-box) koordinatlarının ve kimlik etiketlerinin orijinal kıyaslama açıklama satırlarıyla tutarlı kaldığını doğrulamak için temsili sekansları inceleyin.
  7. Tüm yöntemlerin aynı veri seti bölümünü ve değerlendirme protokolünü kullanması için, dönüştürülmüş açıklama dosyalarını dedektör hazırlama, izleme çıkarımı ve değerlendirme süreçleri boyunca değişiklik yapmadan koruyun.
    NOT: Bu bölümden beklenen sonuç; dönüştürülmüş açıklamaları, dönüştürme manifestosunu ve dedektör hazırlama ile izleme değerlendirmesi için gerekli veri seti bölme dosyalarını içeren standartlaştırılmış bir SportsMOT dedektör eğitim dizinidir.

2. Dedektör çıkışlarını hazırlayın

  1. Hazırlanan SportsMOT eğitim seti kullanılarak nesne detektörünü ince ayar yapın. Detektörü, Denklem 1'de tanımlanan sınıflandırma kaybı ve sınırlayıcı kutu regresyon kaybını kullanarak optimize edin. Uygulama kurulumunda ve Materyaller Tablosu'nda bildirilen detektör giriş çözünürlüğünü, grup boyutunu (batch size), öğrenme oranını, eğitim epok sayısını ve diğer eğitim parametrelerini kullanın.
    Ldet = Lcls + Lbox  (1)
    Burada, Ldet  toplam detektör kaybını, Lcls sınıflandırma kaybını, Lbox  ise sınırlayıcı kutu regresyon kaybını ifade eder.
    NOT: Birincil deneylerde kullanılan detektör kontrol noktası (dahili deney tanımlayıcı e3), SportsMOT YOLO-format veri seti yapılandırması (data/processed/SportsMOT_yolo/data.yaml) ile Ultralytics YOLO çerçevesi kullanılarak eğitilmiştir. Detektör eğitimini şu komutu kullanarak gerçekleştirin: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo1x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Eğitimden sonra, doğrulama dizileri için detektör çıktıları üretmek amacıyla, sonuç olarak elde edilen en iyi performanslı kontrol noktasını şu komutu kullanarak çalıştırın: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. Eğitimden sonra eğitilmiş detektör kontrol noktasını, ilgili meta veri dosyasını ve eğitim günlüğünü kaydedin.
    NOT: Bu çalışmada, resmi deneyler için kullanılan detektör kontrol noktası şu şekilde kaydedilmiştir:
    outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.pt. İlgili meta veri dosyası ise şu şekilde kaydedilmiştir: outputs\formal\checkpoints\detector\sportsmot_yolo1x_i960_e3_best.json. Ana SportsMOT doğrulama deneyleri için kullanılan detektör-çıktı dizini şuydu: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections.
  3. Sporcu sınırlayıcı kutularını ve güven puanlarını oluşturmak için eğitilmiş detektörü her bir doğrulama dizisi üzerinde çalıştırın. Kare indeksini, sınırlayıcı kutu koordinatlarını, tespit güvenini ve sınıf etiketini içeren her dizi için bir tespit dosyası dışa aktarın.
    NOT: Ana deneyler için kullanılan SportsMOT doğrulama çalışmasında, 0.05'lik bir güven eşiği 343.90 sporcu tespiti oluşturmuştur.
  4. İzleme çıkarımı öncesinde detektör-çıktı dizinini inceleyin. Her dizinin karşılık gelen bir tespit dosyasına sahip olduğunu, kare indekslerinin hazırlanan görüntü dizisiyle eşleştiğini ve her tespit kaydının bir güven puanı içerdiğini doğrulayın.
    NOT: Bu bölümden beklenen sonuç, forma semantik çıkarımı, güven seviyesi bölümlendirme ve izleme ilişkilendirmesi için girdi görevi görecek eksiksiz bir detektör-çıktı dizinidir.

3. Forma semantik özelliklerini çıkarın

  1. Her bir video karesinden sporcu bölgelerini kırpmak için dedektör çıktı dosyalarını kullanın. Kırpılmış her sporcu görüntüsünü, dizi tanımlayıcısı, kare dizini ve tespit dizini ile birlikte kaydedin. Eksik görüntü içeriğine sahip olan veya sınırlayıcı kutuları görüntü sınırlarının dışına taşan geçersiz kırpmaları hariç tutun. Ayıklanan semantik özelliklerin, takip ilişkilendirmesi sırasında ilgili tespitle eşleştirilebilmesi için her bir kırpma dosya adı ile orijinal tespit kaydı arasındaki bağlantıyı koruyun.
  2. Bu çalışmada kullanılan anlamsal çıkarım betiğini kullanarak, kırpılmış sporcu görüntülerinden forma rengi özelliklerini çıkarın.
    NOT: Semantik özellik çıkarma betikleri (scripts/extract_fast_color_semantics.py ve scripts/formal_extract_semantics.py), JerseyTrack kaynak kodu deposunda (https://doi.org/10.5281/zenodo.21274352) mevcuttur. Ayrı bir konfigürasyon dosyası gerekmez; tüm çalışma zamanı parametreleri komut satırı argümanları aracılığıyla sağlanır.
    Aşağıdaki komutu kullanarak forma rengi tanımlayıcılarını oluşturun: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t005_color. OCR modelini kullanarak oyuncu numarası semantik özelliklerini şu komutla oluşturun: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_ocr. Oluşturulan forma rengi tanımlayıcıları ve oyuncu numarası olasılık çıktıları, sekans tanımlayıcısı üzerinden ilişkilendirilir ve takip ilişkilendirmesi sırasında kullanılan semantik özellik dosyalarında birleştirilir.
  3. Kırpılmış her sporcu görüntüsünü Hue, Saturation, Value (HSV) renk uzayına dönüştürün. Forma bölgesinden ön plan piksellerini çıkarın ve K = 3 olan K-ortalamalar kümeleme yöntemiyle baskın forma rengini özetleyin. Özellik karşılaştırmasından önce, elde edilen renk tanımlayıcıyı L2 normalizasyonu kullanarak normalize edin.
  4. Oyuncu numarası tanıma kolunu, 128 × 64 piksel giriş boyutuna sahip kırpılmış sporcu görüntülerini kullanarak eğitin. Bu çalışmada kullanılan zayıf denetimli etiketleme prosedürü ile oyuncu numarası sözde etiketleri oluşturun. Görünmeyen, okunmayan, ciddi şekilde örtülmüş veya düşük güvenilikli oyuncu numarası bölgelerine sahip kırpmaları Optik Karakter Tanıma (OCR) kayıp hesaplamasına dahil etmeyin.
  5. Çapraz entropi kaybı kullanılarak tanımlanan OCR dalını optimize edin Denklem 2.
    Çapraz entropi kaybı formülü \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), sınıflandırma için denklem. (2)
    Burada, LOptik Karakter Tanıma OCR kaybını ifade eder, yi denetlenen oyuncu sayısı etiketini belirtir ve Polinomiyal regresyon denklemi, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, istatistiksel analiz grafiği tahmin edilen oyuncu sayısı kategorisini belirtir.
  6. Anlamatik özellik çıkarma modülünü, şurada listelenen adaptif optimize edici, öğrenme oranı, grup boyutu, ağırlık azalımı ve eğitim süresini kullanarak optimize edin: Materyaller TablosuDedektör kaybı ve OCR kaybını, şurada tanımlanan toplam eğitim hedefi kullanılarak birleştirin: Denklem 3.
    Ltoplam = LSaptama + γLOptik Karakter Tanıma   (3)
    Burada, Ltoplam toplam eğitim kaybını ifade eder, LMetin bulunmamaktadır. Lütfen çevirmemi istediğiniz kaynak metni sağlayın. şurada tanımlanan dedektör kaybını ifade eder Denklem 1, LOptik Karakter Tanıma şurada tanımlanan OCR kaybını ifade eder Denklem 2ve OCR kaybı için kullanıcı tarafından tanımlanan ağırlıklandırma katsayısını belirtir.
  7. Eğitilmiş OCR dalını kırpılmış her bir sporcu görüntüsüne uygulayın. Her kırpma işlemi için tahmin edilen oyuncu numarası kategorisini veya olasılık vektörünü kaydedin. Eğer oyuncu numarası görünür değilse veya OCR güven düzeyi uygulamada tanımlanan eşik değerinin altındaysa, zorunlu bir tahminde bulunmak yerine oyuncu numarası özelliğini kullanılamaz olarak kaydedin.
  8. Forma rengi tanımlayıcısını ve oyuncu numarası çıktısını, takip modülü tarafından kullanılan anlamsal özellik dosyası ile birleştirin.
    NOT: Ana SportsMOT doğrulama çalışmasında, anlamsal çıkarım betiği, eksik kare veya geçersiz kırpmalar olmaksızın 343.90 saptamayı işlemiştir. Mevcut revizyon paketinde, anlamsal çıkarım özeti, değerlendirilen SportsMOT kurulumu altında genel renk ve OCR anlamsal çıkarım doğruluğunun %86,7 olduğunu bildirmiştir. Bu bölümün beklenen çıktısı; her geçerli saptama kaydının bir forma rengi tanımlayıcısına, mevcut olduğunda bir oyuncu numarası çıktısına ve takip ilişkilendirmesi için anlamsal bilgilerin mevcut olup olmadığını belirten bir işarete bağlandığı anlamsal özellik dosyasıdır.

4. Bölümleme tespit güven seviyeleri

  1. Her bir video dizisi için dedektör çıktı dosyasını yükleyin. Her karedeki tüm sporcu tespitlerinin güven puanlarını toplayın.
  2. K-ortalama kümeleme yöntemiyle kare düzeyindeki güven puanlarını yüksek, orta ve düşük güven aralıklarına ayırın K = 3, burada gösterilen güven odaklı ilişkilendirme iş akışını takip ederek Şekil 2Kümeler içi varyansı aşağıdakiye göre minimize ederek adaptif güven eşiklerini belirleyin Denklem 4.
    Statik denge sembol formülü; J_conf=min Σ(sd-μ_i)^2; matematiksel optimizasyon.  (4)
    Burada, sLütfen çevrilmesini istediğiniz metni sağlayın. tespitin güven puanını belirtir Lütfen çevirisini yapmak istediğiniz metni giriniz.; D1, D2ve D3 sırasıyla yüksek, orta ve düşük güven aralıklarını belirtir; μ1, μ2ve μ3 üç aralığın ortalama güven puanlarını ifade eder; ve τ1 ve τ2 K-means kümeleme sonuçlarından elde edilen adaptif güven eşiklerini belirtir.
    NOT: Güven bölütleme betiği (scripts/formal_partition_confidence.py), JerseyTrack kaynak kod deposunda (https://doi.org/10.5281/zenodo.21274352) mevcuttur. Güven bölütleme modülü, K = 3 olan NumPy tabanlı tek boyutlu bir K-ortalamalar kümeleme prosedürü kullanır. Ayrı bir yapılandırma dosyası gerekmez; giriş dizini, çıkış dizini ve kümeleme parametresi komut satırı argümanları aracılığıyla belirlenir. Güven bölütleme prosedürünü şu komutu kullanarak yürütün: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/detections --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t05/confidence --k 3. NumPy sürümü de dahil olmak üzere gerekli yazılım bağımlılıkları environment.yml dosyasında belirtilmiştir.
  3. Dedektör çıktı dizinini girdi olarak kullanarak güvenilirlik bölümlendirme prosedürünü çalıştırın.
    NOT: Bu çalışmada, dedektör çıktı dizini şuydu: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\detections. Güven bölümlendirme çıktı dizini ise şuydu: outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_threshold_sweep\t05\confidence. Oluşturulan çıktı dosyaları arasında dizi başına güven CSV dosyaları, _confidence_frame_summary.csv ve _confidence_runtime.csv yer alıyordu.
  4. Her bir tespite bir güven düzeyi etiketi atayın. Yüksek güvenli tespitleri hareket tabanlı ilişkilendirme, orta güvenli tespitleri hareket-semantik ilişkilendirme ve düşük güvenli tespitleri yalnızca yörünge kurtarma için etiketleyin. Orijinal güven puanını, atanan güven düzeyi etiketiyle birlikte koruyun.
  5. Şu şekilde gösterilen güven puanı dağılımlarını ve temsilci kareleri inceleyin: Şekil 3Yüksek güvenilirlikli tespitlerin ağırlıklı olarak eksiksiz ve güvenilir sporcu sınırlayıcı kutularına karşılık geldiğini; orta ve düşük güvenilirlikli tespitlerin ise temel olarak kısmi, örtüşmüş, bulanık veya zayıf tespitler içerdiğini doğrulayın.
    NOT: Bu bölümün beklenen sonucu; her bir tespit için tespit indeksini, orijinal güven puanını, atanmış güven seviyesini ve kare düzeyindeki adaptif güven eşiklerini içeren bir güven-bölümleme dosyasıdır.

Güven odaklı video analizi; K-ortalama kümeleme ve korelasyon için aralık hesaplamalarını içeren diyagram.
Şekil 2Güven odaklı ilişkilendirme stratejisi. İş akışı, adaptif güven kümelemesi kullanarak tespit güvenini yüksek, orta ve düşük güven aralıklarına ayır. Yüksek güvenli tespitler hareket benzerliği kullanılarak ilişkilendirilir, orta güvenli tespitler birleşik hareket ve forma semantik benzerliği kullanılarak ilişkilendirilir ve düşük güvenli tespitler, çok kareli doğrulama ile semantik destekli yörünge kurtarma için kullanılır. Sağ panel, güven bölümlendirme ve ilişkilendirme için kullanılan matematiksel formülasyonu özetlemektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Güven aralığına göre spor karar dozlarını karşılaştıran çubuk grafik; futbol, basketbol, voleybol.
Şekil 3Tespit güven puanlarının dağılımı. Histogram, SportsMOT veri setindeki futbol, basketbol ve voleybol sekansları için beş güven aralığındaki sporcu tespit kutularının sayısını göstermektedir. Dağılım, değerlendirilen spor kategorileri genelinde dedektör güvenindeki farklılıkları örneklemektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

5. Güven odaklı ilişkilendirmeyi çalıştırın

  1. Her bir video dizisi için dedektör-çıktı dosyasını, semantik-öznitelik dosyasını ve güven-bölümleme dosyasını yükleyin. İzleyiciyi ilk geçerli tespitleri kullanarak başlatın ve takip edilen her sporcu için bir yörünge durumu sürdürün. Sonraki her kare için, Kalman filtresi hareket modelini kullanarak mevcut her yörüngenin konumunu tahmin edin.
  2. Her bir öngörülen yörünge ile aday tespit arasındaki hareket benzerliğini, şurada tanımlanan Mahalanobis mesafesini kullanarak hesaplayın Denklem 5.
    Statik denge için matematiksel formül, denklem: kovaryans matrisi ile S_mot(t_i^k,d_j).  (5)
    Burada, statik denge, ΣFx=0, ΣFy=0, kuvvet denge diyagramı, fizik kavramı, problem çözme tekniği ...-i/ı belirtir Ikaredeki -ıncı yörünge k, Kuvvet vektörlerini ve dengeyi gösteren statik denge diyagramı, ΣFx=0, eğitici fizik şeması. Kalmanle tahmin edilen yörünge durumunu ifade eder, dj aday tespitini ifade eder, Statik denge denklemi Σi^{-1}; eğitim amaçlı matematiksel semboller içeren diyagram. öngörülen yörünge durumunun ters kovaryans matrisini ifade eder ve SMot tahmin edilen yörünge ile tespit arasındaki hareket mesafesini belirtir.
    NOT: Temel ilişkilendirme iş akışı jerseytrack/formal_tracker.py dosyasında uygulanmış olup scripts/formal_track.py aracılığıyla yürütülmektedir; her iki dosya da JerseyTrack kaynak kod deposunda (https://doi.org/10.5281/zenodo.21274352) mevcuttur. Ayrı bir yapılandırma dosyası gerekmemektedir. Güven eşikleri, maksimum izleme yaşı, hareket-ağırlık katsayıları ve merkez-mesafe ağırlığı dahil tüm çalışma zamanı parametreleri, komut satırı argümanları aracılığıyla sağlanır. Tam yürütme komutu ve parametre ayarları Adım 6.2'de verilmiştir. Uygulama, Macar eşleşmesi için SciPy'nin doğrusal toplam atama algoritmasını ve maliyet tabanlı ilişkilendirme için NumPy'yi kullanmaktadır.
  3. Dedektör çıktı dosyasını, semantik özellik dosyasını ve güven bölüntüsü dosyasını girdi olarak kullanarak izleme iş akışını çalıştırın.
    NOT: Bu çalışmada, çekirdek izleyici jerseytrack\formal_tracker.py dosyasında uygulanmış ve izleme iş akışı scripts\formal_track.py betikleri kullanılarak yürütülmüştür.
  4. Hareket tutarlılığını kullanarak yüksek güvenilirlikli tespitleri mevcut yörüngelerle ilişkilendirin. Eşleşmiş yörüngeleri güncelleyin ve yalnızca eşleşmeyen yüksek güvenilirlikli tespitler yörünge başlatma kriterlerini karşıladığında yeni yörüngeler başlatın.
  5. Şekilde gösterilen forma anlamsal çıkarım çıktılarını inceleyin Şekil 4ve takım renk tanımlayıcısı ile oyuncu numarası özelliğini şu şekilde birleştirerek her bir tespit için forma anlamsal özellik vektörünü oluşturun: Denklem 6.
    fTaramalı Elektron Mikroskobu (SEM) = [fkolon;fkimlik] (6)
    Burada, fTaramalı Elektron Mikroskobu (SEM) birleştirilmiş semantik özellik vektörünü ifade eder, fSütun takım rengi tanımlayıcısını belirtir ve fKimlik OCR dalı tarafından oluşturulan oyuncu sayısı özelliğini ifade eder.
  6. Hareket benzerliğini forma anlamsal benzerliğiyle birleştirerek orta güvenilirlikteki tespitleri ilişkilendirin. Birleştirilmiş eşleşme skorunu şuna göre hesaplayın: Denklem 7.
    Hareket ve semantik skor füzyonu için denklem, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    Burada, Staramalı elektron mikroskobu yörüngenin ve aday tespitin semantik özellik vektörleri arasındaki kosinüs benzerliğini ifade eder, SSüreçlerin hızlandırılması ve verimliliğin artırılması amacıyla optimize edilmiş laboratuvar protokolleri, biyomedikal araştırmalarda tekrarlanabilirliği ve veri kalitesini sağlamak için kritik öneme sahiptir. Bu rehber, standart operasyon prosedürlerini (SOP) takip ederek deneysel değişkenlerin nasıl minimize edileceğini ve analizlerin doğruluğunun nasıl artırılacağını detaylandırmaktadır. ... içinde tanımlanan hareket mesafesini ifade eder Denklem 5ve λ hareket ve semantik benzerlik terimlerini dengeleyen adaptif füzyon katsayısını belirtir.
  7. ...-ye göre adaptif füzyon katsayısını hesaplayın Denklem 8.
    Statik denge; λ=λ₀exp(-σsd/σmax); malzemelerde stres dağılımı ile ilgili formül. (8)
    Burada, λ0 başlangıç hareket-ağırlık katsayısını ifade eder, σsd mevcut karedeki tespit güven puanlarının standart sapmasını ifade eder ve σmaksimum normalizasyon için kullanılan maksimum güven puanı standart sapmasını ifade eder.
  8. Düşük güvenilikli tespitleri yalnızca yörünge kurtarma için kullanın. Düşük güvenilikli tespitleri, yalnızca semantik bilgi mevcut olduğunda ve kurtarma kriterleri karşılandığında kesintiye uğramış yörüngelerle eşleştirin. Bir yörünge kimliğini geri yüklemeden önce çok kareli doğrulama uygulayın ve doğrulamadan geçemeyen tespitleri atın.
    NOT: Oyuncu numarası özelliği mevcut olmadığında, zorunlu bir oyuncu numarası eşleşmesi yapmak yerine, mevcut anlamsal bilgiler ve hareket tutarlılığı kullanılarak ilişkilendirme gerçekleştirin. Bu bölümden beklenen çıktı; yörünge kimliklerini, sınırlayıcı kutuları, güven düzeyi etiketlerini, hareket maliyetlerini, anlamsal bilgileri ve nihai ilişkilendirme kararlarını içeren kare bazlı bir takip kaydıdır. Revizyon kanıt paketinde, takip sonuçları şu konumda saklanmıştır: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

Performans içgörüleri için oyuncu takip verilerini içeren voleybol maç analizi diyagramı.
Şekil 4Jersey semantik özellik çıkarımı. Temsili sporcu tespitleri, forma semantik çıkarım modülü tarafından oluşturulan ve çıkarılmış takım rengi tanımlayıcıları ile oyuncu numarası bilgileriyle etiketlenir. Çıkarılan semantik özellikler daha sonra güven odaklı veri ilişkilendirmesine dahil edilir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

6. İzleme çıkarımını çalıştırın ve sonuçları dışa aktarın

  1. Hazırlanan dedektör çıktı dosyaları, semantik özellik dosyaları ve güven bölümlendirme dosyalarını kullanarak her bir video dizisi için takip çıkarımı (tracking inference) gerçekleştirin. Yörünge durumları, semantik geçmiş ve yörünge kurtarma kararları dizi boyunca tutarlı bir şekilde güncellenecek şekilde video karelerini kronolojik sırayla işleyin. Veri setine özel bir ayar açıkça belirtilmediği sürece, değerlendirilen tüm diziler için aynı çıkarım konfigürasyonunu kullanın.
    NOT: Takip çıkarımı, JerseyTrack kaynak kod deposunda (https://doi.org/10.5281/zenodo.21274352) mevcut olan scripts/formal_track.py betiği kullanılarak yürütülmüştür. Ayrı bir konfigürasyon dosyası gerekmez. Takip çıkarımını şu komutu kullanarak çalıştırın: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_t05_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t05/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo1x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Belirtilmemiş tüm parametreler, arşivlenmiş kaynak kodda kayıtlı varsayılan değerlerini korumuştur.
  2. Çıkarımın ardından, şu komutları kullanarak temel son işlem (post-processing) sırasını uygulayın: python scripts/merge_tracklets.py ve python scripts/sweep_track_filter.py --min-len 95.
  3. Takip sonuçlarını, değerlendirme araç kitinin gerektirdiği formatta dışa aktarın. Kare indeksini, yörünge kimliğini, sınırlayıcı kutu (bounding-box) koordinatlarını ve kıyaslama değerlendirme formatının gerektirdiği tüm alanları ekleyin. Her bir sonuç dosyasının ilgili gerçek değer (ground-truth) açıklama dosyasıyla eşleştirilebilmesi için, tutarlı bir dosya adlandırma konvansiyonu kullanarak her dizi için bir takip sonucu dosyası kaydedin.
  4. Yalnızca bu çalışmada kullanılan son işlem operasyonlarını uygulayın. Revizyon paketinde açıklanan son işlem betiklerini kullanarak tracklet birleştirme ve takip filtreleme işlemlerini gerçekleştirin.
    NOT: Bu çalışmadaki son işlem iş akışında aşağıdaki betikler kullanılmıştır:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. Kantitatif değerlendirme öncesinde dışa aktarılan takip sonuçlarını inceleyin. Yörünge kimliklerinin sayısal ve her dizi içinde tutarlı olduğunu, hiçbir kare indeksinin eksik olmadığını ve tüm sınırlayıcı kutuların görüntü sınırları içinde kaldığını doğrulayın.
    NOT: Bu bölümün beklenen sonucu, kantitatif değerlendirmeye hazır, dizi düzeyinde eksiksiz bir takip sonucu dosyaları setidir.

7. İzleme performansını değerlendirin

  1. Dışa aktarılan takip-sonucu dosyalarını, Malzeme Tablosu'nda listelenen değerlendirme araç kiti ile değerlendirin. Her bir takip-sonucu dosyasını, karşılık gelen gerçek-doğruluk (ground-truth) açıklama dosyası ve veri seti bölümüyle eşleştirin. Performans farklılıklarının değerlendirme ayarlarından değil, takip sonuçlarından kaynaklandığından emin olmak için karşılaştırılan tüm yöntemler için aynı değerlendirme yapılandırmasını kullanın.
  2. Değerlendirmeyi aşağıdaki komutu kullanarak çalıştırın
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo1x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    NOT: Değerlendirme, JerseyTrack yeniden üretilebilirlik paketinde arşivlenen standart TrackEval (Versiyon 1.3.0) metrik uygulaması kullanılarak gerçekleştirilmiştir. Higher Order Tracking Accuracy (HOTA), CLEAR veya Kimlik (Identity) metrik uygulamalarında herhangi bir değişiklik yapılmamıştır. Depo, evaluation/trackeval/scripts/run_mot_challenge.py konumunda bulunan ve veri seti ile sonuç yollarını yapılandırıp standart TrackEval değerlendirme metriklerini çağıran MOTChallenge tarzı yürütme sarmalayıcısını içermektedir.
  3. Çoklu Nesne Takip Doğruluğu (MOTA), Kimlik F1 Puanı (IDF1), Higher Order Tracking Accuracy (HOTA), Tespit Doğruluğu (DetA), İlişkilendirme Doğruluğu (AssA), yanlış pozitifler (FPs), yanlış negatifler (FNs) ve kimlik değiştirme olayları dahil olmak üzere makalede rapor edilen değerlendirme metriklerini kaydedin. Değerlendirme özetini bir tablo olarak dışa aktarın ve doğrulama için dizi başına değerlendirme dosyalarını saklayın.
  4. JerseyTrack'i temel yöntemlerle karşılaştırırken, tüm yöntemler için aynı veri seti bölümünü, dedektör çıktılarını ve değerlendirme yapılandırmasını kullanın. Her karşılaştırma için veri setini, dedektör çıktı kaynağını, değerlendirme araç kiti yapılandırmasını ve metrik değerlerini kaydedin.
  5. Tüm dizilerin başarıyla değerlendirildiğini ve herhangi bir takip-sonucu dosyasının eksik olmadığını doğrulamak için değerlendirme günlüklerini inceleyin.
    NOT: Bu çalışmada, birincil TrackEval özet dosyası şuraya kaydedilmiştir: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. Bu bölümden beklenen sonuç, rapor edilen Sonuçları ve sonraki doğrulamaları destekleyen dizi başına metrik dosyalarıyla birlikte eksiksiz bir değerlendirme özet tablosudur.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Bu bölüm, değerlendirilen spor çoklu nesne izleme deneylerinden elde edilen nicel ve nitel sonuçları sunmaktadır. Sonuçlar; izleme doğruluğu, kimlik koruma, ilişkilendirme kalitesi ve test edilen veri kümesi ayarları altındaki sağlamlığa odaklanmaktadır. Performans iddiaları, Protokol ve Uygulama Kurulumu'nda açıklanan değerlendirilen yöntemler, veri kümeleri, dedektör çıktıları ve değerlendirme araç kiti yapılandırması ile sınırlıdır.

Deneysel kurulum ve değerlendirme tasarımı

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Bu çalışma, tespit güveni bölümlendirmesini forma semantik ipuçlarıyla birleştiren, güven odaklı bir spor MOT iş akışını değerlendirmiştir. Güven odaklı ilişkilendirme ve semantik özellik füzyonu, çoklu nesne takibinde veri ilişkilendirmesini iyileştirmeye yönelik tamamlayıcı stratejiler olarak araştırılmıştır12,20,23,24,46. Sonuçlar, eksiksiz JerseyTrack konf...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar, herhangi bir finansal çıkar çatışması olmadığını beyan ederler.

Teşekkürler

Yazarların beyan edeceği herhangi bir teşekkür yoktur.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
CUDA RuntimeNVIDIAVersiyon 12.8Dedektör eğitimi, anlamsal özellik çıkarımı ve takip çıkarımı için kullanılan GPU hesaplama çalışma zamanı.
EasyOCRJaided AIVersiyon 1.7.2Oyuncu numarası tanıma için kullanılan optik karakter tanıma araç kiti.
JerseyTrack kaynak koduYazarlarN/AVeri hazırlama, anlamsal özellik çıkarımı, güven bölümlendirme, takip, son işlem ve değerlendirme betiklerini içeren özel uygulama. Şu adreste mevcuttur: https://doi.org/10.5281/zenodo.21274352
Hafifletilmiş CRNN OCR modeliYazarlarN/AOyuncu numarası tanıma için kullanılan özel evrişimli tekrarlayan sinir ağı (CRNN).
MOT17 veri setiMOTChallengeN/AÇapraz veri seti değerlendirmesi için kullanılan halka açık kıyaslama veri seti. Şu adresten temin edilebilir: https://motchallenge.net/data/MOT17/
MOT20 veri setiMOTChallengeN/AÇapraz veri seti değerlendirmesi için kullanılan halka açık kıyaslama veri seti. Şu adresten temin edilebilir: https://motchallenge.net/data/MOT20/
motmetricsmotmetrics GeliştiricileriVersiyon 1.4.0Tanısal çoklu nesne takip metriği hesaplaması için kullanılan kütüphane.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2Dedektör eğitimi ve takip çıkarımı için kullanılan grafik işlem birimi.
NVIDIA GPU SürücüsüNVIDIAVersiyon 610.62Deneysel ortamda kullanılan GPU sürücüsü.
NumPyNumPy GeliştiricileriVersiyon 2.4.4Özellik işleme ve veri yönetimi için kullanılan sayısal hesaplama kütüphanesi.
OpenCVOpenCVVersiyon 4.10.0Görüntü yükleme, kırpma, ön işleme ve görselleştirme için kullanılan bilgisayarlı görü kütüphanesi.
PythonPython Software FoundationVersiyon 3.12.2İş akışı boyunca kullanılan programlama dili.
PyTorchPyTorch FoundationVersiyon 2.11.0+cu128Dedektör ve anlamsal model uygulaması için kullanılan derin öğrenme çerçevesi.
scikit-learnscikit-learn GeliştiricileriVersiyon 1.9.0Forma rengi çıkarımı ve güven bölümlendirme sırasında K-ortalama kümeleme için kullanılan makine öğrenimi kütüphanesi.
SoccerNet Takip veri setiSoccerNetN/AÇapraz veri seti değerlendirmesi için kullanılan halka açık futbol takip kıyaslaması. Şu adresten temin edilebilir: https://www.soccer-net.org/tasks/tracking
SportsMOT veri setiSportsMOT KıyaslamasıN/ADedektör hazırlığı ve takip değerlendirmesi için kullanılan birincil kıyaslama veri seti. Şu adresten temin edilebilir: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack veri setiTeamTrack KıyaslamasıN/AÇapraz veri seti değerlendirmesi için kullanılan halka açık spor takip kıyaslaması. Şu adresten temin edilebilir: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationVersiyon 0.26.0+cu128Görüntü dönüşümü ve model desteği için PyTorch ile birlikte kullanılan bilgisayarlı görü kütüphanesi.
TrackEvalTrackEval GeliştiricileriVersiyon 1.3.0Çoklu Nesne Takip Doğruluğu (MOTA), Kimlik F1 Puanı (IDF1), Yüksek Dereceli Takip Doğruluğu (HOTA), Algılama Doğruluğu (DetA), İlişkilendirme Doğruluğu (AssA), yanlış pozitifler (FP), yanlış negatifler (FN) ve kimlik değişimlerini (IDs) hesaplamak için kullanılan değerlendirme araç kiti.
UltralyticsUltralyticsVersiyon 8.4.90Dedektörü eğitmek ve sporcu algılamaları oluşturmak için kullanılan nesne algılama çerçevesi.

Kaynaklar

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Etiketler

G ven Odakl TakipOyuncu Y r ngesiHareket Benzerli iForma RengiOptik Karakter Tan maKimlik Tutarl lSportsMOT Veri Seti
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.