이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.

방법 논문

유니폼 시맨틱 퓨전을 이용한 스포츠 비디오용 신뢰도 기반 다중 객체 추적 방법

59 조회수

⸱

DOI:

10.3791/71557

⸱

2026년 8월 14일

 , 
1Faculty of Sports Science and Technology, Bangkok Thonburi University, 2Film Review Center, Taishan College of Science and Technology

이 논문에서

요약

본 프로토콜은 유니폼 색상과 선수 번호 정보를 통합하여 신뢰도 변동, 가려짐 및 시각적으로 유사한 선수의 외형 속에서도 궤적 연관성과 ID 일관성을 향상시키는 스포츠 비디오용 신뢰도 기반 다중 객체 추적 워크플로우를 설명합니다.

초록

스포츠 비디오의 다중 객체 추적(Multi-Object Tracking, MOT)은 전술 분석, 선수 행동 해석 및 자동화된 통계 분석을 위한 궤적 정보를 제공합니다. 그러나 스포츠 시나리오에서는 급격한 방향 전환, 갑작스러운 정지, 빈번한 가림 현상 및 시각적으로 유사한 팀원이 자주 등장하며, 이로 인해 검출 신뢰도의 변동과 프레임 간 연관 과정에서의 ID 혼동이 발생합니다. 이러한 문제를 해결하기 위해 본 연구에서는 저지 시맨틱 퓨전(jersey semantic fusion) 기반의 신뢰도 유도형 스포츠 MOT 방법인 JerseyTrack을 제시합니다. 이 워크플로우는 각 프레임의 신뢰도 분포에 따라 검출 박스를 고, 중, 저 신뢰도 구간으로 적응적으로 분할합니다. 고신뢰도 검출은 주로 모션 유사성을 사용하여 연관시키며, 중 및 저신뢰도 검출은 컬러 클러스터링과 경량 광학 문자 인식(Optical Character Recognition, OCR) 모델을 통해 추출한 저지 색상 및 선수 번호 특징을 추가로 통합합니다. 이러한 시맨틱 특징은 보조 매칭 단계에서 모션 정보와 융합되어 궤적 연속성과 ID 일관성을 향상시킵니다. 이 방법은 SportsMOT 데이터셋을 통해 평가되었습니다. JerseyTrack은 88.9%의 다중 객체 추적 정확도(Multiple Object Tracking Accuracy, MOTA), 74.3%의 ID F1 스코어(IDentity F1 Score, IDF1), 69.9%의 고차 추적 정확도(Higher Order Tracking Accuracy, HOTA)를 달성하여, 평가된 스포츠 추적 환경에서 향상된 추적 성능을 입증했습니다. 본 프로토콜은 스포츠 비디오의 다중 객체 추적 성능을 개선하기 위해 신뢰도 유도 연관과 저지 시맨틱 정보를 통합하는 재현 가능한 워크플로우를 제공합니다.

서론

다중 객체 추적(Multi-object tracking, MOT)은 비디오 시퀀스에서 지속적인 객체 위치 파악 및 식별 유지를 가능하게 하여, 스포츠 비디오 애플리케이션에서 선수의 궤적 추출, 전술 분석 및 자동화된 통계 분석을 지원합니다1,2,3. 신뢰할 수 있는 시각적 정보는 스포츠 과학의 종목별 의사 결정 및 성과 평가와도 관련이 있으며, 이는 후속 스포츠 분석을 위한 안정적인 비디오 기반 움직임 데이터의 가치를 더욱 강조합니다4. 스포츠 시나리오에서 전술 데이터의 신뢰성은 추적 궤적의 연속성과 타겟 식별의 일관성에 달려 있습니다.

일반적인 MOT 시나리오와 비교했을 때, 스포츠 영상에는 급격한 방향 전환, 갑작스러운 정지, 점프, 밀집된 상호작용 및 빈번한 폐색(occlusion)이 포함되어 있습니다. 이러한 요인들은 검출 박스(detection-box) 신뢰도의 상당한 변동을 야기하고 저신뢰도 검출 빈도를 높여, 궤적 연관(trajectory association)을 방해할 수 있습니다5,6. 통일된 팀 유니폼은 일반적인 외관 특징의 판별 능력을 더욱 저하시키며, 외관이 유사한 팀원 간의 정체성 혼동을 증가시킵니다7,8. 폐색과 외관 유사성이 동일한 시퀀스에서 발생하면 검출 신뢰도가 감소하고 타겟 외관 정보가 불완전해져, 궤적 연관 및 정체성 유지가 더욱 어려워집니다9,10. MOT에서 재식별(Re-ID)이란 정체성 관련 시각적 증거를 사용하여 프레임, 폐색 구간 또는 재진입 사례 전반에 걸쳐 동일한 타겟 정체성을 연관시키는 프로세스를 의미합니다. 팀 스포츠 영상에서는 동일 팀 선수들이 유사한 유니폼과 체형을 공유하는 경우가 많으므로 일반적인 Re-ID 단서가 약화될 수 있습니다. 기술 문헌 검토에 따르면 스포츠 MOT의 궤적 단편화와 정체성 혼동은 일반적으로 검출 신뢰도 활용과 정체성 단서 강화라는 두 가지 상호 보완적인 접근 방식을 통해 해결됩니다. JerseyTrack은 색상 및 선수 번호 정보를 모든 검출에 일률적으로 적용하는 대신, 검출 품질에 따라 유니폼 시맨틱 단서의 사용을 조절함으로써 이 두 가지 접근 방식의 접점에 위치합니다.

본 연구에서는 저지 시맨틱 퓨전(jersey semantic fusion) 기반의 신뢰도 안내 스포츠 MOT 방법인 JerseyTrack을 제시합니다. 이 방법은 선수가 식별 가능한 저지를 착용하고 있으며, 검출 결과가 신뢰도 점수와 함께 바운딩 박스를 제공하는 팀 스포츠 비디오를 위해 설계되었습니다. JerseyTrack은 선수 검출, 신뢰도 수준 분할, 저지 시맨틱 특징 추출, 그리고 캐스케이드 프레임 간 연관(cascaded inter-frame association)의 네 가지 주요 구성 요소로 이루어져 있습니다. 검출 신뢰도를 사용하여 검출 대상을 고신뢰도, 중신뢰도, 저신뢰도 그룹으로 적응적으로 분할하며, 각 그룹은 서로 다른 연관 전략을 통해 처리됩니다. 고신뢰도 검출 대상은 주로 모션 정보를 통해 연관되는 반면, 중신뢰도 및 저신뢰도 검출 대상은 시각적 근거가 약할 때 신원 유지 능력을 향상시키기 위해 저지 색상과 선수 번호 정보를 추가로 통합합니다. 이 방법은 전술 분석 및 선수 행동 해석과 같이 안정적인 선수 궤적이 필요한 스포츠 비디오 분석 작업에 적용하기 위한 것입니다.

제안된 접근 방식에는 운영상의 한계도 존재합니다. 유니폼 시맨틱 추출은 심한 가려짐, 모션 블러, 낮은 이미지 해상도, 비정상적인 유니폼 자세 또는 보이지 않는 선수 번호의 영향을 받을 수 있습니다. 이러한 경우, 유니폼 기반 시맨틱 단서가 불완전해질 수 있으며, 연관 과정은 모션 일관성과 다중 프레임 검증에 더 크게 의존하게 됩니다. 따라서 본 연구의 성능 주장은 평가된 데이터셋과 실험 설정으로 제한됩니다. SportsMOT 데이터셋을 이용한 실험 결과, JerseyTrack은 테스트된 스포츠 트래킹 조건 하에서 평가된 트래킹 지표를 개선하고 ID 전환 이벤트를 감소시키는 것으로 나타났습니다. 스포츠 비디오 내 MOT의 주요 어려움은 빠른 움직임, 가려짐 및 외형 유사성 조건에서 궤적 연속성과 ID 일관성을 유지하는 데 있습니다. JerseyTrack과 관련된 기존 연구들은 크게 두 가지 연구 방향으로 분류할 수 있는데, 하나는 궤적 연관을 위해 검출 신뢰도를 사용하는 것이고, 다른 하나는 스포츠 특화 시맨틱 특징을 통해 ID 단서를 강화하는 것입니다.

검출 신뢰도(Detection confidence)는 검출 박스의 신뢰성을 추정하고 다중 객체 추적(MOT)에서 궤적 연관(trajectory association)을 안내하는 데 널리 사용되어 왔습니다. 초기 추적 방법들은 대개 신뢰도를 이진 필터링 기준으로 처리하여, 오탐(false positives)을 줄이기 위해 고정된 임계값 미만의 검출 결과는 제거하였습니다11,12. 이러한 전략은 노이즈가 섞인 검출을 줄여주지만, 폐색(occlusion), 급격한 움직임 또는 낮은 이미지 품질로 인해 실제 타겟을 제거할 수 있으며, 이는 궤적 단절(trajectory fragmentation)로 이어집니다13,14,15. 유사한 필터링 전략들을 통해 고정된 신뢰도 임계값이 장면의 변화와 검출 품질에 민감하다는 것이 밝혀진 바 있습니다16,17. 저신뢰도 검출 결과의 활용도를 높이기 위해, ByteTrack은 저신뢰도 박스를 2차 매칭을 위한 후보 타겟으로 유지하고, 움직임 유사성과 궤적 이력을 통해 이를 기존 궤적과 연결하는 연관 전략을 도입했습니다18. McByte는 시간적으로 전파된 세그멘테이션 마스크를 연관 단서로 통합함으로써 스포츠 MOT 연관성을 더욱 확장하였으며, 비디오별 추가 학습 없이도 빠른 움직임, 폐색 및 카메라 이동 조건에서의 강건성을 향상시켰습니다19. 관련 연구들 또한 연관 과정에서 약하지만 잠재적으로 유효한 타겟을 유지하기 위해 저신뢰도 검출의 활용 방식을 조정해 왔습니다20,21,22. 이후 신뢰도 적응형 연관 전략들은 움직임 일관성과 검출 신뢰도에 따라 매칭 기준을 정교화했습니다23,24,25. 검출 박스 회귀 및 궤적 평활화 최적화에 기반한 궤적 정교화 방법들 또한 궤적 단절을 줄이는 데 사용되었습니다26,27,28. 추가적인 정교화 전략들은 복잡한 움직임 조건에서 궤적 연속성을 유지하기 위한 상보적인 지원을 제공합니다29. 시간적 일관성 객체 흐름(Temporal coherent object flow)은 프레임 간 객체 수준의 시간적 일관성을 추가로 모델링하여, 복잡한 MOT 시나리오에서 궤적 중단을 줄이기 위한 또 다른 연관 중심적 접근 방식을 제공합니다30. 추적기 융합(Tracker fusion) 방법들 또한 여러 추적기의 출력값으로부터 학습하며, 학습 기반의 선택 또는 융합 전략을 사용하여 다양한 MOT 벤치마크 전반에서 추적 강건성을 향상시킵니다31. 종합적으로 이러한 연구들은 신뢰도 인식 연관이 단절된 궤적을 복구하는 데 도움이 됨을 나타냅니다. 그러나 동일 팀의 선수들이 유사한 시각적 외형을 가질 때, 신뢰도와 움직임 단서만으로는 정체성 정보가 제한적입니다. 이러한 방법들이 일반적인 시나리오에서는 궤적 단절을 효과적으로 완화하지만, 스포츠 환경에서는 동일 팀 선수들이 매우 유사한 시각적 외형을 갖는 경우가 많아 신뢰도와 움직임 정보에만 의존해서는 정체성 차별화를 위한 충분한 근거를 제공할 수 없다는 내재적 한계가 있습니다32,33,34. 저신뢰도 박스가 효과적으로 회수되더라도, 특징 유사성으로 인해 정체성 전환(identity switching)이 발생할 수 있으며, 이는 스포츠 분석의 엄격한 정체성 일관성 요구사항을 충족하기 어렵게 만듭니다.

스포츠 특화 정체성 단서 또한 운동선수 추적의 정체성 식별 능력을 향상시키는 데 사용되어 왔습니다. 팀 색상 및 선수 번호와 같은 유니폼의 의미론적 정보는 일반적인 외형 임베딩보다 스포츠 상황에 더 직접적으로 연관된 정체성 단서를 제공합니다35,36,37. 유니폼 색상은 팀 수준의 식별을 지원하고 팀 간 혼동을 줄이는 데 사용되었으며, 선수 번호 인식은 번호 영역이 보이고 읽을 수 있을 때 더 세밀한 정체성 단서를 제공합니다38,39. 기존의 스포츠 추적 연구들은 밀집된 스포츠 환경에서 선수 연관성을 개선하기 위해 도메인 특화 시각 특징과 유니폼 색상 인식을 통합해 왔습니다40,41. 유니폼 번호 인식 및 합성 번호 데이터에 관한 관련 연구는 저해상도 또는 부분적으로 가려진 조건에서의 정체성 모델링을 더욱 뒷받침합니다42,43. 이러한 연구들은 유니폼 의미론이 스포츠 MOT의 정체성 표현을 강화할 수 있음을 나타냅니다. 그러나 대부분의 의미론 강화 추적 방법은 검출 신뢰도와 의미론적 특징 품질 사이의 관계를 충분히 모델링하지 않습니다. 신뢰도가 높은 검출 결과는 이미 신뢰할 수 있는 공간 및 외형 정보를 포함하고 있을 수 있어, 반복적인 의미론적 추출의 효율성이 떨어질 수 있습니다. 신뢰도가 낮은 검출 결과는 흔히 가림, 흐림, 절단 또는 저해상도 문제로 인해 색상 및 선수 번호 단서의 신뢰도가 낮아집니다. 이러한 한계는 유니폼 의미론을 모든 검출 결과에 일률적으로 적용하는 대신, 검출 품질에 따라 도입하는 신뢰도 기반 연관 설계의 동기가 됩니다. 검토된 연구들에 따르면 신뢰도 인지 연관과 유니폼 의미론 모델링은 스포츠 MOT의 서로 다른 측면을 다룹니다. 신뢰도 기반 전략은 주로 검출 결과의 연관 참여 여부와 기존 궤적과의 매칭 방법을 결정하는 반면, 유니폼 의미론 전략은 주로 스포츠 특화 단서를 통해 정체성 표현을 강화합니다. 그러나 이 두 메커니즘은 흔히 별개의 구성 요소로 설계됩니다. 그 결과, 의미론적 단서가 검출 품질에 따라 항상 조정되는 것은 아니며, 신뢰도 수준이 연관 과정에서 색상 및 선수 번호 정보의 사용을 직접적으로 제어하지 못합니다. 이러한 분리는 팀 스포츠 비디오에서 궤적 단절과 정체성 혼동을 통합적으로 처리하는 데 한계가 됩니다. 남은 연구 과제는 동일한 추적 워크플로우 내에서 검출 신뢰도 품질 평가와 유니폼 의미론 연관을 연결하는 것입니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

본 연구는 SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 및 MOT20과 같이 공개적으로 이용 가능한 벤치마크 비디오 데이터셋의 2차 분석을 포함하였습니다. 참가자 모집이나 중재가 수행되지 않았으며, 새로운 피험자 데이터 또한 수집되지 않았습니다. Bangkok Thonburi University의 관련 기관 요건에 따라 본 연구에 대한 윤리 위원회의 승인은 필요하지 않았습니다.

다음 프로토콜은 데이터 준비부터 트래킹 평가까지 JerseyTrack을 재현하는 데 사용된 워크플로우를 설명합니다. 워크플로우에는 데이터셋 준비, 검출기 준비, 저지 시맨틱 추출, 신뢰 수준 분할, 신뢰 기반 연관, 트래킹 추론 및 성능 평가가 포함되며, 그 내용은 다음과 같이 요약됩니다. 그림 1필요한 소프트웨어, 데이터 세트 및 하드웨어 리소스는 다음의 목록에 나열되어 있습니다. 재료 목록.

외형 특징을 이용한 유니폼 특징 추출; 상태 예측; 데이터 연관 과정 다이어그램.
그림 1. JerseyTrack 방법의 전체 워크플로우. 워크플로우는 유니폼 시맨틱 특징 추출, 초기 객체 매칭, 신뢰도 기반 보조 매칭 및 특징 융합으로 구성된다. 검출된 선수 영역에서 팀 색상 및 선수 번호 특징을 추출하여 연관 과정에 통합함으로써, 불확실한 검출 조건에서도 궤적 매칭 성능을 향상시킨다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

1. 데이터 세트 및 디렉터리 구조 준비

  1. 재료 표(Table of Materials)에 나열된 공개 벤치마크 데이터셋을 다운로드하십시오. 검출기 준비 및 추적 평가를 위한 기본 데이터셋으로 SportsMOT를 사용하십시오. 교차 데이터셋 평가를 위해 TeamTrack, SoccerNet Tracking, MOT17 및 MOT20을 유지하십시오.
  2. 모든 데이터셋을 통합 프로젝트 디렉토리에 저장하십시오. 검출기, 시맨틱 추출 모듈, 추적 모듈 및 평가 툴킷이 동일한 시퀀스 식별자를 사용하는지 확인하십시오.
  3. 본 연구에서 사용된 데이터 준비 스크립트를 사용하여 공식 SportsMOT 어노테이션을 검출기 학습 포맷으로 변환하십시오. 다음 명령어를 실행하십시오:
    ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
  4. 데이터 준비 스크립트(scripts/prepare_data.py)는 JerseyTrack 소스 코드 저장소(https://doi.org/10.5281/zenodo.21274352)에서 사용할 수 있습니다. Python 3.12, PyTorch 2.11.0, OpenCV 4.10 이상을 포함한 필수 소프트웨어 종속성은 environment.yml에 명시되어 있습니다. 다음 명령어를 사용하여 소프트웨어 환경을 구성하십시오: conda env create -f environment.yml. 다음 명령어를 사용하여 데이터 준비 스크립트를 실행하십시오: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
  5. 변환을 통해 검출기 학습 설정 파일인 data\processed\SportsMOT_yolo\data.yaml 및 변환 매니페스트인 data\processed\SportsMOT_yolo\conversion_manifest.csv가 생성되었는지 확인하십시오.
    참고: 본 연구에서 변환된 SportsMOT 학습 및 검증 데이터셋은 90개의 시퀀스, 55,544개의 프레임 및 608,152개의 어노테이션 객체를 포함했습니다.
  6. 대표 시퀀스를 검사하여 프레임 순서, 바운딩 박스 좌표 및 ID 라벨이 원래의 벤치마크 어노테이션과 일치하는지 확인하십시오.
  7. 모든 방법이 동일한 데이터셋 파티션 및 평가 프로토콜을 사용하도록 검출기 준비, 추적 추론 및 평가 과정 전반에 걸쳐 변환된 어노테이션 파일을 수정 없이 유지하십시오.
    참고: 이 섹션의 예상 결과물은 변환된 어노테이션, 변환 매니페스트 및 검출기 준비와 추적 평가에 필요한 데이터셋 분할 파일이 포함된 표준화된 SportsMOT 검출기 학습 디렉토리입니다.

2. 검출기 출력 준비

  1. 준비된 SportsMOT 학습 분할 세트를 사용하여 객체 검출기를 미세 조정하십시오. 다음에서 정의한 분류 손실 및 경계 상자 회귀 손실을 사용하여 검출기를 최적화하십시오. 식 1구현 설정 및 해당 항목에 보고된 검출기 입력 해상도, 배치 크기, 학습률, 학습 에포크 수 및 기타 학습 파라미터를 사용하십시오. 재료 목록
    L결정체 = Lcls + L상자   (1)
    여기서 L은결정계수  총 검출기 손실 L을 나타냅니다.cls  분류 손실을 나타내며, L상자 그리고 경계 상자 회귀 손실을 나타냅니다.
    참고: 주요 실험(내부 실험 식별자 e3)에 사용된 검출기 체크포인트는 SportsMOT YOLO 형식 데이터셋 설정(data/processed/SportsMOT_yolo/data.yaml)과 Ultralytics YOLO 프레임워크를 사용하여 학습되었습니다. 다음 명령어를 사용하여 검출기 학습을 수행하십시오: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. 학습 후, 결과물 중 성능이 가장 우수한 체크포인트를 사용하여 다음 명령어로 검증 시퀀스에 대한 검출기 출력물을 생성하십시오: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
  2. 학습 완료 후, 학습된 검출기 체크포인트와 해당 메타데이터 파일 및 학습 로그를 저장하십시오.
    참고: 본 연구에서 정식 실험에 사용된 검출기 체크포인트는 다음과 같이 저장되었습니다.
    outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. 해당 메타데이터 파일은 outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json으로 저장되었습니다. 주요 SportsMOT 검증 실험에 사용된 검출기 출력 디렉터리는 outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections입니다.
  3. 학습된 검출기를 각 검증 시퀀스에 실행하여 운동선수의 경계 상자(bounding box)와 신뢰도 점수를 생성합니다. 프레임 인덱스, 경계 상자 좌표, 검출 신뢰도 및 클래스 레이블을 포함하는 검출 파일을 시퀀스별로 하나씩 내보냅니다.
    참고: 주요 실험에 사용된 SportsMOT 검증 실행에서 0.05의 신뢰도 임계값을 적용한 결과 343,990건의 선수 탐지 결과가 생성되었습니다.
  4. 추적 추론을 수행하기 전에 검출기 출력 디렉터리를 점검하십시오. 모든 시퀀스에 해당하는 검출 파일이 있는지, 프레임 인덱스가 준비된 이미지 시퀀스와 일치하는지, 그리고 모든 검출 기록에 신뢰도 점수가 포함되어 있는지 확인하십시오.
    참고: 이 섹션의 예상 결과물은 저지 시맨틱 추출, 신뢰 수준 분할 및 트래킹 연관성의 입력값으로 사용되는 완전한 검출기 출력 디렉터리입니다.

3. 저지 세만틱 특징 추출

  1. 검출기 출력 파일을 사용하여 각 비디오 프레임에서 선수 영역을 크롭하십시오. 크롭된 각 선수 이미지는 시퀀스 식별자, 프레임 인덱스 및 검출 인덱스와 함께 저장하십시오. 이미지 콘텐츠가 누락되었거나 바운딩 박스가 이미지 경계 밖으로 확장된 유효하지 않은 크롭 결과는 제외하십시오. 각 크롭 파일 이름과 원본 검출 기록 간의 연결성을 유지하여, 추출된 의미론적 특징이 추적 연관 단계에서 해당 검출 데이터와 일치하도록 하십시오.
  2. 본 연구에서 사용된 시맨틱 추출 스크립트를 사용하여 크롭된 선수 이미지에서 유니폼 색상 특징을 추출하십시오.
    참고: 시맨틱 특징 추출 스크립트(scripts/extract_fast_color_semantics.py 및 scripts/formal_extract_semantics.py)는 JerseyTrack 소스 코드 저장소(https://doi.org/10.5281/zenodo.21274352)에서 제공됩니다. 별도의 설정 파일은 필요하지 않으며, 모든 런타임 파라미터는 명령줄 인수를 통해 제공됩니다.
    다음 명령어를 사용하여 저지 색상 기술어(jersey-color descriptors)를 생성합니다: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. 다음 명령어를 사용하여 OCR 모델로 선수 번호 시맨틱 특징을 생성합니다: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. 생성된 저지 색상 기술어와 선수 번호 확률 출력값은 시퀀스 식별자(sequence identifier)를 통해 연결되며, 추적 연관(tracking association) 중에 사용되는 시맨틱 특징 파일로 통합됩니다.
  3. 크롭된 각 선수 이미지를 색상, 채도, 명도(HSV) 색 공간으로 변환하십시오. 저지 영역에서 전경 픽셀을 추출하고, K = 3인 K-평균 군집화를 사용하여 지배적인 저지 색상을 요약하십시오. 특징 비교 전, 결과로 도출된 색상 기술자를 L2 정규화를 통해 정규화하십시오.
  4. 128 × 64 픽셀 입력 크기의 크롭된 선수 이미지들을 사용하여 선수 번호 인식 분기를 학습시키십시오. 본 연구에서 채택한 약지도 학습 라벨링 절차를 사용하여 선수 번호 의사 라벨을 생성하십시오. 선수 번호 영역이 보이지 않거나, 판독 불가능하거나, 심하게 가려졌거나, 신뢰도가 낮은 크롭 이미지는 광학 문자 인식(OCR) 손실 계산에서 제외하십시오.
  5. 다음에서 정의된 교차 엔트로피 손실(cross-entropy loss)을 사용하여 OCR 분기를 최적화하십시오. 식 2.
    교차 엔트로피 손실 공식 \(L_{ocr}=-\sum_{i=1}^{N}y_i\log(\hat{y}_i)\), 분류를 위한 방정식. (2)
    여기서, L광학 문자 인식 OCR 손실을 나타내며, yi 는 지도 학습된 플레이어 번호 레이블을 나타내며, 다항 회귀 방정식, ŷᵢ=β₀+β₁xᵢ+…+βₙxᵢⁿ, 통계 분석 차트 예측된 플레이어 수 범주를 나타냅니다.
  6. 제시된 적응형 옵티마이저, 학습률, 배치 크기, 가중치 감쇠 및 학습 기간을 사용하여 시맨틱 특징 추출 모듈을 최적화하십시오. 재료 목록다음에서 정의된 전체 학습 목적 함수를 사용하여 검출기 손실(detector loss)과 OCR 손실(OCR loss)을 결합합니다. 식 3.
    L총합 = L결정계수 + γL광학 문자 인식   (3)
    여기에, L총계 전체 훈련 손실을 나타내며, L결정 계수 ~에서 정의된 검출기 손실을 나타냅니다. 식 1, L광학 문자 인식 ~에서 정의된 OCR 손실을 나타냅니다. 식 2, 그리고 OCR 손실에 대해 사용자가 정의한 가중치 계수를 나타냅니다.
  7. 훈련된 OCR 브랜치를 각각의 크롭된 선수 이미지에 적용하십시오. 각 크롭 이미지에 대해 예측된 선수 번호 범주 또는 확률 벡터를 저장하십시오. 선수 번호가 보이지 않거나 OCR 신뢰도가 구현 단계에서 정의된 임계값보다 낮은 경우, 억지로 예측값을 생성하지 말고 선수 번호 특성을 '사용 불가(unavailable)'로 기록하십시오.
  8. 저지 색상 기술자와 선수 번호 출력값을 추적 모듈에서 사용하는 의미론적 특징 파일에 결합하십시오.
    참고: 메인 SportsMOT 검증 실행에서, 시맨틱 추출 스크립트는 프레임 누락이나 잘못된 크롭 없이 343,990개의 탐지 결과를 처리하였다. 현재의 수정 패키지에서 시맨틱 추출 요약 결과, 평가된 SportsMOT 설정 하에서 전체 색상 및 OCR 시맨틱 추출 정확도는 86.7%로 보고되었다. 이 섹션의 예상 결과물은 각 유효 탐지 레코드가 저지 색상 기술자, (가능한 경우) 선수 번호 출력값, 그리고 트래킹 연관성을 위한 시맨틱 정보 가용 여부를 나타내는 플래그와 연결된 시맨틱 특징 파일이다.

4. 파티션 검출 신뢰 수준

  1. 각 비디오 시퀀스에 대한 검출기 출력 파일을 로드합니다. 각 프레임 내 모든 선수 검출 결과의 신뢰도 점수를 수집합니다.
  2. 그림 2에 표시된 신뢰도 기반 연관 워크플로우에 따라 K = 3인 K-평균 군집화를 사용하여 프레임 수준의 신뢰도 점수를 고-, 중-, 저신뢰도 구간으로 분할합니다. 식 4에 따라 군집 내 분산을 최소화하여 적응형 신뢰도 임곗값을 결정합니다.
    정적 평형 기호 공식; J_conf=min Σ(sd-μ_i)^2; 수학적 최적화.  (4)
    여기서 sd 는 검출 d의 신뢰도 점수를 나타내고, D1, D2, D3은 각각 고-, 중-, 저신뢰도 구간을 나타내며, μ1, μ2, μ3은 세 구간의 평균 신뢰도 점수를, τ1 및 τ2는 K-평균 군집화 결과로부터 얻은 적응형 신뢰도 임곗값을 나타냅니다.
    참고: 신뢰도 분할 스크립트(scripts/formal_partition_confidence.py)는 JerseyTrack 소스 코드 저장소(https://doi.org/10.5281/zenodo.21274352)에서 사용할 수 있습니다. 신뢰도 분할 모듈은 K = 3인 NumPy 기반의 1차원 K-평균 군집화 절차를 사용합니다. 별도의 구성 파일은 필요하지 않으며, 입력 디렉토리, 출력 디렉토리 및 군집화 매개변수는 명령줄 인수를 통해 지정합니다. 다음 명령어를 사용하여 신뢰도 분할 절차를 실행하십시오: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. NumPy 버전을 포함하여 필요한 소프트웨어 종속성은 environment.yml에 명시되어 있습니다.
  3. 검출기 출력 디렉토리를 입력으로 사용하여 신뢰도 분할 절차를 실행합니다.
    참고: 본 연구에서 검출기 출력 디렉토리는 outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections였으며, 신뢰도 분할 출력 디렉토리는 outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence였습니다. 생성된 출력 파일에는 시퀀스별 신뢰도 CSV 파일, _confidence_frame_summary.csv 및 _confidence_runtime.csv가 포함되었습니다.
  4. 모든 검출 결과에 신뢰도 수준 레이블을 할당합니다. 고신뢰도 검출은 모션 기반 연관을 위해, 중신뢰도 검출은 모션-시맨틱 연관을 위해, 저신뢰도 검출은 궤적 복구 전용으로 레이블을 지정합니다. 할당된 신뢰도 수준 레이블과 함께 원래의 신뢰도 점수를 보존합니다.
  5. 그림 3에 예시된 바와 같이 신뢰도 점수 분포와 대표 프레임을 점검합니다. 고신뢰도 검출은 주로 완전하고 신뢰할 수 있는 선수 경계 상자에 해당하며, 중- 및 저신뢰도 검출은 주로 부분적으로 가려지거나, 폐색되었거나, 흐릿하거나, 약하게 검출된 결과가 포함되어 있는지 확인합니다.
    참고: 이 섹션의 예상 결과물은 모든 검출 결과에 대해 검출 인덱스, 원래 신뢰도 점수, 할당된 신뢰도 수준 및 프레임 수준 적응형 신뢰도 임곗값이 포함된 신뢰도 분할 파일입니다.

신뢰도 기반 비디오 분석; K-평균 군집화 및 상관관계 계산을 위한 구간 계산 다이어그램.
그림 2. 신뢰도 기반 연관 전략. 워크플로우는 적응형 신뢰도 군집화를 사용하여 검출 신뢰도를 고신뢰도, 중신뢰도 및 저신뢰도 구간으로 분할합니다. 고신뢰도 검출물은 모션 유사성을 사용하여 연관시키고, 중신뢰도 검출물은 모션과 저지 시맨틱 유사성을 결합하여 연관시키며, 저신뢰도 검출물은 다중 프레임 검증을 통한 시맨틱 보조 궤적 복구에 사용됩니다. 오른쪽 패널은 신뢰도 분할 및 연관에 사용된 수학적 공식을 요약하여 보여줍니다. 여기에서 이 그림의 더 큰 버전을 확인하십시오.

신뢰 구간별 스포츠 탐지 도즈를 비교한 막대 그래프; 축구, 농구, 배구.
그림 3. 탐지 신뢰도 점수 분포. 히스토그램은 SportsMOT 데이터셋의 축구, 농구, 배구 시퀀스에 대해 5개 신뢰 구간 내에 있는 선수 탐지 박스의 수를 나타냅니다. 이 분포는 평가된 스포츠 범주 간의 탐지기 신뢰도 차이를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

5. 신뢰도 기반 연관 분석 실행

  1. 각 비디오 시퀀스에 대한 검출기 출력 파일, 의미론적 특징 파일 및 신뢰도 분할 파일을 로드합니다. 첫 번째 유효 검출을 사용하여 트래커를 초기화하고, 추적되는 각 선수에 대해 하나의 궤적 상태를 유지합니다. 이후의 각 프레임에 대해, 칼만 필터(Kalman filter) 모션 모델을 사용하여 모든 기존 궤적의 위치를 예측합니다.
  2. 식 5에 정의된 마할라노비스 거리(Mahalanobis distance)를 사용하여 각 예측 궤적과 후보 검출 사이의 모션 유사도를 계산합니다.
    공분산 행렬을 포함한 S_mot(t_i^k,d_j) 식의 정역학적 평형 수학 공식  (5)
    여기서 정역학적 평형, ΣFx=0, ΣFy=0, 힘 평형도, 물리 개념, 문제 해결 기법는 프레임 k에서의 I번째 궤적을 나타내고, 정역학적 평형도, ΣFx=0, 힘 벡터 및 평형 표시, 교육용 물리 도표는 칼만 예측 궤적 상태를, dj 는 후보 검출을, 정역학적 평형 방정식 Σi^{-1}; 교육용 수학 기호가 포함된 도표는 예측 궤적 상태의 역공분산 행렬을, 그리고 Smot 는 예측 궤적과 검출 사이의 모션 거리를 나타냅니다.
    참고: 핵심 연관 워크플로우는 jerseytrack/formal_tracker.py에 구현되어 있으며 scripts/formal_track.py를 통해 실행됩니다. 두 파일 모두 JerseyTrack 소스 코드 저장소(https://doi.org/10.5281/zenodo.21274352)에서 사용할 수 있습니다. 별도의 설정 파일은 필요하지 않습니다. 신뢰도 임계값, 최대 트랙 수명, 모션 가중치 계수 및 중심 거리 가중치를 포함한 모든 런타임 파라미터는 명령줄 인수를 통해 제공됩니다. 전체 실행 명령 및 파라미터 설정은 단계 6.2에 제공되어 있습니다. 구현에는 헝가리안 매칭을 위해 SciPy의 선형 합 할당(linear sum assignment) 알고리즘이 사용되었으며, 비용 기반 연관을 위해 NumPy가 사용되었습니다.
  3. 검출기 출력 파일, 의미론적 특징 파일 및 신뢰도 분할 파일을 입력으로 사용하여 추적 워크플로우를 실행합니다.
    참고: 본 연구에서 핵심 트래커는 jerseytrack\formal_tracker.py에 구현되었으며, 추적 워크플로우는 scripts\formal_track.py를 사용하여 실행되었습니다.
  4. 모션 일관성을 사용하여 고신뢰도 검출을 기존 궤적과 연관시킵니다. 매칭된 궤적을 업데이트하고, 매칭되지 않은 고신뢰도 검출이 궤적 초기화 기준을 충족하는 경우에만 새로운 궤적을 초기화합니다.
  5. 그림 4에 예시된 저지 의미론적 추출 출력을 검토하고, 식 6에 따라 팀 색상 기술자와 선수 번호 특징을 결합하여 각 검출에 대한 저지 의미론적 특징 벡터를 구성합니다.
    fsem = [fcol;fid] (6)
    여기서 fsem 은 융합된 의미론적 특징 벡터를, fcol 은 팀 색상 기술자를, fid 는 OCR 분기에서 생성된 선수 번호 특징을 나타냅니다.
  6. 모션 유사도와 저지 의미론적 유사도를 결합하여 중신뢰도 검출을 연관시킵니다. 식 7에 따라 융합 매칭 점수를 계산합니다.
    모션 및 의미론적 점수 융합 식, Sf=λ(Sm/max(Sm))+(1-λ)(1-Sem). (7)
    여기서 Ssem 은 궤적과 후보 검출의 의미론적 특징 벡터 간의 코사인 유사도를, Smot 은 식 5에 정의된 모션 거리를, 그리고 λ는 모션 및 의미론적 유사도 항의 균형을 맞추는 적응형 융합 계수를 나타냅니다.
  7. 식 8에 따라 적응형 융합 계수를 계산합니다.
    정역학적 평형; λ=λ₀exp(-σsd/σmax); 재료의 응력 분포와 관련된 공식 (8)
    여기서 λ0 은 초기 모션 가중치 계수를, σsd 는 현재 프레임에서 검출 신뢰도 점수의 표준 편차를, 그리고 σmax 는 정규화에 사용되는 최대 신뢰도 점수 표준 편차를 나타냅니다.
  8. 저신뢰도 검출은 궤적 복구 용도로만 사용합니다. 의미론적 정보를 사용할 수 있고 복구 기준이 충족되는 경우에만 저신뢰도 검출을 중단된 궤적과 매칭합니다. 궤적 ID를 복원하기 전에 다중 프레임 검증을 적용하고, 검증에 실패한 검출은 폐기합니다.
    참고: 선수 번호 특징을 사용할 수 없는 경우, 선수 번호 매칭을 강제하는 대신 사용 가능한 의미론적 정보와 모션 일관성을 사용하여 연관을 수행합니다. 이 섹션의 예상 결과는 궤적 ID, 경계 상자(bounding box), 신뢰도 레벨 레이블, 모션 비용, 의미론적 정보 및 최종 연관 결정이 포함된 프레임별 추적 기록입니다. 수정 증거 패키지에서 추적 결과는 다음 경로에 저장되었습니다: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking.

성과 분석을 위한 선수 추적 데이터가 포함된 배구 경기 분석 다이어그램.
그림 4. 유니폼 시맨틱 특징 추출. 유니폼 시맨틱 추출 모듈에 의해 생성된 팀 색상 기술자와 선수 번호 정보가 대표적인 선수 검출 결과에 함께 표시되어 있습니다. 추출된 시맨틱 특징은 이후 신뢰도 기반 데이터 연관 과정에 통합됩니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

6. 추적 추론 실행 및 결과 내보내기

  1. 준비된 검출기 출력 파일, 의미론적 특징 파일 및 신뢰도 분할 파일을 사용하여 각 비디오 시퀀스에 대해 추적 추론을 실행합니다. 궤적 상태, 의미론적 이력 및 궤적 복구 결정이 시퀀스 전체에서 일관되게 업데이트되도록 비디오 프레임을 시간 순서대로 처리합니다. 데이터셋별 설정이 명시적으로 보고되지 않는 한 모든 평가 시퀀스에 대해 동일한 추론 구성을 사용하십시오.
    참고: 추적 추론은 JerseyTrack 소스 코드 저장소(https://doi.org/10.5281/zenodo.21274352)에서 사용할 수 있는 scripts/formal_track.py를 사용하여 실행되었습니다. 별도의 구성 파일은 필요하지 않습니다. 다음 명령어를 사용하여 추적 추론을 실행하십시오: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. 지정되지 않은 모든 매개변수는 아카이브된 소스 코드에 기록된 기본값을 유지했습니다.
  2. 추론 후, 다음 명령어를 사용하여 기본 후처리 시퀀스를 적용합니다: python scripts/merge_tracklets.py 및 python scripts/sweep_track_filter.py --min-len 95.
  3. 평가 툴킷에서 요구하는 형식으로 추적 결과를 내보냅니다. 프레임 인덱스, 궤적 ID, 경계 상자 좌표 및 벤치마크 평가 형식에 필요한 모든 필드를 포함하십시오. 각 결과 파일을 해당 정답(ground-truth) 주석 파일과 매칭할 수 있도록 일관된 파일 명명 규칙을 사용하여 시퀀스별로 하나의 추적 결과 파일을 저장하십시오.
  4. 본 연구에서 사용된 후처리 작업만 적용하십시오. 수정 패키지에 설명된 후처리 스크립트를 사용하여 트랙렛 병합 및 트랙 필터링을 수행합니다.
    참고: 본 연구에서 후처리 워크플로우는 다음 스크립트들을 사용했습니다:
    ⋅ scripts\merge_tracklets.py
    ⋅ scripts\sweep_track_filter.py
    ⋅ scripts\correct_identity_swaps.py
    ⋅ scripts\sweep_identity_swap_correction.py
    ⋅ scripts\interpolate_tracks.py
    ⋅ scripts\sweep_track_interpolation.py
  5. 정량적 평가 전에 내보낸 추적 결과를 검사합니다. 각 시퀀스 내에서 궤적 ID가 숫자로 유지되고 일관적인지, 누락된 프레임 인덱스가 없는지, 그리고 모든 경계 상자가 이미지 경계 내에 있는지 확인하십시오.
    참고: 이 섹션의 예상 결과물은 정량적 평가 준비가 완료된 시퀀스 수준의 추적 결과 파일 전체 세트입니다.

7. 추적 성능 평가

  1. 재료 표(Table of Materials)에 나열된 평가 툴킷을 사용하여 내보낸 트래킹 결과 파일을 평가합니다. 각 트래킹 결과 파일을 그에 해당하는 정답(ground-truth) 어노테이션 파일 및 데이터셋 분할(split)과 매칭합니다. 성능 차이가 평가 설정이 아닌 트래킹 결과에서 비롯되도록 비교하는 모든 방법에 대해 동일한 평가 구성을 사용하십시오.
  2. 다음 명령어를 사용하여 평가를 실행합니다.
    \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
    _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
    참고: 평가는 JerseyTrack 재현성 패키지 내에 보관된 표준 TrackEval (Version 1.3.0) 메트릭 구현을 사용하여 수행되었습니다. Higher Order Tracking Accuracy (HOTA), CLEAR 또는 Identity 메트릭 구현에는 어떠한 수정도 가하지 않았습니다. 해당 저장소에는 evaluation/trackeval/scripts/run_mot_challenge.py에 위치한 MOTChallenge 스타일의 실행 래퍼가 포함되어 있으며, 이는 데이터셋과 결과 경로를 설정하고 표준 TrackEval 평가 메트릭을 호출합니다.
  3. Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detection Accuracy (DetA), Association Accuracy (AssA), 위양성(FPs), 위음성(FNs) 및 ID 전환(identity-switching) 이벤트를 포함하여 원고에 보고된 평가 메트릭을 기록합니다. 평가 요약본을 표로 내보내고, 검증을 위해 시퀀스별 평가 파일을 보관하십시오.
  4. JerseyTrack을 베이스라인 방법들과 비교할 때는 모든 방법에 대해 동일한 데이터셋 분할, 검출기 출력 및 평가 구성을 사용하십시오. 각 비교에 대한 데이터셋, 검출기 출력 소스, 평가 툴킷 구성 및 메트릭 값을 기록합니다.
  5. 평가 로그를 검토하여 모든 시퀀스가 성공적으로 평가되었는지, 누락된 트래킹 결과 파일이 없는지 확인합니다.
    참고: 본 연구에서 기본 TrackEval 요약 파일은 다음 경로에 저장되었습니다: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
    round1\minlen95\trackeval\JerseyTrack_i960_
    e3_center_motion_minlen95\pedestrian_summary.txt. 이 섹션의 예상 결과물은 보고된 결과(Results)와 후속 검증을 뒷받침하는 시퀀스별 메트릭 파일 및 완전한 평가 요약 표입니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

이 섹션에서는 평가된 스포츠 다중 객체 추적 실험을 통해 얻은 정량적 및 정성적 결과를 보고합니다. 결과는 추적 정확도, ID 유지, 연관 품질 및 테스트된 데이터셋 설정 하에서의 강건성에 중점을 둡니다. 성능 주장은 프로토콜 및 구현 설정에 기술된 평가 방법, 데이터셋, 검출기 출력 및 평가 툴킷 구성으로 제한됩니다.

실험 설정 및 평가 설계

데이터셋 및 전처리:

검출기 준비, 추적 추론 및 정량적 평가를 위한 주요 벤치마크로 SportsMOT가 사용되었습니다. 이 데이터셋은 축구, 농구 및 배구 시나리오에 걸쳐 240개의 비디오 시퀀스와 150,000장 이상의 이미지 프레임을 포함하고 있습니다(그림 5). 공식 평가에서 주요 SportsMOT 결과는...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

본 연구에서는 검출 신뢰도 분할과 저지 시맨틱 단서를 결합한 신뢰도 기반의 스포츠 MOT 워크플로를 평가하였습니다. 신뢰도 기반 연관과 시맨틱 특징 융합은 다중 객체 추적의 데이터 연관을 개선하기 위한 보완적 전략으로 연구되어 왔습니다12,20,23,24,46. 결과에 따르면, 전체 JerseyTrack 설정은 평가된 SportsMOT 검증 환경에서 아이덴티티 보존 및 연관 안정성을 향상시켰습니다. 주요 SportsMOT 검증 결과, MOTA 88.9%, HOTA 69.9%, IDF1 74.3%, DetA 80.2%, 그리고 AssA 54.3%를 달성하였습니다. 이 수치들은 프로토콜에 기술된 검출기 출력 소스, 데이터셋 분할 및 TrackE...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

저자들은 재정적 이해관계의 충돌이 없음을 밝힙니다.

감사의 글

저자들은 밝힐 감사 인사가 없습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
CUDA RuntimeNVIDIAVersion 12.8검출기 학습, 의미론적 특징 추출 및 추적 추론에 사용되는 GPU 컴퓨팅 런타임.
EasyOCRJaided AIVersion 1.7.2선수 번호 인식에 사용되는 광학 문자 인식 툴킷.
JerseyTrack 소스 코드저자N/A데이터 준비, 의미론적 특징 추출, 신뢰도 분할, 추적, 후처리 및 평가 스크립트를 포함하는 사용자 정의 구현. 다음에서 이용 가능: https://doi.org/10.5281/zenodo.21274352
경량 CRNN OCR 모델저자N/A선수 번호 인식에 사용되는 사용자 정의 합성곱 재귀 신경망(CRNN).
MOT17 데이터셋MOTChallengeN/A교차 데이터셋 평가에 사용되는 공개 벤치마크 데이터셋. 다음에서 이용 가능: https://motchallenge.net/data/MOT17/
MOT20 데이터셋MOTChallengeN/A교차 데이터셋 평가에 사용되는 공개 벤치마크 데이터셋. 다음에서 이용 가능: https://motchallenge.net/data/MOT20/
motmetricsmotmetrics 개발자Version 1.4.0진단적 다중 객체 추적 메트릭 계산에 사용되는 라이브러리.
NVIDIA GPUNVIDIAGeForce RTX 5090 D V2검출기 학습 및 추적 추론에 사용되는 그래픽 처리 장치.
NVIDIA GPU 드라이버NVIDIAVersion 610.62실험 환경에서 사용된 GPU 드라이버.
NumPyNumPy 개발자Version 2.4.4특징 처리 및 데이터 핸들링에 사용되는 수치 계산 라이브러리.
OpenCVOpenCVVersion 4.10.0이미지 로드, 크롭, 전처리 및 시각화에 사용되는 컴퓨터 비전 라이브러리.
PythonPython Software FoundationVersion 3.12.2전체 워크플로우에 사용된 프로그래밍 언어.
PyTorchPyTorch FoundationVersion 2.11.0+cu128검출기 및 의미론적 모델 구현에 사용된 딥러닝 프레임워크.
scikit-learnscikit-learn 개발자Version 1.9.0저지 색상 추출 및 신뢰도 분할 중 K-means 클러스터링에 사용된 머신러닝 라이브러리.
SoccerNet Tracking 데이터셋SoccerNetN/A교차 데이터셋 평가에 사용되는 공개 축구 추적 벤치마크. 다음에서 이용 가능: https://www.soccer-net.org/tasks/tracking
SportsMOT 데이터셋SportsMOT BenchmarkN/A검출기 준비 및 추적 평가에 사용된 기본 벤치마크 데이터셋. 다음에서 이용 가능: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack 데이터셋TeamTrack BenchmarkN/A교차 데이터셋 평가에 사용되는 공개 스포츠 추적 벤치마크. 다음에서 이용 가능: https://atomscott.github.io/TeamTrack/
TorchvisionPyTorch FoundationVersion 0.26.0+cu128이미지 변환 및 모델 지원을 위해 PyTorch와 함께 사용되는 컴퓨터 비전 라이브러리.
TrackEvalTrackEval 개발자Version 1.3.0다중 객체 추적 정확도(MOTA), IDentity F1 스코어(IDF1), 고차 추적 정확도(HOTA), 검출 정확도(DetA), 연관 정확도(AssA), 위양성(FP), 위음성(FN) 및 ID 전환(IDs)을 계산하는 데 사용되는 평가 툴킷.
UltralyticsUltralyticsVersion 8.4.90검출기를 학습시키고 선수 검출 결과를 생성하는 데 사용된 객체 검출 프레임워크.

참고문헌

  1. Naik BT, Hashmi MF, Bokde ND. A comprehensive review of computer vision in sports: open issues, future trends and research directions. Applied Sciences. 2022;12(9):4429-46.
  2. Cao W, Wang X, Liu X, Xu Y. A deep learning framework for multi-object tracking in team-sports videos. IET Computer Vision. 2024;18(5):574-90.
  3. Fu X, et al. A novel dataset for multi-view multi-player tracking in soccer scenarios. Applied Sciences. 2023;13(9):5361-77.
  4. Guo Y, et al. Does visual training enhance athletes' decision-making skills and sport-specific performance? A systematic review and meta-analysis. Scand J Med Sci Sports. 2025;35(10):e70140.
  5. Chen X, et al. Multi-object detection and tracking based on CRF network and spatio-temporal attention for sports videos. Scientific Reports. 2025;15(1):6808-21.
  6. Cheng X, Zhao H, Deng Y, Shen S. Multi-object tracking with predictive information fusion and adaptive measurement noise. Applied Sciences. 2025;15(2):736-48.
  7. Hu Q, Scott A, Yeung C, Fujii K. Basketball-SORT: an association method for complex multi-object occlusion problems in basketball multi-object tracking. Multimedia Tools Appl. 2024;83(38):86281-97.
  8. Meng W, Duan S, Ma S, Hu B. Motion-Perception Multi-Object Tracking (MPMOT): enhancing multi-object tracking performance via motion-aware data association and trajectory connection. Journal of Imaging. 2025;11(5):144.
  9. Nie G, Wang X, Zhang D, Wang H. SCT-Diff: seamless contextual tracking via diffusion trajectory. Journal of Imaging. 2026;12(1):38.
  10. Yue Y, et al. Improving multi-object tracking by full occlusion handle and adaptive feature fusion. IET Image Processing. 2023;17(12):3423-40.
  11. Li H, et al. Synergistic-aware cascaded association and trajectory refinement for multi-object tracking. Image Vis Comput. 2025;154:105695.
  12. Wang C, Xie H. FCD-Net: feature decorrelation and confidence-driven dynamic fusion for robust pedestrian recognition in autonomous driving. IEEE Trans Intell Transp Syst. 2025;26(1):1-13.
  13. Wan S, Chen W. Improved multi-target athlete tracking in sports videos using IYOLOv8-MTD and enhanced DeepSORT with hybrid attention and IMM. Informatica. 2025;49(35):101-16.
  14. Sun Z, et al. Multiple pedestrian tracking under occlusion: a survey and outlook. IEEE Trans Circuits Syst Video Technol. 2025;35(2):1009-27.
  15. Qian H, et al. Low-altitude multi-object tracking via graph neural networks with cross-attention and reliable neighbor guidance. Remote Sensing. 2025;17(20):3502.
  16. Liu C, Li H, Wang Z. FastTrack: a highly efficient and generic GPU-based multi-object tracking method with parallel Kalman filter. Int J Comput Vis. 2024;132(5):1463-83.
  17. Urdiales J, Martín D, Armingol JM. An improved deep learning architecture for multi-object tracking systems. Integr Comput Aided Eng. 2023;30(2):121-34.
  18. You L, et al. Multi-object vehicle detection and tracking algorithm based on improved YOLOv8 and ByteTrack. Electronics. 2024;13(15):3033.
  19. Stanczyk T, Yoon S, Bremond F. No train yet gain: towards generic multi-object tracking in sports and beyond [conference paper]. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2025. p. 6085-94. https://doi.org/10.48550/arXiv.2506.01373
  20. Mandel T, et al. Detection confidence driven multi-object tracking to recover reliable tracks from unreliable detections. Pattern Recognit. 2023;135:109107.
  21. Hou M, Wu Y, Shi H, Mu X. A two-stage multi-object tracking algorithm with transformer and attention mechanism. Scientific Reports. 2025;15(1):31414.
  22. Wenkel S, et al. Confidence score: the forgotten dimension of object detection performance evaluation. Sensors. 2021;21(13):4350.
  23. Zhang F, Hu Y, Li Z, Luo D. Two-stage multi-object tracking via low confidence dynamic adaptive matching enhancement for autonomous driving. Applied Soft Computing. 2025;168:112101.
  24. Stanojevic VD, Todorovic BT. BoostTrack: boosting the similarity measure and detection confidence for improved multiple object tracking. Mach Vis Appl. 2024;35(3):53.
  25. Tan S, Kuang Z, Jin B. AppleYOLO: apple yield estimation method using improved YOLOv8 based on Deep OC-SORT. Expert Syst Appl. 2025;272:126764.
  26. Li YF, et al. Multi-object tracking with robust object regression and association. Comput Vis Image Underst. 2023;227:103586.
  27. Mao H, Chen Y, Li Z, Chen F, Chen P. SCTracker: multi-object tracking with shape and confidence constraints. IEEE Sensors Journal. 2023;24(3):3123-30.
  28. Ma J, Yang J, Zhang J, Fu F. Online multiple object tracker with enhanced features. Journal of Electronic Imaging. 2023;32(1):013030.
  29. Liu Y, et al. A full-detection association tracker with confidence optimization for real-time multi-object tracking. J Real-Time Image Process. 2024;21(4):1-15.
  30. Song Z, et al. Temporal coherent object flow for multi-object tracking [conference paper]. In: Proceedings of the AAAI Conference on Artificial Intelligence; 2025;39(7):6978-86. https://doi.org/10.1609/aaai.v39i7.32749.
  31. Scarrica VM, Staiano A. Learning from outputs: improving multi-object tracking performance by tracker fusion. Technologies. 2024;12(12):239.
  32. Miah M, Bilodeau GA, Saunier N. Learning data association for multi-object tracking using only coordinates. Pattern Recognit. 2025;160:111169.
  33. Yang C, Yang M, Li H. A survey on soccer player detection and tracking with videos. Visual Computer. 2025;41(2):815-29.
  34. Pham DT, Thuy NTT, Tran LQ. SportsORT: overcoming challenges of multi-object tracking in sports through domain-specific features and out-of-view re-association. Mach Vis Appl. 2025;36(6):1-17.
  35. Naik BT, Hashmi MF, Geem ZW, Bokde ND. DeepPlayer-Track: player and referee tracking with jersey color recognition in soccer. IEEE Access. 2022;10:32494-509.
  36. Scott A, et al. TeamTrack: a dataset for multi-sport multi-object tracking in full-pitch videos. Sports Engineering. 2024;27(2):24.
  37. Vats K, et al. Player tracking and identification in ice hockey. Expert Syst Appl. 2023;213:119250.
  38. Liu W, Yao J, Jiang F, Wang M. An improved multi-object tracking algorithm designed for complex environments. Sensors. 2025;25(17):5325.
  39. Kausalya K, Kanaga Suba Raja S. OTRN-DCN: an optimized transformer-based residual network with deep convolutional network for action recognition and multi-object tracking of adaptive segmentation using soccer sports video. Int J Wavelets Multiresolut Inf Process. 2024;22(1):2350034.
  40. Lopes JM, et al. Object and event detection pipeline for rink hockey games. Future Internet. 2024;16(6):179.
  41. Thulasya Naik B, Hashmi MF, Gupta A. EIoU-distance loss: an automated team-wise player detection and tracking with jersey colour recognition in soccer. Connection Science. 2024;36(1):2291991.
  42. Liu H, et al. Automated player identification and indexing using two-stage deep learning network. Scientific Reports. 2023;13(1):10036.
  43. Bhargavi D, Gholami S, Pelaez Coyotl E. Jersey number detection using synthetic data in a low-data regime. Front Artif Intell. 2022;5:988113.
  44. Dendorfer P, et al. MOTChallenge: a benchmark for single-camera multiple target tracking. Int J Comput Vis. 2021;129(4):845-81.
  45. Luiten J, et al. HOTA: a higher order metric for evaluating multi-object tracking. Int J Comput Vis. 2021;129(2):548-78.
  46. Pal SK, Pramanik A, Maiti J, Mitra P. Deep learning in multi-object video tracking: a review. Mach Vis Appl. 2021;51(9):6400-29.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

태그

신뢰도 기반 추적선수 궤적동작 유사성유니폼 색상광학 문자 인식정체성 일관성SportsMOT 데이터셋
문의하기
도서관에 추천하기

개인정보 처리방침

이용 약관

정책

저작권 © 2026 MyJoVE Corporation. 모든 권리 보유.