ユニフォームのセマンティック融合を用いたスポーツビデオ向け信頼度誘導型マルチオブジェクトトラッキング法

サマリー

本プロトコルでは、ユニフォームの色と背番号の情報を統合することで、信頼度の変動、オクルージョン（遮蔽）、および視覚的に類似した選手の外見がある状況下での軌跡の関連付けとアイデンティティの一貫性を向上させる、スポーツビデオ向けの信頼度ガイド付きマルチオブジェクトトラッキングのワークフローについて説明します。

要約

スポーツビデオにおけるマルチオブジェクトトラッキング（MOT）は、戦術分析、選手の行動解釈、および自動統計分析のための軌跡情報を提供します。しかし、スポーツのシナリオでは、急激な方向転換、突然の停止、頻繁な遮蔽、および視覚的に類似したチームメイトが多く存在するため、検出信頼度の変動や、フレーム間アソシエーションにおけるIDの混同が発生します。これらの課題に対処するため、本研究ではユニフォームのセマンティック融合に基づく信頼度ガイド付きスポーツMOT手法であるJerseyTrackを提案します。このワークフローでは、各フレームの信頼度分布に従って、検出ボックスを信頼度の高い、中程度の、および低い区間に適応的に分割します。信頼度の高い検出は主にモーションの類似性を用いてアソシエーションを行い、一方で信頼度の中程度および低い検出では、カラークラスタリングと軽量な光学文字認識（OCR）モデルを通じて抽出されたユニフォームの色および背番号の特徴をさらに組み込みます。これらのセマンティック特徴は、補完的なマッチングの際にモーション情報と融合され、軌跡の連続性とIDの一貫性を向上させます。本手法をSportsMOTデータセットで評価した結果、JerseyTrackはMOTA（Multiple Object Tracking Accuracy）88.9%、IDF1（IDentity F1 Score）74.3%、HOTA（Higher Order Tracking Accuracy）69.9%を達成し、評価したスポーツトラッキング設定において追跡性能が向上することが示されました。本プロトコルは、スポーツビデオにおけるマルチオブジェクトトラッキングを改善するために、信頼度ガイド付きアソシエーションとユニフォームのセマンティック情報を統合するための再現可能なワークフローを提供します。

概要

マルチオブジェクトトラッキング（MOT）は、ビデオシーケンスにおける継続的なオブジェクトの局在化とIDの維持を可能にし、スポーツビデオアプリケーションにおけるアスリートの軌跡抽出、戦術分析、および自動統計分析を支援します^1,2,3。また、信頼性の高い視覚情報は、スポーツ科学における競技特有の意思決定やパフォーマンス評価に関連しており、後続のスポーツ分析におけるビデオ由来の安定した動作データの価値をさらに強調しています⁴。スポーツのシナリオにおいて、戦術データの信頼性は、トラッキング軌跡の連続性とターゲットIDの一貫性に依存します。

一般的なMOTシナリオと比較して、スポーツビデオには急速な方向転換、急停止、ジャンプ、密集した相互作用、および頻繁なオクルージョン（遮蔽）が含まれています。これらの要因は検出ボックスの信頼度に大幅な変動をもたらし、低信頼度検出の頻度を増加させ、それがトラジェクトリ（軌跡）の紐付けを妨げる可能性があります^5,6。また、統一されたチームジャージは、一般的な外見特徴の識別能力をさらに低下させ、外見が似ているチームメイト間でのアイデンティティの混同を増加させます^7,8。同一シーケンス内でオクルージョンと外見の類似性が同時に発生すると、検出信頼度が低下し、ターゲットの外見情報が不完全になるため、トラジェクトリの紐付けとアイデンティティの維持が困難になります^9,10。MOTにおいて、再識別（Re-ID）とは、アイデンティティに関連する視覚的な根拠を用いて、フレーム間、オクルージョン期間中、または再進入時に同一のターゲットアイデンティティを紐付けるプロセスを指します。チームスポーツのビデオでは、同じチームのアスリートが同様のユニフォームや体格を共有していることが多いため、一般的なRe-IDの手がかりが弱まる場合があります。技術文献のレビューによれば、スポーツMOTにおけるトラジェクトリの断片化とアイデンティティの混同は、一般的に「検出信頼度の活用」と「アイデンティティ手がかりの強化」という2つの相補的なアプローチによって対処されます。JerseyTrackは、色や背番号の情報をすべての検出に一律に適用するのではなく、検出品質に応じてジャージのセマンティックな手がかりの使用を調整することで、これら2つのアプローチの交点に位置づけられています。

本研究では、ユニフォームの意味論的融合に基づく信頼度誘導型スポーツMOT手法であるJerseyTrackを提案します。本手法は、アスリートが視認可能なユニフォームを着用し、検出結果として信頼度スコア付きのバウンディングボックスが得られるチームスポーツのビデオ向けに設計されています。JerseyTrackは、アスリート検出、信頼度レベルによるパーティショニング、ユニフォームの意味論的特徴抽出、およびカスケード型フレーム間アソシエーションの4つの主要コンポーネントで構成されています。検出の信頼度を用いて、検出結果を信頼度の高いグループ、中程度のグループ、低いグループに適応的に分割し、それぞれに異なるアソシエーション戦略を適用します。高信頼度の検出結果は主にモーション情報を通じてアソシエーションされますが、中・低信頼度の検出結果では、視覚的根拠が弱い場合でもアイデンティティの維持を向上させるため、ユニフォームの色や選手番号の情報がさらに組み込まれます。本手法は、戦術分析や選手の行動解釈など、安定したアスリートの軌跡を必要とするスポーツビデオ分析タスクを目的としています。

提案されたアプローチには運用上の制限もあります。ユニフォームのセマンティック抽出は、深刻なオクルージョン、モーションブラー、低解像度、ユニフォームの異常なポーズ、または背番号が不可視であることによって影響を受ける可能性があります。これらの場合、ユニフォームに基づくセマンティックキューが不完全になる可能性があり、アソシエーションプロセスはモーションの一貫性とマルチフレーム検証により大きく依存することになります。したがって、本研究における性能の主張は、評価したデータセットおよび実験設定に限定されます。SportsMOTデータセットを用いた実験では、JerseyTrackが、テストしたスポーツトラッキング条件下で、評価したトラッキング指標を改善し、IDスイッチイベントを減少させることが示されました。スポーツビデオにおけるMOTの主な困難は、急速な運動、オクルージョン、および外観の類似性の下で、トラジェクトリの連続性とIDの一貫性を維持することにあります。JerseyTrackに関連する既存の研究は、大きく分けて、トラジェクトリ・アソシエーションへの検出信頼度の利用と、スポーツ特有のセマンティック特徴によるIDキューの強化という2つの研究方向に分類できます。

検出信頼度は、検出ボックスの信頼性を推定し、MOTにおけるトラジェクタリ（軌跡）の紐付けを導くために広く利用されてきた。初期のトラッキング手法では、通常、信頼度をバイナリフィルタリングの基準として扱い、固定しきい値を下回る検出結果を削除することで誤検出（false positives）を削減していた^11,12。この戦略はノイズとなる検出を減少させるが、遮蔽、急激な動き、または低画質の条件下では真のターゲットまで破棄してしまう可能性があり、結果としてトラジェクタリの断片化を招く^13,14,15。同様のフィルタリング戦略により、固定の信頼度しきい値はシーンの変化や検出品質に敏感であることも示されている^16,17。低信頼度の検出結果の活用を改善するため、ByteTrackは、低信頼度のボックスを二次マッチングの候補ターゲットとして保持し、動きの類似性とトラジェクタリ履歴を通じて既存のトラジェクタリと紐付けるアソシエーション戦略を導入した¹⁸。McByteは、時間的に伝播させたセグメンテーションマスクを紐付けの手がかりとして組み込むことでスポーツMOTのアソシエーションをさらに拡張し、ビデオごとの追加トレーニングなしに、高速移動、遮蔽、およびカメラシフト条件下での堅牢性を向上させている¹⁹。関連研究では、アソシエーション中に弱いが有効である可能性のあるターゲットを保持させるため、低信頼度検出の利用方法を調整している^20,21,22。その後、信頼度適応型アソシエーション戦略により、動きの一貫性と検出信頼度に基づいてマッチング基準が精緻化された^23,24,25。また、検出ボックス回帰とトラジェクタリ平滑化最適化に基づくトラジェクタリ精緻化手法も、トラジェクタリ断片化の削減に使用されている^26,27,28。さらなる精緻化戦略は、複雑な運動条件下でトラジェクタリの連続性を維持するための補完的なサポートを提供している²⁹。時間的コヒーレント物体フローは、フレーム間での物体レベルの時間的一貫性をさらにモデル化し、複雑なMOTシナリオにおけるトラジェクタリ中断を削減するためのもう一つのアソシエーション指向のアプローチを提供している³⁰。トラッカー融合手法は、複数のトラッカーの出力から学習し、学習ベースの選択または融合戦略を用いることで、異なるMOTベンチマークにわたるトラッキングの堅牢性を向上させている³¹。総じて、これらの研究は、信頼度を考慮したアソシエーションが中断されたトラジェクタリの復旧に役立つことを示しているが、同じチームの選手が似た外見を持っている場合、信頼度と動きの手がかりだけでは得られる個体識別情報は限定的である。これらの手法は一般的なシナリオにおいてトラジェクタリ断片化を効果的に緩和するが、スポーツの設定では、同じチームの選手が極めて類似した外見を持つことが多く、信頼度と動きの情報だけに依存していては個体識別の十分な根拠となり得ないため、固有の限界に直面している^32,33,34。低信頼度のボックスが効果的に回収されたとしても、特徴量の類似性によってIDスイッチングが起こり得り、スポーツ分析における厳格なID一貫性の要件を満たすことを困難にしている。

アスリートのトラッキングにおける個体識別能力を向上させるために、スポーツ特有のアイデンティティの手がかりも利用されてきました。チームカラーや選手番号などのユニフォームのセマンティック情報は、一般的な外見エンベディングよりもスポーツのシナリオに直接的に関連したアイデンティティの手がかりを提供します^35,36,37。ユニフォームの色はチームレベルの識別をサポートし、チーム間の混同を減少させるために用いられてきた一方で、選手番号の認識は、番号領域が可視かつ判読可能な場合に、より詳細なアイデンティティの手がかりを提供します^38,39。既存のスポーツトラッキング研究では、混雑したスポーツ環境下での選手の関連付けを改善するために、ドメイン特有の視覚的特徴とユニフォームの色認識が組み込まれています^40,41。ユニフォーム番号の認識および合成番号データに関する関連研究は、低解像度または部分的な遮蔽条件下でのアイデンティティモデリングをさらにサポートしています^42,43。これらの研究は、ユニフォームのセマンティクスがスポーツMOTにおけるアイデンティティ表現を強化できることを示しています。しかし、ほとんどのセマンティクス強化トラッキング手法は、検出信頼度とセマンティック特徴の品質との関係を十分にモデル化していません。信頼度の高い検出結果は、すでに信頼できる空間情報や外見情報を保持している可能性があり、繰り返しセマンティクス抽出を行うことは効率が悪くなります。一方で、信頼度の低い検出結果は、遮蔽、ブレ、切断、または低解像度の影響を受けていることが多く、色や選手番号の手がかりの信頼性が低下します。この制限から、すべての検出結果に一律に適用するのではなく、検出品質に応じてユニフォームのセマンティクスを導入する、信頼度ガイド付きの関連付け設計が求められます。レビューした研究では、信頼度を考慮した関連付けとユニフォームのセマンティクスモデリングが、スポーツMOTの異なる側面に対処していることが示されています。信頼度ベースの戦略は、主に検出結果が関連付けに参加すべきか、および既存の軌跡とどのようにマッチングさせるべきかを決定しますが、ユニフォームのセマンティクス戦略は、主にスポーツ特有の手がかりを通じてアイデンティティ表現を強化します。しかし、これら2つのメカニズムは個別のコンポーネントとして設計されることが一般的です。その結果、セマンティックな手がかりが検出品質に応じて常に調整されるわけではなく、関連付けの際に信頼度レベルが色や選手番号情報の利用を直接的に制御することもありません。この分離により、チームスポーツのビデオにおける軌跡の断片化と個体混同の同時処理が制限されています。今後の研究課題は、同一のトラッキングワークフロー内で、検出信頼度の品質評価とユニフォームのセマンティック関連付けを連携させることにあります。

プロトコル

本研究では、SportsMOT、TeamTrack、SoccerNet Tracking、MOT17、およびMOT20という、公開されているベンチマークビデオデータセットの二次分析が行われました。被験者の募集や介入は行われておらず、新しいヒト被験者データも収集していません。バンコク・トンブリ大学の適用される機関要件に基づき、本研究に倫理委員会の承認は不要でした。

以下のプロトコルでは、データ準備からトラッキング評価に至るまで、JerseyTrackを再現するために使用したワークフローについて説明します。このワークフローには、データセットの準備、検出器の準備、ジャージのセマンティック抽出、信頼度レベルによる分割、信頼度ガイド付きアソシエーション、トラッキング推論、および性能評価が含まれており、詳細は以下にまとめられています。 図1必要なソフトウェア、データセット、およびハードウェアリソースは、以下に記載されています。 材料表.

図 1. JerseyTrack法の全体的なワークフロー。ワークフローは、ジャージの意味的特徴抽出、初期オブジェクトマッチング、信頼度に基づく補完的マッチング、および特徴融合で構成される。検出されたアスリート領域からチームカラーと背番号の特徴を抽出し、それを関連付けプロセスに組み込むことで、検出条件が不確実な状況下での軌跡マッチングを改善する。ここをクリックして、この図の拡大版を表示してください。

1. データセットとディレクトリ構造の準備

1. 材料表に記載されている公開ベンチマークデータセットをダウンロードします。検出器の準備およびトラッキング評価の主要データセットとしてSportsMOTを使用してください。クロスデータセット評価用に、TeamTrack、SoccerNet Tracking、MOT17、およびMOT20を保持します。
2. すべてのデータセットを統一されたプロジェクトディレクトリ下に保存します。検出器、セマンティック抽出モジュール、トラッキングモジュール、および評価ツールキットが同一のシーケンス識別子を使用していることを確認してください。
3. 本研究で採用したデータ準備スクリプトを使用して、公式のSportsMOTアノテーションを検出器学習フォーマットに変換します。以下のコマンドを実行してください：
   ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
4. データ準備スクリプト（scripts/prepare_data.py）は、JerseyTrackのソースコードリポジトリ（https://doi.org/10.5281/zenodo.21274352）から入手可能です。必要なソフトウェア依存関係はenvironment.ymlに指定されており、Python 3.12、PyTorch 2.11.0、およびOpenCV 4.10以降が含まれます。以下のコマンドを使用してソフトウェア環境を構成してください：conda env create -f environment.yml。次に、以下のコマンドを使用してデータ準備スクリプトを実行してください：python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
5. 変換によって検出器学習用の設定ファイルであるdata\processed\SportsMOT_yolo\data.yamlと、変換マニフェストであるdata\processed\SportsMOT_yolo\conversion_manifest.csvが生成されたことを確認してください。
   注：本研究において、変換後のSportsMOT学習用および検証用データセットには、90のシーケンス、55,544フレーム、および608,152個のアノテーション済みオブジェクトが含まれていました。
6. 代表的なシーケンスを検査し、フレーム順序、バウンディングボックス座標、およびIDラベルが元のベンチマークアノテーションと一致していることを確認します。
7. 検出器の準備、トラッキング推論、および評価の全過程を通じて、すべての手法が同一のデータセット分割および評価プロトコルを使用できるよう、変換後のアノテーションファイルを変更せずに保存してください。
   注：本セクションの期待される結果は、変換済みアノテーション、変換マニフェスト、および検出器の準備とトラッキング評価に必要なデータセット分割ファイルを含む、標準化されたSportsMOT検出器学習ディレクトリの作成です。

2. 検出器出力の準備

1. 準備したSportsMOTトレーニングセットを用いて、物体検出器をファインチューニングする。式1に定義される分類損失およびバウンディングボックス回帰損失を用いて、検出器を最適化する。検出器の入力解像度、バッチサイズ、学習率、トレーニングエポック数、およびその他のトレーニングパラメータは、「実装セットアップ」および「材料表」に記載されている値を使用する。
   L_det = L_cls + L_box   (1)
   ここで、 L_det は検出器の総損失を、L_cls は分類損失を、L_box はバウンディングボックス回帰損失を表す。
   注：主要な実験（内部実験識別子 e3）で使用された検出器のチェックポイントは、Ultralytics YOLOフレームワークとSportsMOT YOLO形式データセット構成（data/processed/SportsMOT_yolo/data.yaml）を用いてトレーニングされた。以下のコマンドを使用して検出器のトレーニングを実行する：yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0。トレーニング後、得られた最高性能のチェックポイントを用いて、以下のコマンドで検証シーケンスの検出器出力を生成する：python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16。
2. トレーニング後、学習済み検出器のチェックポイント、対応するメタデータファイル、およびトレーニングログを保存する。
   注：本研究において、正式な実験に使用された検出器チェックポイントは次のように保存された：
   outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt。対応するメタデータファイルは次のように保存された：outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json。主要なSportsMOT検証実験に使用された検出器出力ディレクトリは次であった：outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections。
3. 学習済み検出器を各検証シーケンスに対して実行し、アスリートのバウンディングボックスと信頼度スコアを生成する。フレームインデックス、バウンディングボックス座標、検出信頼度、およびクラスラベルを含む検出ファイルをシーケンスごとに1つずつエクスポートする。
   注：主要な実験に使用されたSportsMOT検証ランでは、信頼度しきい値 0.05 により 343,990 件のアスリート検出が生成された。
4. トラッキング推論の前に、検出器出力ディレクトリを確認する。すべてのシーケンスに対応する検出ファイルが存在すること、フレームインデックスが準備された画像シーケンスと一致していること、およびすべての検出レコードに信頼度スコアが含まれていることを確認する。
   注：本セクションの期待される結果は、ジャージのセマンティック抽出、信頼度レベルによる分割、およびトラッキングアソシエーションの入力となる完全な検出器出力ディレクトリである。

3. ジャージの意味的特徴を抽出する

1. 検出器の出力ファイルを使用して、各ビデオフレームからアスリート領域をクロップする。クロップした各アスリート画像は、シーケンス識別子、フレームインデックス、および検出インデックスと共に保存する。画像コンテンツが欠落している不適切なクロップや、バウンディングボックスが画像境界外に伸びているものは除外する。各クロップのファイル名と元の検出レコードとの紐付けを維持し、抽出された意味的特徴をトラッキング照合時に対応する検出結果と一致させられるようにする。
2. 本研究で採用した意味抽出スクリプトを用いて、クロップされたアスリート画像からユニフォームの色の特徴を抽出します。
   注：意味的特徴抽出スクリプト（scripts/extract_fast_color_semantics.py および scripts/formal_extract_semantics.py）は、JerseyTrackのソースコードリポジトリ（https://doi.org/10.5281/zenodo.21274352）で入手可能です。別途設定ファイルは必要なく、すべての実行パラメータはコマンドライン引数を通じて提供されます。
   以下のコマンドを使用して、ジャージの色記述子を生成します：python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color。次に、以下のコマンドを用いてOCRモデルで選手番号の意味的特徴を生成します：python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr。生成されたジャージの色記述子と選手番号の確率出力は、シーケンス識別子によって紐付けられ、トラッキングの関連付けに使用される意味的特徴ファイルに統合されます。
3. 切り出した各アスリートの画像を、HSV（色相、彩度、明度）色空間に変換する。ジャージ領域から前景画素を抽出し、K=3としたK-meansクラスタリングを用いて、ジャージの支配的な色を要約する。得られた色記述子を、特徴量比較の前にL2正規化を用いて正規化する。
4. 入力サイズ128でクロップしたアスリート画像を用いて、背番号認識ブランチを学習させます。 × 64ピクセル。本研究で採用した弱教師ありラベル付け手順を用いて、選手の番号の擬似ラベルを生成する。不可視、判読不能、激しく遮蔽されている、または信頼度が低い選手番号領域を含むクロップは、光学文字認識（OCR）損失の計算から除外する。
5. 次で定義されるクロスエントロピー損失を用いて、OCRブランチを最適化します。 式2
   (2)
   ここでは、 L_{光学文字認識} OCR損失を示す。 y_i は、教師あり学習によるプレーヤー数のラベルを表し、 予測されたプレイヤー数のカテゴリーを示す。
6. 適応的オプティマイザー、学習率、バッチサイズ、荷重減衰、およびトレーニング期間を用いて、意味的特徴抽出モジュールを最適化します。これらは、以下の[リスト/表/記述]に記載されています。 材料一覧表検出器の損失とOCRの損失を、次で定義される全学習目的関数を用いて統合します。 式 3.
   L_合計 = L_決定係数 + γL_{光学文字認識}   (3)
   ここでは、 L_合計 全トレーニング損失を示す。 L_詳細 〜で定義される検出器損失を示す 式1, L_{光学文字認識（OCR）} ～で定義されるOCR損失を表す 式 2、およびOCR損失に対するユーザー定義の重み付け係数を示します。
7. 学習済みのOCRブランチを、切り出された各アスリート画像に適用します。各切り出し画像について、予測された選手番号のカテゴリまたは確率ベクトルを保存します。選手番号が見えない場合、またはOCRの信頼度が実装で定義された閾値を下回る場合は、無理に予測を行うのではなく、選手番号の特徴量を「利用不可」として記録します。
8. ジャージの色記述子とプレーヤー番号の出力を結合し、トラッキングモジュールで使用される意味的特徴ファイルに格納する。
   注：メインのSportsMOT検証ランにおいて、意味抽出スクリプトは、フレームの欠落や無効なクロップなしで343,990件の検出を処理した。現在のリビジョンパッケージでは、意味抽出のサマリーにおいて、評価対象のSportsMOT設定下で86.7%の総合的な色およびOCR意味抽出精度が報告されている。本セクションの期待される成果は、各有効な検出レコードが、ジャージの色記述子、利用可能な場合の選手番号の出力、およびトラッキング紐付けのために意味情報が利用可能かを示すフラグに関連付けられた意味特徴ファイルである。

4. パーティション検出の信頼レベル

1. 各ビデオシーケンスの検出器出力ファイルをロードします。各フレームにおけるすべての選手検出の信頼度スコアを収集します。
2. 図2に示す信頼度ガイド付きアソシエーションワークフローに従い、K = 3としたK-meansクラスタリングを用いて、フレームレベルの信頼度スコアを高、中、低の信頼度区間に分割します。式4に基づき、クラスター内分散を最小化することで適応的信頼度しきい値を決定します。
     (4)
   ここで、s_d は検出dの信頼度スコアを、 D₁、D₂、およびD₃はそれぞれ高、中、低の信頼度区間を、μ₁、μ₂、およびμ₃はこれら3つの区間の平均信頼度スコアを、そして τ₁および τ₂はK-meansクラスタリングの結果から得られた適応的信頼度しきい値を表します。
   注：信頼度分割スクリプト（scripts/formal_partition_confidence.py）は、JerseyTrackのソースコードリポジトリ（https://doi.org/10.5281/zenodo.21274352）で入手可能です。この信頼度分割モジュールでは、K = 3としたNumPyベースの一次元K-meansクラスタリング手順を使用しています。個別の設定ファイルは不要であり、入力ディレクトリ、出力ディレクトリ、およびクラスタリングパラメータはコマンドライン引数で指定します。信頼度分割手順は、次のコマンドを使用して実行してください：python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3。NumPyのバージョンを含む必要なソフトウェア依存関係は、environment.ymlに指定されています。
3. 検出器出力ディレクトリを入力として、信頼度分割手順を実行します。
   注：本研究における検出器出力ディレクトリは outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections でした。信頼度分割出力ディレクトリは outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence でした。生成された出力ファイルには、シーケンスごとの信頼度CSVファイル、_confidence_frame_summary.csv、および_confidence_runtime.csvが含まれていました。
4. すべての検出に信頼度レベルのラベルを割り当てます。高信頼度の検出にはモーションベースのアソシエーション用、中信頼度の検出にはモーション・セマンティックアソシエーション用、低信頼度の検出にはトラジェクタリカバリ専用のラベルを割り当てます。割り当てられた信頼度レベルのラベルと共に、元の信頼度スコアを保持します。
5. 図3に示すように、信頼度スコアの分布と代表フレームを確認します。高信頼度の検出が主に完全で信頼性の高い選手のバウンディングボックスに対応し、中および低信頼度の検出が主に部分的、遮蔽、ぼけ、または弱い検出であること verifying します。
   注：本セクションの期待される結果は、すべての検出について、検出インデックス、元の信頼度スコア、割り当てられた信頼度レベル、およびフレームレベルの適応的信頼度しきい値を含む信頼度分割ファイルです。

図 2信頼度誘導型アソシエーション戦略。 このワークフローでは、適応的信頼度クラスタリングを用いて、検出の信頼度を高、中、低の信頼度区間に分割します。高信頼度の検出は動きの類似性を用いて関連付けられ、中信頼度の検出は動きとジャージの意味的類似性を組み合わせて関連付けられます。また、低信頼度の検出は、マルチフレーム検証を伴う意味的支援による軌跡復元に使用されます。右側のパネルに、信頼度の分割および関連付けに使用される数学的定式化の要約を示します。 この図の拡大版を表示するには、ここをクリックしてください。

図3検出信頼度スコアの分布。 このヒストグラムは、SportsMOTデータセットのサッカー、バスケットボール、バレーボールの各シーケンスにおける、5つの信頼区間内でのアスリート検出ボックス数を示しています。この分布は、評価されたスポーツカテゴリー間における検出器の信頼度の違いを明らかにしています。 この図の拡大版を表示するには、ここをクリックしてください。

5. 信頼度ガイド付きアソシエーションの実行

1. 各ビデオシーケンスの検出器出力ファイル、意味的特徴ファイル、および信頼度パーティションファイルを読み込みます。最初の有効な検出を用いてトラッカーを初期化し、追跡対象の各アスリートに対して1つの軌跡状態を維持します。それ以降の各フレームについて、カルマンフィルタ動作モデルを用いてすべての既存軌跡の位置を予測します。
2. 式5で定義されるマハラノビス距離を用い、予測された各軌跡と候補検出との間の動作類似度を算出します。
     (5)
   ここで、はフレームkにおけるI番目の軌跡を、はカルマン予測された軌跡状態を、d_j は候補検出を、は予測軌跡状態の逆共分散行列を、そしてS_mot は予測軌跡と検出との間の動作距離を表します。
   注：コアとなる関連付けワークフローはjerseytrack/formal_tracker.pyに実装されており、scripts/formal_track.pyを通じて実行されます。これらはともにJerseyTrackのソースコードリポジトリ（https://doi.org/10.5281/zenodo.21274352）で入手可能です。個別の設定ファイルは不要です。信頼度しきい値、最大トラック生存期間、動作重み係数、中心距離重みを含むすべての実行時パラメータは、コマンドライン引数として提供されます。完全な実行コマンドとパラメータ設定はステップ6.2に記載されています。実装には、ハンガリアンマッチングにSciPyの線形割当アルゴリズムを、コストベースの関連付けにNumPyを使用しています。
3. 検出器出力ファイル、意味的特徴ファイル、および信頼度パーティションファイルを入力として、トラッキングワークフローを実行します。
   注：本研究では、コアトラッカーはjerseytrack\formal_tracker.pyに実装され、トラッキングワークフローはscripts\formal_track.pyを使用して実行されました。
4. 動作の一貫性を用いて、高信頼度の検出を既存の軌跡に関連付けます。一致した軌跡を更新し、一致しなかった高信頼度の検出が軌跡初期化基準を満たす場合にのみ、新しい軌跡を初期化します。
5. 図4に示すユニフォームの意味的抽出出力を確認し、式6に従ってチームカラー記述子と背番号特徴を組み合わせることで、各検出のユニフォーム意味的特徴ベクトルを構築します。
   f_sem = [f_col;f_id] (6)
   ここで、f_sem は融合された意味的特徴ベクトルを、f_col はチームカラー記述子を、f_id はOCRブランチによって生成された背番号特徴を表します。
6. 動作類似度とユニフォームの意味的類似度を組み合わせて、中信頼度の検出を関連付けます。式7に従って融合マッチングスコアを算出します。
   (7)
   ここで、S_sem は軌跡と候補検出の意味的特徴ベクトル間のコサイン類似度を、S_mot は式5で定義された動作距離を、そして λは動作類似度項と意味的類似度項のバランスを調整する適応的融合係数を表します。
7. 式8に従って適応的融合係数を算出します。
   (8)
   ここで、λ₀ は初期動作重み係数を、 σ_sd は現フレームにおける検出信頼度スコアの標準偏差を、 σ_max は正規化に使用される最大信頼度スコア標準偏差を表します。
8. 低信頼度の検出は軌跡のリカバリにのみ使用します。意味情報が利用可能であり、かつリカバリ基準が満たされている場合にのみ、低信頼度の検出を中断された軌跡にマッチングさせます。軌跡のアイデンティティを復元する前に複数フレームでの検証を行い、検証に失敗した検出は破棄します。
   注：背番号特徴が利用できない場合は、背番号の一致を強制するのではなく、利用可能な意味情報と動作の一貫性を用いて関連付けを行います。このセクションの期待される成果は、軌跡アイデンティティ、バウンディングボックス、信頼度レベルラベル、動作コスト、意味情報、および最終的な関連付け決定を含むフレームごとのトラッキング記録です。改訂エビデンスパッケージにおいて、トラッキング結果は以下のパスに保存されました：outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking。

図 4. ユニフォームの意味的特徴抽出。 ジャージ意味抽出モジュールによって生成された抽出済みのチームカラー記述子と選手番号情報が、代表的なアスリート検出結果にアノテーションされている。抽出された意味的特徴は、その後、信頼度ガイド付きデータ関連付けに組み込まれる。こちらのリンクをクリックして、この図の拡大版を表示してください。

6. トラッキング推論の実行と結果のエクスポート

1. 準備した検出器出力ファイル、意味的特徴ファイル、および信頼度パーティションファイルを使用して、各ビデオシーケンスのトラッキング推論を実行します。軌跡の状態、意味的な履歴、および軌跡回復の決定がシーケンス全体で一貫して更新されるよう、ビデオフレームを時系列順に処理してください。データセット固有の設定が明示的に報告されていない限り、評価するすべてのシーケンスに同じ推論構成を使用します。
   注：トラッキング推論は、JerseyTrackソースコードリポジトリ（https://doi.org/10.5281/zenodo.21274352）で入手可能な scripts/formal_track.py を使用して実行されました。個別の構成ファイルは不要です。以下のコマンドを使用してトラッキング推論を実行してください：python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1。指定されていないすべてのパラメータは、アーカイブされたソースコードに記録されているデフォルト値を維持しています。
2. 推論後、以下のコマンドを使用して主要な後処理シーケンスを適用します：python scripts/merge_tracklets.py および python scripts/sweep_track_filter.py --min-len 95。
3. 評価ツールキットで要求される形式でトラッキング結果をエクスポートします。フレームインデックス、軌跡ID、バウンディングボックス座標、およびベンチマーク評価形式に必要なすべてのフィールドを含めてください。各結果ファイルを対応するグランドトゥルースアノテーションファイルと照合できるよう、一貫したファイル命名規則を用いて、シーケンスごとに1つのトラッキング結果ファイルを保存します。
4. 本研究で使用した後処理操作のみを適用します。リビジョンパッケージに記載されている後処理スクリプトを使用して、トラックレットの統合およびトラックのフィルタリングを行います。
   注：本研究の後処理ワークフローでは、以下のスクリプトを使用しました：
   ⋅ scripts\merge_tracklets.py
   ⋅ scripts\sweep_track_filter.py
   ⋅ scripts\correct_identity_swaps.py
   ⋅ scripts\sweep_identity_swap_correction.py
   ⋅ scripts\interpolate_tracks.py
   ⋅ scripts\sweep_track_interpolation.py
5. 定量評価の前に、エクスポートされたトラッキング結果を検査します。軌跡IDが数値であり、各シーケンス内で一貫していること、フレームインデックスに欠落がないこと、およびすべてのバウンディングボックスが画像境界内に収まっていることを確認してください。
   注：このセクションの期待される結果は、定量評価が可能な、シーケンスレベルのトラッキング結果ファイルの完全なセットです。

7. トラッキング性能の評価

1. 材料表に記載されている評価ツールキットを用いて、エクスポートされたトラッキング結果ファイルを評価します。各トラッキング結果ファイルを、対応するグラウンドトゥルース（正解）アノテーションファイルおよびデータセットのスプリットと照合してください。性能の差が評価設定ではなくトラッキング結果に起因することを確実にするため、比較するすべての手法に同じ評価設定を使用してください。
2. 以下のコマンドを使用して評価を実行します。
   \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
   _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
   注：評価は、JerseyTrack再現パッケージ内にアーカイブされている標準的なTrackEval (Version 1.3.0) メトリクスの実装を使用して行われました。Higher Order Tracking Accuracy (HOTA)、CLEAR、またはIdentityメトリクスの実装に変更は加えられていません。リポジトリには、evaluation/trackeval/scripts/run_mot_challenge.pyに配置されたMOTChallenge形式の実行ラッパーが含まれており、これがデータセットと結果のパスを設定し、標準的なTrackEval評価メトリクスを呼び出します。
3. Multiple Object Tracking Accuracy (MOTA)、IDentity F1 Score (IDF1)、Higher Order Tracking Accuracy (HOTA)、Detection Accuracy (DetA)、Association Accuracy (AssA)、偽陽性 (FPs)、偽陰性 (FNs)、およびIDスイッチイベントを含む、論文で報告されている評価メトリクスを記録します。評価サマリーを表としてエクスポートし、検証用にシーケンスごとの評価ファイルを保持してください。
4. JerseyTrackをベースライン手法と比較する場合、すべての手法で同じデータセットスプリット、検出器出力、および評価設定を使用してください。比較ごとに、データセット、検出器出力のソース、評価ツールキットの設定、およびメトリクス値を記録します。
5. 評価ログを検査し、すべてのシーケンスが正常に評価され、トラッキング結果ファイルに欠落がないことを確認します。
   注：本研究において、主要なTrackEvalサマリーファイルは以下に保存されました：outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval\JerseyTrack_i960_
   e3_center_motion_minlen95\pedestrian_summary.txt。本セクションの期待される成果は、報告された結果およびその後の検証を裏付ける、完全な評価サマリー表とシーケンスごとのメトリクスファイルです。

結果

このセクションでは、評価したスポーツマルチオブジェクトトラッキング実験から得られた定量的および定性的結果について報告します。結果は、追跡精度、ID保持、アソシエーション品質、およびテストしたデータセット設定下での堅牢性に焦点を当てています。性能に関する主張は、「プロトコル」および「実装セットアップ」で説明した評価手法、データセット、検出器の出力、および評価ツールキットの設定に限定されます。

実験セットアップおよび評価設計

データセットおよび前処理：

検出器の準備、トラッキング推論、および定量的評価の主要なベンチマークとしてSportsMOTを使用した。このデータセットには、サッカー、バスケットボール、バレーボールのシナリオにわたる240本のビデオシーケンスと150,000枚以上の画像フレームが含まれている（図5）。正式な評価では、プロトコルに記載された検出器の出力、トラッキング設定、およびTrackEval設定を用いて、検証用分割データに基づきSportsMOTの主要な結果を算出した。また、データセット間での直接的な指標レベルの比較ではなく、異なるデータセットタイプ間でのパフォーマンス移行を検討するため、TeamTrack、SoccerNet Tracking、MOT17、およびMOT20を用いてクロスデータセット評価を実施した。

図 5. 評価に使用した代表的なデータセット。 例示されたフレームは、実験的評価に使用したサッカー、バスケットボール、およびバレーボールの代表的なシーケンスを示している。本図は、評価対象のデータセット間におけるカメラの視点、選手の密度、およびシーンの複雑さの変動を強調している。ここをクリックして、この図の拡大版を表示してください。

SportsMOTデータは公式のデータセット構造に従って整理され、プロトコルに記載されている検出器トレーニング形式に変換されました。変換後のSportsMOTトレーニングデータおよび検証データには、90個のシーケンス、55,544フレーム、および608,152個のアノテーション済みオブジェクトが含まれていました。トレーニングパーティションは検出器の準備とパラメータ調整に使用され、検証パーティションは本研究で報告された正式なトラッキング評価に使用されました。すべての入力フレームは、プロトコルおよび材料表に記載されている検出器構成に従ってリサイズされました。検出器の準備、セマンティック特徴抽出、トラッキング推論、およびTrackEval評価において同一の前処理手順を適用することで、報告された差異がデータ処理の違いではなく、主にトラッキングの関連付け戦略を反映するようにしました。

評価指標：

トラッキング性能は、材料表に記載された評価ツールキットを用いて実装されたMOTChallenge互換の評価プロトコルを使用して評価されました。報告された指標は、スポーツMOT性能の3つの側面、すなわち全体的なトラッキング精度、アイデンティティ保持、および検出・関連付けの品質について記述しています。主要な評価指標としてMOTA、IDF1、およびHOTAが使用されました^44,45。MOTAは、誤検知（false positives）、検出漏れ（false negatives）、およびアイデンティティの切り替わり（identity switches）を統合し、全体的なトラッキング精度スコアとしてまとめます。IDF1は、予測された軌跡とグランドトゥルースのアイデンティティとの間の一貫性を測定します。HOTAは、検出精度と関連付け精度を共同で評価するため、ターゲットの局在化と軌跡の関連付けのバランスを特徴づけます。補完的な指標としてDetAおよびAssAが報告されました。誤検知（FPs）、検出漏れ（FNs）、およびアイデンティティの切り替わり（IDs）は、誤検出、検出ミス、およびアイデンティティ変更に関連するエラーソースを特徴づけるために使用されました。SportsMOTにおける手法間の比較では、検出器のばらつきや評価設定の差異による影響を軽減するため、同一の検出器出力および評価ツールキット構成を使用しました。データセットをまたいだ比較においては、指標の値は、異なるデータセット間での絶対的な性能的優位性の根拠としてではなく、データセット内での評価結果として解釈されました。

実験環境およびパラメータ設定：

実験は、材料表（Table of Materials）に記載されたハードウェアおよびソフトウェアのリソースを用いて実施されました。検出器の準備、トラッキング推論、および性能評価における一貫性を維持するため、主要なSportsMOT実験を通じて、同一の計算環境、検出器フレームワーク、検出器出力、および評価ツールキットが使用されました。材料表に記載された検出器フレームワークは、バッチサイズ16、初期学習率0.01、トレーニングエポック数80で学習されました。ジャージセマンティック抽出モジュールにおいて、色のクラスタリングにはK = 3のK-meansが使用され、OCRブランチには入力サイズ128 × 64ピクセルの軽量畳み込み回帰ニューラルネットワークが使用されました。OCRブランチは、材料表に記載された適応型オプティマイザーを用い、学習率1 × 10⁻³、ウェイトディケイ1 × 10⁻⁵、バッチサイズ64、トレーニングエポック数40で最適化されました。セマンティック特徴抽出モジュールの学習において、追加の学習率スケジューリングは使用しませんでした。OCR損失の重み付け係数（γ）はユーザー定義のハイパーパラメータとして扱い、検証セットの性能に従って選択されました。信頼度レベルの層別化には適応型K-meansパーティショニングが使用され、τ₁およびτ₂は推論前に手動で定義されるのではなく、各フレームの検出信頼度分布から算出されました。

スポーツおよびシナリオの複雑性におけるパフォーマンスの追跡

異なるスポーツおよびシーン条件下での定量的なパフォーマンス：

トラッキング性能は、スポーツカテゴリーとシーンの複雑さという2つのグループ化因子に基づいて評価されました。スポーツカテゴリーの解析には、サッカー、バスケットボール、バレーボールのシーケンスが含まれました。シーンの複雑さの解析では、評価したシーケンス全体で共通のグループ化基準を用いて、オクルージョンレベル、移動速度、およびターゲット密度を検討しました。報告された指標は、プロトコルセクション7に記載されている評価プロトコルに従いました。 

図6は、異なるスポーツカテゴリーおよびシーン複雑性の条件下での定量的なトラッキング結果をまとめたものである。図6Aは、サッカー、バスケットボール、バレーボールの各シーケンスにおけるMOTAおよびDetAを示している。図6Bは、オクルージョン、移動速度、およびターゲット密度の異なるレベルにおけるMOTAの変動を示している。図6Cは、各シーン複雑性の次元におけるFPおよびFNの積層カウントを示している。

図6スポーツカテゴリーおよびシーン条件におけるトラッキング性能の評価。 (A) 複数物体追跡精度（MOTA)および検出精度（DetA）は、サッカー、バスケットボール、バレーボール、および全体の平均を示す。 (B) 遮蔽レベル、プレイヤー密度、および動作の複雑さが異なる代表的なシーン条件下におけるMOTA。 (C) 評価したシーン条件における偽陽性（FP）および偽陰性（FN）の数。 こちらの図の拡大版を表示するには、ここをクリックしてください。

3つのスポーツカテゴリー全体で、JerseyTrackは平均MOTA 88.9%、平均DetA 80.2%を達成した。スポーツカテゴリー間のMOTAの差は1.3パーセントポイントであり、最も高いMOTAはバレーボールのシーケンス（89.2%）で、最も低いMOTAはバスケットボールのシーケンス（87.9%）で観察された。バスケットボールのシーケンスでMOTAが低かったことは、評価したシーケンスにおいて近距離での相互作用や密集したオクルージョン（遮蔽）が高頻度で発生していたことと一致している。軽度のオクルージョン、低速移動、疎らなターゲット分布といったシーンの複雑性が低い条件下では、MOTAはそれぞれ91.8%、93.1%、93.8%に達した。より複雑なシーン条件下では、MOTAは重度のオクルージョン下で84.9%、高速移動下で83.6%、密集したターゲット分布下で83.1%に低下した。これらの結果は、シーンの複雑さが増すにつれてトラッキング性能が低下した一方で、評価したスポーツシナリオ全体で報告された範囲内に留まったことを示している。

代表的なスポーツシーンにおける一貫性の追跡：

図 7 では、密集した選手間の相互作用、長期的な部分遮蔽、および急激な方向転換という、スポーツにおける 3 つの困難なシナリオの下で、JerseyTrack が示す時間的一貫性の代表的なトラッキング例を提示している。これらの代表的なシーケンスを通じて、トラッカーは頻繁な選手の重なりやダイナミックな動きがあるにもかかわらず、一貫した軌道アイデンティティを維持した。アイデンティティの断片化は、主に深刻な遮蔽が発生した際や、ジャージのセマンティクスが一時的に利用不能になった際に観察されたが、信頼度ガイド付きの関連付け戦略により、信頼性の高い検出が再び現れた後に軌道の復旧が可能となった。これらの代表的な例は、評価したスポーツトラッキング条件下で安定したアイデンティティ保持が実証されており、図 6 に示す定量的な結果を定性的に裏付けている。

図 7JerseyTrackによって得られた代表的なトラッキング結果。 バスケットボール、サッカー、バレーボールのシーケンスから抽出した連続フレームは、トラッキング中におけるアスリートのアイデンティティと軌跡の維持を示している。色付きのバウンディングボックスは、連続するビデオフレーム間で維持された追跡対象のアイデンティティを表している。 この図の拡大版を表示するには、ここをクリックしてください。

同一性保持に関するアブレーション結果：

信頼度ガイド付き関連付け戦略およびジャージ意味融合モジュールがアイデンティティの保持にどのように寄与しているかを検討するため、アブレーション分析を実施しました。4つのモデルバリエーションを比較しました：V0は信頼度ガイド付き関連付けおよびジャージ意味融合のないベースライン、V1は信頼度ガイド付き関連付けのみを使用したバリエーション、V2はジャージ意味融合のみを使用したバリエーション、そしてV3は両方のコンポーネントを組み込んだ完全なJerseyTrack構成です。評価は、IDs、IDF1、アイデンティティ精度（IDP）、およびアイデンティティ再現率（IDR）を含むアイデンティティ関連の指標に焦点を当てました。代表的なアイデンティティ保持のパターンを図8に示します。

図8信頼度ガイド付きジャージ意味論的関連付けのアブレーション解析。 (A) 評価したモデルバリアントにおける、全体的なアイデンティティ切り替わり（IDs）およびIDentity F1スコア（IDF1）。 (B) 代表的な困難なトラッキングシナリオにおける、完全モデル（V3）とベースライン構成（V0）のIDの比較。 (C) 異なるトラッキングシナリオにおける、完全なモデルのIDF1、ID精度（IDP）、およびID再現率（IDR）。 この図の拡大版を表示するには、ここをクリックしてください。

SportsMOTの全体的な検証設定において、完全なV3構成は4つのモデルバリアントの中で最も少ないID数と最も高いIDF1を記録しました。V3は2,768個のIDを記録し、これはV0よりもIDスイッチが477回少なく、IDF1は74.3%に達し、V0より7.1パーセントポイント向上しました。これらの結果は、評価したスポーツトラッキング条件下において、2つのモジュールが共同してアイデンティティの保持に寄与したことを示しています。単一モジュールのバリアントと完全な構成を比較したところ、2つのモジュールが異なる追跡エラーの原因に影響を与えていることがさらに明らかになりました。信頼度誘導型のアソシエーション戦略は、不安定な検出信頼度や局在化の不確かさに関連するマッチングエラーを減少させた一方で、ジャージセマンティック融合モジュールは、動きの情報だけでは不十分な場合に、追加のアイデンティティ情報を提供しました。完全なV3構成は、いずれの単一モジュールバリアントよりも優れたアイデンティティ関連性能を達成しており、2つのモジュールが冗長ではなく相補的な寄与をしたことを示唆しています。

シナリオレベルの結果から、個体識別保持がより困難な条件下で、より大きな差が生じることが示されました。長時間の遮蔽（オクルージョン）が発生した場合、V0が482個のIDを記録したのに対し、V3では215個のIDが記録されました。6～10人のプレーヤーが含まれる密集した同一チームのシナリオでは、V0が615個のIDを記録したのに対し、V3では328個のIDが記録されました。高速な方向転換条件下では、V0が960個のIDを記録したのに対し、V3では482個のIDが記録されました。これらの減少は、遮蔽時や密集した相互作用におけるセマンティックキューの意図的な利用、および急速な動きに伴う検出信頼度の変動時における信頼度ベースの関連付けと整合しています。図8Cに示すIDPおよびIDRの傾向は、ID数の減少が、個体識別精度（identity precision）または個体識別再現率（identity recall）の大幅な低下を伴わなかったことを示しています。完全な構成では、評価した困難なシナリオ全体を通じて71%以上のIDF1値を維持しましたが、密集した同一チームの相互作用および高速な方向転換条件下でより低い値が観察されました。これらの結果は、評価条件下で個体の一貫性が向上したことを示す一方で、密集した相互作用と急速な動きが、性能低下の主な要因として依然として残っていることを明らかにしています。

データセット間評価結果：

SportsMOTで観察されたトラッキング動作が、異なるデータセット条件下でも維持されるかを確認するため、クロスデータセット評価を実施しました。評価には、スポーツ特化型のデータセットであるSoccerNet TrackingとTeamTrack、および汎用的なMOTデータセットであるMOT17とMOT20の2つのデータセットを含めました。この実験の目的は、異なるデータセットタイプ間でのパフォーマンスの転移性を検討することでした。アノテーションプロトコル、シーン構成、カメラの視点、およびターゲットカテゴリが異なるため、これらの結果をデータセットをまたいだ直接的なメトリクスレベルの優位性を主張するために使用することはありませんでした。

表1にデータセットをまたいだ評価結果をまとめます。スポーツ特化型データセットにおいて、JerseyTrackはメインのSportsMOT検証設定と比較して、比較的安定したMOTAおよびIDF1値を維持しました。この傾向は、ユニフォームの重複、選手間の密集した相互作用、頻繁なオクルージョンなど、チームスポーツの視覚的特性が追跡シーンに保持されている場合、信頼度ガイド付きアソシエーション戦略とジャージに関連するセマンティックキューが有効であり続けることを示唆しています。一般的なMOTデータセットでは、本手法は競争力のあるMOTAおよびDetA値を維持しましたが、IDF1はスポーツ特化型データセットで観察された値よりも低くなりました。このパターンは、セマンティック融合モジュールで使用されるジャージの色や選手番号のキューがMOT17およびMOT20に存在しないことと一致しています。このような条件下では、信頼度ガイド付きアソシエーションコンポーネントは引き続き適用可能でしたが、セマンティックブランチが提供する個体識別特有の情報は、チームスポーツビデオの場合よりも少なくなりました。全体として、これらの結果は、JerseyTrackが一般的な歩行者追跡データセットよりも、スポーツ特有の視覚的セマンティクスを含むデータセットに対してより効果的に転移することを示しています。したがって、このクロスデータセット評価は、本手法がスポーツ向けトラッカーとして意図した用途に適していることを裏付けるとともに、明示的なジャージセマンティクスの欠如が非スポーツMOTデータセットにおける制限要因となることを明らかにしています。

データセット	MOTA↑	IDF1↑	DetA↑	FPS↑
SoccerNet Tracking	86.8	71.3	77.9	32.1
TeamTrack	86.2	70.7	77.3	32.8
MOT17	84.7	69.5	76.1	33.9
MOT20	84.1	68.9	75.3	33.2

表1: データセット間評価の結果。4つの公開ベンチマークデータセットで評価したJerseyTrackのトラッキング性能。Multiple Object Tracking Accuracy (MOTA)、IDentity F1 Score (IDF1)、Detection Accuracy (DetA)、およびFrames Per Second (FPS)として測定された処理速度を報告する。MOTA、IDF1、DetA、およびFPSは、値が高いほど性能が良いことを示す。

制御された摂動条件下での堅牢性

スポーツビデオで一般的に遭遇する視覚的な妨害や検出精度の低下に対するJerseyTrackの安定性を検証するため、制御された摂動実験を行った。評価した摂動は、意味的特徴の摂動、検出ボックスの摂動、および環境的摂動の3つのカテゴリーに分類した。意味的特徴の摂動には、背番号の遮蔽、画像のぼけ、解像度の低下、および類似したジャージの色が含まれる。検出ボックスの摂動には、バウンディングボックスのオフセット、検出信頼度の変動、および誤検出ボックスが含まれる。環境的摂動には、雨のようなノイズ、霧のような劣化、強い照明、および影による干渉が含まれる。図9に、これらの摂動条件下でのトラッキング性能をまとめる。意味的特徴の摂動下では、背番号の視認性とクロップ品質の低下に伴い、トラッキング性能が低下した。背番号領域の40%が遮蔽された場合、摂動なしの条件と比較してMOTAは3.2パーセントポイント低下し、IDF1は5.3パーセントポイント低下したが、意味抽出精度は86.7%を維持した。これらの結果は、一方の意味的キューの信頼性が低下した際に、ジャージの色と背番号のキューが補完的な情報を提供したことを示している。検出ボックスの摂動下では、急激な失敗ではなく、緩やかな性能低下を示した。検出ボックスを±10ピクセル移動させ、信頼度スコアにガウスノイズを加えた場合でも、MOTAの低下は3パーセントポイント未満に留まり、IDの増加は16%以内に抑えられた。この傾向は、中・低信頼度の検出を、高信頼度の検出に適用される戦略とは異なる追加的な関連付け制約を用いて処理する、信頼度ガイド付き関連付け戦略と一致している。

図9制御された摂動条件下での堅牢性評価。 (A) 多物体追跡精度（MOTA）、ID F1スコア（IDF1）、およびIDスイッチ（ID）とともに、ジャージ番号の遮蔽度を増加させた。 (B) 代表的な干渉条件下における性能低下。 (C) 異なる干渉条件下におけるIDの増殖。 (D) 評価した摂動条件下におけるJerseyの意味抽出精度。 こちらの図の拡大版を表示するには、ここをクリックしてください。

環境摂動下において、主要なトラッキング指標の低下は評価条件下で5パーセントポイント未満にとどまり、意味抽出の精度は87.2%を維持した。HSVベースのカラー記述子の使用により、照明変化に対する感度が低減され、一方でOCRブランチは、ぼけや劣化が生じた一部の画像切り出し領域においても利用可能な選手番号情報を保持した。これらの結果は、信頼性が依然としてジャージの視認性と切り出し品質に依存しているものの、意味モジュールが評価した摂動条件下で利用可能であることを示している。全体として、制御された摂動実験により、JerseyTrackが評価した意味的、検出品質的、および環境的な摂動下で測定可能なトラッキング性能を維持することが示された。これらの知見は、テストした摂動範囲内で解釈されるべきである。視界外からの系統的な再識別、深刻な背景の混雑、および長期にわたる完全な遮蔽については、本実験では個別に評価しておらず、考察セクションで制限事項として議論する。

モジュール寄与度および特徴判別分析

提案した2つのコンポーネントがアイデンティティ関連のトラッキング性能にどのように影響したかを調べるため、モジュールの寄与度と特徴の識別能についてさらに分析を行いました。モジュール寄与度分析では、アブレーション分析で定義した4つのモデルバリアントを使用し、特徴識別能分析では、従来のRe-ID特徴、色のみの特徴、背番号のみの特徴、および統合されたジャージ意味論的特徴を比較しました。特徴の分離可能性を記述するためにクラス間/クラス内距離比を使用し、値が大きいほど、同一アイデンティティ内の変動に対して異なるアイデンティティ間の分離が大きいことを示しました。Table 2にモジュール寄与度分析の結果をまとめます。全体的な評価において、信頼度誘導型アソシエーション戦略の推定寄与度は41.7%、ジャージ意味論的融合の推定寄与度は47.6%であり、残りの10.7%はこれら2つのコンポーネントの併用によるものと考えられました。これらの値は、両コンポーネントが観測された改善に寄与しており、完全な構成においては単独のコンポーネントよりも併用によるメリットが得られたことを示しています。寄与のパターンはシーンの種類によって異なりました。激しい遮蔽がある条件下では、ジャージ意味論的融合の推定寄与度は69.4%に増加しましたが、これはアスリートが部分的または一時的に遮蔽された際にモーションキューの信頼性が低下することと一致しています。高速移動条件下では、信頼度誘導型アソシエーションの推定寄与度は44.3%に達し、併用による利得は20.6%に達しました。これは、急速な移動や位置特定（localization）の不確実性によって検出信頼度が変動する場合に、信頼度レベルによるパーティショニングがより重要になることを示しています。

モデルバリアント	テストシナリオ	MOTA↑	IDF1↑	IDs↓	モジュールの寄与	相乗効果による向上
V0 (ベースライン)	全般的なシーン	83.5	67.2	3245	–	–
	深刻な遮蔽があるシーン	77.8	61.5	3862	–	–
	高速移動シーン	77.1	62.3	3689	–	–
V1 (信頼度ガイド付きアソシエーション)	全般的なシーン	86.3	70.9	2893	41.7	–
	深刻な遮蔽があるシーン	80.9	65.9	3415	29.8	–
	高速移動シーン	81.4	67.9	3024	44.3	–
V2 (ジャージ・セマンティック・アソシエーション)	全般的なシーン	85.2	71.8	2937	47.6	–
	深刻な遮蔽があるシーン	82.7	72.8	2753	69.4	–
	高速移動シーン	80.1	66.8	3157	35.1	–
V3 (完全版 JerseyTrack)	全般的なシーン	88.9	74.3	2768	–	10.7
	深刻な遮蔽があるシーン	84.9	75.6	2689	–	0.8
	高速移動シーン	83.6	71.5	2842	–	20.6

表 2: モジュールの寄与に関するアブレーション解析。全体、深刻な遮蔽、および高速移動の各シナリオにおける、異なる JerseyTrack モデルバリアントの性能比較。Multiple Object Tracking Accuracy (MOTA)、IDentity F1 Score (IDF1)、および IDスイッチ数 (IDs) が、推定されるモジュールの寄与度および相乗的ゲインと共に示されている。MOTA、IDF1、モジュールの寄与度、および相乗的ゲインについては値が高いほど性能が良く、IDs については値が低いほど性能が良いことを示す。

表3に特徴識別分析の結果をまとめる。融合されたジャージの意味的特徴は、クラス間/クラス内距離比で5.63を達成し、従来のRe-ID特徴の1.82と比較して、距離比指標において209.3%の相対的な改善を示した。色のみおよび背番号のみの特徴も、従来のRe-ID特徴に比べて特徴の分離能を向上させたが、個々の手がかりは、同様のチームカラー、背番号の遮蔽、モーションブラー、およびジャージの判読不能領域などの特定の失敗ケースの影響を受けやすいままであった。評価した特徴表現の中で、融合された意味的表現が最高の特長分離能を達成し、アブレーション解析で観察された最高のIDF1および最低のID数に対応していた。これらの知見は、アスリートの外見が類似しており、動作情報だけでは不十分なスポーツMOTにおいて、ジャージ固有の意味的な手がかりを補完的な識別情報として利用することを支持するものである。これらの観察結果は評価したSportsMOTの設定に限定されており、あらゆるスポーツビデオにおいてジャージの意味論がすべての識別曖昧さを解決するという証拠として解釈されるべきではない。

機能タイプ	クラス間／クラス内距離比	相対的改善率 (%)	IDF1↑	ID↓
従来のRe-ID特徴量	1.82	–	65.7	3482
チームカラー機能	3.17	74.2	69.8	3125
プレーヤー数に関する特徴	3.49	91.8	70.5	3018
融合ジャージーの意味的特徴	5.63	209.3	74.3	2768

表3: 異なる特徴量表現の識別分析。従来の再識別（Re-ID）特徴量、ジャージの色特徴量、選手番号特徴量、および統合セマンティック特徴量を用いた特徴量識別の比較。クラス間/クラス内距離比、特徴量識別の相対的改善度、IDentity F1 Score (IDF1)、およびIdentity Switches (IDs) の数が報告されている。距離比、相対的改善度、およびIDF1については値が高いほど性能が良く、IDsについては値が低いほど性能が良いことを示す。

既存のMOT手法とのベンチマーク比較

同一のSportsMOT検証設定において、JerseyTrackと代表的なMOT手法とのベンチマーク比較が行われました。比較対象の手法には、QDTrack、DeepSORT、ByteTrack、FairMOT、Deep OC-SORT、およびMOTRが含まれます。比較の焦点を検出器の変動ではなくトラッキングの関連付け性能に置くため、すべての手法において、材料表に記載された検出器フレームワークによって生成された同一の検出結果を使用しました。評価には、プロトコルのセクション7で定義された指標を用いました。 主要な評価指標にはMOTA、HOTA、およびIDF1が含まれます。補助的な指標にはDetA、AssA、FPs、FNs、およびIDsが含まれます。表4にSportsMOT検証セットでの定量的な比較結果をまとめ、図10に、評価したスポーツシーンにおけるトラッキング精度、推論速度、およびHOTA分布の視覚的な比較を示します。JerseyTrackは、比較手法の中で最高のMOTAを達成し、88.9%に達しました。この値は、Deep OC-SORT（87.8%）より1.1パーセントポイント、ByteTrack（86.4%）より2.5パーセントポイント高い値でした。したがって、評価したSportsMOT検証設定において、JerseyTrackは比較手法の中で最高の総合トラッキング精度を達成しました。HOTAについては、Deep OC-SORTが64.4%、ByteTrackが62.8%であったのに対し、JerseyTrackは69.9%を達成しました。これらの差はそれぞれ5.5および7.1パーセントポイントの向上に相当し、同一の評価設定において検出と関連付けの性能が高いレベルでバランスしていることを示しています。

手法	MOTA↑	HOTA↑	IDF1↑	DetA↑	AssA↑	FP↓	FN↓	IDs↓
QDTrack	75.9	53.7	51.6	65.6	39.7	96,324	89,871	8,216
DeepSORT	77.6	54.1	53.2	67.3	44	76,228	86,319	6,836
ByteTrack	86.4	62.8	67.7	73.8	50.9	33,752	78,698	4,192
FairMOT	84.1	54.7	62.5	77.8	47.8	45,187	83,620	4,817
Deep OC-SORT	87.8	64.4	69.9	78.2	52.1	25,012	74,385	3,211
MOTR	82.9	57.2	58.4	68.9	46.1	54,931	85,063	5,137
JerseyTrack	88.9	69.9	74.3	80.2	54.3	21,953	67,160	2,768

表4: SportsMOT検証セットにおけるJerseyTrackと代表的なマルチオブジェクトトラッキング手法の性能比較。SportsMOT検証データセットを用いた、JerseyTrackと代表的なマルチオブジェクトトラッキング（MOT）手法の比較。報告された指標には、Multiple Object Tracking Accuracy (MOTA)、Higher Order Tracking Accuracy (HOTA)、IDentity F1 Score (IDF1)、Detection Accuracy (DetA)、Association Accuracy (AssA)、False Positives (FP)、False Negatives (FN)、およびIdentity Switches (IDs) 数が含まれる。MOTA、HOTA、IDF1、DetA、AssAについては値が高いほど性能が良く、FP、FN、IDsについては値が低いほど性能が良いことを示す。

図10. 代表的なマルチオブジェクトトラッキング手法との性能比較。 (A) SportsMOTデータセットで評価したJerseyTrackと代表的なマルチオブジェクトトラッキング手法における、マルチオブジェクトトラッキング精度（MOTA）およびフレームレート（FPS）の比較。(B) 評価したトラッキング手法における高次トラッキング精度（HOTA）の分布。こちらのリンクをクリックして、この図の拡大版を表示してください。

ID保持能に関して、JerseyTrackはIDF1で74.3%を達成し、Deep OC-SORTの69.9%およびByteTrackの67.7%を上回った。また、JerseyTrackが記録したID数は2,768個であり、Deep OC-SORTの3,211個およびByteTrackの4,192個よりも少なかった。これらの観察結果は、Figure 8 およびTable 2に示されたアブレーション解析の結果と一致しており、完全なJerseyTrack構成により、ベースラインモデルのバリアントと比較してIDスイッチングが減少した。検出および関連付けの品質については、JerseyTrackはDetAで80.2%、AssAで54.3%を達成した。Deep OC-SORTと比較して、JerseyTrackはDetAを2.0パーセントポイント、AssAを2.2パーセントポイント向上させた。また、JerseyTrackはTable 4に記載されている他の比較手法よりもFPおよびFNが少なく、FPは21,953個、FNは67,160個を記録した。総合的に、ベンチマーク比較の結果、SportsMOTの検証設定において、JerseyTrackは評価した手法の中で主要なトラッキング指標の最高値を達成した。これらの結果は、信頼度ガイド付き関連付けとジャージーセマンティック融合を用いることで得られた、ID保持能と関連付け安定性の改善傾向と一致している。なお、この比較は、本研究で使用した共通の検出器出力およびSportsMOT検証構成に限定されている。

パラメータ感度解析の結果

SportsMOTの検証設定において、主要な実装パラメータがトラッキング性能にどのように影響するかを調べるため、パラメータ感度分析を実施しました。評価したパラメータは、OCR損失重み係数（γ）、信頼度レベルの階層的クラスタ数（K）、およびOCRネットワークの学習率（η）の3つです。表5に、異なるパラメータ設定下で得られたMOTA、IDF1、HOTA、およびIDsをまとめています。

パラメータ	値	MOTA↑	IDF1↑	HOTA↑	IDs↓
OCR損失重み (γ)	0.2	84.7	69.4	66.2	2,944
	0.4	86.3	71.5	68.2	2,893
	0.6	87.9	73.1	68.9	2,815
	0.8 (最適値)	88.9	74.3	69.9	2,768
	1	88.2	73.8	69.3	2,792
信頼度クラスター数 (K)	2	86.7	72.1	68.5	2,876
	3 (最適値)	88.9	74.3	69.9	2,768
	4	88.1	73.6	69.7	2,803
	5	87.3	72.8	69.2	2,851
OCR学習率 (η)	1 × 10⁻⁴	85.9	70.8	67.3	2,934
	5 × 10⁻⁴	87.6	72.7	68.7	2,832
	1 × 10⁻³ (最適値)	88.9	74.3	69.9	2,768
	5 × 10⁻³	87.8	73.2	69	2,817
	1 × 10⁻²	86.5	71.6	68.7	2,889

表 5: パラメータ感度分析。JerseyTrackの異なるパラメータ設定を用いて得られたトラッキング性能。光学文字認識（OCR）損失重み係数（γ）、信頼度クラスター数（K）、およびOCR学習率（η）の異なる値に対する、複数物体追跡精度（MOTA）、IDentity F1スコア（IDF1）、高次追跡精度（HOTA）、およびIDスイッチ数（IDs）を報告する。最適と判断されたパラメータ値は、報告された実験で使用された設定に対応している。MOTA、IDF1、およびHOTAは値が高いほど性能が良く、IDsは値が低いほど性能が良いことを示す。

OCR損失の重み付け係数（γ）については、γ = 0.8で最高の評価性能が得られました。この設定において、JerseyTrackは MOTA 88.9%、IDF1 74.3%、HOTA 69.9%、および 2,768 IDsを達成しました。γを0.2に下げた場合、MOTA、IDF1、HOTAはそれぞれ84.7%、69.4%、66.2%に低下しましたが、ID数は2,944に増加しました。γを1.0に上げた場合、性能指標はγ = 0.8と比較してわずかに低下し、MOTA 88.2%、IDF1 73.8%、HOTA 69.3%、および 2,792 IDsとなりました。これらの結果は、OCRの監視が不十分であると選手の背番号の識別能が低下すること、一方でOCR損失の重みを評価済みの最適値以上に増やしても、テスト条件下でのトラッキング性能は向上しなかったことを示しています。

信頼レベルの階層的クラスター数（K）については、K = 3 のときに最高の評価性能が得られました。この設定は、メソッドで述べられている「高・中・低」の信頼度ベースのアソシエーション戦略に対応しています。K = 2 の場合、信頼度の分割が不十分であり、MOTA、IDF1、HOTAはそれぞれ 86.7%、72.1%、68.5% に低下しました。K を 4 または 5 に増やすと、K = 3 と比較して性能が低下しました。これは、過剰な分割によって検出結果が狭すぎる信頼度グループに分断され、アソシエーション戦略の安定性が低下したことを示唆しています。これらの結果は、評価した JerseyTrack の構成において 3 つの信頼レベルを使用することの妥当性を裏付けるものです。

OCRネットワークの学習率（η）に関しては、η = 1 × 10^-3において最高の評価性能が得られました。より低い学習率の1 × 10^-4では、MOTA、IDF1、HOTAはそれぞれ85.9%、70.8%、67.3%に低下し、一方でID数は2,934に増加しました。より高い学習率の1 × 10^-2では、MOTA、IDF1、HOTAはそれぞれ86.5%、71.6%、68.7%に低下し、一方でID数は2,889に増加しました。これらの結果は、OCRブランチが学習率の選択に敏感であり、評価条件下では1 × 10^-3がプレイヤー数の認識と個体識別保存性能の最適なバランスを提供することを示しています。

全体として、Table 5は、パラメータの組み合わせ γ = 0.8, K = 3, および η = 1 × 10^-3が、最も低いID数とともに、最高の評価MOTA、IDF1、およびHOTA値をもたらしたことを示しています。感度分析の結果、これらのパラメータ値からの適度な偏差は、トラッキング性能に測定可能な変化をもたらしましたが、急激な変化ではありませんでした。したがって、これらのパラメータ設定が、本研究で報告するベンチマーク比較および主要なSportsMOT検証実験に使用されました。

データの可用性

本研究の結果を裏付ける生の評価サマリー、最終的なトラッキング出力、環境記録、データセットマッピングファイル、および中間サマリーファイルは、パブリックリポジトリ（https://doi.org/10.5281/zenodo.21274353）で入手可能です。本研究で使用したSportsMOT、TeamTrack、SoccerNet Tracking、MOT17、およびMOT20を含む元の公開ベンチマークデータセットは、それぞれの提供元から入手可能であり、本リポジトリでは再配布されていません。

ディスカッション

本研究では、検出信頼度によるパーティショニングとユニフォームのセマンティックキューを組み合わせた、信頼度誘導型スポーツMOTワークフローを評価した。信頼度誘導による関連付けとセマンティック特徴の融合は、マルチオブジェクトトラッキングにおけるデータ関連付けを改善するための相補的な戦略として研究されている^{12,20,23,24,46}。結果から、完全なJerseyTrack構成は、評価したSportsMOTバリデーション設定において、ID保持能力と関連付けの安定性を向上させることが示された。主要なSportsMOTバリデーション結果は、MOTA 88.9%、HOTA 69.9%、IDF1 74.3%、DetA 80.2%、およびAssA 54.3%に達した。これらの値は、プロトコルに記載されている検出器出力ソース、データセット分割、およびTrackEval構成に基づいて解釈されるべきである。

ワークフローにおける重要なステップは信頼度レベルによるパーティショニングであり、これにより検出器出力の信頼性に応じて異なる関連付け戦略を適用することが可能になります^20,22,23,24。検出結果を高、中、低の信頼度グループに分けることで、JerseyTrackは信頼レベルの異なる検出結果に対して異なる関連付けルールを適用します。高信頼度の検出結果は主にモーションの一貫性を通じて関連付けられ、中信頼度の検出結果ではモーションとジャージのセマンティクスを併用します。低信頼度の検出結果は新しいトラジェクトリの初期化には使用されず、トラジェクトリのリカバリ時にのみ考慮されます。この設計により、弱い検出や偽陽性が不安定なアイデンティティを作成するリスクを低減しつつ、追加のセマンティックな根拠が得られた場合には部分的な検出結果をリカバリに寄与させることが可能となりました^8,11,20。2つ目の重要なステップは、ジャージのセマンティクス抽出です。チームカラーの特徴はチームレベルの制約を提供し、一方で背番号の特徴は、番号領域が可視かつ判読可能な場合に、より詳細なアイデンティティの手がかりを提供します^35,41,42,43。アブレーション解析の結果は、これらの手がかりが、モーションのみの関連付けでは信頼性が低くなる、同一チーム内の密集した相互作用やオクルージョンのケースにおいて最も有用であることを示しています。しかし、ジャージのセマンティクスは、モーション関連付けの完全な代替としてではなく、補助的な根拠として扱うべきです。背番号は、ブレ、切り取り、背面からのポーズ、激しいオクルージョン、または低解像度の画像において判読不能になる可能性があります。また、番号情報が利用できない場合、チームカラーの特徴だけでは同一チームの選手を区別することはできません^35,42,43。クロスデータセットの結果により、本手法の適用範囲がさらに明確になりました。JerseyTrackは、セマンティックブランチがジャージの色と背番号の手がかりに基づいて設計されているため、一般的な歩行者MOTデータセットよりもチームスポーツのデータセットにより自然に転移しました^{19,33,34,35,36,37}。一般的なMOTデータセットにおいても、信頼度誘導型の関連付けコンポーネントは適用可能でしたが、スポーツ特有のセマンティックブランチが提供するアイデンティティ情報は少なくなりました。したがって、本手法は、選手が識別可能なユニフォームを着用し、セマンティクス抽出のためにジャージ領域が十分に可視であるチームスポーツのビデオに最も適しています^{19,33,34,35,36,37}。

いくつかの限界が残っている。第一に、本手法は検出器の出力品質に依存しており、深刻な検出漏れや不正確なバウンディングボックスは、動作予測とセマンティッククロッピングの両方の信頼性を低下させる^14,17,46。第二に、現在の実装では、長期的な視野外での再識別（re-identification）が個別に最適化されていない。アスリートが長時間カメラの視野から外れ、その後再び現れた場合、現在の軌跡復元戦略では元のアイデンティティを復元するのに不十分な可能性がある^19,34。第三に、深刻な背景の混雑、プレーヤーの重なり、モーションブラー、および判読不能なジャージ番号は、セマンティック特徴の信頼性を低下させる可能性がある^14,35,42,46。第四に、現在の評価は公開ベンチマークデータセットと制御された摂動設定に焦点を当てており、カメラカット、ズーム変更、非標準的な視点を含む放送ビデオへの展開には、追加の前処理や再識別モジュールが必要となる可能性がある^19,33,34。

主な実用的意義は、検出器の構造を変更することなく、確信度に基づいた関連付けとユニフォーム固有のセマンティックキューをモジュール式MOTパイプラインに統合できることです。この機能は、アスリートの軌跡抽出、チームの動きの分析、戦術的イベントのレビュー、および半自動ビデオアノテーションなどのスポーツ分析タスクに適用可能です^1,4,33,36。今後の課題としては、より強力な視野外の再識別、背景クラッタへの対応、時間的特徴の集約、および激しいブレや遮蔽下でのより堅牢な背番号認識に焦点を当てるべきです^14,19,34,46。

要約すると、JerseyTrackは、信頼度に基づいた紐付け（confidence-guided association）とユニフォームのセマンティック融合（jersey semantic fusion）を組み合わせたスポーツMOT手法である。本手法では、検出結果を信頼度に応じて高・中・低のグループに分割し、検出の信頼性に基づいた異なる紐付けルールを適用する。同時に、中程度の信頼度の紐付けおよび軌跡の復元において、ユニフォームの色や背番号の手がかりを補助的な個体識別情報として利用する。評価したSportsMOTの検証設定において、JerseyTrackは、比較対象としたベースライン構成よりも追跡精度と個体保持能力が向上していることが示された。アブレーション解析の結果、完全な構成では、ベースラインや単一モジュールのバリアントと比較してIDスイッチが減少することが示され、ベンチマーク比較では、共通の検出器出力および評価構成の下で、主要な追跡指標においてより高い値を示した。これらの知見は、特にユニフォーム領域が可視であり、チームカラーや背番号の情報が補完的な個体識別根拠となる場合に、チームスポーツのビデオにおけるアスリート追跡に信頼度レベルの情報とユニフォーム特有のセマンティック手がかりを利用することが有効であることを支持している^20,35,46。特定された限界点に対処することで、提案したワークフローをより困難なスポーツ追跡シナリオへ適用し、さらに改善できる可能性がある。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
CUDA Runtime	NVIDIA	Version 12.8	検出器のトレーニング、セマンティック特徴抽出、およびトラッキング推論に使用されるGPUコンピューティングランタイム。
EasyOCR	Jaided AI	Version 1.7.2	背番号認識に使用される光学文字認識ツールキット。
JerseyTrack ソースコード	著者	N/A	データ準備、セマンティック特徴抽出、信頼度パーティショニング、トラッキング、後処理、および評価スクリプトを含むカスタム実装。入手先：https://doi.org/10.5281/zenodo.21274352
軽量CRNN OCRモデル	著者	N/A	背番号認識に使用されるカスタム畳み込み回帰ニューラルネットワーク（CRNN）。
MOT17 データセット	MOTChallenge	N/A	クロスデータセット評価に使用される公開ベンチマークデータセット。入手先：https://motchallenge.net/data/MOT17/
MOT20 データセット	MOTChallenge	N/A	クロスデータセット評価に使用される公開ベンチマークデータセット。入手先：https://motchallenge.net/data/MOT20/
motmetrics	motmetrics 開発者	Version 1.4.0	診断用マルチオブジェクトトラッキング指標の算出に使用されるライブラリ。
NVIDIA GPU	NVIDIA	GeForce RTX 5090 D V2	検出器のトレーニングおよびトラッキング推論に使用されるグラフィックス処理装置。
NVIDIA GPU ドライバ	NVIDIA	Version 610.62	実験環境で使用されるGPUドライバ。
NumPy	NumPy 開発者	Version 2.4.4	特徴処理およびデータハンドリングに使用される数値計算ライブラリ。
OpenCV	OpenCV	Version 4.10.0	画像の読み込み、クロッピング、前処理、および可視化に使用されるコンピュータビジョンライブラリ。
Python	Python Software Foundation	Version 3.12.2	ワークフロー全体で使用されるプログラミング言語。
PyTorch	PyTorch Foundation	Version 2.11.0+cu128	検出器およびセマンティックモデルの実装に使用されるディープラーニングフレームワーク。
scikit-learn	scikit-learn 開発者	Version 1.9.0	ジャージ色の抽出および信頼度パーティショニング中の K-means クラスタリングに使用される機械学習ライブラリ。
SoccerNet Tracking データセット	SoccerNet	N/A	クロスデータセット評価に使用される公開サッカートラッキングベンチマーク。入手先：https://www.soccer-net.org/tasks/tracking
SportsMOT データセット	SportsMOT Benchmark	N/A	検出器の準備およびトラッキング評価に使用される主要ベンチマークデータセット。入手先：https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack データセット	TeamTrack Benchmark	N/A	クロスデータセット評価に使用される公開スポーツトラッキングベンチマーク。入手先：https://atomscott.github.io/TeamTrack/
Torchvision	PyTorch Foundation	Version 0.26.0+cu128	画像変換およびモデルサポートのために PyTorch と併用されるコンピュータビジョンライブラリ。
TrackEval	TrackEval 開発者	Version 1.3.0	Multiple Object Tracking Accuracy (MOTA)、IDentity F1 Score (IDF1)、Higher Order Tracking Accuracy (HOTA)、Detection Accuracy (DetA)、Association Accuracy (AssA)、偽陽性 (FP)、偽陰性 (FN)、および ID スイッチ (IDs) を算出するために使用される評価ツールキット。
Ultralytics	Ultralytics	Version 8.4.90	検出器のトレーニングおよびアスリート検出の生成に使用される物体検出フレームワーク。