本プロトコルでは、ユニフォームの色と背番号の情報を統合することで、信頼度の変動、オクルージョン(遮蔽)、および視覚的に類似した選手の外見がある状況下での軌跡の関連付けとアイデンティティの一貫性を向上させる、スポーツビデオ向けの信頼度ガイド付きマルチオブジェクトトラッキングのワークフローについて説明します。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
本プロトコルでは、ユニフォームの色と背番号の情報を統合することで、信頼度の変動、オクルージョン(遮蔽)、および視覚的に類似した選手の外見がある状況下での軌跡の関連付けとアイデンティティの一貫性を向上させる、スポーツビデオ向けの信頼度ガイド付きマルチオブジェクトトラッキングのワークフローについて説明します。
スポーツビデオにおけるマルチオブジェクトトラッキング(MOT)は、戦術分析、選手の行動解釈、および自動統計分析のための軌跡情報を提供します。しかし、スポーツのシナリオでは、急激な方向転換、突然の停止、頻繁な遮蔽、および視覚的に類似したチームメイトが多く存在するため、検出信頼度の変動や、フレーム間アソシエーションにおけるIDの混同が発生します。これらの課題に対処するため、本研究ではユニフォームのセマンティック融合に基づく信頼度ガイド付きスポーツMOT手法であるJerseyTrackを提案します。このワークフローでは、各フレームの信頼度分布に従って、検出ボックスを信頼度の高い、中程度の、および低い区間に適応的に分割します。信頼度の高い検出は主にモーションの類似性を用いてアソシエーションを行い、一方で信頼度の中程度および低い検出では、カラークラスタリングと軽量な光学文字認識(OCR)モデルを通じて抽出されたユニフォームの色および背番号の特徴をさらに組み込みます。これらのセマンティック特徴は、補完的なマッチングの際にモーション情報と融合され、軌跡の連続性とIDの一貫性を向上させます。本手法をSportsMOTデータセットで評価した結果、JerseyTrackはMOTA(Multiple Object Tracking Accuracy)88.9%、IDF1(IDentity F1 Score)74.3%、HOTA(Higher Order Tracking Accuracy)69.9%を達成し、評価したスポーツトラッキング設定において追跡性能が向上することが示されました。本プロトコルは、スポーツビデオにおけるマルチオブジェクトトラッキングを改善するために、信頼度ガイド付きアソシエーションとユニフォームのセマンティック情報を統合するための再現可能なワークフローを提供します。
マルチオブジェクトトラッキング(MOT)は、ビデオシーケンスにおける継続的なオブジェクトの局在化とIDの維持を可能にし、スポーツビデオアプリケーションにおけるアスリートの軌跡抽出、戦術分析、および自動統計分析を支援します1,2,3。また、信頼性の高い視覚情報は、スポーツ科学における競技特有の意思決定やパフォーマンス評価に関連しており、後続のスポーツ分析におけるビデオ由来の安定した動作データの価値をさらに強調しています4。スポーツのシナリオにおいて、戦術データの信頼性は、トラッキング軌跡の連続性とターゲットIDの一貫性に依存します。
一般的なMOTシナリオと比較して、スポーツビデオには急速な方向転換、急停止、ジャンプ、密集した相互作用、および頻繁なオクルージョン(遮蔽)が含まれています。これらの要因は検出ボックスの信頼度に大幅な変動をもたらし、低信頼度検出の頻度を増加させ、それがトラジェクトリ(軌跡)の紐付けを妨げる可能性があります5,6。また、統一されたチームジャージは、一般的な外見特徴の識別能力をさらに低下させ、外見が似ているチームメイト間でのアイデンティティの混同を増加させます7,8。同一シーケンス内でオクルージョンと外見の類似性が同時に発生すると、検出信頼度が低下し、ターゲットの外見情報が不完全になるため、トラジェクトリの紐付けとアイデンティティの維持が困難になります9,10。MOTにおいて、再識別(Re-ID)とは、アイデンティティに関連する視覚的な根拠を用いて、フレーム間、オクルージョン期間中、または再進入時に同一のターゲットアイデンティティを紐付けるプロセスを指します。チームスポーツのビデオでは、同じチームのアスリートが同様のユニフォームや体格を共有していることが多いため、一般的なRe-IDの手がかりが弱まる場合があります。技術文献のレビューによれば、スポーツMOTにおけるトラジェクトリの断片化とアイデンティティの混同は、一般的に「検出信頼度の活用」と「アイデンティティ手がかりの強化」という2つの相補的なアプローチによって対処されます。JerseyTrackは、色や背番号の情報をすべての検出に一律に適用するのではなく、検出品質に応じてジャージのセマンティックな手がかりの使用を調整することで、これら2つのアプローチの交点に位置づけられています。
本研究では、ユニフォームの意味論的融合に基づく信頼度誘導型スポーツMOT手法であるJerseyTrackを提案します。本手法は、アスリートが視認可能なユニフォームを着用し、検出結果として信頼度スコア付きのバウンディングボックスが得られるチームスポーツのビデオ向けに設計されています。JerseyTrackは、アスリート検出、信頼度レベルによるパーティショニング、ユニフォームの意味論的特徴抽出、およびカスケード型フレーム間アソシエーションの4つの主要コンポーネントで構成されています。検出の信頼度を用いて、検出結果を信頼度の高いグループ、中程度のグループ、低いグループに適応的に分割し、それぞれに異なるアソシエーション戦略を適用します。高信頼度の検出結果は主にモーション情報を通じてアソシエーションされますが、中・低信頼度の検出結果では、視覚的根拠が弱い場合でもアイデンティティの維持を向上させるため、ユニフォームの色や選手番号の情報がさらに組み込まれます。本手法は、戦術分析や選手の行動解釈など、安定したアスリートの軌跡を必要とするスポーツビデオ分析タスクを目的としています。
提案されたアプローチには運用上の制限もあります。ユニフォームのセマンティック抽出は、深刻なオクルージョン、モーションブラー、低解像度、ユニフォームの異常なポーズ、または背番号が不可視であることによって影響を受ける可能性があります。これらの場合、ユニフォームに基づくセマンティックキューが不完全になる可能性があり、アソシエーションプロセスはモーションの一貫性とマルチフレーム検証により大きく依存することになります。したがって、本研究における性能の主張は、評価したデータセットおよび実験設定に限定されます。SportsMOTデータセットを用いた実験では、JerseyTrackが、テストしたスポーツトラッキング条件下で、評価したトラッキング指標を改善し、IDスイッチイベントを減少させることが示されました。スポーツビデオにおけるMOTの主な困難は、急速な運動、オクルージョン、および外観の類似性の下で、トラジェクトリの連続性とIDの一貫性を維持することにあります。JerseyTrackに関連する既存の研究は、大きく分けて、トラジェクトリ・アソシエーションへの検出信頼度の利用と、スポーツ特有のセマンティック特徴によるIDキューの強化という2つの研究方向に分類できます。
検出信頼度は、検出ボックスの信頼性を推定し、MOTにおけるトラジェクタリ(軌跡)の紐付けを導くために広く利用されてきた。初期のトラッキング手法では、通常、信頼度をバイナリフィルタリングの基準として扱い、固定しきい値を下回る検出結果を削除することで誤検出(false positives)を削減していた11,12。この戦略はノイズとなる検出を減少させるが、遮蔽、急激な動き、または低画質の条件下では真のターゲットまで破棄してしまう可能性があり、結果としてトラジェクタリの断片化を招く13,14,15。同様のフィルタリング戦略により、固定の信頼度しきい値はシーンの変化や検出品質に敏感であることも示されている16,17。低信頼度の検出結果の活用を改善するため、ByteTrackは、低信頼度のボックスを二次マッチングの候補ターゲットとして保持し、動きの類似性とトラジェクタリ履歴を通じて既存のトラジェクタリと紐付けるアソシエーション戦略を導入した18。McByteは、時間的に伝播させたセグメンテーションマスクを紐付けの手がかりとして組み込むことでスポーツMOTのアソシエーションをさらに拡張し、ビデオごとの追加トレーニングなしに、高速移動、遮蔽、およびカメラシフト条件下での堅牢性を向上させている19。関連研究では、アソシエーション中に弱いが有効である可能性のあるターゲットを保持させるため、低信頼度検出の利用方法を調整している20,21,22。その後、信頼度適応型アソシエーション戦略により、動きの一貫性と検出信頼度に基づいてマッチング基準が精緻化された23,24,25。また、検出ボックス回帰とトラジェクタリ平滑化最適化に基づくトラジェクタリ精緻化手法も、トラジェクタリ断片化の削減に使用されている26,27,28。さらなる精緻化戦略は、複雑な運動条件下でトラジェクタリの連続性を維持するための補完的なサポートを提供している29。時間的コヒーレント物体フローは、フレーム間での物体レベルの時間的一貫性をさらにモデル化し、複雑なMOTシナリオにおけるトラジェクタリ中断を削減するためのもう一つのアソシエーション指向のアプローチを提供している30。トラッカー融合手法は、複数のトラッカーの出力から学習し、学習ベースの選択または融合戦略を用いることで、異なるMOTベンチマークにわたるトラッキングの堅牢性を向上させている31。総じて、これらの研究は、信頼度を考慮したアソシエーションが中断されたトラジェクタリの復旧に役立つことを示しているが、同じチームの選手が似た外見を持っている場合、信頼度と動きの手がかりだけでは得られる個体識別情報は限定的である。これらの手法は一般的なシナリオにおいてトラジェクタリ断片化を効果的に緩和するが、スポーツの設定では、同じチームの選手が極めて類似した外見を持つことが多く、信頼度と動きの情報だけに依存していては個体識別の十分な根拠となり得ないため、固有の限界に直面している32,33,34。低信頼度のボックスが効果的に回収されたとしても、特徴量の類似性によってIDスイッチングが起こり得り、スポーツ分析における厳格なID一貫性の要件を満たすことを困難にしている。
アスリートのトラッキングにおける個体識別能力を向上させるために、スポーツ特有のアイデンティティの手がかりも利用されてきました。チームカラーや選手番号などのユニフォームのセマンティック情報は、一般的な外見エンベディングよりもスポーツのシナリオに直接的に関連したアイデンティティの手がかりを提供します35,36,37。ユニフォームの色はチームレベルの識別をサポートし、チーム間の混同を減少させるために用いられてきた一方で、選手番号の認識は、番号領域が可視かつ判読可能な場合に、より詳細なアイデンティティの手がかりを提供します38,39。既存のスポーツトラッキング研究では、混雑したスポーツ環境下での選手の関連付けを改善するために、ドメイン特有の視覚的特徴とユニフォームの色認識が組み込まれています40,41。ユニフォーム番号の認識および合成番号データに関する関連研究は、低解像度または部分的な遮蔽条件下でのアイデンティティモデリングをさらにサポートしています42,43。これらの研究は、ユニフォームのセマンティクスがスポーツMOTにおけるアイデンティティ表現を強化できることを示しています。しかし、ほとんどのセマンティクス強化トラッキング手法は、検出信頼度とセマンティック特徴の品質との関係を十分にモデル化していません。信頼度の高い検出結果は、すでに信頼できる空間情報や外見情報を保持している可能性があり、繰り返しセマンティクス抽出を行うことは効率が悪くなります。一方で、信頼度の低い検出結果は、遮蔽、ブレ、切断、または低解像度の影響を受けていることが多く、色や選手番号の手がかりの信頼性が低下します。この制限から、すべての検出結果に一律に適用するのではなく、検出品質に応じてユニフォームのセマンティクスを導入する、信頼度ガイド付きの関連付け設計が求められます。レビューした研究では、信頼度を考慮した関連付けとユニフォームのセマンティクスモデリングが、スポーツMOTの異なる側面に対処していることが示されています。信頼度ベースの戦略は、主に検出結果が関連付けに参加すべきか、および既存の軌跡とどのようにマッチングさせるべきかを決定しますが、ユニフォームのセマンティクス戦略は、主にスポーツ特有の手がかりを通じてアイデンティティ表現を強化します。しかし、これら2つのメカニズムは個別のコンポーネントとして設計されることが一般的です。その結果、セマンティックな手がかりが検出品質に応じて常に調整されるわけではなく、関連付けの際に信頼度レベルが色や選手番号情報の利用を直接的に制御することもありません。この分離により、チームスポーツのビデオにおける軌跡の断片化と個体混同の同時処理が制限されています。今後の研究課題は、同一のトラッキングワークフロー内で、検出信頼度の品質評価とユニフォームのセマンティック関連付けを連携させることにあります。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究では、SportsMOT、TeamTrack、SoccerNet Tracking、MOT17、およびMOT20という、公開されているベンチマークビデオデータセットの二次分析を行いました。被験者の募集、介入の実施、および新たなヒト被験者データの収集は行われていません。バンコク・トンブリー大学の適用される機関要件に基づき、本研究に倫理委員会の承認は不要でした。
以下のプロトコルでは、データ準備からトラッキング評価に至るまで、JerseyTrackを再現するために使用したワークフローについて説明します。ワークフローには、図1にまとめられているように、データセットの準備、検出器の準備、ジャージのセマンティック抽出、信頼度レベルによる分割、信頼度に基づく関連付け、トラッキング推論、および性能評価が含まれます。必要なソフトウェア、データセット、およびハードウェアリソースは、材料表に記載されています。

図1JerseyTrack法の全体的なワークフロー。 ワークフローは、ジャージの意味的特徴抽出、初期オブジェクトマッチング、信頼度に基づく補完的マッチング、および特徴融合で構成される。検出されたアスリート領域からチームカラーと背番号の特徴を抽出し、それを関連付けプロセスに組み込むことで、検出条件が不確実な状況におけるトラジェクトリマッチングの精度を向上させる。 この図の拡大版を表示するには、ここをクリックしてください。
1. データセットとディレクトリ構造の準備
2. 検出器出力の準備
3. ジャージの意味的特徴を抽出する
(2)
予測されたプレイヤー数のカテゴリーを示します。4. パーティション検出の信頼レベル
(4)
図2信頼度誘導型関連付け戦略。 このワークフローでは、適応的信頼度クラスタリングを用いて、検出信頼度を高・中・低の信頼度区間に分割します。高信頼度の検出はモーションの類似性を用いて関連付けられ、中信頼度の検出はモーションとジャージのセマンティック類似性の組み合わせを用いて関連付けられます。また、低信頼度の検出は、マルチフレーム検証を伴うセマンティック支援軌跡復元に使用されます。右側のパネルに、信頼度の分割および関連付けに使用される数式表現の要約を示します。 この図の拡大版を表示するには、ここをクリックしてください。

図3検出信頼度スコアの分布。 このヒストグラムは、SportsMOTデータセットにおけるサッカー、バスケットボール、バレーボールのシーケンスについて、5つの信頼区間内におけるアスリート検出ボックスの数を示しています。この分布は、評価したスポーツカテゴリー間での検出器の信頼度の違いを明らかにしています。 この図の拡大版を表示するには、ここをクリックしてください。
5. 信頼度に基づいたアソシエーションの実行
(5)
はフレームkにおけるI番目の軌跡を、
はカルマン予測による軌跡状態を、dj は候補検出を、
は予測軌跡状態の逆共分散行列を、そしてSmot は予測軌跡と検出との間の運動距離を表します。
(7)
(8)
図4ジャージーの意味的特徴抽出。 代表的なアスリートの検出結果には、ジャージ意味抽出モジュールによって生成されたチームカラー記述子および背番号情報が付与される。抽出された意味的特徴は、その後、信頼度に基づくデータアソシエーション(データ関連付け)に組み込まれる。 こちらの図の拡大版を表示するには、ここをクリックしてください。
6. トラッキング推論の実行と結果のエクスポート
7. トラッキング性能の評価
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本セクションでは、評価したスポーツマルチオブジェクトトラッキング実験から得られた定量的および定性的な結果について報告します。結果は、追跡精度、アイデンティティの保持、アソシエーションの品質、およびテストしたデータセット設定における堅牢性に焦点を当てています。パフォーマンスに関する主張は、「プロトコルおよび実装セットアップ」で説明した評価手法、データセット、検出器の出力、および評価ツールキットの設定に限定されます。
実験セットアップおよび評価デザイン
データセットおよび前処理:
検出器の準備、トラッキング推論、および定量評価の主要なベンチマークとしてSportsMOTを使用した。このデータセットには、サッカー、バスケットボール、バレーボールのシナリオにわたる240本のビデオシーケンスと150,000枚以上の画像フレームが含まれている(図5
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究では、検出信頼度によるパーティショニングとユニフォームのセマンティックキューを組み合わせた、信頼度誘導型スポーツMOTワークフローを評価した。信頼度誘導による関連付けとセマンティック特徴の融合は、マルチオブジェクトトラッキングにおけるデータ関連付けを改善するための相補的な戦略として研究されている12,20,23,24,46。結果から、完全なJerseyTrack構成は、評価したSportsMOTバリデーション設定において、ID保持能力と関連付けの安定性を向上させることが示された。主要なSportsMOTバリデーション結果は、MOTA 88.9%、HOTA 69.9%、IDF1 74.3%、DetA 80.2%、およびAssA 54.3%に達した。これらの値は、プロトコルに記載されている検出器出力ソース、データ...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
著者らは、財務的な利益相反がないことを宣言します。
著者に謝辞はありません。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| CUDA Runtime | NVIDIA | Version 12.8 | 検出器のトレーニング、セマンティック特徴抽出、およびトラッキング推論に使用されるGPUコンピューティングランタイム。 |
| EasyOCR | Jaided AI | Version 1.7.2 | 背番号認識に使用される光学文字認識ツールキット。 |
| JerseyTrack ソースコード | 著者 | N/A | データ準備、セマンティック特徴抽出、信頼度パーティショニング、トラッキング、後処理、および評価スクリプトを含むカスタム実装。入手先:https://doi.org/10.5281/zenodo.21274352 |
| 軽量CRNN OCRモデル | 著者 | N/A | 背番号認識に使用されるカスタム畳み込み回帰ニューラルネットワーク(CRNN)。 |
| MOT17 データセット | MOTChallenge | N/A | クロスデータセット評価に使用される公開ベンチマークデータセット。入手先:https://motchallenge.net/data/MOT17/ |
| MOT20 データセット | MOTChallenge | N/A | クロスデータセット評価に使用される公開ベンチマークデータセット。入手先:https://motchallenge.net/data/MOT20/ |
| motmetrics | motmetrics 開発者 | Version 1.4.0 | 診断用マルチオブジェクトトラッキング指標の算出に使用されるライブラリ。 |
| NVIDIA GPU | NVIDIA | GeForce RTX 5090 D V2 | 検出器のトレーニングおよびトラッキング推論に使用されるグラフィックス処理装置。 |
| NVIDIA GPU ドライバ | NVIDIA | Version 610.62 | 実験環境で使用されるGPUドライバ。 |
| NumPy | NumPy 開発者 | Version 2.4.4 | 特徴処理およびデータハンドリングに使用される数値計算ライブラリ。 |
| OpenCV | OpenCV | Version 4.10.0 | 画像の読み込み、クロッピング、前処理、および可視化に使用されるコンピュータビジョンライブラリ。 |
| Python | Python Software Foundation | Version 3.12.2 | ワークフロー全体で使用されるプログラミング言語。 |
| PyTorch | PyTorch Foundation | Version 2.11.0+cu128 | 検出器およびセマンティックモデルの実装に使用されるディープラーニングフレームワーク。 |
| scikit-learn | scikit-learn 開発者 | Version 1.9.0 | ジャージ色の抽出および信頼度パーティショニング中の K-means クラスタリングに使用される機械学習ライブラリ。 |
| SoccerNet Tracking データセット | SoccerNet | N/A | クロスデータセット評価に使用される公開サッカートラッキングベンチマーク。入手先:https://www.soccer-net.org/tasks/tracking |
| SportsMOT データセット | SportsMOT Benchmark | N/A | 検出器の準備およびトラッキング評価に使用される主要ベンチマークデータセット。入手先:https://deeperaction.github.io/datasets/sportsmot.html |
| TeamTrack データセット | TeamTrack Benchmark | N/A | クロスデータセット評価に使用される公開スポーツトラッキングベンチマーク。入手先:https://atomscott.github.io/TeamTrack/ |
| Torchvision | PyTorch Foundation | Version 0.26.0+cu128 | 画像変換およびモデルサポートのために PyTorch と併用されるコンピュータビジョンライブラリ。 |
| TrackEval | TrackEval 開発者 | Version 1.3.0 | Multiple Object Tracking Accuracy (MOTA)、IDentity F1 Score (IDF1)、Higher Order Tracking Accuracy (HOTA)、Detection Accuracy (DetA)、Association Accuracy (AssA)、偽陽性 (FP)、偽陰性 (FN)、および ID スイッチ (IDs) を算出するために使用される評価ツールキット。 |
| Ultralytics | Ultralytics | Version 8.4.90 | 検出器のトレーニングおよびアスリート検出の生成に使用される物体検出フレームワーク。 |
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。