げっ歯類の社会行動研究における複数動物の姿勢推定の精度を向上させるための vmTracking の活用

Summary

このプロトコルでは、動物が密集している混雑した状況下でも、自由に動く複数のマーカーのない動物の動画で高精度な姿勢追跡を可能にする手法であるvmTrackingを導入しています。このアプローチは、動物が自由に移動できる半自然環境で発生する社会的相互作用を分析するための信頼できるデータを提供します。

Abstract

げっ歯類を用いた社会行動研究では、自由に動く条件下でのより自然な相互作用行動を評価することが求められています。この目的のためには、複数の動物の正確な姿勢追跡が不可欠です。しかし、現在のマーカーレスの多動物ポーズ追跡ツールは、閉塞や混雑の条件下では追跡精度が低下する傾向があるという大きな課題に直面しています。この問題は、動物が視覚的に互いに区別できない場合に特に顕著になります。この課題を克服するために、仮想マーカーを使用してフレーム間で個体のアイデンティティを維持することで、このような困難な条件下での複数動物の姿勢追跡の精度を向上させる手法である仮想マーカー追跡(vmTracking)を開発しました。vmTrackingは、標準の追跡ワークフローに個々のIDラベルを追加する追加の処理ステップを組み込むことで、既存のマーカーレスの多動物ビデオデータにも適用できます。ここでは、仮想マーカーを割り当てる方法と、結果として得られたラベル付きビデオで動物を追跡するためのプロトコルの両方について説明します。vmTrackingによって実現される高精度の複数の動物の追跡は、半自然条件下での社会的相互作用のその後の定量分析のための信頼できる基盤を提供します。

Introduction

げっ歯類の社会的行動に関する研究は、より自然主義的な社会的文脈における相互作用の研究をますます強調^{しています1。}3チャンバーテストなどの従来のアプローチは、社交性と社会的選好を評価するために広く使用されてきました²が、これらのパラダイムは社会的相互作用の単純化された側面のみを捉えています³。このニーズに応えるため、マルチアニマルDeepLabCut(maDLC)⁴ とSocial LEAP Estimates Animal Pose(SLEAP)⁵ は、自由に動く状態で複数の動物をマーカーレスでポーズトラッキングするために不可欠なツールとなり、マーカーレスのマルチアニマルポーズトラッキングのための高度なディープラーニングベースの技術を提供しています。しかし、動物が近接している混雑した環境では、予測の失敗やアイデンティティ(ID)の切り替えなどの追跡エラーが発生しやすくなります。このような条件下で信頼性の高いデータを得るには、多くの場合、大規模な手動修正が必要になります。

自由に動く複数の動物の正確な姿勢追跡は、より複雑な社会力学を調査する扉を開きます。たとえば、詳細な追跡データにより、リーダーとフォロワーの関係、移動中の接近回避行動、および従来の行動アッセイでは確実に評価できないその他の微妙な相互作用パターンの評価が可能になります。このような進歩により、複数の動物追跡の有用性が、行動の比較的単純な記述的尺度を超えて拡張され、より複雑な社会的相互作用の分析が可能になります。

追跡精度を向上させるための1つのアプローチは、個々の動物を明確に区別することです。たとえば、Bordes⁶ は、単一動物のDeepLabCut(saDLC)⁷を使用して、白いCD1マウスと黒いC57BL / 6Nマウスの同時追跡を実証しました。この発見は、動物が視覚的に区別できる場合、正確な個体追跡が可能であることを示唆しています。ただし、識別に物理マーカーを使用すると、自然な行動が変化する可能性があります。高周波識別タグ⁸の埋め込みなどの低侵襲な方法でさえ、行動に対する潜在的な影響について懸念を引き起こします。

ここでは、非侵襲的な個体識別のために仮想マーカー(vmTracking)⁹ を使用する多動物の姿勢追跡方法を紹介します。社会的文脈を考慮した社会的行動の正確な評価には、高精度の複数の動物のポーズ追跡データが必要です。vmTrackingは、DLCなどの既存のツールを使用して高品質の追跡データを取得するための信頼性の高いプロトコルを提供することで、新しいソフトウェアやアルゴリズムではなく、信頼性の高いプロトコルを提供することで、このニーズを満たすために開発されました。したがって、これらのデータに基づく社会的行動分析は、このプロトコルの範囲を超えています。vmTrackingには、マーカーレスビデオに仮想マーカーを追加することと、結果の仮想マーカービデオを追跡するという2つの主要な手順が含まれます。この方法により、同じ系統の視覚的に区別できない3匹以上の動物が関与する状況でも、物理的なマーカーを必要とせずに高精度の姿勢追跡が可能になります。vmTracking は、半自然主義的な条件下で信頼性の高い追跡を可能にすることで、複雑な社会的相互作用に関する研究を進めるための効果的なツールを提供し、行動科学、心理学、神経科学全体に応用できる可能性があります。

Protocol

すべての実験手順は、同志社大学動物管理利用委員会の承認を受けています(承認番号:A23068)。C57BL / 6Jマウス( 材料表を参照)は、24〜26°Cの制御された条件下で、ケージあたり2〜3匹のグループで収容され、12時間の明暗サイクルで、食物と水に自由にアクセスできました。すべての行動記録は、光相中に収集されました。vmTracking プロセスの全体的なワークフローと、例のスナップショットを 図 1 に示します。

注:vmTrackingは新しいソフトウェアやアルゴリズムではなく、既存のDLC機能を使用して複数の動物の追跡精度を最大化するプロトコルです。したがって、次の手順のかなりの部分では、再現性を確保するために、DLC 内の特定のグラフィカル ユーザー インターフェイス (GUI) 操作について説明します。

1. マーカーレス多動物映像データの作成

注: 実験パラメータは、特定の研究に応じて調整できます。

1. 3匹のC57BL / 6Jマウスを、白い床と透明な壁(直径31 cm×高さ17 cm、 材料表を参照)のある円形のオープンフィールドに置き、自由に動かします。
2. トップダウンのカメラビューを使用して、460 × 460ピクセルの解像度と30 fpsのフレームレートで約60分間動物を記録します( 材料 表を参照)。

2. バーチャルマーカービデオの作成

1. DLCバージョン2.2.3でmaDLCを使用して、標準のマーカーレスポーズトラッキングを実行します(図2、 材料表を参照)。
   注: 以下の手順では、DLC での操作を明確にするために 、DLC GUI タブのメニュー名とパラメータ設定が太字で示されています。特に指定がない限り、すべての手順はデフォルト設定を使用して実行されます。DLCの詳細な使用方法は、公式ドキュメント¹⁰を参照してください。
   1. マーカーレスビデオ追跡のために、プロジェクトの管理(補足図1)で複数の動物プロジェクトを作成します。分析要件に従って、config.yaml ファイルの個人と身体部位のフィールドを変更します。このプロトコルでは、individual1 から individual3 および bodypart1 から bodypart6 が使用されます。その他の設定はすべてオプションです。
      注:パラメータ numframes2pick (抽出されたフレーム数)と dotsize (マーカーサイズ)は、ビデオの状態と実験者のワークロードに基づいて調整できます。他の設定は、考えられるすべての条件下で体系的にテストされたわけではありません。ただし、デフォルト設定では追跡が成功していることが確認されています。
   2. フレームの 抽出 (補足図1)のビデオからフレームを抽出して、その後のラベル付けとトレーニングを行います。他のすべてのパラメータをデフォルト値に設定します。
   3. 抽出された各フレームに ラベルを付け て、ラベルデータ(補足図1)にラベルを付け、フレーム間で一貫したIDを維持することなく、目に見える各個人に適切な身体部分を割り当てます。
   4. 「 トレーニングデータセットの作成」で抽出したフレームからトレーニングデータセットを作成します(補足図1)。このプロトコルでは、ネットワークを dlcrnet_ms5に設定します。他のすべてのパラメータをデフォルト値に設定します。
   5. Train でネットワークの学習を開始します (補足図 1)。このプロトコルでは、トレーニング用に [最大反復回数] パラメーターが 200,000 に設定されます。他のすべてのパラメータをデフォルト値に設定します。
   6. 評価 で学習済みネットワークを評価します(補足図1)。他のすべてのパラメータをデフォルト値に設定します。
   7. [ ビデオの分析] で選択したビデオに対して姿勢推定を実行し (補足図 1)、プロジェクト フォルダー内の videos フォルダーに .h5 座標データとその他の出力ファイルを生成します。他のすべてのパラメータをデフォルト値に設定します。
      注:トレーニングデータセットが不十分な場合、解析で.h5座標ファイルの生成に失敗する可能性があります。その場合は、手順2.1.2から再起動してください。
   8. 実験者による手動検証。
      1. 「 動画の作成」でラベル付けされたトラッキング動画を作成します(補足図1)。DLC GUIで [動物IDでビデオを作成]オプション を選択し、ラベル付きのトラッキングビデオを生成します(図2A、maDLC)。他のすべてのパラメータをデフォルト値に設定します。
      2. ラベル付けされたビデオ(図2A、maDLC)を調べて、IDスイッチと予測の欠落を確認します。顕著なエラーが観察された場合は、再トレーニングを実行します(手順2.1.8.3を参照)。再学習が行われない場合は、手順2.2に進みます。
         注: 再トレーニングは必須ではありませんが、精度が向上し、後のステップでの作業負荷が軽減されます。
      3. 再トレーニングの場合は、 外れ値の抽出/調整で 外れ値フレームを抽出して注釈を付けます (補足図 1)。アノテーションが完了したら、データセットのマージボタンをクリックすると、自動的に トレーニングデータセットの作成に進み、手順2.1.4以降を繰り返します。
2. maDLCの結果を修正して、仮想マーカービデオを作成します(図3)。
   1. カスタム GUI¹¹ (図 3B) を使用して、仮想マーカー用に選択したキーポイントのみを保持し、他のキーポイントはすべて .h5 ファイル内の NaN に置き換えます。このキーポイントの削減により、後続の修正ステップの作業負荷が軽減されます(図3C、E)。このプロトコルでは、ボディパート 2 と 4 が使用されます。
      注:ボディ軸ベクトルを効率的に定義する2つのキーポイントを選択することをお勧めします。仮想マーカーとして意図されたキーポイントのみを使用して最初の maDLC 追跡を実行すると、手順 2.1.4 で .h5 ファイルの生成に失敗する可能性があります。したがって、より大きなキーポイントセットを使用して初期追跡を実行することをお勧めします。
   2. トラックレットのリファイン(補足図1)を使用して、選択したキーポイントのみを含む前のステップの.h5ファイルを修正します。各個人がビデオ全体で一貫した ID を保持するように、キーポイントを修正します(図 3E、F)。ファイルを保存します。ビデオフォルダ内の.h5ファイルは自動的に更新されます。
   3. ビデオの作成で修正されたデータから、ID カラーラベルを使用してラベル付きビデオを作成します(補足図1、図3A、仮想マーカー)。DLC 2.2 では、videos フォルダー内の既存のラベル付きビデオは、新しいビデオの作成を妨げます。続行する前に、ファイルを削除、名前変更、または移動してください。ここでは、このデータセット内の動物を隠さずに識別できる最小サイズを使用して、構成ファイルでマーカーサイズを2に設定します。
   4. 作成したビデオの名前を短いファイル名に変更すると、saDLCで次のステップで再追跡する際のDLC処理中のエラーが防止されます。

3. saDLCを用いた仮想マーカー映像の姿勢追跡(図4)

メモ: 特に指定がない限り、すべての手順はデフォルトの DLC GUI 設定を使用して実行されます。

1. 仮想マーカー ビデオ トラッキング用の [プロジェクトの管理 ] (補足図 2) で新しい saDLC プロジェクトを作成します。このプロトコルでは、config.yaml ファイルの bodyparts フィールドに個人と身体部位のすべての組み合わせをリストします (例: individual1-bodypart1、individual2-bodypart1、...、individual3-bodypart6)。その他の設定はすべてオプションです。
   注:ステップ2.1.1と同様に、パラメータ numframes2pick と dotsize は、ビデオの状態と実験者のワークロードに応じて調整できます。デフォルト設定で追跡が成功したことが確認されています。
2. フレームの抽出で仮想マーカービデオからフレームを抽出します(補足図2)。他のすべてのパラメータをデフォルト値に設定します。
3. 抽出された各フレームにラベルを付けてラベルデータ(補足図2)、仮想マーカーを使用して個々のIDを割り当て、IDとボディパーツの両方がフレーム間で一致するようにします(図3B-D)。個人のIDがわかり、身体の一部が部分的に隠されている場合は、その位置を推定し、それに応じてラベルを貼ります。個々のIDを一意に決定できない場合(たとえば、フレーム内に≥2人の個人の仮想マーカーが欠落している場合)、それらの体の部分にラベルを付けないでください。
4. 「 トレーニングデータセットの作成」で抽出したフレームからトレーニングデータセットを作成します(補足図2)。このプロトコルでは、 ネットワーク を efficientnet-b0 に設定します。他のすべてのパラメータをデフォルト値に設定します。
5. Trainでネットワークの学習を開始します(補足図2)。このプロトコルでは、トレーニングの [最大反復回数] パラメーターを 200,000 に設定します。他のすべてのパラメータをデフォルト値に設定します。
6. 評価 で学習 済みネットワークを評価します(補足図2)。他のすべてのパラメータをデフォルト値に設定します。
7. [ ビデオの分析]で選択したビデオに対して姿勢推定を実行し(補足図2)、ビデオフォルダーに.h5座標データとその他の出力ファイルを生成します。他のすべてのパラメータをデフォルト値に設定します。
8. 実験者による手動検証。
   1. 「 動画の作成」でラベル付けされたトラッキング動画を作成します(補足図2)。他のすべてのパラメータをデフォルト値に設定します。
   2. ラベル付けされたビデオ(図 4A、vmTracking)を調べて、トラッキングの不整合を確認します。実験者が結果に満足するまで再トレーニングします。再トレーニングが不要な場合は、手順は完了です。
      注:満足のいくトラッキング結果を確認した後、仮想マーカーなしでプレゼンテーション品質のビデオを作成し(図5)、 ビデオの作成(補足図2)の仮想マーカービデオではなく、元のマーカーレスビデオにトラッキング結果を出力できます。videos フォルダー内の仮想マーカー ビデオをマーカーなしビデオに置き換え、解析で使用した仮想マーカー ビデオ ファイル名と一致するように名前を変更します。DLC 2.2 の場合、新しいビデオを作成する前に、フォルダーにラベル付きのビデオが存在しないことを確認してください (図 5B、C)。
   3. 再トレーニングの場合は、 外れ値の抽出/調整で外れ値フレームを抽出して注釈を付けます (補足図 2)。アノテーションが完了したら、データセットのマージボタンをクリックすると、自動的にトレーニングデータセットの作成に進み、手順3.1.4以降を繰り返します。

Results

追跡精度は、手動で生成されたグラウンドトゥルース(GT)との比較によって評価されました。20 個の 5 秒または 10 秒のシーンを抽出し、マウスが経路を横切るなどのオーバーラップを含む混雑 (CR) シーン (12 シーン、合計 1,950 フレーム)、またはオーバーラップのない非混雑 (nCR) シーン (8 シーン、合計 1,350 フレーム) のいずれかに分類しました。GT 位置から 10 ピクセル以内の追跡予測は、一致 (Match) としてカウントされました。予測≥10ピクセル離れたところにあるものは、誤検知(FP)としてカウントされました。欠落した予測は偽陰性 (FN) としてカウントされました。また、予測された同一性が直前のフレームの同一性と異なる場合は、IDスイッチとしてカウントされました。

maDLC(図6)と比較して、vmTrackingはCRとnCRの両方のシーンでマッチングが大幅に改善されました(図6A、CR:p < 0.001; 図6E、nCR:p<0.01)。どちらのシーンタイプでも、FNは発生せず、vmTrackingではFNの数が大幅に減少しました(図6B、CR:p < 0.001; 図6F、nCR:p<0.05)。FP(図6C および 6G)とIDスイッチ(図6D、H)の数は、どちらのシーンタイプにも変化が見られませんでした。vmTrackingと従来のmaDLCを使用して得られた追跡結果を並べて比較し、混雑した条件下でのvmTrackingの精度と安定性の向上を強調しています(補足ビデオ1)。

また、maDLCとvmTrackingのCRシーンのアノテーションフレーム数とMatchとFNの両方との関係を調べました(図6I)。maDLC では、Match は約 85% で頭打ちになり、約 400 の注釈フレームがあり、数が増えるにつれてそれ以上の改善はほとんどありませんでした。学習用の注釈フレームを増やしても、FNは減少しませんでした。対照的に、vmTrackingは、アノテーションフレームが増えるほどMatchが着実に増加し、約1,000フレームで約95%に達しました。

仮想マーカーは、その割り当てパターンに基づいて6つのカテゴリに分類され、各カテゴリの割合を仮想マーカー精度の指標として使用し、追跡Matchとの関係を調べました(図6J)。正しく割り当てられた仮想マーカーの割合が高いシーンは、より高い一致を示す傾向がありました。ただし、多くの誤った割り当てまたは多くの欠落しているマーカーのために、正しいマーカーの割合が低い一部のシーンは、依然として高い一致を示しました(例:CRシーン3および11)。

図 1: vmTracking ワークフローの概要。 (A) vmTracking ワークフローの概略図。まず、マーカーレスビデオ(I)に対してmaDLCを実行します。結果の maDLC トラッキング データに基づいて、各個人がビデオ全体で一貫した ID を維持できるように出力を修正し、キーポイントの選択したサブセットのみを表示するラベル付きビデオを作成します (II)。このビデオのラベルを仮想マーカーとして使用し、saDLC(III)で仮想マーカービデオを追跡します。(B) vmTracking の 2 つの例が、プロセスの各段階のスナップショットとして示されています。左端の画像は全体像、右の画像は黄色のボックスで囲まれた領域の拡大図です。画像の右下隅にあるオレンジ色のバーは縮尺を示しています:「マーカーレス(概要)」画像は5 cm、その他はすべて1 cmです。 この図の拡大版を表示するには、ここをクリックしてください。

図2:maDLCを使用したマーカーレスマルチアニマルトラッキングワークフロー。この図は、プロトコルのステップ2.1に関連しています。(A)パネルは図1Bから適応され、図1Aに示すプロセスI(マーカーレスマルチアニマル追跡)を示しています。わかりやすくするために、各動物の輪郭は破線で囲まれています。各画像の右下隅にあるオレンジ色のバーは、1 cm の縮尺バーを示します。(B-D)maDLC 実行中のラベル付けに使用されるフレームのスナップショット。各画像の右下隅にあるオレンジ色のバーは、5 cm のスケール バーを示します。(B) ラベルを貼る前のフレーム例。(C)ラベル付け後、Bと同じフレーム。(D) 別のラベル付きフレームの例。フレームCとDの間の個体の身元は不明ですが、ラベルを付けるときに個体の身元を考慮する必要はありません。スナップショットに示されているように、各動物の姿勢に正しくラベルを付けるだけで十分です。この図の拡大版を表示するには、ここをクリックしてください。

図3:maDLCの結果に基づいて仮想マーカービデオを作成するためのワークフロー。この図は、プロトコルのステップ2.2に関連しています。(A)パネルは図1Bから適応され、図1Aに示すプロセスII(仮想マーカー作成)を示しています。わかりやすくするために、各動物の輪郭は破線で囲まれています。白い矢印は、仮想マーカーとして使用されるキーポイント(各IDの2番目と4番目のキーポイント)を示します。この例では、仮想マーカーはグレースケールで出力され、紫、緑、赤の maDLC ラベルはそれぞれ黒、灰色、白で表示されます。例1では、maDLCの結果を補正せずに仮想マーカーとして直接出力しました。例 2 では、連続したフレームでの ID 切り替えにより、出力前に紫と赤の ID が入れ替わり、修正されました。修正すべきmaDLC結果の緑色の点が見落とされ、修正せずに出力されました。各画像の右下隅にあるオレンジ色のバーは、1 cm の縮尺バーを示します。(B) h5 座標データファイルを編集して、特定のキーポイントのみを保持し、他のすべてのキーポイントを NaN¹¹ に置き換えるための Python ベースの GUI。(バ)プログラム起動時の初期メニューウィンドウ。[h5 ファイルの選択] ボタンを使用して、編集するファイルを選択します。(BB)h5 ファイルを選択した後のウィンドウ。NaNに置き換えるキーポイント(個々の名前と本文の部材名で表示)にチェックを入れ、NaNの置き換えの開始-終了時間(フレームレート付き)またはフレーム番号を指定します。[データ処理]をクリックすると、編集したファイルが同じフォルダに保存され、元のファイルのバックアップが作成されます。(C)ID切り替えが発生したシーンからの連続したフレーム。(D)Bからすべてのトラッキングポイントを補正する例。(E) 2 番目と 4 番目のキーポイントのみが保持された B の結果を示すスナップショット。(F)Eで結果を修正した例。すべてのキーポイントを修正する(C→D)と比較して、修正を2ポイント(C→E→F)に制限すると、必要な編集回数が減ります。各画像C-Fの右下隅にあるオレンジ色のバーは、5cmのスケールバーを示しています。この図の拡大版を表示するには、ここをクリックしてください。

図4:仮想マーカービデオを追跡するためのワークフロー。この図は、プロトコルのステップ3に関連しています。(A)パネルは図1Bから適応され、図1Aに示すプロセスIII(仮想マーカービデオの追跡)を示しています。追跡対象を明確にするために、各個人は点線の輪郭で囲まれています。この例では、黒、グレー、白の仮想マーカーを持つ個人が、それぞれ紫、緑、赤のラベルとして追跡されます。例 1 では、灰色の仮想マーカーはありませんが、vmTracking は正しい ID 追跡を維持します。例 2 では、灰色のマーカーが 2 人の個体に表示されますが、追跡は正しいままです。各画像の右下隅にあるオレンジ色のバーは、1 cm の縮尺バーを示します。(B-D)vmTracking 中のラベル付けに使用されるフレームのスナップショット。このステップでは、saDLC が使用され、各キーポイントは個々の部分とボディ部分の両方の情報を含むように定義されます。ラベリングは、どの個人のどの体の部分が表現されるかを指定します。各画像の右下隅にあるオレンジ色のバーは、5 cm のスケール バーを示します。(B) ラベル付け前のフレームのスナップショット。(C)ラベリング後のBのフレームのスナップショット。(D)ラベリング後のCとは異なるフレームのスナップショット。異なるフレーム (C と D など) であっても、ラベル付けは、一貫したラベルの色で示されるように、仮想マーカーをキューとして使用して個人のアイデンティティを維持します。この図の拡大版を表示するには、ここをクリックしてください。

図5:トラッキング結果をマーカーレスビデオとマージして、仮想マーカーのないトラッキングビデオを作成するワークフロー。 これは、ステップ3.8.2のNOTEに関連するオプションのステップです。(A) トラッキング結果が仮想マーカー ビデオに適用されると、結果のトラッキング ビデオには仮想マーカー (vmTracking^vm+) が保持されます。黄色の矢印は、出力に表示される仮想マーカーを示します。代わりに、トラッキング結果を元のマーカーなしビデオに適用すると、プレゼンテーションやその他の目的に適した、仮想マーカーのないトラッキングビデオ (vmTracking^vm-) が生成されます。各画像の右下隅にあるオレンジ色のバーは、1 cm の縮尺バーを示します。(B、C)マーカーレス動画にvmTrackingの結果を適用する場合のプロジェクトディレクトリの「videos」フォルダ内のファイル管理。オレンジ色のボックスは、フォルダの内容を概略的に示しています。(B) トラッキング結果を仮想マーカービデオに出力してvmTrackingトラッキングビデオを生成した後の「videos」フォルダ(概略的には'4.仮想マーカービデオのラベル」)。(C) マーカーレス動画にvmTrackingの結果を出力するための「videos」フォルダを準備します。「1.バーチャルマーカービデオ」と「4.パネル B の仮想マーカー ビデオのファイルにラベルを付けて、フォルダーから除外します。問題はファイル自体ではなく、元のファイル名が処理を妨げることです。次に、'5.Markerless video」をフォルダに追加し、元の仮想マーカー ビデオ ファイル名 (VMvideo.MP4 など) と一致するように名前を変更します。この状態で [ 動画の作成 ] を再実行すると、マーカーレス動画 ('6.マーカーレスビデオのラベル」)。この図は、Azechi &; Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷から修正したものです。 この図の拡大版を表示するには、ここをクリックしてください。

図6:vmTrackingによるトラッキング精度の評価(A-H) 一致の割合に関する maDLC と vmTracking の比較。12の混雑(CR)シーンで(A)、偽陰性(B)、偽陽性(C)、IDスイッチ(D)、8つの非混雑(nCR)シーンで一致(E)、偽陰性(F)、偽陽性(G)、IDスイッチ(H)。プロットは各シーンの測定値を表し、バーはそれらから計算された平均値を表します。統計的比較は、Wilcoxon 符号付き順位検定を使用して実施されました。(I)CRの注釈付きフレーム数と、一致および偽陰性の割合との関係。右側の緑色のボックスは、左側のパネルの緑色の点線で囲まれた領域を拡大して表示しています。プロットは平均値を表します。(J) CR および nCR シーンにおける仮想マーカーの精度とマッチの追跡との関係。仮想マーカーの精度は、マーカーのペアごとに6つのタイプに分類されました:両方のポイントが正しい個人に正しく割り当てられている、1つは正しく、1つは欠落している、1つは正しく、1つは正しくない、1つは正しくありません、1つは欠落しています。各シーンについて、これらのカテゴリの比率は積み上げ棒として表示され、各棒の上にそのシーンに対応するトラッキング マッチが表示されます。シーンは、CR シーンと nCR シーンで別々に、左から右に一致するトラッキングの昇順で配置されます。CRシーン:n = 12;nCR シーン: n = 8。p < 0.001、**p < 0.01、*p < 0.05。この図は、Azechi and Takahashi (2025)⁹から修正したものです。 この図の拡大版を表示するには、ここをクリックしてください。

補足図1:各操作タブの位置を示す、多動物DeepLabCutのメインウィンドウのスナップショット。 スナップショットは、vmTracking プロシージャの各ステップで使用されるタブを矢印で示しています。画像はDeepLabCut GUI(バージョン2.2.3)からキャプチャされました。 この図をダウンロードするには、ここをクリックしてください。

補足図2:単一動物DeepLabCutのメインウィンドウのスナップショットで、各操作タブの位置が示されています。 スナップショットは、vmTracking プロシージャの各ステップで使用されるタブを矢印で示しています。画像はDeepLabCut GUI(バージョン2.2.3)からキャプチャされました。 この図をダウンロードするには、ここをクリックしてください。

補足ビデオ1:3匹のマウスの追跡における複数動物のDeepLabCutとvmTrackingの比較。この比較ビデオは、3匹のマウスの追跡中の多動物DeepLabCut(maDLC;左)とvmTracking(右)のパフォーマンスを示しています。vmTrackingビデオは、ステップ3.8.2の注で説明されている手順に従って、仮想マーカービデオを元のマーカーレスビデオに置き換えて生成し、仮想マーカーなしで追跡結果を表示します。追跡方法ごとに、比較を容易にするために、同じカラーファミリーのカラーラベルを使用して個々のIDが示されます。ビデオ全体を通して、vmTracking は、maDLC と比較して、異なる個人に属する身体の一部が検出されるインスタンスが少ないことを示しています。特に、約15〜17秒で、maDLCは緑色のラベルと赤色のラベルの個体を誤って識別し、割り当てられたIDが切り替わります。 このファイルをダウンロードするには、ここをクリックしてください。

Discussion

げっ歯類¹における自然主義的な形態の社会的相互作用を研究する需要が高まっていますが、特に密接な相互作用や閉塞中に、自由に動く複数の動物の信頼できる身元とポーズ情報を取得することは、依然として技術的な課題です。vmTracking はこの制限を克服し、このような条件下で正確な追跡を可能にします。vmTrackingは、従来の多動物トラ^ッカー4,5が失敗することが多い混雑した環境⁹を含む、さまざまな実験条件で高い追跡精度を確実に達成します。この堅牢性は、複数の動物の追跡に基づく仮想マーカー作成と saDLC 追跡の組み合わせから生じており、正確な ID と姿勢の推定を可能にします。重要なのは、この方法が仮想マーカーの精度が最適ではない場合でも高いパフォーマンスを維持したことです。仮想マーカーのある程度の不完全性に対するこの耐性により、vmTracking は自由に動く複数の個体を確実に追跡するのに実用的であり続け、それによって半自然条件下でのげっ歯類の社会的相互作用の研究が進みます。

vmTrackingの重要なステップは、仮想マーカーの作成中に複数の動物の追跡結果を修正することです。このプロセスでは、ID スイッチや誤ったラベルを見落とすと、saDLC が後続の追跡を通じてこれらの誤識別を維持する可能性があります。このような間違いが後で発見された場合は、影響を受けるセグメントを修正し、仮想マーカー ビデオを再生成し、saDLC トラッキングを再実行することで修正できます。場合によっては、仮想マーカーが正しく配置されている可能性がありますが、混雑した相互作用中に異なる動物のマーカーが近接すると、saDLCが個人を誤認する可能性があります。このようなエラーは、作成ステップ中に影響を受ける仮想マーカーを再配置してマーカー間の距離を最大化することで軽減でき、それによって後続の追跡フェーズで混乱が生じる可能性が低くなります。

このプロトコルでは、両方のステップで DLC ^4,7 を使用しますが、SLEAP ^5,12 でも実装できます。私たちの経験では、単一動物モードのSLEAPは一般的にsaDLCよりも安定性が低く、パフォーマンスはビデオ⁹に大きく依存します。ただし、仮想マーカー作成ステップでは、SLEAPまたは idtracker.ai¹³が同様に効果的であり、最適な選択はビデオによって異なる場合があります。したがって、最初の maDLC 追跡で ID の切り替えが頻繁に見られたり、目視検査でキーポイントが深刻に失われたりする場合は、SLEAP または idtracker.ai を使用して仮想マーカーを作成し、結果のビデオを saDLC で追跡するなど、混合アプローチが可能です。

vmTrackingには2つの追跡ステップが含まれるため、面倒だと考え、なぜ物理マーカーを最初から単純にアタッチして仮想マーカーを作成する必要がないのか疑問に思う人もいるかもしれません。ただし、仮想マーカーには明らかな利点があり、既存のマーカーレスビデオに事後に適用できるため、動物へのデバイスの取り付けに関連する行動への影響や倫理的懸念を回避できます。どこにでも配置でき、落ちることもなく、姿勢や密接なやり取りの影響を受けないため、特定のビデオに合わせて配置および調整できます。この柔軟性により、より信頼性の高い個人識別が可能になり、その結果、物理マーカーと比較して追跡精度が向上します。その結果、仮想マーカーを用いたvmTrackingは、自由に動く社会的相互作用の研究や、物理的なマーカーを適用できないアーカイブビデオデータの再分析において、高精度な追跡を可能にします。これにより得られる高精度な追跡データは、行動科学、心理学、神経科学など、行動実験に依存する分野に幅広く有用です。

vmTracking にはいくつかの制限があります。まず、個体の識別はマーカーの色の違いに依存しているため、追跡可能な個体の数は、識別可能な色の有限範囲によって制限されます。現在までに、10匹^の魚のグループを追跡することに成功しました9。ただし、この数を増やすには、マーカーの形状を変更したり、追加の識別子としてスケルトン構造の使用を検討したりするなど、仮想マーカーの種類を拡大する必要がありますが、これらのアプローチにはさらなる検証が必要です。次に、vmTrackingには、マーカーのない各ビデオに仮想マーカーを追加するという追加の手順が必然的に含まれますが、これは長い録画や多数の個人によるデータセットでは労働集約的になる可能性があります。また、この方法は、原則として様々な種や記録条件に適用できますが、実験パラメータを最適化できない場合、高精度な追跡を実現する実用性が低下する可能性があります。例えば、照明やカメラの解像度、記録角度の制御が難しいフィールドのような条件下での野生動物や自由に動く動物の記録では、仮想マーカーの割り当て時に必要な手動補正が増加する傾向があり、高品質の追跡データの取得の容易さが制限される可能性があります。将来的には、仮想マーカー割り当てプロセスの合理化と自動化により、この方法の適用性と使いやすさがさらに向上します。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
アクリルパイプ(透明、厚さ5mm、内径31cm)	菅原工藝株式会社	https://www.sugawarakougei.jp/	Hazaiya(オンラインアクリル素材販売店)から購入
アクリル板(白、厚さ3mm、直径31cm)	菅原工藝株式会社	https://www.sugawarakougei.jp/	Hazaiya(オンラインアクリル素材販売店)から購入
C57BL/6Jマウス	清水実験用品、Co.LTD。	該当なし
カメラ	バスラー	acA3088-57uc
DeepLabCut 2.2.3	スイス連邦工科大学ローザンヌ校マティス研究所	https://www.mackenziemathislab.org/deeplabcut
パイロンカメラソフトウェアスイート(パイロンビューアー)	バスラー	該当なし