げっ歯類の社会行動研究における複数動物の姿勢推定の精度を向上させるための vmTracking の活用

私たちは、自由に動くマウスの社会的相互作用を理解することを目指し、正確な多動物追跡手法の開発を目指しています。複数の動物がいる状況下で正確な姿勢追跡と信頼できる個体識別を達成することは依然として困難です。まず、マーカーレス動画トラッキングのために「プロジェクト管理」を選択して新しいマルチアニマルプロジェクトを作成します。

設定の個人と身体部位のフィールドを変更してください。解析要件に従ってYAMLファイルを作成します。「フレーム抽出」を選択して、ラベル付けやトレーニングのために動画からフレームを抽出します。

次に、抽出した各フレームにラベルを付けて「ラベルデータ」を選択します。フレーム間のIDを一貫して保つ必要はなく、見える各個体に適切な身体部位を割り当てましょう。抽出したフレームからトレーニングデータセットを作成するには、「トレーニングデータセットを作成」を選択してください。

設定でネットワークをDLCRNet_ms5に設定してください。ネットワークのトレーニングを開始するには「Train」を選択してください。このトレーニングセッションでは最大反復数パラメータを200,000に設定してください。

その他の訓練パラメータはデフォルト値のまま維持できます。「評価」を選択して訓練済みネットワークを評価してください。選択した動画でポーズ推定を行うには、プロジェクトフォルダ内の動画フォルダ内の「Analyze Videos Generating HDF5座標データおよびその他の出力ファイル」を選択してください。

トラッキング結果の手動検証を行うには、「Create Videos」を選択してラベル付きのトラッキング動画を作成します。DLCのGUIで「動物ID色付きの動画作成」オプションを有効にし、個々のIDを動画に含めてください。次に、生成されたラベル付き動画を確認し、アイデンティティの入れ替えや予測の欠落がないか確認します。

重大な誤りがある場合は、再訓練の準備をしてください。外れ値フレームの再学習、抽出、注釈付け。「エクストラクター」または「アウトライヤーを精錬する」を選択してください。

注釈が完了したら、「データセットをマージ」をクリックすると自動的にトレーニングデータセットの作成に進みます。そして、トレーニングのプロセスを繰り返します。マルチアニマルDLCの結果を修正するには、カスタムGUIを開き、バーチャルマーカーに必要なキーポイントだけを保持してください。

選んだキーポイントのみを含むHDF5ファイルを修正するために「Refine Tracklet」を選択してください。重要なポイントを調整して、全員が動画全体で一貫したIDを保つようにしましょう。ファイルを保存すると、動画フォルダ内のHDF5ファイルが自動的に更新されます。

次に、修正されたデータから「動画作成」を選択して新しいラベル付き動画を作成します。DeepLabCut 2.2では、すでにラベル付きの動画が動画フォルダ内に存在している場合、新しい動画は作成されません。進む前に既存のファイルを削除、名前変更、または移動してください。

ラベル付きバーチャルマーカー動画の名前を短縮ファイル名に変更し、DeepLabCut処理中のエラーを防ぐこと。仮想マーカー動画を追跡するために「プロジェクト管理」を選択して新しいsaDLCプロジェクトを作成しましょう。設定で。

yamlファイルでは、bodypartsフィールドに個人と身体部位のすべての組み合わせを一覧表示してください。名前が変わった仮想マーカー動画からフレームを抽出するには、「フレームを抽出」を選択してください。次に、仮想マーカーを使って抽出した各フレームをラベルデータにラベル付けし、一貫した個別IDを割り当て、IDと身体の一部がフレーム間で一致するようにします。

身体の一部が部分的に隠れているが、個人のIDが分かっている場合は、その位置を推定し、それに応じてラベルを付けます。抽出したフレームから「トレーニングデータセットを作成」を選択してトレーニングデータセットを作成します。このトレーニングセッションではネットワークを効率的ネットB0に設定します。

「訓練」を選択してネットワークのトレーニングを開始します。このセッションで最大反復数パラメータを200,000に設定すれば、他の設定はすべてデフォルトのまま維持できます。訓練済みネットワークを評価した後、先に示したように手動検証を行います。

混雑したシーンでは、VMトラッキングはmaDLCよりも有意に高いマッチ率を達成しました。偽陰性の数は、VMトラッキングの方がmaDLCよりも有意に少なかった。しかし、誤検知やID切り替え数においてVMトラッキングとmaDLCに違いはありませんでした。

混雑していないシーンでは、VMトラッキングはmaDLCよりも有意に高いマッチ率を達成しました。偽陰性の数は、VMトラッキングの方がmaDLCよりも有意に少なかった。VMトラッキングとmaDLCの間で誤検知やID切り替え回数に違いはありませんでした。

混雑したシーンでは、maDLCのマッチ率は約400フレームの注釈付きフレームで約85%に停滞し、それ以上の改善はありませんでした。一方、VMトラッキングは約1,000フレームで約95%まで着実に増加しました。maDLCでは、注釈付きフレームの数を増やしても偽陰性の数は減らしませんでした。

正しく割り当てられた仮想マーカーの割合が高いシーンほど、マッチ率が高い傾向がありました。しかし、3や11のようなシーンでは、多くの誤った割り当てやマーカーの欠落にもかかわらず高いマッチ率が示されました。私たちのプロトコルは、マルチアニマルポーズ追跡における信頼性の低いアイデンティティ維持に対応しています。

仮想マーカーと既存のツールを組み合わせることで、ポーズトラッキングの精度を向上させます。今後の研究では、このデータを用いて集団のダイナミクスがマウスの社会的行動にどのように影響するかを解明する予定です。