自動行動分析のためのDeepBehavior、ディープラーニングツールボックスのステップバイステップ実装

脳の行動関係を理解するには、詳細な行動分析を行う必要があります。行動を評価する最良の方法の1つは、注意深い観察を通じてです。ただし、観察された動作を定量化するのは時間がかかり、困難です。

古典的な行動分析方法は容易に定量化が容易ではなく、本質的に主観的である。機械学習と人工知能分野の分野であるディープラーニングの最近の発展は、画像やビデオの自動化された客観的な定量化の機会を提供します。ここでは、深いニューラルネットワークを利用してげっ歯類やヒトの詳細な行動解析を行う方法を紹介します。

この手法の主な利点は、動作分析のための任意のイメージング データに対する柔軟性と適用性です。DeepBehavior ツールボックスは、単一のオブジェクトの識別、マルチオブジェクト検出、および人間のポーズトラッキングをサポートしています。さらに、MATLAB では、より詳細なキネマティック解析方法のポスト処理コードも提供しています。

テンソルボックスを設定して開始します。環境をアクティブにし、GitHub を使用してテンソル ボックスを複製し、マシンと追加の依存関係にインストールします。次に、ラベル付けグラフィカルユーザーインターフェイスを起動し、動作フレームの広い分布から少なくとも600枚の画像にラベルを付けます。

画像にラベルを付けるには、対象オブジェクトの左上隅をクリックし、次に右下隅をクリックします。次に、バウンディング ボックスがオブジェクト全体をキャプチャすることを確認します。次のフレームに移動するには、次のフレームをクリックします。

トレーニング イメージをネットワーク ハイパー パラメータ ファイルにリンクするには、overfeat_rezoom開きます。テキストエディター内の json を使用し、labels.json にtrain_idl下のファイルパスを置き換えます。次に、test-idl の下に同じファイル パスを追加し、変更を保存します。

600,000 回の反復のトレーニングを開始し、結果として得られた畳み込みニューラル ネットワークの重みを出力フォルダに生成するトレーニング スクリプトを開始します。次に、新しい画像に対して予測を実行し、ネットワークの出力をラベル付きイメージとして、境界ボックス座標として表示します。YOLOv3 をインストールします。

次に、Yolo_mark-data-obga フォルダに画像を配置し、グラフィカル ユーザー インターフェイスで 1 つずつラベルを付けて、トレーニング データにYolo_markラベルを付けます。約200枚の画像にラベルを付けます。次に、構成ファイルをセットアップします。

構成ファイルを変更するには、YOLO-obj を開きます。cfg フォルダ。バッチ、サブディビジョン、およびクラスの行を変更します。

次に、YOLO レイヤーの前の各畳み込みレイヤーのフィルターを変更します。ネットワークウェイトをダウンロードし、ダークネットビルドに配置します。x64 フォルダ。

トレーニング アルゴリズムを実行し、完了したらイテレーションを表示します。人間の主題の複数の身体部分を追跡するには、OpenPoseをインストールし、それを使用して目的のビデオを処理します。DeepBehaviorツールボックスの機能は、食餌ペレットがタスクに達するマウスのビデオで実証されました。

彼らの右足はラベル付けされ、動きはフロントビューカメラとサイドビューカメラで追跡されました。カメラキャリブレーションで後処理した後、リーチの3D軌道が得られた。YOLOv3 の出力は、複数のオブジェクトを追跡できるため、複数のバウンディング ボックスです。

境界ボックスは、身体の一部となり得る対象のオブジェクトの周囲にあります。OpenPoseでは、ネットワークがジョイント位置を検出し、カメラキャリブレーションで後処理した後、被写体の3Dモデルが作成されました。このプロトコルでカバーされていない重要なステップの 1 つは、デバイスが適切な Python バージョンと依存関係と、GPU で構成されたデバイスを使用してから開始する前に持っていることを確認することです。

ネットワークからトラックの動作を正常に取得した後、さらに動作のキネマティクスとパターンを分析するために追加の後処理を行うことができます。なぜDeepBehaviorツールボックスはげっ歯類およびヒトの被験者の疾患モデルの診断アプローチに適用可能であるが、直接的な治療上の利益ではない。これらの技術を診断用または予後診断ツールとして使用することは、当研究室で活発な研究を行っています。

この技術は、げっ歯類における熟練した運動行動の神経メカニズムを調べるとともに、神経疾患患者の運動回復を評価する臨床研究で使用されている。