自動行動分析のためのDeepBehavior、ディープラーニングツールボックスのステップバイステップ実装

Summary

このプロトコルの目的は、事前に構築された畳み込みニューラルネットを利用して行動追跡を自動化し、詳細な行動分析を行うことである。行動追跡は、任意のビデオデータまたは画像のシーケンスに適用することができ、任意のユーザー定義オブジェクトを追跡するために一般化可能です。

Abstract

行動を理解することは、それを駆動する脳内の神経メカニズムを真に理解するための最初のステップです。従来の行動分析法では、自然な行動に固有の豊かさを捉えないことがよくあります。ここでは、最近の方法論 DeepBehavior の視覚化を使用して、詳細な手順を説明します。DeepBehaviorツールボックスは、畳み込みニューラルネットワークで構築されたディープラーニングフレームワークを使用して、行動ビデオを迅速に処理および分析します。このプロトコルは、単一オブジェクト検出、複数オブジェクト検出、および 3 次元 (3D) の人間のジョイント ポーズトラッキングのための 3 つの異なるフレームワークを示します。これらのフレームワークは、動作ビデオの各フレームについて、対象となるオブジェクトのデカルト座標を返します。DeepBehaviorツールボックスから収集されたデータは、従来の動作分析方法よりもはるかに詳細に含まれ、行動のダイナミクスに関する詳細な洞察を提供します。DeepBehaviorは、堅牢で自動化された正確な方法で行動タスクを定量化します。動作の識別に続いて、行動ビデオから情報と視覚化を抽出する後処理コードが提供されます。

Introduction

行動の詳細な分析は、脳と行動の関係を理解するための鍵です。神経集団を高い時間分解能で記録・操作する方法論は多くの刺激的な進歩を遂げてきましたが、行動解析法は同じ速度で発達しておらず、間接的な測定と還元論的アプローチ¹に限定されています。近年、ディープラーニングベースの方法は、自動および詳細な行動分析^{2、3、4、5}を実行するために開発されています。このプロトコルは、DeepBehavior ツールボックスの実装ガイドを段階的に提供します。

従来の行動分析方法には、複数のエバリュエーターによるデータの手動によるラベル付けが含まれるので、実験者が行動を定義する方法が異なることがあります^。データの手動ラベル付けには、収集されるデータ量に対して不均衡に増加する時間とリソースが必要です。さらに、手動でラベル付けされたデータは、行動の豊かさを捉えないカテゴリ測定値に行動結果を減らし、より主観的になります。したがって、現在の伝統的な方法は、自然な行動の細部をキャプチャする際に制限され得る。

Protocol

1. GPU と Python のセットアップ

1. GPUソフトウェア
   コンピューターがディープラーニングアプリケーション用に最初にセットアップされるとき、GPUの対応するソフトウェアとドライバをインストールする必要があります。(この研究で使用されるもののための材料の表を参照してください)。
2. Python 2.7 のインストール
   コンピュータでコマンド ライン プロンプトを開きます。
   コマンドライン: sudo apt-get インストール python-pip python-dev python-virtualenv

2. テンソルボックス

1. テンソルボックスのセットアップ
   1. テンソルボックスの仮想環境の作成
      コマンドライン: cd ~
      コマンド ライン: virtualenv --システム サイト パッケージ ~/テンソルフロー
      注: '~/tensorflow' は環境の名前であり、任意です。
   2. 環境のアクティブ化
      コマンドライン:ソース ~/テ....

Results

プロトコルに従う場合、各ネットワーク アーキテクチャのデータは次のようになります。TensorBox の場合、対象のオブジェクトの周りに境界ボックスが出力されます。この例では、食品ペレットのビデオをタスクに到達させ、右足にラベルを付けて動きを追跡しました。図 1に示すように、正面図と側面図カメラの両方で、右足を異なる位置で検出できます。カメラキャリブレーションで後処理した後、到達の3D軌道が得られます(図1B)。

Yolov3 では、複数のオブジェクトが存在するので、出力も複数の境界ボックスになります。図 2Bに示すように、対象となるオブジェクトの周囲には複数の境界ボックスがあります。これらは、体の一部である.......

Discussion

ここでは、最近開発されたディープラーニングベースのディープラーニングベースの動物および人間の行動イメージングデータ分析²の実装に関するステップバイステップガイドを提供します。各ネットワークアーキテクチャのフレームワークをインストールするための各ステップの詳細な説明を提供し、これらのフレームワークを実行するためのオープンソース要件のインストールのためのリンクを提供します。これらのファイルをインストールする方法、トレーニング データを作成する方法、ネットワークをトレーニングする方法、およびトレーニング済みネットワーク上で新しいビデオ ファイルを処理する方法を示します。さらに、さらなる分析に必要な基本的な情報を抽出する後処理コードも提供しています。

単一オブジェクトの検出には、TensorBox を使用することをお勧めします。一度に複数のオブジェクトを追跡することが目的の場合は、YOLOv3 を使用することをお勧めします。最後に、ヒト運動学的データを取得するために、OpenPoseを使用することを推奨します。このプロトコルでは、ディープラー.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA v8.0.61	NVIDIA	n/a	GPU ソフトウェア
MATLAB R2016b	Mathworks	n/a	Matlab
Python 2.7	Python	n/a	Python Version
Quadro P6000	NVIDIA	n/a	GPU プロセッサ
Ubuntu v16.04	Ubuntu	n/a	オペレーティング システム