このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

方法論記事

自動行動分析のためのDeepBehavior、ディープラーニングツールボックスのステップバイステップ実装

8.9K 回視聴

⸱

DOI:

10.3791/60763

⸱

2020年2月6日

 , 

この記事について

サマリー

このプロトコルの目的は、事前に構築された畳み込みニューラルネットを利用して行動追跡を自動化し、詳細な行動分析を行うことである。行動追跡は、任意のビデオデータまたは画像のシーケンスに適用することができ、任意のユーザー定義オブジェクトを追跡するために一般化可能です。

要約

行動を理解することは、それを駆動する脳内の神経メカニズムを真に理解するための最初のステップです。従来の行動分析法では、自然な行動に固有の豊かさを捉えないことがよくあります。ここでは、最近の方法論 DeepBehavior の視覚化を使用して、詳細な手順を説明します。DeepBehaviorツールボックスは、畳み込みニューラルネットワークで構築されたディープラーニングフレームワークを使用して、行動ビデオを迅速に処理および分析します。このプロトコルは、単一オブジェクト検出、複数オブジェクト検出、および 3 次元 (3D) の人間のジョイント ポーズトラッキングのための 3 つの異なるフレームワークを示します。これらのフレームワークは、動作ビデオの各フレームについて、対象となるオブジェクトのデカルト座標を返します。DeepBehaviorツールボックスから収集されたデータは、従来の動作分析方法よりもはるかに詳細に含まれ、行動のダイナミクスに関する詳細な洞察を提供します。DeepBehaviorは、堅牢で自動化された正確な方法で行動タスクを定量化します。動作の識別に続いて、行動ビデオから情報と視覚化を抽出する後処理コードが提供されます。

概要

行動の詳細な分析は、脳と行動の関係を理解するための鍵です。神経集団を高い時間分解能で記録・操作する方法論は多くの刺激的な進歩を遂げてきましたが、行動解析法は同じ速度で発達しておらず、間接的な測定と還元論的アプローチ1に限定されています。近年、ディープラーニングベースの方法は、自動および詳細な行動分析2、3、4、5を実行するために開発されています。このプロトコルは、DeepBehavior ツールボックスの実装ガイドを段階的に提供します。

従来の行動分析方法には、複数のエバリュエーターによるデータの手動によるラベル付けが含まれるので、実験者が行動を定義する方法が異なることがあります。データの手動ラベル付けには、収集されるデータ量に対して不均衡に増加する時間とリソースが必要です。さらに、手動でラベル付けされたデータは、行動の豊かさを捉えないカテゴリ測定値に行動結果を減らし、より主観的になります。したがって、現在の伝統的な方法は、自然な行動の細部をキャプチャする際に制限され得る。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

1. GPU と Python のセットアップ

  1. GPUソフトウェア
    コンピューターがディープラーニングアプリケーション用に最初にセットアップされるとき、GPUの対応するソフトウェアとドライバをインストールする必要があります。(この研究で使用されるもののための材料の表を参照してください)。
  2. Python 2.7 のインストール
    コンピュータでコマンド ライン プロンプトを開きます。
    コマンドライン: sudo apt-get インストール python-pip python-dev python-virtualenv

2. テンソルボックス

  1. テンソルボックスのセットアップ
    1. テンソルボックスの仮想環境の作成
      コマンドライン: cd ~
      コマンド ライン: virtualenv --システム サイト パッケージ ~/テンソルフロー
      注: '~/tensorflow' は環境の名前であり、任意です。
    2. 環境のアクティブ化
      コマンドライン:ソース ~/テ....

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

プロトコルに従う場合、各ネットワーク アーキテクチャのデータは次のようになります。TensorBox の場合、対象のオブジェクトの周りに境界ボックスが出力されます。この例では、食品ペレットのビデオをタスクに到達させ、右足にラベルを付けて動きを追跡しました。図 1に示すように、正面図と側面図カメラの両方で、右足を異なる位置で検出できます。カメラキャリブレーションで後処理した後、到達の3D軌道が得られます(図1B)。

Yolov3 では、複数のオブジェクトが存在するので、出力も複数の境界ボックスになります。図 2Bに示すように、対象となるオブジェクトの周囲には複数の境界ボックスがあります。これらは、体の一部である.......

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

ここでは、最近開発されたディープラーニングベースのディープラーニングベースの動物および人間の行動イメージングデータ分析2の実装に関するステップバイステップガイドを提供します。各ネットワークアーキテクチャのフレームワークをインストールするための各ステップの詳細な説明を提供し、これらのフレームワークを実行するためのオープンソース要件のインストールのためのリンクを提供します。これらのファイルをインストールする方法、トレーニング データを作成する方法、ネットワークをトレーニングする方法、およびトレーニング済みネットワーク上で新しいビデオ ファイルを処理する方法を示します。さらに、さらなる分析に必要な基本的な情報を抽出する後処理コードも提供しています。

単一オブジェクトの検出には、TensorBox を使用することをお勧めします。一度に複数のオブジェクトを追跡することが目的の場合は、YOLOv3 を使用することをお勧めします。最後に、ヒト運動学的データを取得するために、OpenPoseを使用することを推奨します。このプロトコルでは、ディープラー.......

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者たちは開示するものは何もない。

謝辞

元の論文2で使用された2マウスの社会的相互作用テストの生データを提供してくれたPingping ZhaoとPeyman Golshaniに感謝したいと思います。この研究は、NIH NS109315およびNVIDIA GPU助成金(AA)によってサポートされました。

....

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
CUDA v8.0.61NVIDIAn/aGPU ソフトウェア
MATLAB R2016bMathworksn/aMatlab
Python 2.7Pythonn/aPython Version
Quadro P6000NVIDIAn/aGPU プロセッサ
Ubuntu v16.04Ubuntun/aオペレーティング システム

参考文献

  1. Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
  2. Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavio....

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

DeepBehaviorツールボックス畳み込みニューラルネットワーク単一物体検出複数物体検出人体ポーズトラッキングTensor BoxのセットアップYOLOv3のインストールOpenPose処理MATLABによる後処理