Method Article

用于自动行为分析的深入行为、深度学习工具箱的分步实施

DOI:

10.3791/60763

⸱

February 6th, 2020

 , 
1Department of Neurology, David Geffen School of Medicine, University of California, Los Angeles

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

该协议的目的是利用预构建的卷积神经网络来自动执行行为跟踪并执行详细的行为分析。行为跟踪可应用于任何视频数据或图像序列，并可通用跟踪任何用户定义的对象。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

理解行为是真正理解大脑中驱动行为的神经机制的第一步。传统的行为分析方法通常不能捕捉自然行为固有的丰富性。在这里，我们提供详细的分步说明，以及我们最近的方法"DeepBehavior"的可视化效果。DeepBehavior 工具箱使用使用卷积神经网络构建的深度学习框架来快速处理和分析行为视频。该协议演示了三种不同的单对象检测、多对象检测和三维（3D）人关节姿势跟踪框架。这些框架返回行为视频每一帧的感兴趣对象的点菜坐标。从 DeepBehavior 工具箱收集的数据包含比传统行为分析方法更多的详细信息，并提供了对行为动态的详细见解。深度行为以稳健、自动化和精确的方式量化行为任务。在识别行为之后，提供后处理代码，以便从行为视频中提取信息和可视化效果。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

对行为的详细分析是理解大脑和行为关系的关键。在记录和操纵具有高时间分辨率的神经元群体的方法上有许多令人振奋的进展，然而，行为分析方法没有以相同的速度发展，并且仅限于间接测量和减少方法1。最近，已经开发出了基于深度学习的方法，以执行自动和详细的行为分析2，3，4，5。此协议为 DeepBehavior 工具箱提供了分步实现指南。

传统的行为分析方法通常包括由多个评估者手动标记数据，导致实验者定义行为6的方式存在差异。手动标记数据需要时间和资源，而时间和资源的增加与收集的数据量不成比例。此外，手动标记数据会将行为结果简化为分类测量，这些测量不能捕获行为的丰富性，并且会更加主观。因此，目前的传统方法在捕捉自然行为的细节时可能受到限制。

DeepBehavior 工具箱提供了一个精确、详细、高度时空和自动化的解决方案，使用深度学习进行行为分析。借助开源工具和软件包，所有人都能快速获得深度学习。卷积神经网络（CNN）被证明是非常有效的对象识别和跟踪任务

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. GPU 和 Python 设置

  1. GPU 软件
    首次为深度学习应用程序设置计算机时，应安装适合 GPU 的软件和驱动程序，可在 GPU 各自的网站上找到。（参见本研究中使用的材料表）。
  2. Python 2.7 安装
    在计算机上打开命令行提示符。
    命令行: sudo apt-get 安装 python-pip python-dev python-virtualenv

2. 张力盒

  1. 张力框设置
    1. 为张力框创建虚拟环境
      命令行:cd |
      命令行:虚拟-系统站点包 +/张力流
      注:"+/张量"是环境的名称，是任意的
    2. 激活环境
      命令行:源 =/张量流/bin/激活
  2. 张力盒安装
    我们将使用 GitHub 从http://github.com/aara....

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

遵循协议时，每个网络体系结构的数据应类似于以下内容。对于 TensorBox，它输出一个边界框围绕感兴趣的对象。在我们的示例中，我们使用来自食物颗粒到达任务的视频，并标记正确的爪子来跟踪它们的运动。如图1所示，右爪可以在前视图和侧视图摄像机的不同位置被检测到。通过相机校准后进行后处理后，可以获得覆盖的3D轨迹（图1B）。

在 Yolov3 中，由于有多个对象，输出也是多个边界框。如图2B所示，感兴趣的对象周围有多个边界框。这些可以是身体的一部分。

在 OpenPose 中，网络检测关节位置.......

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在这里，我们为实施DeepBehavior提供分步指南，我们最近开发的基于深度学习的工具箱用于动物和人类行为成像数据分析2。我们为每个网络架构的框架安装的每个步骤提供详细说明，并提供用于安装开源要求的链接，以便能够运行这些框架。我们演示如何安装它们，如何创建训练数据，如何训练网络，以及如何在培训的网络上处理新的视频文件。我们还提供后处理代码，以提取进一步分析所需的基本必要信息。

对于单个对象检测，我们建议使用 TensorBox。如果目标是同时跟踪多个对象，我们建议使用 YOLOv3。最后，为了获得人类运动学数据，我们建议使用OpenPose。在此协议中，我们展示了深度学习方法能够处理数十万帧，同时以高精度跟踪对象。使用提供的后处理代码，我们可以得出有意义的方法来分析跟踪的感兴趣行为。这提供了更详细的捕获行为的方法。它还提供了一种自动化、可靠的定义行为方法，该行为可概括为许多不同类型的行为任务。

从从 Internet 下载的新虚拟环境或代码开始时，获取"ModuleNotFou.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者没有什么可透露的。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们要感谢赵平平和佩曼·戈尔沙尼为原始论文2中使用的双小鼠社会互动测试提供了原始数据。这项研究得到了NIH NS109315和NVIDIA GPU资助（AA）的支持。

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
CUDA v8.0.61NVIDIAn/aGPU 软件
MATLAB R2016bMathworksn/aMatlab
Python 2.7Pythonn/aPython 版本
Quadro P6000NVIDIAn/aGPU 处理器
Ubuntu v16.04Ubuntun/a作系统

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
  2. Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavio....

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

DeepBehavior ToolboxDeep Learning ToolboxConvolutional Neural NetworksSingle Object DetectionMultiple Object DetectionHuman Pose TrackingTensor Box SetupYOLOv3 InstallationOpenPose ProcessingMATLAB Post Processing

Related Articles