本实验方案的目的是利用预构建的卷积神经网络实现行为追踪的自动化，并进行详细的行为分析。行为追踪可应用于任何视频数据或图像序列，且可推广用于追踪任何用户自定义的对象。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
理解行为是真正理解驱动行为的脑内神经机制的第一步。传统的行为分析方法往往无法捕捉自然行为本身所具有的丰富性。本文提供了我们近期开发的方法 DeepBehavior 的详细分步操作指南及可视化说明。DeepBehavior 工具箱采用基于卷积神经网络的深度学习框架，可快速处理和分析行为视频。本实验方案展示了三种不同的框架：单目标检测、多目标检测以及三维（3D）人体关节姿态追踪。这些框架可返回行为视频每一帧中目标对象的笛卡尔坐标。通过 DeepBehavior 工具箱采集的数据比传统行为分析方法包含更丰富的细节，能够深入揭示行为动态特征。DeepBehavior 以稳健、自动化且精确的方式量化行为任务。在完成行为识别后，本文还提供了后处理代码，用于从行为视频中提取信息并生成可视化结果。
引言
对行为进行详细分析是理解大脑与行为关系的关键。近年来，在以高时间分辨率记录和操控神经元群体的方法上已取得许多令人振奋的进展，然而行为分析方法的发展却未能同步，仍局限于间接测量和还原论方法1。最近，基于深度学习的方法已被开发用于实现自动化且详细的行为分析2,3,4,5。本实验方案为 DeepBehavior 工具箱提供了逐步实施的操作指南。
传统的行为分析方法通常包括由多名评估者手动标注数据，这导致实验人员对行为的定义存在差异6。手动标注数据需要耗费大量时间和资源，且其投入与所收集数据量不成正比。此外，人工标注的数据将行为结果简化为类别化测量，无法充分反映行为的丰富性，且更具主观性。因此，当前的传统方法在捕捉自然行为细节方面可能存在局限性。
DeepBehavior 工具箱提供了一种基于深度学习的精确、详细、高时间分辨率且自动化的动物行为分析解决方案。随着开源工具和软件包的普及，深度学习已迅速为所有研究者所广泛获取。卷积神经网络（CNN）在物体识别与追踪任务中已被证实具有极高....
访问受限。请登录或开始试用以查看此内容。
方案
1. GPU 和 Python 环境配置
- GPU 软件
首次为深度学习应用配置计算机时，应安装适用于 GPU 的软件和驱动程序，这些软件和驱动程序可在相应 GPU 的官方网站上找到。（参见本研究中使用的材料，请见材料表）。 - Python 2.7 安装
在您的机器上打开命令行提示符。
命令行： sudo apt-get install python-pip python-dev python-virtualenv
2. TENSORBOX
- Tensorbox 设置
- 为 Tensorbox 创建虚拟环境
命令行： cd ~
命令行： virtualenv --system-site-packages ~/tensorflow
注意：'~/tensorflow' 是环境的名称，可任意指定 - 激活环境
命令行： source ~/tensorflow/bin/activate ....
- 为 Tensorbox 创建虚拟环境
访问受限。请登录或开始试用以查看此内容。
结果
按照本方案操作时，每种网络架构的数据应与以下结果相似。TensorBox 会输出围绕目标物体的边界框。在本示例中，我们使用了食物颗粒抓取任务的视频，并对右前爪进行标注以追踪其运动轨迹。如图1所示，右前爪在前视图和侧视图摄像机中均能在不同位置被检测到。经过摄像机标定的后处理后，可获得抓取动作的三维轨迹（图1B）。
在 Yolov3 中，由于存在多个目标，输出结果也为多个边界框。如图 2B所示，感兴趣目标周围存在多个边界框，这些边界框可能对应身体的各个部位。
在 OpenPose 中，网络会检.......
访问受限。请登录或开始试用以查看此内容。
讨论
本文提供了我们近期开发的基于深度学习的动物与人类行为成像数据分析工具箱 DeepBehavior 的逐步实施指南2。我们详细说明了每种网络架构框架的安装步骤，并提供了开源依赖项的安装链接，以确保这些框架能够正常运行。我们演示了如何安装这些工具、如何创建训练数据、如何训练网络，以及如何在训练好的网络上处理新的视频文件。此外，我们还提供了后处理代码，用于提取进一步分析所需的基本信息。
对于单个目标检测，我们推荐使用 TensorBox。如果目标是同时追踪多个目标，则推荐使用 YOLOv3。最后，为了获取人体运动学数据，我们推荐使用 OpenPose。在本方案中，我们已证明深度学习方法能够在以高精度追踪目标的同时，处理数十万帧图像。通过使用所提供的后处理代码，我们可以得出有意义的方法来分析所关注的追踪行为。这提供了一种更详细的行为捕捉方式，同时也提供了一种可自动化、稳健且可推广至多种不同类型行为任务的行为定义方法。
在使用新的虚拟环境或从互联网下载的代码时，出现“ModuleNotFo.......
访问受限。请登录或开始试用以查看此内容。
披露
作者无任何利益冲突需要披露。
致谢
我们感谢赵平平和Peyman Golshani提供原始论文中使用的双小鼠社交互动实验的原始数据2。本研究得到了美国国立卫生研究院（NIH）NS109315项目和NVIDIA GPU基金（AA）的支持。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| CUDA v8.0.61 | NVIDIA | n/a | GPU 软件 |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python 版本 |
| Quadro P6000 | NVIDIA | n/a | GPU 处理器 |
| Ubuntu v16.04 | Ubuntu | n/a | 操作系统 |
参考文献
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavio....
访问受限。请登录或开始试用以查看此内容。
重印与许可
