Name: 用于自动行为分析的深入行为、深度学习工具箱的分步实施 (视频) | JoVE Journal
Uploaded: 2020-02-06T15:00:00.000+00:00
Duration: 5 min 41 s
Description: 学习使用卷积神经网络自动追踪行为并进行客观量化分析。该方法适用于啮齿动物和人类视频数据，通过深度学习工具箱实现多目标检测与三维运动轨迹重建，显著提高行为分析效率并减少主观偏差。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

我们感谢赵平平和Peyman Golshani提供原始论文中使用的双小鼠社交互动实验的原始数据2。本研究得到了美国国立卫生研究院（NIH）NS109315项目和NVIDIA GPU基金（AA）的支持。

1. GPU 和 Python 环境配置
<ol>
	<li>GPU 软件 
	首次为深度学习应用配置计算机时，应安装适用于 GPU 的软件和驱动程序，这些软件和驱动程序可在相应 GPU 的官方网站上找到。（参见本研究中使用的材料，请见材料表）。</li>
	<li>Python 2.7 安装 
	在您的机器上打开命令行提示符。 
	命令行： sudo apt-get install python-pip python-dev python-virtualenv</li>
</ol>
2. TENSORBOX
<ol>
	<li>Tensorbox 设置
	<ol>
		<li>为 Tensorbox 创建虚拟环境 
		命令行： cd ~ 
		命令行： virtualenv --system-site-packages ~/tensorflow 
		注意：'~/tensorflow' 是环境的名称，可任意指定</li>
		<li>激活环境 
		命令行： source ~/tensorflow/bin/activate</li>
	</ol>
	</li>
	<li>Tensorbox 安装 
	我们将使用 GitHub 从 <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> 克隆 TensorBox 并将其安装到本地机器上，同时安装其他依赖项。 
	命令行： cd ~ 
	命令行： git clone <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> 
	命令行： cd TensorBox 
	命令行： pip install -r requirements.txt</li>
	<li>标注数据
	<ol>
		<li>创建行为图像文件夹 
		ffmpeg 等开源工具可用于将视频转换为单帧图像。我们建议从行为帧的广泛分布中选取至少 600 张图像用于训练，并将这些图像放入一个文件夹中。</li>
		<li>启动标注图形用户界面 
		命令行： python make_json.py &#60;图像文件夹路径&#62; labels.json 
		要标注一张图像，首先点击目标对象（例如爪子）的左上角，然后点击其右下角（图 4）。检查边界框是否完整包含目标对象。按“撤销”可重新标注同一图像，或按“下一个”进入下一帧。</li>
	</ol>
	</li>
	<li>训练 TensorBox
	<ol>
		<li>将训练图像链接到网络超参数文件 
		在 tensorbox 文件夹内，使用文本编辑器打开以下文件： 
		/TensorBox/hypes/overfeat_rezoom.json。找到 data 下名为 train_idl 的属性，将文件路径从 ./data/brainwash/train_boxes.json 更改为 labels.json 的文件路径。保存更改。</li>
		<li>开始训练脚本 
		命令行： cd ~/TensorBox 
		命令行： python train.py --hypes hypes/overfeat_rezoom.json --gpu 0 --logdir output 
		网络将开始进行 600,000 次迭代训练。在 output 文件夹中，将生成卷积神经网络的训练权重文件。</li>
	</ol>
	</li>
	<li>对新图像进行预测 
	用于图像标注： 
	命令行： cd ~/TensorBox 
	命令行： python label_images.py --folder &#60;图像文件夹路径&#62; --weights output/overfeat_rezoom_&#60;时间戳&#62;/save.ckpt-600000 --hypes /hypes/overfeat_rezoom.json --gpu 0 
	获取边界框坐标： 
	命令行： cd ~/TensorBox 
	命令行： python predict_images_to_json.py --folder &#60;图像文件夹路径&#62; --weights 
	output/overfeat_rezoom_&#60;时间戳&#62;/save.ckpt-600000 --hypes 
	/hypes/overfeat_rezoom.json --gpu 0</li>
	<li>TensorBox 的 MATLAB 后处理 
	已提供额外的 MATLAB 代码，用于从模型生成的 JSON 坐标文件中提取运动学数据并生成可视化结果。 
	运行 &#34;Process_files_3Dreaching_mouse.m&#34; 脚本，以进行单颗粒食物抓取任务的三维运动学分析。</li>
</ol>
3. YOLOv3
<ol>
	<li>安装 YOLOv3 
	命令行： cd ~ 
	命令行： git clone cd darknet 
	若使用 GPU，打开“Makefile”并修改以下行：GPU=1；CUDNN=1。 
	命令行： make</li>
	<li>使用 Yolo_mark 标注训练数据 
	命令行： cd ~ 
	命令行： git clone cd ~/Yolo_Mark 
	命令行： cmake . 
	命令行： make 
	将训练图像放入 ~/Yolo_mark/data/obj 文件夹中 
	命令行： chmod +x ./linux_mark.sh 
	命令行： ./linux_mark.sh 
	在图形用户界面中逐个标注图像（图 5）。建议的图像数量约为 200 张。</li>
	<li>训练 YOLOv3
	<ol>
		<li>配置配置文件 
		命令行： cd ~/Yolo_mark 
		命令行： scp -r ./data ~/darknet 
		命令行： cd ~/darknet/cfg 
		命令行： cp yolov3.cfg yolo-obj.cfg</li>
		<li>修改配置文件 
		打开 yolo-obj.cfg 文件并修改以下行：batch=64，subdivision=8，classes=（待检测类别的数量），并对每个 yolo 层之前的卷积层修改 filter=(classes+5)x3。有关这些修改的详细信息，请参见 <a href="https://github.com/aarac/darknet/blob/master/README.md" target="_blank">https://github.com/aarac/darknet/blob/master/README.md</a></li>
		<li>下载网络权重 
		从 <a href="https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0" target="_blank">https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0</a> 下载网络权重 
		将下载的权重文件放入 ~/darknet/build/darknet/x64 目录中</li>
		<li>运行训练算法 
		命令行： cd ~/darknet 
		命令行： ./darknet detector train data/obj.data cfg/yolo-obj.cfg darknet53.conv.74</li>
		<li>YOLOv3 评估 
		当训练完成指定迭代次数（ITERATIONNUMBER）后，可通过以下命令查看结果： 
		命令行： ./darknet detector test data/obj.data cfg/yolo-obj.cfg backup/yolo-obj_ITERATIONNUMBER.weights &#60;IMAGE&#62;.jpg</li>
	</ol>
	</li>
	<li>对新视频进行预测并获取坐标 
	运行以下命令可获取新视频中标签的坐标： 
	命令行： ./darknet detector demo data/obj.data cfg/yolo-obj.cfg backup/yolo-obj_ITERATIONNUMBER.weights VIDEO.avi -ext_output &#60;VIDEO.avi&#62; FILENAME.txt</li>
	<li>在 MATLAB 中进行 YOLOv3 后处理 
	将 FILENAME.txt 文件导入 MATLAB，运行 &#34;Process_socialtest_mini.m&#34; 脚本以进行双小鼠社交互动测试。结果见 图 2</li>
</ol>
4. OpenPose
OpenPose 非常适合用于追踪人体受试者的多个身体部位。其设置和安装过程与之前的两个框架非常相似。但由于该网络已经使用人类数据完成训练，因此无需进行训练步骤。
<ol>
	<li>OpenPose 安装 
	访问 <a href="https://github.com/aarac/openpose" target="_blank">https://github.com/aarac/openpose</a>，并按照其中的安装说明进行操作。</li>
	<li>处理视频 
	./build/examples/openpose/openpose.bin --video VIDEONAME.avi --net_resolution &#34;1312x736&#34; --scale_number 4 --scale_gap 0.25 --hand --hand_scale_number 6 --hand_scale_range 0.4 --write_json JSONFOLDERNAME --write_video RESULTINGVIDEONAME.avi 
	如果不需要高精度检测，可省略 --net_resolution、--scale_number、--scale_gap、--hand_scale_number 和 --hand_scale_range 参数（这将减少处理时间）。</li>
	<li>OpenPose 后处理 
	在 MATLAB 文件夹中，请使用 'process_files_human3D.m' 脚本运行代码，需先添加包含来自相机 1 和相机 2 的 json 文件的相应文件夹，以及校准文件。该脚本将生成一个 &#34;cell&#34; 文件，其中包含所有关节的 3D 姿态数据，并生成 3D 骨骼视图的视频。关于相机校准，请参考以下链接中的说明：<a href="http://www.vision.caltech.edu/bouguetj/calib_doc/" target="_blank">http://www.vision.caltech.edu/bouguetj/calib_doc/</a></li>
</ol>

<ol><li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroscience+Needs+Behavior%3A+Correcting+a+Reductionist+Bias%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li>
<li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepBehavior%3A+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data%5BTitle%5D)+AND+%22Front+Syst+Neurosci%22%5BJournal%5D)">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20(2019).</li>
<li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351(2015).</li>
<li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+aims+and+methods+of+ethology%5BTitle%5D)+AND+%22Zeitschrift+fu%CC%88r+Tierpsychologie%22%5BJournal%5D)">On aims and methods of ethology.</a> Zeitschrift für Tierpsychologie. 20, 410-433 (1963).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li>
<li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+Detection+With+Deep+Learning%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Transactions+on+Neural+Networks+and+Learning+Systems%22%5BJournal%5D)">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li>
<li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Residual Learning for Image Recognition.</a> arXiv. , eprint (2015).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Proceedings+of+the+25th+International+Conference+on+Neural+Information+Processing+Systems%22%5BJournal%5D)">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).</li>
<li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%222015+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li>
<li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-End+People+Detection+in+Crowded+Scenes%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((YOLOv3%3A+An+Incremental+Improvement%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">YOLOv3: An Incremental Improvement.</a> arXiv. , eprint (2018).</li>
<li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li>
<li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , eprint (2017).</li>
<li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+Pose+Machines%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Convolutional Pose Machines.</a> arXiv. , eprint (2016).</li>
</ol>

作者无任何利益冲突需要披露。

本文提供了我们近期开发的基于深度学习的动物与人类行为成像数据分析工具箱 DeepBehavior 的逐步实施指南2。我们详细说明了每种网络架构框架的安装步骤，并提供了开源依赖项的安装链接，以确保这些框架能够正常运行。我们演示了如何安装这些工具、如何创建训练数据、如何训练网络，以及如何在训练好的网络上处理新的视频文件。此外，我们还提供了后处理代码，用于提取进一步分析所需的基本信息。
对于单个目标检测，我们推荐使用 TensorBox。如果目标是同时追踪多个目标，则推荐使用 YOLOv3。最后，为了获取人体运动学数据，我们推荐使用 OpenPose。在本方案中，我们已证明深度学习方法能够在以高精度追踪目标的同时，处理数十万帧图像。通过使用所提供的后处理代码，我们可以得出有意义的方法来分析所关注的追踪行为。这提供了一种更详细的行为捕捉方式，同时也提供了一种可自动化、稳健且可推广至多种不同类型行为任务的行为定义方法。
在使用新的虚拟环境或从互联网下载的代码时，出现“ModuleNotFo...

对行为进行详细分析是理解大脑与行为关系的关键。近年来，在以高时间分辨率记录和操控神经元群体的方法上已取得许多令人振奋的进展，然而行为分析方法的发展却未能同步，仍局限于间接测量和还原论方法1。最近，基于深度学习的方法已被开发用于实现自动化且详细的行为分析2,3,4,5。本实验方案为 DeepBehavior 工具箱提供了逐步实施的操作指南。
传统的行为分析方法通常包括由多名评估者手动标注数据，这导致实验人员对行为的定义存在差异6。手动标注数据需要耗费大量时间和资源，且其投入与所收集数据量不成正比。此外，人工标注的数据将行为结果简化为类别化测量，无法充分反映行为的丰富性，且更具主观性。因此，当前的传统方法在捕捉自然行为细节方面可能存在局限性。
DeepBehavior 工具箱提供了一种基于深度学习的精确、详细、高时间分辨率且自动化的动物行为分析解决方案。随着开源工具和软件包的普及，深度学习已迅速为所有研究者所广泛获取。卷积神经网络（CNN）在物体识别与追踪任务中已被证实具有极高的有效性7,8。借助现代卷积神经网络和高性能图形处理器（GPU），可快速且高精度地处理大规模图像和视频数据集7,9,10,11。在 DeepBehavior 中，集成了三种不同的卷积神经网络架构：TensorBox、YOLOv3 和 OpenPose2。
第一个框架 Tensorbox 是一个多功能框架，整合了多种不同的卷积神经网络（CNN）架构用于目标检测12。TensorBox 最适合每张图像仅检测一个目标类别。其输出结果为感兴趣目标的边界框（图1）以及边界框的笛卡尔坐标。
第二种CNN框架是YOLOv3，即&#34;You Only Look Once&#34;13。当需要分别追踪多个感兴趣目标时，YOLOv3具有优势。该网络的输出包括带有相应目标标签类别的边界框，以及目标在视频帧中的边界框笛卡尔坐标（图2）。
前两种框架适用于从动物受试者的标准实验室实验中收集的广义行为数据。最后一种卷积神经网络（CNN）框架是OpenPose14,15,16，用于人体关节姿态估计。OpenPose可检测图像中人体、手部、面部和足部的关键点。该框架的输出结果包括标注后的人体受试者图像，以及身体25个关键点和每只手21个关键点的坐标（图3）。
本详细分步指南介绍了我们近期开发的开源 DeepBehavior 工具箱的实施方法，该工具箱采用先进的卷积神经网络来追踪动物行为（例如爪子的运动）或人类行为（例如伸手任务）。通过追踪行为，可从中提取有用的动力学参数，如位置、速度和加速度。本实验方案详细说明了每种卷积神经网络架构的安装方法，演示了如何创建训练数据集、如何训练网络、如何在训练好的网络上处理新视频、如何从新视频中提取网络输出数据，以及如何对输出数据进行后处理，以便用于进一步分析。

<table><tbody><tr><td>CUDA v8.0.61</td><td>NVIDIA</td><td>n/a</td><td>GPU 软件</td></tr><tr><td>MATLAB R2016b</td><td>Mathworks</td><td>n/a</td><td>Matlab</td></tr><tr><td>Python 2.7</td><td>Python</td><td>n/a</td><td>Python 版本</td></tr><tr><td>Quadro P6000</td><td>NVIDIA</td><td>n/a</td><td>GPU 处理器</td></tr><tr><td>Ubuntu v16.04</td><td>Ubuntu</td><td>n/a</td><td>操作系统</td></tr></tbody></table>

deepbehavior 深度学习工具箱用于自动化行为分析的逐步实现

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

理解行为是真正理解驱动行为的脑内神经机制的第一步。传统的行为分析方法往往无法捕捉自然行为本身所具有的丰富性。本文提供了我们近期开发的方法 DeepBehavior 的详细分步操作指南及可视化说明。DeepBehavior 工具箱采用基于卷积神经网络的深度学习框架，可快速处理和分析行为视频。本实验方案展示了三种不同的框架：单目标检测、多目标检测以及三维（3D）人体关节姿态追踪。这些框架可返回行为视频每一帧中目标对象的笛卡尔坐标。通过 DeepBehavior 工具箱采集的数据比传统行为分析方法包含更丰富的细节，能够深入揭示行为动态特征。DeepBehavior 以稳健、自动化且精确的方式量化行为任务。在完成行为识别后，本文还提供了后处理代码，用于从行为视频中提取信息并生成可视化结果。

按照本方案操作时，每种网络架构的数据应与以下结果相似。TensorBox 会输出围绕目标物体的边界框。在本示例中，我们使用了食物颗粒抓取任务的视频，并对右前爪进行标注以追踪其运动轨迹。如图1所示，右前爪在前视图和侧视图摄像机中均能在不同位置被检测到。经过摄像机标定的后处理后，可获得抓取动作的三维轨迹（图1B）。
在 Yolov3 中，由于存在多个目标，输出结果也为多个边界框。如图 2B所示，感兴趣目标周围存在多个边界框，这些边界框可能对应身体的各个部位。
在 OpenPose 中，网络会检...

本实验方案的目的是利用预构建的卷积神经网络实现行为追踪的自动化，并进行详细的行为分析。行为追踪可应用于任何视频数据或图像序列，且可推广用于追踪任何用户自定义的对象。

DeepBehavior 深度学习工具箱用于自动化行为分析的逐步实现

理解行为是真正理解驱动行为的脑内神经机制的第一步。传统的行为分析方法……

进行详细的行为分析对于理解大脑与行为之间的关系至关重要。评估行为的最佳方法之一是通过细致的观察。然而，对所观察到的行为进行量化既耗时又具有挑战性。传统的行为分析方法难以量化，且具有内在的主观性。近年来，作为机器学习与人工智能领域的一个分支，深度学习的发展为图像和视频的自动化、客观量化提供了新的机遇。本文介绍了我们近期开发的利用深度神经网络对啮齿类动物和人类进行精细行为分析的方法。该技术的主要优势在于其灵活性，以及适用于任何用于行为分析的成像数据。DeepBehavior 工具箱支持单个目标识别、多目标检测以及人体姿态追踪。我们还提供了基于 MATLAB 的后处理代码，以实现更深入的运动学分析方法。首先设置 Tensor Box。激活环境，然后使用 GitHub 克隆 Tensor Box 并将其安装到计算机及附加依赖项中。接下来，启动标注图形用户界面，从行为帧的广泛分布中至少标注 600 张图像。要标注图像，请单击目标对象的左上角，然后单击其右下角。接着确保边界框完整包含整个对象。单击“下一步”以进入下一帧。要将训练图像与网络超参数文件关联，请在文本编辑器中打开 overfeat_rezoom.json 文件，并将 train_idl 下的文件路径替换为 labels.json。然后在 test-idl 下添加相同的文件路径，并保存更改。启动训练脚本，该脚本将开始进行 600,000 次迭代的训练，并在输出文件夹中生成卷积神经网络的训练权重。然后对新图像执行预测，并以带标签的图像和边界框坐标的形式查看网络的输出结果。安装 YOLOv3。然后，将图像放入 Yolo_mark-data-obga 文件夹中，并在图形用户界面中逐一使用 Yolo_mark 对训练数据进行标注，共标注约 200 张图像。接下来，配置参数文件。要修改配置文件，请打开 YOLO-obj.cfg 文件夹。修改 batch、subdivision 和 classes 行。然后在每个 YOLO 层之前的卷积层中更改滤波器。下载网络权重文件，并将其放入 darknet-build.x64 文件夹中。运行训练算法，完成后查看迭代结果。为追踪人体中的多个身体部位，需先安装 OpenPose，然后使用它处理目标视频。DeepBehavior 工具箱的功能已在小鼠执行食丸抓取任务的视频上得到验证。用标签标记其右爪，并通过正面和侧面摄像头追踪运动。经过相机校准的后处理，获得抓取动作的三维轨迹。由于可同时追踪多个物体，YOLOv3 的输出为多个边界框。边界框围绕的是感兴趣的对象，这些对象可以是身体的各个部位。在OpenPose中，网络检测出关节位置，随后通过相机校准进行后处理，从而构建出受试者的三维模型。本方案中未涵盖的一个关键步骤是：在开始之前，需确保设备已安装适当版本的Python及相关依赖项，并配置了支持GPU的环境。在成功从网络中获取轨迹行为后，可进行额外的后处理，以进一步分析行为的运动学特征和行为模式。DeepBehavior 工具箱之所以适用于啮齿类动物和人类疾病模型的诊断方法，是因为其并非直接提供治疗益处。本实验室目前正在积极研究将这些技术作为诊断或预后工具的应用。该技术正被用于研究啮齿类动物熟练运动行为的神经机制，同时也被应用于临床研究，以评估神经系统疾病患者的运动功能恢复情况。

a-step-step-implementation-deepbehavior-deep-learning-toolbox-for

Research

科研

JoVE Journal

Behavior

行为

用于自动行为分析的深入行为、深度学习工具箱的分步实施

深部脑刺激手术为研究清醒人脑中的信息编码提供了独特的机会。本文将描述术中用于执行认知和行为任务的同时，采集生理数据（如肌电图、单个神经元活动和/或局部场电位）的方法。...

清醒患者接受脑深部刺激手术期间的术中行为任务

本实验室开发了一种新型高通量自动成像系统，可用于检测7日龄斑马鱼幼鱼的多种不同行为。该系统适用于在幼鱼暴露于环境毒物或药物后，检测其行为发生的细微变化。...

斑马鱼幼体的自动化高通量行为分析

新近发现的疾病相关基因在神经精神障碍发病机制中的作用仍不明确。一种改良的双侧子宫内电穿孔技术可实现将基因转入大量神经元群体中，并可用于研究基因表达变化对社交行为的因果影响。...

利用双侧子宫内电穿孔技术研究基因对啮齿类动物行为影响的实验流程

本方案介绍了如何构建一个小型且多功能的摄像机，以及如何利用该摄像机获取的视频来训练神经网络，以追踪操作性条件反射箱内动物的位置。这是对操作性条件反射测试中获得的数据日志进行标准分析的有力补充。...

使用多功能自制摄像机和DeepLabCut追踪操作条件反射箱中的大鼠

我们开发了一个单一平台，用于在两项依赖攀爬纤维的联想学习任务期间追踪动物行为。该低成本设计可与针对攀爬纤维相关小脑活动的光遗传学或成像实验相结合。...

一种用于监测小脑依赖性感觉关联学习的灵活平台

本方案描述了利用 Arduino 及相关硬件和一个多功能的 Matlab...

一款开源、完全可定制的五选一序列反应时间任务工具箱，用于啮齿类动物自动化行为训练

本方案提供了一种可与神经生理学测量指标时间锁定的、用于长期追踪啮齿类动物自动眨眼的方法。该方案预期对研究偏头痛等疼痛障碍机制的研究人员具有实用价值。...

一种用于小鼠疼痛研究中同步行为与脑动态的自动化斜视法

该方案介绍了一种用于分析和可视化戊四氮诱导小鼠癫痫发作相关行为的创新方法。该方法超越了传统的Racine评分，能够更全面地评估发作期行为的多样性及其时间动态特征。...

戊四氮诱导癫痫发作的行为学表征：超越Racine分级

本方案基于先进的计算神经行为学方法，提供了一个综合框架，用于理解自然情境下的大脑编码机制。...

从神经行为学嵌入中解码自然行为

我们介绍一种基于DeepLabCut的低成本、无标记物工作流程，用于量化自由活动小鼠的自发步态和运动行为。该方案结合单摄像头视频采集、解剖学标志点的无标记追踪以及时空运动参数的提取，提供了一种无需特殊设备的非侵入性且易于实施的运动行为分析框架。...

一种基于低成本无标记DeepLabCut的小鼠自由运动自发步态与运动分析工作流程

学习使用卷积神经网络自动追踪行为并进行客观量化分析。该方法适用于啮齿动物和人类视频数据，通过深度学习工具箱实现多目标检测与三维运动轨迹重建，显著提高行为分析效率并减少主观偏差。

DeepBehavior 深度学习工具箱用于自动化行为分析的逐步实现

探索更多视频