Name: 자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현 (동영상) | JoVE Journal
Uploaded: 2020-02-06T15:00:00.000+00:00
Duration: 5 min 41 s
Description: 학습하세요 딥러닝 기반 자동 행동 분석 방법을 사용하여 영상 데이터에서 객체를 추적하고 정량화합니다. 이 기술은 신경과학 연구에서 주관성을 줄이고 효율성을 높입니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

우리는 원래 종이2에사용되는 두 마우스 사회적 상호 작용 테스트에 대한 원시 데이터를 제공 핑핑 자오와 페이만 골샤니 에게 감사드립니다 . 이 연구는 NIH NS109315 및 엔비디아 GPU 보조금 (AA)에 의해 지원 되었다.

1. GPU 및 파이썬 설정
<ol><li>
GPU 소프트웨어 컴퓨터가 딥 러닝 응용 프로그램을 처음 설정할 때 GPU에 적합한 소프트웨어와 드라이버를 설치해야 하며, GPU의 각 웹 사이트에서 찾을 수 있습니다. (이 스터디에 사용된 재료의 표 참조).</li>
	<li>
파이썬 2.7 설치 컴퓨터에서 명령줄 프롬프트를 엽니다. 명령줄 : sudo apt-get 설치 파이썬 - 파이썬 - 파이썬 - 데브 파이썬 - 버추얼</li>
</ol>2. 텐서박스
<ol><li>
텐서박스 설정
	<ol>
<li>
텐서박스용 가상 환경 만들기 명령줄: cd ~ 명령줄: 버추얼엔프 --시스템-사이트 패키지 ~/텐서플로우 참고: '~/텐서플로우'는 환경의 이름이며 임의</li>
		<li>
환경 활성화 명령줄: 소스 ~ /텐서 플로우 / 빈 / 활성화</li>
	</ol>
</li>
	<li>
텐서박스 설치 GitHub를 사용하여 <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> 텐서박스를 복제하고 컴퓨터에 설치하고 추가 종속성을 설치합니다. 명령줄: cd ~ 명령줄: git 클론 <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> 명령줄: CD 텐서박스 명령줄: 핍 설치 -r 요구 사항.txt</li>
	<li>
레이블 데이터
	<ol>
<li>
동작 이미지 폴더 만들기 ffmpeg와 같은 오픈 소스 도구는 비디오를 개별 프레임으로 변환하는 데 유용합니다 교육용 동작 프레임의 광범위한 분포에서 최소 600개의 이미지에 레이블을 지정하는 것이 좋습니다. 이러한 이미지를 폴더에 넣습니다.</li>
		<li>
그래픽 사용자 인터페이스에 레이블 지정 시작 명령줄: 파이썬 make_json.py&path to image folder> labels.json 이미지에 레이블을 지정하려면 관심 대상(예: 발)의 왼쪽 상단 모서리를 먼저 클릭한 다음 관심 대상의 오른쪽 하단모서리를 클릭합니다(그림4). 경계 상자가 관심 있는 전체 개체를 캡처하는지 검사합니다. '취소'를 눌러 동일한 이미지에 레이블을 다시 지정하거나 'next'를 눌러 다음 프레임으로 이동합니다.</li>
	</ol>
</li>
	<li>
기차 텐서박스
	<ol>
<li>
학습 이미지를 네트워크 하이퍼매개 변수 파일에 연결 텐서박스 폴더 내에서 텍스트 편집기에서 다음 폴더를 엽니다. /tensorBox/과대 광고/overfeat_rezoom.json. train_idl 라는 데이터에서 속성을 탐색 하 고 labels.json 파일 경로 ./data/세뇌/train_boxes.json에서 파일 경로를 대체 합니다. 변경 내용을 파일에 저장합니다.</li>
		<li>
교육 스크립트 시작 명령줄 : CD ~ / 텐서 박스 명령줄: 파이썬 train.py -과대 광고/ overfeat_rezoom.json --gpu 0 --logdir 출력 그런 다음 네트워크에서 600,000회 반복에 대한 교육을 시작합니다. 출력 폴더에서 컨볼루션 신경망의 생성된 학습된 가중치가 생성됩니다.</li>
	</ol>
</li>
	<li>
새 이미지 예측 이미지 레이블의 경우: 명령줄 : CD ~ / 텐서 박스 명령줄: 파이썬 label_images.py --폴더&path-이미지 폴더> --가중치 출력/overfeat_rezoom_&t;타임스탬프>/save.ckpt-600000 --과대 광고/과대 광고/overfeat_rezoom.json--gpu 0 경계 상자의 좌표를 얻으려면 다음을 수행합니다. 명령줄 : CD ~ / 텐서 박스 명령줄: 파이썬 predict_images_to_json.py--폴더 & 이미지 폴더에 대한 경로> --가중치 출력/overfeat_rezoom_&타임스탬프>/save.ckpt-600000 --과대 광고 /hypes/overfeat_rezoom.json --gpu 0</li>
	<li>
텐서박스용 MATLAB 후처리 모델에서 결과 JSON 좌표 파일을 사용하여 좌표의 운동학 및 시각화를 추출하기 위한 추가 MATLAB 코드가 제공되었습니다. 단일 식품 펠릿 도달 작업의 3D 운동 분석을 위해 "Process_files_3Dreaching_mouse.m" 스크립트를 실행합니다.</li>
</ol>3. 욜로프3
<ol><li>
YOLOv3 설치 명령줄: cd ~ 커맨드 라인: git 클론 CD 다크넷 GPU 사용의 경우 'Makefile'을 열고 다음 줄을 변경합니다. CUDNN=1. 명령줄:</li>
	<li>
Yolo_mark 사용하여 교육 데이터에 레이블 지정 명령줄: cd ~ 명령줄 : git 복제 CD ~ / Yolo_Mark 명령줄: cmake . 명령줄: 학습 이미지를 ~/Yolo_mark/데이터/obj 폴더에 배치합니다. 명령줄: chmod +x./linux_mark.sh 명령줄: ./linux_mark.sh 그래픽 사용자 인터페이스에서 이미지에 하나씩 레이블을 지정합니다(그림5). 권장 되는 이미지의 양은 약 200입니다.</li>
	<li>
훈련 욜로프3
	<ol>
<li>
설정 구성 파일 명령줄: cd ~/Yolo_mark 명령줄: scp -r ./데이터 ~/다크넷 명령줄: cd ~/다크넷/cfg 명령줄: cp yolov3.cfg yolo-obj.cfg</li>
		<li>
구성 파일 수정 yolo-obj.cfg 폴더를 열고 다음 줄을 수정합니다: batch=64, 세분화=8, 클래스=(감지할 클래스의#) 및 yolo 레이어가 필터=(클래스+5)x3를 변경하기 전에 각 컨볼루션 레이어에 대해. 이러한 변경 사항에 대한 자세한 내용은 <a href="https://github.com/aarac/darknet/blob/master/README.md" target="_blank">https://github.com/aarac/darknet/blob/master/README.md</a>
</li>
		<li>
네트워크 가중치 다운로드 <a href="https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0" target="_blank">https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0</a> 네트워크 가중치 다운로드 다운로드한 가중치 파일을 ~/다크넷/빌드/다크넷/x64에 넣습니다.
</li>
		<li>
교육 알고리즘 실행 명령줄: cd ~/다크넷 명령줄: ./darknet 검출기 train data/obj.data cfg/yolo-obj.cfg darknet53.conv.74</li>
		<li>
YOLOv3 평가 설정된 반복 횟수(반복번호)에따라 교육이 완료되면 다음을 통해 볼 수 있습니다. 명령줄: ./darknet 검출기 테스트 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights &IMAGE>.jpg</li>
	</ol>
</li>
	<li>
새 동영상 예측 및 좌표 받기 이 명령을 실행하여 새 비디오에서 레이블의 좌표를 가져올 수 있습니다. 명령줄: ./darknet 검출기 데모 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights VIDEO.avi-ext_output&VIDEO.avi> FILENAME.txt</li>
	<li>
YOLOv3 매트랩의 후처리 FILENAME.txt 파일을 MATLAB에 가져가서 두 마우스 소셜 상호 작용 테스트에 대한 "Process_socialtest_mini.m" 스크립트를 실행합니다. 그림 2의 결과 보기
</li>
</ol>4. 열린 포즈
OpenPose는 인간 피사체의 여러 신체 부위를 추적하는 데 이상적입니다. 설치 및 설치 프로세스는 이전 두 프레임워크와 매우 유사합니다. 그러나 네트워크가 이미 인적 데이터에 대해 학습되어 있기 때문에 교육 단계는 없습니다.
<ol><li>
오픈포즈 설치 <a href="https://github.com/aarac/openpose" target="_blank">https://github.com/aarac/openpose</a> 이동하여 설치 지침을 따릅니다.</li>
	<li>
프로세스 비디오 ./build/example/openpose/openpose/openpose.bin--videoVIDEONAME.avi--net_resolution "1312x736" --scale_number 4 --scale_gap 0.25 --hand_scale_number-6--hand_scale_range 0.4 --write_json JSONFOLDERNAME --write_video 결과비디오NAME.avi 여기서 --net_resolution,--scale_number, -scale_gap, -hand_scale_number 및 --hand_scale_range 핸들은 고정밀 검출이 필요하지 않은 경우 생략할 수 있습니다(이로 인해 처리 시간이 단축됩니다).</li>
	<li>
오픈포즈 후처리 MATLAB 폴더에서 'process_files_human3D.m' 스크립트를 사용하여 카메라 1및 2의 json 파일과 교정 파일을 포함하는 적절한 폴더를 추가한 후 코드를 실행하십시오. 이렇게 하면 조인트의 모든 3D 포즈가 있는 "셀" 파일이 생성됩니다. 또한 3D 골격보기의 영화를 만들 것입니다. 카메라 교정의 경우 이 링크의 지침을 <a href="http://www.vision.caltech.edu/bouguetj/calib_doc/" target="_blank">따르십시오http://www.vision.caltech.edu/bouguetj/calib_doc/</a>
</li>
</ol>

<ol><li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroscience+Needs+Behavior%3A+Correcting+a+Reductionist+Bias%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li>
<li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepBehavior%3A+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data%5BTitle%5D)+AND+%22Front+Syst+Neurosci%22%5BJournal%5D)">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20(2019).</li>
<li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351(2015).</li>
<li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+aims+and+methods+of+ethology%5BTitle%5D)+AND+%22Zeitschrift+fu%CC%88r+Tierpsychologie%22%5BJournal%5D)">On aims and methods of ethology.</a> Zeitschrift für Tierpsychologie. 20, 410-433 (1963).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li>
<li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+Detection+With+Deep+Learning%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Transactions+on+Neural+Networks+and+Learning+Systems%22%5BJournal%5D)">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li>
<li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Residual Learning for Image Recognition.</a> arXiv. , eprint (2015).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Proceedings+of+the+25th+International+Conference+on+Neural+Information+Processing+Systems%22%5BJournal%5D)">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).</li>
<li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%222015+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li>
<li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-End+People+Detection+in+Crowded+Scenes%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((YOLOv3%3A+An+Incremental+Improvement%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">YOLOv3: An Incremental Improvement.</a> arXiv. , eprint (2018).</li>
<li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li>
<li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , eprint (2017).</li>
<li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+Pose+Machines%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Convolutional Pose Machines.</a> arXiv. , eprint (2016).</li>
</ol>

저자는 공개 할 것이 없다.

여기서는 최근 개발된 동물 및 인간 행동 영상 데이터 분석용 딥러닝 기반 툴박스인 DeepBehavior의 구현을 위한 단계별 가이드를 제공합니다2. 각 네트워크 아키텍처에 대한 프레임워크 설치에 대한 각 단계에 대한 자세한 설명을 제공하고 이러한 프레임워크를 실행할 수 있도록 오픈 소스 요구 사항을 설치하기 위한 링크를 제공합니다. 이를 설치하는 방법, 교육 데이터를 만드는 방법, 네트워크 학습 방법 및 학습된 네트워크에서 새 비디오 파일을 처리하는 방법을 보여 줍니다. 또한 추가 분석에 필요한 기본 정보를 추출하기 위해 후처리 코드를 제공합니다.
단일 개체 검색을 위해 TensorBox를 사용하는 것이 좋습니다. 한 번에 여러 개체를 추적하는 것이 목표인 경우 YOLOv3를 사용하는 것이 좋습니다. 마지막으로, 인간의 운동학 데이터를 얻으려면 OpenPose를 사용하는 것이 좋습니다. 이 프로토콜에서는 딥 러닝 방법을 통해 수십만 개...

행동에 대한 자세한 분석은 뇌와 행동 관계를 이해하는 열쇠입니다. 높은 시간적 분해능으로 뉴런 집단을 기록하고 조작하기 위한 방법론의 많은 흥미로운 발전이 있었지만, 행동 분석 방법은 동일한 속도로 개발되지 않았으며 간접 측정 및 환원접근법1에국한되어 있다. 최근에는 자동화된 상세한 행동 분석2,3,4,5를수행하기 위해 딥 러닝 기반 방법이 개발되었습니다. 이 프로토콜은 DeepBehavior 도구 상자에 대한 단계별 구현 가이드를 제공합니다.
기존의 행동 분석 방법에는 여러 평가자가 데이터를 수동으로 레이블을 지정하는 것이 포함되는 경우가 많으며, 이로 인해 실험자가동작을정의하는 방식이 6. 데이터를 수동으로 레이블을 지정하려면 수집된 데이터 양에 불균형적으로 증가하는 시간과 리소스가 필요합니다. 또한 수동으로 레이블이 지정된 데이터는 동작 결과를 범주형 측정으로 줄여 행동의 풍요로움을 포착하지 않으며 주관적입니다. 따라서, 현재의 전통적인 방법은 자연적인 행동에서 세부 사항을 캡처하는 데 제한될 수 있다.
DeepBehavior 도구 상자는 행동 분석을 위한 딥 러닝을 사용하여 정밀하고 상세하며 매우 시간적이며 자동화된 솔루션을 제공합니다. 딥 러닝은 오픈 소스 도구와 패키지를 통해 모든 사용자가 빠르게 액세스할 수 있게 되었습니다. 컨볼루션 신경망(CNN)은 개체 인식 및 추적 작업7,8에서매우 효과적인 것으로 입증되었습니다. 현대의 CNN과 고성능 그래픽 처리 장치(GPU)를 사용하여 대형 이미지 및 비디오 데이터 세트를 고정밀7,9,10,11로신속하게 처리할 수 있습니다. DeepBehavior에는 세 가지 컨볼루션 신경망 아키텍처, 텐서박스, YOLOv3 및 OpenPose2가있습니다.
첫 번째 프레임워크인 Tensorbox는 개체 검색12를위해 다양한 CNN 아키텍처를 통합하는 다목적 프레임워크입니다. TensorBox는 이미지당 하나의 개체 클래스만 검색하는 데 가장 적합합니다. 결과 출력은 관심 있는 개체의 경계상자(그림 1)와경계 상자의 카르테시안 좌표입니다.
두 번째 CNN 프레임 워크는 YOLOv3, "당신은 한 번만 봐"13을의미 합니다. YOLOv3는 별도로 추적해야 하는 여러 개체가 있는 경우 유용합니다. 이 네트워크의 출력에는 연관된 객체 라벨 클래스가 있는 경계 상자뿐만 아니라 비디오 프레임내의 객체의 경계 상자 카르테시안 좌표가 포함된다(그림2).
이전 두 프레임 워크는 동물 과목에서 표준 실험실 실험에서 수집 된 일반화 된 행동 데이터에 유리합니다. 마지막 CNN 프레임 워크는 인간 관절 포즈 추정에 사용되는 OpenPose14,15,16입니다. OpenPose는 이미지에서 인체, 손, 얼굴 및 발 키 포인트를 감지합니다. 프레임워크의 출력은 인체 피사체의 이미지뿐만 아니라 신체의 모든 25개의 키 포인트와 각 손의 21개의 키 포인트의 좌표로 표시되어있습니다(그림 3).
최근에 개발된 오픈 소스 DeepBehavior 도구 상자의 구현을 위한 이 상세한 단계별 가이드는 최첨단 컨볼루션 신경망을 사용하여 동물 행동(예: 발의 움직임) 또는 인간의 행동(예: 도달 작업)을 추적합니다. 동작을 추적하면 위치, 속도 및 가속도와 같은 동작에서 유용한 운동학을 파생시킬 수 있습니다. 이 프로토콜은 각 CNN 아키텍처의 설치를 설명하고, 학습 데이터 세트를 만드는 방법, 네트워크 교육 방법, 학습된 네트워크에서 새 비디오를 처리하는 방법, 새 비디오의 네트워크에서 데이터를 추출하는 방법 및 출력 데이터를 사후 처리하여 추가 분석에 유용하게 사용할 수 있습니다.

<table><tbody><tr><td>CUDA v8.0.61</td><td>NVIDIA</td><td>해당 없음</td><td>GPU 소프트웨어</td></tr><tr><td>MATLAB R2016b</td><td>Mathworks</td><td>해당 없음</td><td>Matlab</td></tr><tr><td>Python 2.7</td><td>Python</td><td>해당</td><td>없음 Python 버전</td></tr><tr><td>Quadro P6000</td><td>NVIDIA</td><td>해당 없음</td><td>GPU 프로세서</td></tr><tr><td>Ubuntu v16.04</td><td>Ubuntu</td><td>해당 없음</td><td>운영 체제</td></tr></tbody></table>

자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

행동을 이해하는 것은 그것을 구동하는 두뇌에 있는 신경 기계장치를 진정으로 이해하는 첫번째 단계입니다. 전통적인 행동 분석 방법은 종종 자연 행동에 내재된 풍부함을 포착하지 못합니다. 여기에서는 최근 방법론인 DeepBehavior의 시각화와 함께 자세한 단계별 지침을 제공합니다. DeepBehavior 도구 상자는 컨볼루션 신경망으로 구축된 딥 러닝 프레임워크를 사용하여 행동 비디오를 신속하게 처리하고 분석합니다. 이 프로토콜은 단일 개체 감지, 다중 개체 감지 및 3차원(3D) 인간 조인트 포즈 추적을 위한 세 가지 다른 프레임워크를 보여 줍니다. 이러한 프레임워크는 동작 비디오의 각 프레임에 대해 관심 있는 개체의 카르테시안 좌표를 반환합니다. DeepBehavior 도구 상자에서 수집된 데이터는 기존의 동작 분석 방법보다 훨씬 더 자세한 정보를 포함하고 동작 역학에 대한 자세한 통찰력을 제공합니다. DeepBehavior는 강력하고 자동화된 정확한 방식으로 동작 작업을 정량화합니다. 행동 식별 에 따라 행동 비디오에서 정보 및 시각화를 추출하기 위해 후처리 코드가 제공됩니다.

프로토콜을 따르는 경우 각 네트워크 아키텍처에 대한 데이터는 다음과 유사해야 합니다. TensorBox의 경우 관심 있는 개체 주위에 경계 상자를 출력합니다. 이 예에서는 음식 펠릿이 작업에 도달하는 비디오를 사용하고 올바른 발에 레이블을 지정하여 움직임을 추적했습니다. 그림 1에서볼 수 있듯이 오른쪽 발은 전면 뷰 와 측면 뷰 카메라 모두에서 서로 다른 위치에서 감지할 수 있습니다. 카메라 캘리브레이션을 통한 후처리 후, 도달 범위의 3D 궤적을 얻을 수있다(그림 1B).
Yolov3에서 여러 개체가 있기 때문에 출력은 여러 경계 상자입니다. 그림 2B에서</...

이 프로토콜의 목적은 미리 구축된 컨볼루션 신경망을 활용하여 동작 추적을 자동화하고 상세한 동작 분석을 수행하는 것입니다. 동작 추적은 모든 비디오 데이터 또는 이미지 시퀀스에 적용할 수 있으며 사용자 정의 개체를 추적하는 데 일반적으로 사용할 수 있습니다.

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

상세한 행동 분석을 수행하는 것은 뇌 행동 관계를 이해하는 데 중요합니다. 동작을 평가하는 가장 좋은 방법 중 하나는 신중한 관찰을 통해서입니다. 그러나 관찰된 동작을 정량화하는 것은 시간이 많이 걸리고 어렵습니다.고전적인 행동 분석 방법은 쉽게 정량화할 수 없으며 본질적으로 주관적입니다. 최근 머신 러닝 및 인공 지능 분야의 한 분야인 딥 러닝(Deep Learning)의 개발은 이미지와 비디오를 자동화하고 객관적으로 정량화할 수 있는 기회를 제공합니다. 여기에서 우리는 설치류와 인간에서 상세한 행동 분석을 수행하기 위하여 심층 신경망을 이용한 최근에 개발된 방법을 제시합니다.이 기술의 주요 장점은 행동 분석을 위한 모든 이미징 데이터에 대한 유연성과 적용성입니다. DeepBehavior 도구 상자는 단일 개체 식별, 다중 개체 감지 및 인적 포즈 추적을 지원합니다. 또한 보다 심층적인 운동 분석 방법을 위해 MATLAB의 사후 처리 코드를 제공합니다.텐서 박스를 설정하여 시작합니다. 환경을 활성화한 다음 GitHub를 사용하여 텐서 박스를 복제하고 기계및 추가 종속성에 설치합니다. 다음으로, 레이블 지정 그래픽 사용자 인터페이스를 시작하고 동작 프레임의 광범위한 분포에서 적어도 600개의 이미지에 레이블을 지정합니다.이미지에 레이블을 지정하려면 관심 있는 개체의 왼쪽 위 모서리를 클릭한 다음 오른쪽 아래 모서리를 클릭합니다. 그런 다음 경계 상자가 전체 개체를 캡처하는지 확인합니다. 다음 프레임으로 이동하려면 다음 프레임을 클릭합니다.학습 이미지를 네트워크 하이퍼 매개 변수 파일에 연결하려면 overfeat_rezoom 엽니다. 텍스트 편집기의 json을 train_idl 아래의 파일 경로를 labels.json으로 바꿉다. 그런 다음 테스트 idl에서 동일한 파일 경로를 추가하고 변경 내용을 저장합니다.600, 000 반복에 대한 교육을 시작하고 출력 폴더에서 컨볼루션 신경망의 학습된 가중치를 생성하는 교육 스크립트를 시작합니다. 그런 다음 새 이미지에 대한 예측을 수행하고 네트워크의 출력을 레이블이 지정된 이미지및 경계 상자 좌표로 봅니다. YOLOv3을 설치합니다.그런 다음 Yolo_mark 데이터-obga 폴더에 이미지를 배치하고 그래픽 사용자 인터페이스에 하나씩 레이블을 지정하여 교육 데이터에 Yolo_mark 레이블을 지정합니다. 약 200개의 이미지에 레이블을 지정합니다. 다음으로 구성 파일을 설정합니다.구성 파일을 수정하려면 YOLO-obj를 엽니다. cfg 폴더. 일괄 처리, 세분화 및 클래스 줄을 수정합니다.그런 다음 YOLO 레이어 앞에 각 컨볼루션 레이어에 대한 필터를 변경합니다. 네트워크 가중치를 다운로드하여 다크넷 빌드에 배치합니다. x64 폴더.교육 알고리즘을 실행하고 완료되면 반복을 볼 수 있습니다. 인간 피사체에서 여러 신체 부위를 추적하려면 OpenPose를 설치한 다음 원하는 비디오를 처리하는 데 사용합니다. DeepBehavior 도구 상자의 기능은 작업에 도달하는 음식 펠릿을 수행하는 쥐의 비디오에서 입증되었습니다.오른쪽 발이 레이블이 지정되고 앞면뷰 카메라로 움직임을 추적했습니다. 카메라 보정을 통해 후 처리 후, 도달 범위의 3D 궤적을 획득하였다. YOLOv3의 출력은 여러 개체를 추적할 수 있기 때문에 여러 경계 상자입니다.경계 상자는 신체의 일부가 될 수있는 관심있는 개체 주위에 있습니다. OpenPose에서 네트워크는 조인트 위치를 감지하고 카메라 교정을 사용하여 후처리 후 피사체의 3D 모델이 만들어졌습니다. 이 프로토콜에서 다루지 않는 한 가지 중요한 단계는 기기에 시작 전에 적절한 Python 버전과 종속성뿐만 아니라 GPU구성 장치를 가지고 있는지 확인하는 것입니다.네트워크로부터 트랙 동작을 성공적으로 얻은 후 동작의 운동학 및 패턴을 추가로 분석하기 위해 추가 사후 처리를 수행할 수 있습니다. DeepBehavior 도구 상자가 설치류와 인간 과목의 질병 모델에서 진단 접근에 적용되는 이유는 직접적인 치료 혜택이 아닙니다. 진단 또는 예후 도구로 이러한 기술을 사용하는 것은 우리의 실험실 내에서 활성 연구를 받고있다.이 기술은 설치류에서 숙련 된 모터 행동의 신경 메커니즘을 조사 뿐만 아니라 신경 질환 환자에서 모터 복구를 평가 하는 임상 연구에 사용 되 고 사용 되 고.

a-step-step-implementation-deepbehavior-deep-learning-toolbox-for

Research

연구

JoVE Journal

Behavior

행동

깊은 뇌 자극 수술은 깨어있는 인간의 두뇌에 정보를 인코딩을 검사하는 독특한 기회를 제공합니다. 이 문서는 동시에 같은 EMG, 단일 유닛의 연결 활동 및 / 또는 지역 필드 잠재력으로 생리 데이터를 수집하면서인지 및 행동 작업을 수행하는 데 사용되는 내부 수술 방법을 설명합니다.

딥 뇌 자극 수술을받은 깨어 인간 내부 수술 행동 작업

우리 연구실은 7 일 된 제브라 피쉬의 애벌레의 여러 가지 행동의 검출에 유용 소설 높은 처리량 자동화 이미징 시스템을 개발했다. 이 시스템은 유충이 환경 독성 물질이나 약품에 노출 된 후 행동의 미묘한 변화를 감지하는 데 사용할 수 있습니다.

Zebrafish의 유충에 자동으로 높은 처리량 행동 분석

신경 정신 장애의 병인에 있는 최근에 발견된 질병 관련 유전자의 역할은 모호하게 남아 있습니다. 자궁 전기 기화 기법에서 수정된 양자간은 뉴런의 큰 인구에서 유전자 전송을 허용하고 사회적 행동에 대한 유전자 발현 변화의 원인 효과의 검사를 허용한다.

자궁 전자기화에서 양자 간을 사용하여 설치류 행동에 대한 유전적 영향을 심문하는 파이프라인

이 프로토콜은 작고 다재다능한 비디오 카메라를 구축하는 방법과 작동 컨디셔닝 챔버 내부의 동물의 위치를 추적하는 신경망을 훈련하기 위해 비디오에서 얻은 비디오를 사용하는 방법에 대해 설명합니다. 이는 작동 컨디셔닝 테스트에서 얻은 데이터 로그의 표준 분석을 보완하는 데 유용합니다.

다재다능한 수제 비디오 카메라와 DeepLabCut을 사용하여 오페라 컨디셔닝 챔버에서 쥐 추적

우리는 두 가지 등반 섬유 의존적 연관 학습 작업 중에 동물의 행동을 추적하는 단일 플랫폼을 개발했습니다. 저비용 설계는 섬유 관련 소뇌 활동을 등반하기위한 광유전학 또는 이미징 실험과 통합 할 수 있습니다.

소뇌 의존적 감각 연관 학습을 모니터링하기 위한 유연한 플랫폼

본 프로토콜은 Arduino 및 관련 하드웨어를 사용하여 설치류 동물 모델을위한 오픈 소스 5 선택 직렬 반응 시간 작업 도구 상자와 자동화 된 행동 훈련을위한 선택적 스크립트를 포함한 다목적 Matlab 도구 상자의 개발을 설명합니다. 스크립트는 사용자 정의 할 수 있으며 다양한 시험 및 테스트 설계의 구현을 용이하게합니다.

설치류의 자동 행동 훈련을위한 오픈 소스, 완전히 사용자 정의 가능한 5 선택 직렬 반응 시간 작업 도구 상자

이 프로토콜은 신경 생리학적 측정에 대한 시간 잠금과 호환되는 방식으로 시간이 지남에 따라 설치류의 자동화된 눈 사시를 추적하는 방법을 제공합니다. 이 프로토콜은 편두통과 같은 통증 장애의 메커니즘을 연구하는 연구자들에게 유용할 것으로 기대됩니다.

마우스 통증 연구에서 시간 동기화 행동 및 뇌 역학을 위한 자동화된 곁눈질 방법

이 프로토콜은 마우스에서 펜틸레네테라졸 유발 발작과 관련된 행동을 분석하고 시각화하기 위한 혁신적인 방법을 도입합니다. 이 접근 방식은 전통적인 Racine의 점수를 넘어 ictal 행동의 다양성과 시간적 역학에 대한 보다 포괄적인 평가를 제공합니다.

펜틸레네테트라졸 유발 발작의 행동 특성화: 라신 척도를 넘어서기

이 프로토콜은 자연주의적 맥락에서 뇌 코딩을 이해하기 위한 고급 전산 신경행동학적 방법을 기반으로 하는 통합 프레임워크를 제공합니다.

신경행동학적 임베딩에서 자연 행동 해독

우리는 DeepLabCut을 사용하여 자유롭게 움직이는 쥐의 자발적인 보행과 이동을 정량화하는 저비용 마커 없는 워크플로우를 제시합니다. 이 프로토콜은 단일 카메라 비디오 획득, 해부학적 랜드마크의 무마커 추적, 시공간적 운동 매개변수 추출을 통합하여 전문 장비 없이도 비침습적이고 접근 가능한 운동 행동 분석 프레임워크를 제공합니다.

자유롭게 움직이는 쥐의 자발적 보행 및 이동 분석을 위한 저비용 마커리스 DeepLabCut 기반 워크플로우

학습하세요 딥러닝 기반 자동 행동 분석 방법을 사용하여 영상 데이터에서 객체를 추적하고 정량화합니다. 이 기술은 신경과학 연구에서 주관성을 줄이고 효율성을 높입니다.

자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현

더 많은 동영상 탐색