Method Article

자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현

DOI:

10.3791/60763

⸱

February 6th, 2020

 , 
1Department of Neurology, David Geffen School of Medicine, University of California, Los Angeles

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 프로토콜의 목적은 미리 구축된 컨볼루션 신경망을 활용하여 동작 추적을 자동화하고 상세한 동작 분석을 수행하는 것입니다. 동작 추적은 모든 비디오 데이터 또는 이미지 시퀀스에 적용할 수 있으며 사용자 정의 개체를 추적하는 데 일반적으로 사용할 수 있습니다.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

행동을 이해하는 것은 그것을 구동하는 두뇌에 있는 신경 기계장치를 진정으로 이해하는 첫번째 단계입니다. 전통적인 행동 분석 방법은 종종 자연 행동에 내재된 풍부함을 포착하지 못합니다. 여기에서는 최근 방법론인 DeepBehavior의 시각화와 함께 자세한 단계별 지침을 제공합니다. DeepBehavior 도구 상자는 컨볼루션 신경망으로 구축된 딥 러닝 프레임워크를 사용하여 행동 비디오를 신속하게 처리하고 분석합니다. 이 프로토콜은 단일 개체 감지, 다중 개체 감지 및 3차원(3D) 인간 조인트 포즈 추적을 위한 세 가지 다른 프레임워크를 보여 줍니다. 이러한 프레임워크는 동작 비디오의 각 프레임에 대해 관심 있는 개체의 카르테시안 좌표를 반환합니다. DeepBehavior 도구 상자에서 수집된 데이터는 기존의 동작 분석 방법보다 훨씬 더 자세한 정보를 포함하고 동작 역학에 대한 자세한 통찰력을 제공합니다. DeepBehavior는 강력하고 자동화된 정확한 방식으로 동작 작업을 정량화합니다. 행동 식별 에 따라 행동 비디오에서 정보 및 시각화를 추출하기 위해 후처리 코드가 제공됩니다.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

행동에 대한 자세한 분석은 뇌와 행동 관계를 이해하는 열쇠입니다. 높은 시간적 분해능으로 뉴런 집단을 기록하고 조작하기 위한 방법론의 많은 흥미로운 발전이 있었지만, 행동 분석 방법은 동일한 속도로 개발되지 않았으며 간접 측정 및 환원접근법1에국한되어 있다. 최근에는 자동화된 상세한 행동 분석2,3,4,5를수행하기 위해 딥 러닝 기반 방법이 개발되었습니다. 이 프로토콜은 DeepBehavior 도구 상자에 대한 단계별 구현 가이드를 제공합니다.

기존의 행동 분석 방법에는 여러 평가자가 데이터를 수동으로 레이블을 지정하는 것이 포함되는 경우가 많으며, 이로 인해 실험자가동작을정의하는 방식이 6. 데이터를 수동으로 레이블을 지정하려면 수집된 데이터 양에 불균형적으로 증가하는 시간과 리소스가 필요합니다. 또한 수동으로 레이블이 지정된 데이터는 동작 결과를 범주형 측정으로 줄여 행동의 풍요로움을 포착하지 않으며 주관적입니다. 따라서, 현재....

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. GPU 및 파이썬 설정

  1. GPU 소프트웨어
    컴퓨터가 딥 러닝 응용 프로그램을 처음 설정할 때 GPU에 적합한 소프트웨어와 드라이버를 설치해야 하며, GPU의 각 웹 사이트에서 찾을 수 있습니다. (이 스터디에 사용된 재료의 표 참조).
  2. 파이썬 2.7 설치
    컴퓨터에서 명령줄 프롬프트를 엽니다.
    명령줄 : sudo apt-get 설치 파이썬 - 파이썬 - 파이썬 - 데브 파이썬 - 버추얼

2. 텐서박스

  1. 텐서박스 설정
    1. 텐서박스용 가상 환경 만들기
      명령줄: cd ~
      명령줄: 버추얼엔프 --시스템-사이트 패키지 ~/텐서플로우
      참고: '~/텐서플로우'는 환경의 이름이며 임의
    2. 환경 활성화
      명령줄: 소스 ~ /텐서 플로우 / 빈 / 활성화
  2. 텐서박스 설치
    GitHub를 사용하여

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

프로토콜을 따르는 경우 각 네트워크 아키텍처에 대한 데이터는 다음과 유사해야 합니다. TensorBox의 경우 관심 있는 개체 주위에 경계 상자를 출력합니다. 이 예에서는 음식 펠릿이 작업에 도달하는 비디오를 사용하고 올바른 발에 레이블을 지정하여 움직임을 추적했습니다. 그림 1에서볼 수 있듯이 오른쪽 발은 전면 뷰 와 측면 뷰 카메라 모두에서 서로 다른 위치에서 감지할 수 있습니다. 카메라 캘리브레이션을 통한 후처리 후, 도달 범위의 3D 궤적을 얻을 수있다(그림 1B).

Yolov3에서 여러 개체가 있기 때문에 출력은 여러 경계 상자입니다. 그림 2B에서

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

여기서는 최근 개발된 동물 및 인간 행동 영상 데이터 분석용 딥러닝 기반 툴박스인 DeepBehavior의 구현을 위한 단계별 가이드를 제공합니다2. 각 네트워크 아키텍처에 대한 프레임워크 설치에 대한 각 단계에 대한 자세한 설명을 제공하고 이러한 프레임워크를 실행할 수 있도록 오픈 소스 요구 사항을 설치하기 위한 링크를 제공합니다. 이를 설치하는 방법, 교육 데이터를 만드는 방법, 네트워크 학습 방법 및 학습된 네트워크에서 새 비디오 파일을 처리하는 방법을 보여 줍니다. 또한 추가 분석에 필요한 기본 정보를 추출하기 위해 후처리 코드를 제공합니다.

단일 개체 검색을 위해 TensorBox를 사용하는 것이 좋습니다. 한 번에 여러 개체를 추적하는 것이 목표인 경우 YOLOv3를 사용하는 것이 좋습니다. 마지막으로, 인간의 운동학 데이터를 얻으려면 OpenPose를 사용하는 것이 좋습니다. 이 프로토콜에서는 딥 러닝 방법을 통해 수십만 개.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 공개 할 것이 없다.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

우리는 원래 종이2에사용되는 두 마우스 사회적 상호 작용 테스트에 대한 원시 데이터를 제공 핑핑 자오와 페이만 골샤니 에게 감사드립니다 . 이 연구는 NIH NS109315 및 엔비디아 GPU 보조금 (AA)에 의해 지원 되었다.

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
CUDA v8.0.61NVIDIA해당 없음GPU 소프트웨어
MATLAB R2016bMathworks해당 없음Matlab
Python 2.7Python해당없음 Python 버전
Quadro P6000NVIDIA해당 없음GPU 프로세서
Ubuntu v16.04Ubuntu해당 없음운영 체제

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
  2. Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavio....

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

DeepBehavior ToolboxDeep Learning ToolboxConvolutional Neural NetworksSingle Object DetectionMultiple Object DetectionHuman Pose TrackingTensor Box SetupYOLOv3 InstallationOpenPose ProcessingMATLAB Post Processing

Related Articles