자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현

상세한 행동 분석을 수행하는 것은 뇌 행동 관계를 이해하는 데 중요합니다. 동작을 평가하는 가장 좋은 방법 중 하나는 신중한 관찰을 통해서입니다. 그러나 관찰된 동작을 정량화하는 것은 시간이 많이 걸리고 어렵습니다.

고전적인 행동 분석 방법은 쉽게 정량화할 수 없으며 본질적으로 주관적입니다. 최근 머신 러닝 및 인공 지능 분야의 한 분야인 딥 러닝(Deep Learning)의 개발은 이미지와 비디오를 자동화하고 객관적으로 정량화할 수 있는 기회를 제공합니다. 여기에서 우리는 설치류와 인간에서 상세한 행동 분석을 수행하기 위하여 심층 신경망을 이용한 최근에 개발된 방법을 제시합니다.

이 기술의 주요 장점은 행동 분석을 위한 모든 이미징 데이터에 대한 유연성과 적용성입니다. DeepBehavior 도구 상자는 단일 개체 식별, 다중 개체 감지 및 인적 포즈 추적을 지원합니다. 또한 보다 심층적인 운동 분석 방법을 위해 MATLAB의 사후 처리 코드를 제공합니다.

텐서 박스를 설정하여 시작합니다. 환경을 활성화한 다음 GitHub를 사용하여 텐서 박스를 복제하고 기계및 추가 종속성에 설치합니다. 다음으로, 레이블 지정 그래픽 사용자 인터페이스를 시작하고 동작 프레임의 광범위한 분포에서 적어도 600개의 이미지에 레이블을 지정합니다.

이미지에 레이블을 지정하려면 관심 있는 개체의 왼쪽 위 모서리를 클릭한 다음 오른쪽 아래 모서리를 클릭합니다. 그런 다음 경계 상자가 전체 개체를 캡처하는지 확인합니다. 다음 프레임으로 이동하려면 다음 프레임을 클릭합니다.

학습 이미지를 네트워크 하이퍼 매개 변수 파일에 연결하려면 overfeat_rezoom 엽니다. 텍스트 편집기의 json을 train_idl 아래의 파일 경로를 labels.json으로 바꿉다. 그런 다음 테스트 idl에서 동일한 파일 경로를 추가하고 변경 내용을 저장합니다.

600, 000 반복에 대한 교육을 시작하고 출력 폴더에서 컨볼루션 신경망의 학습된 가중치를 생성하는 교육 스크립트를 시작합니다. 그런 다음 새 이미지에 대한 예측을 수행하고 네트워크의 출력을 레이블이 지정된 이미지및 경계 상자 좌표로 봅니다. YOLOv3을 설치합니다.

그런 다음 Yolo_mark 데이터-obga 폴더에 이미지를 배치하고 그래픽 사용자 인터페이스에 하나씩 레이블을 지정하여 교육 데이터에 Yolo_mark 레이블을 지정합니다. 약 200개의 이미지에 레이블을 지정합니다. 다음으로 구성 파일을 설정합니다.

구성 파일을 수정하려면 YOLO-obj를 엽니다. cfg 폴더. 일괄 처리, 세분화 및 클래스 줄을 수정합니다.

그런 다음 YOLO 레이어 앞에 각 컨볼루션 레이어에 대한 필터를 변경합니다. 네트워크 가중치를 다운로드하여 다크넷 빌드에 배치합니다. x64 폴더.

교육 알고리즘을 실행하고 완료되면 반복을 볼 수 있습니다. 인간 피사체에서 여러 신체 부위를 추적하려면 OpenPose를 설치한 다음 원하는 비디오를 처리하는 데 사용합니다. DeepBehavior 도구 상자의 기능은 작업에 도달하는 음식 펠릿을 수행하는 쥐의 비디오에서 입증되었습니다.

오른쪽 발이 레이블이 지정되고 앞면뷰 카메라로 움직임을 추적했습니다. 카메라 보정을 통해 후 처리 후, 도달 범위의 3D 궤적을 획득하였다. YOLOv3의 출력은 여러 개체를 추적할 수 있기 때문에 여러 경계 상자입니다.

경계 상자는 신체의 일부가 될 수있는 관심있는 개체 주위에 있습니다. OpenPose에서 네트워크는 조인트 위치를 감지하고 카메라 교정을 사용하여 후처리 후 피사체의 3D 모델이 만들어졌습니다. 이 프로토콜에서 다루지 않는 한 가지 중요한 단계는 기기에 시작 전에 적절한 Python 버전과 종속성뿐만 아니라 GPU구성 장치를 가지고 있는지 확인하는 것입니다.

네트워크로부터 트랙 동작을 성공적으로 얻은 후 동작의 운동학 및 패턴을 추가로 분석하기 위해 추가 사후 처리를 수행할 수 있습니다. DeepBehavior 도구 상자가 설치류와 인간 과목의 질병 모델에서 진단 접근에 적용되는 이유는 직접적인 치료 혜택이 아닙니다. 진단 또는 예후 도구로 이러한 기술을 사용하는 것은 우리의 실험실 내에서 활성 연구를 받고있다.

이 기술은 설치류에서 숙련 된 모터 행동의 신경 메커니즘을 조사 뿐만 아니라 신경 질환 환자에서 모터 복구를 평가 하는 임상 연구에 사용 되 고 사용 되 고.