Summary
이 프로토콜의 목적은 미리 구축된 컨볼루션 신경망을 활용하여 동작 추적을 자동화하고 상세한 동작 분석을 수행하는 것입니다. 동작 추적은 모든 비디오 데이터 또는 이미지 시퀀스에 적용할 수 있으며 사용자 정의 개체를 추적하는 데 일반적으로 사용할 수 있습니다.
Abstract
행동을 이해하는 것은 그것을 구동하는 두뇌에 있는 신경 기계장치를 진정으로 이해하는 첫번째 단계입니다. 전통적인 행동 분석 방법은 종종 자연 행동에 내재된 풍부함을 포착하지 못합니다. 여기에서는 최근 방법론인 DeepBehavior의 시각화와 함께 자세한 단계별 지침을 제공합니다. DeepBehavior 도구 상자는 컨볼루션 신경망으로 구축된 딥 러닝 프레임워크를 사용하여 행동 비디오를 신속하게 처리하고 분석합니다. 이 프로토콜은 단일 개체 감지, 다중 개체 감지 및 3차원(3D) 인간 조인트 포즈 추적을 위한 세 가지 다른 프레임워크를 보여 줍니다. 이러한 프레임워크는 동작 비디오의 각 프레임에 대해 관심 있는 개체의 카르테시안 좌표를 반환합니다. DeepBehavior 도구 상자에서 수집된 데이터는 기존의 동작 분석 방법보다 훨씬 더 자세한 정보를 포함하고 동작 역학에 대한 자세한 통찰력을 제공합니다. DeepBehavior는 강력하고 자동화된 정확한 방식으로 동작 작업을 정량화합니다. 행동 식별 에 따라 행동 비디오에서 정보 및 시각화를 추출하기 위해 후처리 코드가 제공됩니다.
Introduction
행동에 대한 자세한 분석은 뇌와 행동 관계를 이해하는 열쇠입니다. 높은 시간적 분해능으로 뉴런 집단을 기록하고 조작하기 위한 방법론의 많은 흥미로운 발전이 있었지만, 행동 분석 방법은 동일한 속도로 개발되지 않았으며 간접 측정 및 환원접근법1에국한되어 있다. 최근에는 자동화된 상세한 행동 분석2,3,4,5를수행하기 위해 딥 러닝 기반 방법이 개발되었습니다. 이 프로토콜은 DeepBehavior 도구 상자에 대한 단계별 구현 가이드를 제공합니다.
기존의 행동 분석 방법에는 여러 평가자가 데이터를 수동으로 레이블을 지정하는 것이 포함되는 경우가 많으며, 이로 인해 실험자가동작을정의하는 방식이 6. 데이터를 수동으로 레이블을 지정하려면 수집된 데이터 양에 불균형적으로 증가하는 시간과 리소스가 필요합니다. 또한 수동으로 레이블이 지정된 데이터는 동작 결과를 범주형 측정으로 줄여 행동의 풍요로움을 포착하지 않으며 주관적입니다. 따라서, 현재의 전통적인 방법은 자연적인 행동에서 세부 사항을 캡처하는 데 제한될 수 있다.
DeepBehavior 도구 상자는 행동 분석을 위한 딥 러닝을 사용하여 정밀하고 상세하며 매우 시간적이며 자동화된 솔루션을 제공합니다. 딥 러닝은 오픈 소스 도구와 패키지를 통해 모든 사용자가 빠르게 액세스할 수 있게 되었습니다. 컨볼루션 신경망(CNN)은 개체 인식 및 추적 작업7,8에서매우 효과적인 것으로 입증되었습니다. 현대의 CNN과 고성능 그래픽 처리 장치(GPU)를 사용하여 대형 이미지 및 비디오 데이터 세트를 고정밀7,9,10,11로신속하게 처리할 수 있습니다. DeepBehavior에는 세 가지 컨볼루션 신경망 아키텍처, 텐서박스, YOLOv3 및 OpenPose2가있습니다.
첫 번째 프레임워크인 Tensorbox는 개체 검색12를위해 다양한 CNN 아키텍처를 통합하는 다목적 프레임워크입니다. TensorBox는 이미지당 하나의 개체 클래스만 검색하는 데 가장 적합합니다. 결과 출력은 관심 있는 개체의 경계상자(그림 1)와경계 상자의 카르테시안 좌표입니다.
두 번째 CNN 프레임 워크는 YOLOv3, "당신은 한 번만 봐"13을의미 합니다. YOLOv3는 별도로 추적해야 하는 여러 개체가 있는 경우 유용합니다. 이 네트워크의 출력에는 연관된 객체 라벨 클래스가 있는 경계 상자뿐만 아니라 비디오 프레임내의 객체의 경계 상자 카르테시안 좌표가 포함된다(그림2).
이전 두 프레임 워크는 동물 과목에서 표준 실험실 실험에서 수집 된 일반화 된 행동 데이터에 유리합니다. 마지막 CNN 프레임 워크는 인간 관절 포즈 추정에 사용되는 OpenPose14,15,16입니다. OpenPose는 이미지에서 인체, 손, 얼굴 및 발 키 포인트를 감지합니다. 프레임워크의 출력은 인체 피사체의 이미지뿐만 아니라 신체의 모든 25개의 키 포인트와 각 손의 21개의 키 포인트의 좌표로 표시되어있습니다(그림 3).
최근에 개발된 오픈 소스 DeepBehavior 도구 상자의 구현을 위한 이 상세한 단계별 가이드는 최첨단 컨볼루션 신경망을 사용하여 동물 행동(예: 발의 움직임) 또는 인간의 행동(예: 도달 작업)을 추적합니다. 동작을 추적하면 위치, 속도 및 가속도와 같은 동작에서 유용한 운동학을 파생시킬 수 있습니다. 이 프로토콜은 각 CNN 아키텍처의 설치를 설명하고, 학습 데이터 세트를 만드는 방법, 네트워크 교육 방법, 학습된 네트워크에서 새 비디오를 처리하는 방법, 새 비디오의 네트워크에서 데이터를 추출하는 방법 및 출력 데이터를 사후 처리하여 추가 분석에 유용하게 사용할 수 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. GPU 및 파이썬 설정
-
GPU 소프트웨어
컴퓨터가 딥 러닝 응용 프로그램을 처음 설정할 때 GPU에 적합한 소프트웨어와 드라이버를 설치해야 하며, GPU의 각 웹 사이트에서 찾을 수 있습니다. (이 스터디에 사용된 재료의 표 참조). -
파이썬 2.7 설치
컴퓨터에서 명령줄 프롬프트를 엽니다.
명령줄 : sudo apt-get 설치 파이썬 - 파이썬 - 파이썬 - 데브 파이썬 - 버추얼
2. 텐서박스
-
텐서박스 설정
-
텐서박스용 가상 환경 만들기
명령줄: cd ~
명령줄: 버추얼엔프 --시스템-사이트 패키지 ~/텐서플로우
참고: '~/텐서플로우'는 환경의 이름이며 임의 -
환경 활성화
명령줄: 소스 ~ /텐서 플로우 / 빈 / 활성화
-
텐서박스용 가상 환경 만들기
-
텐서박스 설치
GitHub를 사용하여 http://github.com/aarac/TensorBox 텐서박스를 복제하고 컴퓨터에 설치하고 추가 종속성을 설치합니다.
명령줄: cd ~
명령줄: git 클론 http://github.com/aarac/TensorBox
명령줄: CD 텐서박스
명령줄: 핍 설치 -r 요구 사항.txt -
레이블 데이터
-
동작 이미지 폴더 만들기
ffmpeg와 같은 오픈 소스 도구는 비디오를 개별 프레임으로 변환하는 데 유용합니다 교육용 동작 프레임의 광범위한 분포에서 최소 600개의 이미지에 레이블을 지정하는 것이 좋습니다. 이러한 이미지를 폴더에 넣습니다. -
그래픽 사용자 인터페이스에 레이블 지정 시작
명령줄: 파이썬 make_json.py&path to image folder> labels.json
이미지에 레이블을 지정하려면 관심 대상(예: 발)의 왼쪽 상단 모서리를 먼저 클릭한 다음 관심 대상의 오른쪽 하단모서리를 클릭합니다(그림4). 경계 상자가 관심 있는 전체 개체를 캡처하는지 검사합니다. '취소'를 눌러 동일한 이미지에 레이블을 다시 지정하거나 'next'를 눌러 다음 프레임으로 이동합니다.
-
동작 이미지 폴더 만들기
-
기차 텐서박스
-
학습 이미지를 네트워크 하이퍼매개 변수 파일에 연결
텐서박스 폴더 내에서 텍스트 편집기에서 다음 폴더를 엽니다.
/tensorBox/과대 광고/overfeat_rezoom.json. train_idl 라는 데이터에서 속성을 탐색 하 고 labels.json 파일 경로 ./data/세뇌/train_boxes.json에서 파일 경로를 대체 합니다. 변경 내용을 파일에 저장합니다. -
교육 스크립트 시작
명령줄 : CD ~ / 텐서 박스
명령줄: 파이썬 train.py -과대 광고/ overfeat_rezoom.json --gpu 0 --logdir 출력
그런 다음 네트워크에서 600,000회 반복에 대한 교육을 시작합니다. 출력 폴더에서 컨볼루션 신경망의 생성된 학습된 가중치가 생성됩니다.
-
학습 이미지를 네트워크 하이퍼매개 변수 파일에 연결
-
새 이미지 예측
이미지 레이블의 경우:
명령줄 : CD ~ / 텐서 박스
명령줄: 파이썬 label_images.py --폴더&path-이미지 폴더> --가중치 출력/overfeat_rezoom_&t;타임스탬프>/save.ckpt-600000 --과대 광고/과대 광고/overfeat_rezoom.json--gpu 0
경계 상자의 좌표를 얻으려면 다음을 수행합니다.
명령줄 : CD ~ / 텐서 박스
명령줄: 파이썬 predict_images_to_json.py--폴더 & 이미지 폴더에 대한 경로> --가중치
출력/overfeat_rezoom_&타임스탬프>/save.ckpt-600000 --과대 광고
/hypes/overfeat_rezoom.json --gpu 0 -
텐서박스용 MATLAB 후처리
모델에서 결과 JSON 좌표 파일을 사용하여 좌표의 운동학 및 시각화를 추출하기 위한 추가 MATLAB 코드가 제공되었습니다.
단일 식품 펠릿 도달 작업의 3D 운동 분석을 위해 "Process_files_3Dreaching_mouse.m" 스크립트를 실행합니다.
3. 욜로프3
-
YOLOv3 설치
명령줄: cd ~
커맨드 라인: git 클론 CD 다크넷
GPU 사용의 경우 'Makefile'을 열고 다음 줄을 변경합니다. CUDNN=1.
명령줄: -
Yolo_mark 사용하여 교육 데이터에 레이블 지정
명령줄: cd ~
명령줄 : git 복제 CD ~ / Yolo_Mark
명령줄: cmake .
명령줄:
학습 이미지를 ~/Yolo_mark/데이터/obj 폴더에 배치합니다.
명령줄: chmod +x./linux_mark.sh
명령줄: ./linux_mark.sh
그래픽 사용자 인터페이스에서 이미지에 하나씩 레이블을 지정합니다(그림5). 권장 되는 이미지의 양은 약 200입니다. -
훈련 욜로프3
-
설정 구성 파일
명령줄: cd ~/Yolo_mark
명령줄: scp -r ./데이터 ~/다크넷
명령줄: cd ~/다크넷/cfg
명령줄: cp yolov3.cfg yolo-obj.cfg -
구성 파일 수정
yolo-obj.cfg 폴더를 열고 다음 줄을 수정합니다: batch=64, 세분화=8, 클래스=(감지할 클래스의#) 및 yolo 레이어가 필터=(클래스+5)x3를 변경하기 전에 각 컨볼루션 레이어에 대해. 이러한 변경 사항에 대한 자세한 내용은 https://github.com/aarac/darknet/blob/master/README.md -
네트워크 가중치 다운로드
https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0 네트워크 가중치 다운로드
다운로드한 가중치 파일을 ~/다크넷/빌드/다크넷/x64에 넣습니다. -
교육 알고리즘 실행
명령줄: cd ~/다크넷
명령줄: ./darknet 검출기 train data/obj.data cfg/yolo-obj.cfg darknet53.conv.74 -
YOLOv3 평가
설정된 반복 횟수(반복번호)에따라 교육이 완료되면 다음을 통해 볼 수 있습니다.
명령줄: ./darknet 검출기 테스트 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights &IMAGE>.jpg
-
설정 구성 파일
-
새 동영상 예측 및 좌표 받기
이 명령을 실행하여 새 비디오에서 레이블의 좌표를 가져올 수 있습니다.
명령줄: ./darknet 검출기 데모 데이터/obj.data cfg/yolo-obj.cfg 백업/yolo-obj_ITERATIONNUMBER.weights VIDEO.avi-ext_output&VIDEO.avi> FILENAME.txt -
YOLOv3 매트랩의 후처리
FILENAME.txt 파일을 MATLAB에 가져가서 두 마우스 소셜 상호 작용 테스트에 대한 "Process_socialtest_mini.m" 스크립트를 실행합니다. 그림 2의 결과 보기
4. 열린 포즈
OpenPose는 인간 피사체의 여러 신체 부위를 추적하는 데 이상적입니다. 설치 및 설치 프로세스는 이전 두 프레임워크와 매우 유사합니다. 그러나 네트워크가 이미 인적 데이터에 대해 학습되어 있기 때문에 교육 단계는 없습니다.
-
오픈포즈 설치
https://github.com/aarac/openpose 이동하여 설치 지침을 따릅니다. -
프로세스 비디오
./build/example/openpose/openpose/openpose.bin--videoVIDEONAME.avi--net_resolution "1312x736" --scale_number 4 --scale_gap 0.25 --hand_scale_number-6--hand_scale_range 0.4 --write_json JSONFOLDERNAME --write_video 결과비디오NAME.avi
여기서 --net_resolution,--scale_number, -scale_gap, -hand_scale_number 및 --hand_scale_range 핸들은 고정밀 검출이 필요하지 않은 경우 생략할 수 있습니다(이로 인해 처리 시간이 단축됩니다). -
오픈포즈 후처리
MATLAB 폴더에서 'process_files_human3D.m' 스크립트를 사용하여 카메라 1및 2의 json 파일과 교정 파일을 포함하는 적절한 폴더를 추가한 후 코드를 실행하십시오. 이렇게 하면 조인트의 모든 3D 포즈가 있는 "셀" 파일이 생성됩니다. 또한 3D 골격보기의 영화를 만들 것입니다. 카메라 교정의 경우 이 링크의 지침을 따르십시오http://www.vision.caltech.edu/bouguetj/calib_doc/
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
프로토콜을 따르는 경우 각 네트워크 아키텍처에 대한 데이터는 다음과 유사해야 합니다. TensorBox의 경우 관심 있는 개체 주위에 경계 상자를 출력합니다. 이 예에서는 음식 펠릿이 작업에 도달하는 비디오를 사용하고 올바른 발에 레이블을 지정하여 움직임을 추적했습니다. 그림 1에서볼 수 있듯이 오른쪽 발은 전면 뷰 와 측면 뷰 카메라 모두에서 서로 다른 위치에서 감지할 수 있습니다. 카메라 캘리브레이션을 통한 후처리 후, 도달 범위의 3D 궤적을 얻을 수있다(그림 1B).
Yolov3에서 여러 개체가 있기 때문에 출력은 여러 경계 상자입니다. 그림 2B에서볼 수 있듯이 관심 있는 개체 주위에 여러 경계 상자가 있습니다. 이들은 바디의 일부가 될 수 있습니다.
OpenPose에서 네트워크는 그림 3A에서볼 수 있는 관절 위치를 감지합니다. 카메라 보정을 통한 후처리 후 피사체의 3D 모델을 생성할 수있습니다(그림 3B).
결론적으로, 이러한 대표적인 결과는 DeepBehavior 도구 상자를 사용하여 캡처할 수 있는 동작의 풍부한 세부 사항을 보여 주며, 이에 대한 자세한 내용을 보여 주어야 합니다.
그림 1: 마우스에서 도달하는 작업 중에 비디오 프레임의 발에 보이는 TensorBox가 있는 바운딩 상자입니다. (아락 외 2019에서 적응). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
도 2: 두 마우스 사회적 상호 작용 테스트 동안 비디오 프레임에 대한 관심 영역에서 볼 수 있는 Yolov3를 가진 바운딩 박스(원시 이미지, B 분석 이미지). (아락 외 2019에서 적응). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: OpenPose를 사용하여 두 개의 카메라 뷰(A) 및 이 두 이미지(B)에서 생성된 3D 모델의 인간 포즈 감지. (아락 외 2019에서 적응). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 교육 데이터에 레이블을 지정하는 데 사용되는 TensorBox의 make_json GUI입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: yolov3에 허용되는 형식으로 이미지에 레이블을 지정하는 Yolo_Mark GUI입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
여기서는 최근 개발된 동물 및 인간 행동 영상 데이터 분석용 딥러닝 기반 툴박스인 DeepBehavior의 구현을 위한 단계별 가이드를 제공합니다2. 각 네트워크 아키텍처에 대한 프레임워크 설치에 대한 각 단계에 대한 자세한 설명을 제공하고 이러한 프레임워크를 실행할 수 있도록 오픈 소스 요구 사항을 설치하기 위한 링크를 제공합니다. 이를 설치하는 방법, 교육 데이터를 만드는 방법, 네트워크 학습 방법 및 학습된 네트워크에서 새 비디오 파일을 처리하는 방법을 보여 줍니다. 또한 추가 분석에 필요한 기본 정보를 추출하기 위해 후처리 코드를 제공합니다.
단일 개체 검색을 위해 TensorBox를 사용하는 것이 좋습니다. 한 번에 여러 개체를 추적하는 것이 목표인 경우 YOLOv3를 사용하는 것이 좋습니다. 마지막으로, 인간의 운동학 데이터를 얻으려면 OpenPose를 사용하는 것이 좋습니다. 이 프로토콜에서는 딥 러닝 방법을 통해 수십만 개의 프레임을 처리하는 동시에 높은 수준의 정밀도로 개체를 추적할 수 있음을 보여 주어 있습니다. 제공된 후처리 코드를 사용하여 관심 있는 추적된 동작을 분석하는 의미 있는 방법을 도출할 수 있습니다. 이렇게 하면 동작을 보다 자세게 캡처할 수 있습니다. 또한 다양한 유형의 행동 작업에 일반화할 수 있는 자동화되고 강력한 동작 정의 방법을 제공합니다.
인터넷에서 다운로드 한 새로운 가상 환경이나 코드로 시작할 때 'ModuleNotFoundError'를 얻는 것이 매우 일반적입니다. 이 경우 터미널을 열고 소스 환경을 활성화하고 'pip 설치 & 모듈 이름>'를 입력합니다. 문제가 지속되면 파이썬 버전과 다른 종속성 패키지를 확인해야합니다.
이 기술의 한계에는 오픈 소스 코드와 호환되는 GPU 처리 장치를 올바르게 설정하는 기술적 문제 해결이 포함됩니다. Linux 환경 내에서 과거의 프로그래밍 환경을 통해 컴퓨터 의 하드웨어와 호환되는 필요한 프로젝트 종속성 및 환경을 적절하게 설정하는 것이 좋습니다.
우리는 리눅스 환경에서 DeepBehavior 도구 상자 설치 및 처리를 보여, 그러나,이 도구 상자는 github에 각각의 설치 가이드에 따라 GPU와 윈도우와 맥 컴퓨터에서 실행할 수 있습니다.
데이터 분석을 이미징하기 위해 딥 러닝 방법을 사용하는 것은 동작 분석을 자동화하는 매우 효율적인 방법입니다. 기존의 동작 분석 방법과 비교하여 DeepBehavior는 훨씬 더 많은 정보를 캡처하여 보다 정확하고 시간적으로 상세한 방식으로 동작을 정량화, 자동화 및 평가합니다. 딥 러닝 분야의 발전과 함께 행동 분석에서 이 기술의 활용도와 사용 범위가 계속 향상될 것입니다. DeepBehavior의 응용 프로그램은 모든 행동 이미지에 관심있는 개체를 식별하기 위해 입증 된 도달 작업을 넘어 확장 할 수 있습니다. 이 프로토콜에서는 동작 분석을 위해 세 개의 신경망을 구현하는 자세한 지침을 제공합니다. 이러한 종류의 자동화되고 편견없는 행동 분석 방법을 통해 신경 과학 분야는 더 자세한 행동 분석을 수행 할 수 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
우리는 원래 종이2에사용되는 두 마우스 사회적 상호 작용 테스트에 대한 원시 데이터를 제공 핑핑 자오와 페이만 골샤니 에게 감사드립니다 . 이 연구는 NIH NS109315 및 엔비디아 GPU 보조금 (AA)에 의해 지원 되었다.
Materials
| Name | Company | Catalog Number | Comments |
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , eprint (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , eprint (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , eprint (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , eprint (2016).
