Summary
Bu protokolün amacı, davranış izlemeyi otomatikleştirmek ve ayrıntılı davranış analizi yapmak için önceden oluşturulmuş kvolutional sinir ağları kullanmaktır. Davranış izleme herhangi bir video veri veya görüntü dizileri uygulanabilir ve herhangi bir kullanıcı tanımlı nesne izlemek için genelleştirilebilir.
Abstract
Davranışı anlamak, beyindeki onu yönlendiren sinirsel mekanizmaları gerçekten anlamanın ilk adımıdır. Geleneksel davranış analizi yöntemleri genellikle doğal davranış ait zenginliği yakalamak yok. Burada, son metodolojimiz DeepBehavior'in görselleştirmeleriyle birlikte adım adım ayrıntılı talimatlar salıyoruz. DeepBehavior araç kutusu, davranışsal videoları hızla işlemek ve analiz etmek için kıvrımlı sinir ağları yla oluşturulmuş derin öğrenme çerçeveleri kullanır. Bu protokol, tek nesne algılama, birden çok nesne algılama ve üç boyutlu (3D) insan eklem poz izleme için üç farklı çerçeveler gösterir. Bu çerçeveler, davranış videosunun her karesi için ilgi çekici nesnenin karesyen koordinatlarını döndürer. DeepBehavior araç kutusundan toplanan veriler, geleneksel davranış çözümleme yöntemlerinden çok daha fazla ayrıntı içerir ve davranış dinamikleri hakkında ayrıntılı bilgiler sağlar. DeepBehavior davranış görevlerini sağlam, otomatik ve kesin bir şekilde ölçer. Davranışın tanımlanmasından sonra, davranış videolarından bilgi ve görselleştirmeleri ayıklamak için işlem sonrası kod sağlanır.
Introduction
Davranış ayrıntılı bir analiz beyin ve davranış ilişkilerini anlamak için anahtardır. Yüksek zamansal çözünürlük ile nöronal popülasyonların kayıt ve manipüle için metodolojiler birçok heyecan verici gelişmeler olmuştur, ancak, davranış analizi yöntemleri aynı oranda gelişmiş değil ve dolaylı ölçümler ve indirgemecı yaklaşım ile sınırlıdır1. Son zamanlarda, derin öğrenme tabanlı yöntemler otomatik ve ayrıntılı davranış analizi2,3,4,5gerçekleştirmek için geliştirilmiştir. Bu protokol, DeepBehavior araç kutusu için adım adım uygulama kılavuzu sağlar.
Geleneksel davranış analizi yöntemleri genellikle birden çok değerlendirici tarafından verileri el ile etiketlemeyi içerir ve bu da deneycilerin bir davranışı nasıl tanımladığıkonusunda varyansa yol açar6. Verilerin manuel olarak etiketlanması, toplanan veri miktarıyla orantısız bir şekilde artan zaman ve kaynak gerektirir. Ayrıca, elle etiketlenmiş veriler, davranışın zenginliğini yakalamayan kategorik ölçümlere davranış sonuçlarını azaltır ve daha öznel olacaktır. Bu nedenle, mevcut geleneksel yöntemler doğal davranışlarda ayrıntıları yakalama sınırlı olabilir.
DeepBehavior araç kutusu, davranış analizi için derin öğrenmeyi kullanarak hassas, ayrıntılı, son derece zamansal ve otomatik bir çözüm sunar. Derin öğrenme, açık kaynak araç ve paketleri ile hızlı bir şekilde herkes tarafından erişilebilir hale gelmiştir. Konvolutional sinir ağları (CNNs) nesne tanıma ve izleme görevleri son derece etkili olduğu kanıtlanmıştır7,8. Günümüz CNN'leri ve yüksek performanslı grafik işleme birimleri (GPU) kullanılarak, büyük görüntü ve video veri setleri yüksek hassasiyetle hızlı bir şekilde işlenebilir7,9,10,11. DeepBehavior'de, tensorBox, YOLOv3 ve OpenPose2olmak üzere üç farklı kvolutional nöral ağ mimarisi vardır.
İlk çerçeve, Tensorbox, nesne algılama için birçok farklı CNN mimarileri içeren çok yönlü birçerçevedir 12. TensorBox, görüntü başına yalnızca bir nesne sınıfı algılamak için en uygun uyrdu. Elde edilen çıktılar, ilgi çekici nesnenin(Şekil 1)ve sınırlayıcı kutunun kartezyen koordinatlarını sınırlandırır.
İkinci CNN çerçevesi YOLOv3, "You Only Look Once"13anlamına gelir. YOLOv3, ayrı olarak izlenmesi gereken birden fazla ilgi çekici nesne olduğunda avantajlıdır. Bu ağın çıktısı, ilişkili nesne etiketi sınıfının yanı sıra video çerçevesindeki nesnenin sınırlayıcı kutusu kartezyen koordinatlarını içerir (Şekil 2).
Önceki iki çerçeve, hayvan deneklerinde standart laboratuvar deneylerinden toplanan genelleştirilmiş davranışsal veriler için avantajlıdır. Son CNN çerçeve OpenPoseolduğunu 14,15,16 hangi insan eklem poz tahmini için kullanılır. OpenPose görüntülerde insan vücudu, el, yüz ve ayak anahtar noktaları algılar. Çerçevenin çıktıları, insan öznesinin görüntüleri ve vücuttaki 25 kilit noktanın koordinatları ve her bir elin 21 kilit noktasının koordinatları olarak etiketlenmiştir(Şekil 3).
Yakın zamanda geliştirilen açık kaynaklı DeepBehavior araç kutumuzun uygulanması için bu ayrıntılı adım adım kılavuz, hayvan davranışlarını (örneğin pençenin hareketi) veya insan davranışını (örn. görevlere ulaşma) izlemek için son teknoloji kvolutional sinir ağları kullanır. Davranışı izleyerek, yararlı kinematik konum, hız ve ivme gibi davranışlardan türetilebilir. Protokol, her BIR CNN mimarisinin kurulumunu açıklar, eğitim veri kümelerinin nasıl oluşturulup oluşturulacak, ağların nasıl eğitilir, eğitilmiş ağda yeni videoların nasıl işlenir, yeni videolardaki ağdan nasıl veri çıkarılabildiğini ve nasıl çıkarılabildiğini gösterir. daha fazla analiz için yararlı hale getirmek için çıktı verilerini işleme sonrası.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. GPU ve Python Kurulumu
-
GPU Yazılımı
Bilgisayar derin öğrenme uygulamaları için ilk kurulum olduğunda, GPU'ya uygun yazılım ve sürücüler, GPU'nun ilgili web sitesinde bulunabilecek şekilde yüklenmelidir. (bu çalışmada kullanılanlar için Malzeme Tablosu'na bakınız). -
Python 2.7 Kurulumu
Makinenizde bir komut satırı istemi açın.
Komut satırı: sudo apt-get install python-pip python-dev python-virtualenv
2. TENSORBOX
-
Tensorbox Kurulumu
-
Tensorbox için Sanal Ortam Oluşturma
Komut satırı: cd ~
Komut satırı: virtualenv --sistem-site paketleri ~/tensorflow
NOT: '~/tensorflow' ortamın adıdır ve keyfi -
Ortamı etkinleştirme
Komut satırı: kaynak ~/tensorflow/bin/activate
-
Tensorbox için Sanal Ortam Oluşturma
-
Tensorbox Kurulumu
Http://github.com/aarac/TensorBox TensorBox'ı klonlamak ve makinemize yüklemek ve ek bağımlılıklar yüklemek için GitHub'ı kullanıyor olacağız.
Komut satırı: cd ~
Komut satırı: git klon http://github.com/aarac/TensorBox
Komut satırı: cd TensorBox
Komut satırı: pip install -r requirements.txt -
Etiket Verileri
-
Davranış görüntülerinin bir klasörünü oluşturma
ffmpeg gibi açık kaynak araçları, videoları tek tek çerçevelere dönüştürmeyi gerçekleştirmek için yararlıdır Eğitim için davranış çerçevelerinin geniş bir dağılımından en az 600 görüntüetiketlemenizi öneririz. Bu görüntüleri bir klasöre koyun. -
Başlatma etiketleme grafik kullanıcı arabirimi
Komut satırı: python make_json.pylabels.json
Bir resmi etiketlemek için, önce ilgi çekici nesnenin sol üst köşesini (yani pençe) tıklatın ve ardından ilgi çekici nesnenin sağ alt köşesini tıklatın (Şekil 4). Sınırlayıcı kutunun tüm ilgi çekici nesneyi yakaladığını kontrol edin. Aynı görüntüyü yeniden etiketlemek için 'geri ala' tuşuna basın veya bir sonraki çerçeveye geçmek için 'sonraki' tuşuna basın.
-
Davranış görüntülerinin bir klasörünü oluşturma
-
Tren TensorBox
-
Eğitim görüntülerini ağ hiperparametreleri dosyasına bağlama
Tensorbox klasöründe, bir metin düzenleyicisinde aşağıdaki klasörü açın:
/ TensorBox / hypes / overfeat_rezoom.json. train_idl adlı verilerin altındaki öznitelik gidin ve ./data/brainwash/train_boxes.json'dan labels.json filepath'e dosya yolunu değiştirin. Değişiklikleri dosyaya kaydedin. -
Eğitim komut dosyasına başlayın
Komut satırı: cd ~/TensorBox
Komut satırı: python train.py --hypes hypes/overfeat_rezoom.json --gpu 0 --logdir çıktı
Ağ daha sonra 600.000 yineleme için eğitimbaşlayacaktır. Çıkış klasöründe, kıvrımlı sinir ağının elde edilen eğitilmiş ağırlıkları oluşturulur.
-
Eğitim görüntülerini ağ hiperparametreleri dosyasına bağlama
-
Yeni Görüntüler hakkında tahminde
Görüntü etiketleme için:
Komut satırı: cd ~/TensorBox
Komut satırı: python label_images.py --folder--ağırlıklar çıktısı/overfeat_rezoom_ /save.ckpt-600000 --hypes /hypes/overfeat_rezoom.json --gpu 0
Sınırlayıcı kutuların koordinatlarını almak için:
Komut satırı: cd ~/TensorBox
Komut satırı: python predict_images_to_json.py --folder--ağırlıklar
çıktı/overfeat_rezoom_/save.ckpt-600000 --hypes
/hypes/overfeat_rezoom.json --gpu 0 -
TensorBox için MATLAB İşlem Sonrası İşlem
Modelden elde edilen JSON koordinat dosyasını kullanarak koordinatların kinematik ve görselleştirmelerini ayıklamak için ek MATLAB kodu sağlanmıştır
Tek gıda pelet görev ulaşan 3D kinematic analizi için "Process_files_3Dreaching_mouse.m" komut dosyası çalıştırın.
3. YOLOv3
-
YOLOv3'e yükle
Komut satırı: cd ~
Komut satırı: git klon cd darknet
GPU kullanımı için 'Makefile'yı açın ve aşağıdaki satırları değiştirin: GPU=1; CUDNN=1 olur.
Komut satırı: yapmak -
Eğitim Verilerini Yolo_mark Kullanarak Etiketleme
Komut satırı: cd ~
Komut satırı: git klon cd ~/Yolo_Mark
Komut satırı: cmake .
Komut satırı: yapmak
Eğitim görüntülerini ~/Yolo_mark/data/obj klasörüne yerleştirin
Komut satırı: chmod +x ./linux_mark.ş
Komut satırı: ./linux_mark.ş
Görselleri grafiksel kullanıcı arabiriminde tek tek etiketle (Şekil 5). Önerilen görüntü miktarı yaklaşık 200'dür. -
Eğitim YOLUOv3
-
Kurulum yapılandırma dosyası
Komut satırı: cd ~/Yolo_mark
Komut satırı: scp -r ./data ~/darknet
Komut satırı: cd ~/darknet/cfg
Komut satırı: cp yolov3.cfg yolo-obj.cfg -
Yapılandırma dosyasını değiştirme
Yolo-obj.cfg klasörünü açın ve aşağıdaki satırları değiştirin: batch=64, subdivision=8, classes=(# sınıf algılamak için) ve bir yolo katmanı filtreyi değiştirmeden önce her kıvrım katmanı için filtre=(sınıflar+5)x3. Bu değişikliklerle ilgili ayrıntıları https://github.com/aarac/darknet/blob/master/README.md -
Ağ ağırlıklarını indirin
Ağ ağırlıklarını https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0'dan indirin
İndirilen ağırlık dosyasını ~/darknet/build/darknet/x64 içine yerleştirin -
Eğitim algoritması çalıştırın
Komut satırı: cd ~/darknet
Komut satırı: ./darknet dedektör tren veri/obj.data cfg/yolo-obj.cfg darknet53.conv.74 -
YOLOv3 Değerlendirme
Eğitim, belirli sayıda yinelemeye(ITERATIONNUMBER)göre tamamlandıktan sonra, bunları
Komut satırı: ./darknet dedektörtest verileri/obj.data cfg/yolo-obj.cfg yedekleme/yolo-obj_ITERATIONNUMBER.ağırlıklarjpg
-
Kurulum yapılandırma dosyası
-
Yeni videolar hakkında tahminde olun ve koordinatları alın
Bu komut, yeni videodaki etiketlerin koordinatlarını elde etmek için çalıştırılabilir:
Komut satırı: ./darknet dedektörü demo data/obj.data cfg/yolo-obj.cfg backup/yolo-obj_ITERATIONNUMBER.weights Vİdeo.avi -ext_outputFILENAME.txt -
YOLOv3 MATLAB'da İşleme Sonrası
FILENAME.txt dosyasını MATLAB'a götürün ve iki fare sosyal etkileşim testi için "Process_socialtest_mini.m" komut dosyasını çalıştırın. Şekil 2'deki sonuçlara bakın
4. OpenPose
OpenPose bir insan denek birden fazla vücut parçaları izlemek için idealdir. Kurulum ve yükleme işlemleri önceki iki çerçeveye çok benzer. Ancak, ağ zaten insan verileri üzerinde eğitilmiş olduğu gibi hiçbir eğitim adımı yoktur.
-
OpenPose Kurulumu
https://github.com/aarac/openpose gidin ve yükleme yönergelerini izleyin. -
İşlem Videosu
./build/examples/openpose/openpose.bin --video VIDEONAME.avi --net_resolution "1312x736" --scale_number 4 --scale_gap 0,25 --el -hand_scale_number 6 --hand_scale_range 0,4 --write_json JSONFOLDERNAME --write_video SONUÇLANANVIDEONAME.avi
Burada ,net_resolution, --scale_number, --scale_gap, --hand_scale_number ve -hand_scale_range tutamaçları, yüksek hassasiyetli algılama gerekmese atlanabilir (bu işlem süresini kısaltabilir). -
OpenPose İşlem Sonrası
MATLAB klasöründe, lütfen 1 ve 2 kameralarından json dosyaları içeren uygun klasörü ve kalibrasyon dosyasını ekledikten sonra kodu çalıştırmak için 'process_files_human3D.m' komut dosyasını kullanın. Bu eklemlerin tüm 3D pozlar ile bir "hücre" dosyası oluşturur. Ayrıca 3D iskelet görünümü bir film yapacak. Kamera kalibrasyonu için lütfen aşağıdaki linkteki talimatları izleyin: http://www.vision.caltech.edu/bouguetj/calib_doc/
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Protokol izlendiğinde, her ağ mimarisiiçin veri aşağıdaki gibi olmalıdır. TensorBox için, ilgi nesnesinin etrafında bir sınırlayıcı kutu çıkar. Örneğimizde, bir gıda peletinin görev eline ulaşan videoları kullandık ve hareketlerini izlemek için doğru pençeleri etiketledik. Şekil 1'degörüldüğü gibi, sağ pati hem ön görünüm hem de yan görüş kameralarında farklı konumlarda tespit edilebilir. Kamera kalibrasyonu ile işlem sonrası işlemden sonra, erişimin 3Boyutlu yörüngeleri elde edilebilir (Şekil 1B).
Yolov3'te, birden çok nesne olduğu için, çıkış da birden çok sınırlayıcı kutudur. Şekil 2B'degörüldüğü gibi, ilgi çekici nesnelerin etrafında birden fazla sınırlayıcı kutu vardır. Bunlar vücudun parçaları olabilir.
OpenPose'de ağ, Şekil 3A'dagörüldüğü gibi eklem konumlarını algılar. Kamera kalibrasyonu ile işlem sonrası işlemden sonra, nesnenin 3Boyutlu bir modeli oluşturulabilir (Şekil 3B).
Sonuç olarak, bu temsili sonuçlar DeepBehavior araç kutusu kullanılarak yakalanabilir davranış zengin ayrıntıları vitrin.
Şekil 1: Farelerde ulaşan bir görev sırasında video çerçevelerinin pençelerinde görülen TensorBox ile kutuları bağlama. (Arac ve ark. 2019'dan uyarlanmıştır). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: Yolov3 ile sınırlayıcı kutular iki fare sosyal etkileşim testi sırasında video çerçeveleri ilgi bölgelerinde görülen (A ham görüntü, B analiz görüntü). (Arac ve ark. 2019'dan uyarlanmıştır). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Bu iki görüntüden (B) oluşturulan iki kamera görünümünde (A) ve 3D modelde OpenPose ile insan poz algılama. (Arac ve ark. 2019'dan uyarlanmıştır). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: TensorBox'ın make_json GUI'si eğitim verilerini etiketlemek için kullanılır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Gui Yolo_Mark Yolov3 için kabul edilebilir bir biçimde görüntüleri etiketlemek için. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Burada, deepbehavior, hayvan ve insan davranışı görüntüleme verianalizi2 için son zamanlarda geliştirilen derin öğrenme tabanlı araç kutusu uygulanması için bir adım-adım kılavuz sağlar. Her ağ mimarisi için çerçevelerin yüklenmesi için her adım için ayrıntılı açıklamalar sağlar ve bu çerçeveleri çalıştırabilmek için açık kaynak gereksinimlerinin yüklenmesi için bağlantılar sağlarız. Bunları nasıl yükleyebileceğimizi, eğitim verilerinin nasıl oluşturulacaklarını, ağın nasıl eğitilenlerini ve eğitimli ağdaki yeni video dosyalarının nasıl işlenirlerini gösteriyoruz. Ayrıca, daha fazla analiz için gerekli olan temel bilgileri ayıklamak için işleme sonrası kodu da salıyoruz.
Tek nesne algılama için TensorBox kullanmanızı öneririz. Amaç aynı anda birden çok nesneyi izlemekse, YOLOv3'ün kullanılmasını öneririz. Son olarak, insan kinematik veri elde etmek için OpenPose kullanmanızı öneririz. Bu protokolde, derin öğrenme yöntemlerinin yüz binlerce kareyi işleyebildiğini ve nesneleri yüksek hassasiyetle izleyebildiğini gösterdik. Sağlanan işlem sonrası kodu kullanarak, izlenen ilgi çekici davranışı çözümlemenin anlamlı yollarını elde edebiliriz. Bu, davranışı yakalamanın daha ayrıntılı bir yolunu sağlar. Ayrıca, birçok farklı davranışsal görev türü için genelleştirilebilir davranış tanımlamanın otomatik ve sağlam bir yolunu da sağlar.
Yeni bir sanal ortam veya internetten indirilen kod ile başlarken bir 'ModuleNotFoundError' almak için oldukça yaygındır. Bunun olması durumunda terminalinizi açın, kaynak ortamını etkinleştirin ve 'pip install
Bu teknikteki sınırlamalar, açık kaynak koduyla uyumlu GPU işleme birimlerini düzgün bir şekilde ayarlamak için teknik sorun giderme yi içerir. Bilgisayarın donanımı ile uyumlu gerekli proje bağımlılıklarını ve ortamları düzgün bir şekilde ayarlamak için linux ortamında geçmiş programlama deneyimine sahip olmak avantajlıdır.
DeepBehavior araç kutusu kurulumlarını ve linux ortamında işlenmesini gösteriyoruz, ancak bu araç kutusu, github'daki ilgili kurulum kılavuzlarını izleyerek GPU'lu bir Windows ve Mac makinelerinde de çalıştırılabilir.
Görüntüleme veri analizi için derin öğrenme yöntemleri ni kullanmak davranış analizini otomatikleştirmenin çok etkili bir yoludur. Geleneksel davranış çözümleme yöntemleriyle karşılaştırıldığında, DeepBehavior davranışı daha kesin ve zamansal olarak ayrıntılı bir şekilde ölçmek, otomatikleştirmek ve değerlendirmek için çok daha fazla bilgi yakalar. Derin öğrenme alanındaki gelişmelerle birlikte, bu teknolojinin davranış analizinde kullanımı ve kapsamı büyük olasılıkla gelişmeye devam edecektir. DeepBehavior uygulamaları, herhangi bir davranışsal görüntüdeki ilgi çekici nesneleri tanımlamak için gösterilen erişim görevlerinin ötesine genişletilebilir. Bu protokolde, davranış analizi için üç sinir ağı uygulamak için ayrıntılı talimatlar sağlarız. Bu tür otomatik ve tarafsız davranış analiz yöntemleri ile, umarım, nörolojik alan daha ayrıntılı davranış analizi yapmak mümkün olacak.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Biz pingping Zhao ve Peyman Golshani iki fare sosyal etkileşim testleri orijinal kağıt2kullanılan ham veri sağlamak için teşekkür etmek istiyorum. Bu çalışma NIH NS109315 ve NVIDIA GPU hibeleri (AA) tarafından desteklenmiştir.
Materials
| Name | Company | Catalog Number | Comments |
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , eprint (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , eprint (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , eprint (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , eprint (2016).
