Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu

8.9K görüntülenme

⸱

DOI:

10.3791/60763

⸱

6 Şubat 2020

 , 
1Department of Neurology, David Geffen School of Medicine, University of California, Los Angeles

Bu makalede

Özet

Bu protokolün amacı, davranış izlemeyi otomatikleştirmek ve ayrıntılı davranış analizi yapmak için önceden oluşturulmuş kvolutional sinir ağları kullanmaktır. Davranış izleme herhangi bir video veri veya görüntü dizileri uygulanabilir ve herhangi bir kullanıcı tanımlı nesne izlemek için genelleştirilebilir.

Özet

Davranışı anlamak, beyindeki onu yönlendiren sinirsel mekanizmaları gerçekten anlamanın ilk adımıdır. Geleneksel davranış analizi yöntemleri genellikle doğal davranış ait zenginliği yakalamak yok. Burada, son metodolojimiz DeepBehavior'in görselleştirmeleriyle birlikte adım adım ayrıntılı talimatlar salıyoruz. DeepBehavior araç kutusu, davranışsal videoları hızla işlemek ve analiz etmek için kıvrımlı sinir ağları yla oluşturulmuş derin öğrenme çerçeveleri kullanır. Bu protokol, tek nesne algılama, birden çok nesne algılama ve üç boyutlu (3D) insan eklem poz izleme için üç farklı çerçeveler gösterir. Bu çerçeveler, davranış videosunun her karesi için ilgi çekici nesnenin karesyen koordinatlarını döndürer. DeepBehavior araç kutusundan toplanan veriler, geleneksel davranış çözümleme yöntemlerinden çok daha fazla ayrıntı içerir ve davranış dinamikleri hakkında ayrıntılı bilgiler sağlar. DeepBehavior davranış görevlerini sağlam, otomatik ve kesin bir şekilde ölçer. Davranışın tanımlanmasından sonra, davranış videolarından bilgi ve görselleştirmeleri ayıklamak için işlem sonrası kod sağlanır.

Giriş

Davranış ayrıntılı bir analiz beyin ve davranış ilişkilerini anlamak için anahtardır. Yüksek zamansal çözünürlük ile nöronal popülasyonların kayıt ve manipüle için metodolojiler birçok heyecan verici gelişmeler olmuştur, ancak, davranış analizi yöntemleri aynı oranda gelişmiş değil ve dolaylı ölçümler ve indirgemecı yaklaşım ile sınırlıdır1. Son zamanlarda, derin öğrenme tabanlı yöntemler otomatik ve ayrıntılı davranış analizi2,3,4,5gerçekleştirmek için geliştirilmiştir. Bu protokol, DeepBehavior araç kutusu için adım adım uygulama kılavuzu sağlar.

Geleneksel davranış analizi yöntemleri genellikle birden çok değerlendirici tarafından verileri el ile etiketlemeyi içerir ve bu da deneycilerin bir davranışı nasıl tanımladığıkonusunda varyansa yol açar6. Verilerin manuel olarak etiketlanması, toplanan veri miktarıyla orantısız bir şekilde artan zaman ve kaynak gerektirir. Ayrıca, elle etiketlenmiş veriler, davranışın zenginliğini yakalamayan kategorik ölçümlere davranış sonuçlarını azaltır ve daha öznel olacaktır. Bu nedenle, mevcut geleneksel yöntemler doğal davranışlarda ayrıntıları yakalama sınırlı olabilir.

DeepBehavior araç kutusu, davranış analizi için derin öğrenmeyi kullanarak hassas, ayrıntılı, son derece zamansal ve otomatik bir çözüm sunar. Derin öğrenme, açık kaynak araç ve paketleri ile hızlı bir şekilde herkes tarafından erişilebilir hale gelmiştir. Konvolutional sinir ağları (CNNs) nesne tanıma ve izleme görevleri son derece etkili olduğu kanıtlanmıştır7,8. Günümüz CNN'leri ve yüksek performanslı grafik işleme birimleri (GPU) kullanılarak, büyük görüntü ve video veri setleri yüksek hassasiyetle hızlı bir şekilde işlenebilir7,9,10,11. DeepBehavior'de, tensorBox, YOLOv3 ve OpenPose2olmak üzere üç farklı kvolutional nöral ağ mimarisi vardır.

İlk çerçeve, Tensorbox, nesne algılama için birçok farklı CNN mimarileri içeren çok yönlü birçerçevedir 12. TensorBox, görüntü başına yalnızca bir nesne sınıfı algılamak için en uygun uyrdu. Elde edilen çıktılar, ilgi çekici nesnenin(Şekil 1)ve sınırlayıcı kutunun kartezyen koordinatlarını sınırlandırır.

İkinci CNN çerçevesi YOLOv3, "You Only Look Once"13anlamına gelir. YOLOv3, ayrı olarak izlenmesi gereken birden fazla ilgi çekici nesne olduğunda avantajlıdır. Bu ağın çıktısı, ilişkili nesne etiketi sınıfının yanı sıra video çerçevesindeki nesnenin sınırlayıcı kutusu kartezyen koordinatlarını içerir (Şekil 2).

Önceki iki çerçeve, hayvan deneklerinde standart laboratuvar deneylerinden toplanan genelleştirilmiş davranışsal veriler için avantajlıdır. Son CNN çerçeve OpenPoseolduğunu 14,15,16 hangi insan eklem poz tahmini için kullanılır. OpenPose görüntülerde insan vücudu, el, yüz ve ayak anahtar noktaları algılar. Çerçevenin çıktıları, insan öznesinin görüntüleri ve vücuttaki 25 kilit noktanın koordinatları ve her bir elin 21 kilit noktasının koordinatları olarak etiketlenmiştir(Şekil 3).

Yakın zamanda geliştirilen açık kaynaklı DeepBehavior araç kutumuzun uygulanması için bu ayrıntılı adım adım kılavuz, hayvan davranışlarını (örneğin pençenin hareketi) veya insan davranışını (örn. görevlere ulaşma) izlemek için son teknoloji kvolutional sinir ağları kullanır. Davranışı izleyerek, yararlı kinematik konum, hız ve ivme gibi davranışlardan türetilebilir. Protokol, her BIR CNN mimarisinin kurulumunu açıklar, eğitim veri kümelerinin nasıl oluşturulup oluşturulacak, ağların nasıl eğitilir, eğitilmiş ağda yeni videoların nasıl işlenir, yeni videolardaki ağdan nasıl veri çıkarılabildiğini ve nasıl çıkarılabildiğini gösterir. daha fazla analiz için yararlı hale getirmek için çıktı verilerini işleme sonrası.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

1. GPU ve Python Kurulumu

  1. GPU Yazılımı
    Bilgisayar derin öğrenme uygulamaları için ilk kurulum olduğunda, GPU'ya uygun yazılım ve sürücüler, GPU'nun ilgili web sitesinde bulunabilecek şekilde yüklenmelidir. (bu çalışmada kullanılanlar için Malzeme Tablosu'na bakınız).
  2. Python 2.7 Kurulumu
    Makinenizde bir komut satırı istemi açın.
    Komut satırı: sudo apt-get install python-pip python-dev python-virtualenv

2. TENSORBOX

  1. Tensorbox Kurulumu
    1. Tensorbox için Sanal Ortam Oluşturma
      Komut satırı: cd ~
      Komut satırı: virtualenv --sistem-site paketleri ~/tensorflow
      NOT: '~/tensorflow' ortamın adıdır ve keyfi
    2. Ortamı etkinleştirme
      Komut satırı: kaynak ~/tensorflow/bin/activate
  2. Tensorbox Kurulumu
    Http://github.com/aarac/TensorBox TensorBox'ı klonlamak ve makinemize yüklemek ve ek bağımlılıklar yüklemek için GitHub'ı kullanıyor olacağız.
    Komut satırı: cd ~
    Komut satırı: git klon http://github.com/aarac/TensorBox
    Komut satırı: cd TensorBox
    Komut satırı: pip install -r requirements.txt
  3. Etiket Verileri
    1. Davranış görüntülerinin bir klasörünü oluşturma
      ffmpeg gibi açık kaynak araçları, videoları tek tek çerçevelere dönüştürmeyi gerçekleştirmek için yararlıdır Eğitim için davranış çerçevelerinin geniş bir dağılımından en az 600 görüntüetiketlemenizi öneririz. Bu görüntüleri bir klasöre koyun.
    2. Başlatma etiketleme grafik kullanıcı arabirimi
      Komut satırı: python make_json.py labels.json
      Bir resmi etiketlemek için, önce ilgi çekici nesnenin sol üst köşesini (yani pençe) tıklatın ve ardından ilgi çekici nesnenin sağ alt köşesini tıklatın (Şekil 4). Sınırlayıcı kutunun tüm ilgi çekici nesneyi yakaladığını kontrol edin. Aynı görüntüyü yeniden etiketlemek için 'geri ala' tuşuna basın veya bir sonraki çerçeveye geçmek için 'sonraki' tuşuna basın.
  4. Tren TensorBox
    1. Eğitim görüntülerini ağ hiperparametreleri dosyasına bağlama
      Tensorbox klasöründe, bir metin düzenleyicisinde aşağıdaki klasörü açın:
      / TensorBox / hypes / overfeat_rezoom.json. train_idl adlı verilerin altındaki öznitelik gidin ve ./data/brainwash/train_boxes.json'dan labels.json filepath'e dosya yolunu değiştirin. Değişiklikleri dosyaya kaydedin.
    2. Eğitim komut dosyasına başlayın
      Komut satırı: cd ~/TensorBox
      Komut satırı: python train.py --hypes hypes/overfeat_rezoom.json --gpu 0 --logdir çıktı
      Ağ daha sonra 600.000 yineleme için eğitimbaşlayacaktır. Çıkış klasöründe, kıvrımlı sinir ağının elde edilen eğitilmiş ağırlıkları oluşturulur.
  5. Yeni Görüntüler hakkında tahminde
    Görüntü etiketleme için:
    Komut satırı: cd ~/TensorBox
    Komut satırı: python label_images.py --folder --ağırlıklar çıktısı/overfeat_rezoom_/save.ckpt-600000 --hypes /hypes/overfeat_rezoom.json --gpu 0
    Sınırlayıcı kutuların koordinatlarını almak için:
    Komut satırı: cd ~/TensorBox
    Komut satırı: python predict_images_to_json.py --folder --ağırlıklar
    çıktı/overfeat_rezoom_/save.ckpt-600000 --hypes
    /hypes/overfeat_rezoom.json --gpu 0
  6. TensorBox için MATLAB İşlem Sonrası İşlem
    Modelden elde edilen JSON koordinat dosyasını kullanarak koordinatların kinematik ve görselleştirmelerini ayıklamak için ek MATLAB kodu sağlanmıştır
    Tek gıda pelet görev ulaşan 3D kinematic analizi için "Process_files_3Dreaching_mouse.m" komut dosyası çalıştırın.

3. YOLOv3

  1. YOLOv3'e yükle
    Komut satırı: cd ~
    Komut satırı: git klon cd darknet
    GPU kullanımı için 'Makefile'yı açın ve aşağıdaki satırları değiştirin: GPU=1; CUDNN=1 olur.
    Komut satırı: yapmak
  2. Eğitim Verilerini Yolo_mark Kullanarak Etiketleme
    Komut satırı: cd ~
    Komut satırı: git klon cd ~/Yolo_Mark
    Komut satırı: cmake .
    Komut satırı: yapmak
    Eğitim görüntülerini ~/Yolo_mark/data/obj klasörüne yerleştirin
    Komut satırı: chmod +x ./linux_mark.ş
    Komut satırı: ./linux_mark.ş
    Görselleri grafiksel kullanıcı arabiriminde tek tek etiketle (Şekil 5). Önerilen görüntü miktarı yaklaşık 200'dür.
  3. Eğitim YOLUOv3
    1. Kurulum yapılandırma dosyası
      Komut satırı: cd ~/Yolo_mark
      Komut satırı: scp -r ./data ~/darknet
      Komut satırı: cd ~/darknet/cfg
      Komut satırı: cp yolov3.cfg yolo-obj.cfg
    2. Yapılandırma dosyasını değiştirme
      Yolo-obj.cfg klasörünü açın ve aşağıdaki satırları değiştirin: batch=64, subdivision=8, classes=(# sınıf algılamak için) ve bir yolo katmanı filtreyi değiştirmeden önce her kıvrım katmanı için filtre=(sınıflar+5)x3. Bu değişikliklerle ilgili ayrıntıları https://github.com/aarac/darknet/blob/master/README.md
    3. Ağ ağırlıklarını indirin
      Ağ ağırlıklarını https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0'dan indirin
      İndirilen ağırlık dosyasını ~/darknet/build/darknet/x64 içine yerleştirin
    4. Eğitim algoritması çalıştırın
      Komut satırı: cd ~/darknet
      Komut satırı: ./darknet dedektör tren veri/obj.data cfg/yolo-obj.cfg darknet53.conv.74
    5. YOLOv3 Değerlendirme
      Eğitim, belirli sayıda yinelemeye(ITERATIONNUMBER)göre tamamlandıktan sonra, bunları
      Komut satırı: ./darknet dedektörtest verileri/obj.data cfg/yolo-obj.cfg yedekleme/yolo-obj_ITERATIONNUMBER.ağırlıklar jpg
  4. Yeni videolar hakkında tahminde olun ve koordinatları alın
    Bu komut, yeni videodaki etiketlerin koordinatlarını elde etmek için çalıştırılabilir:
    Komut satırı: ./darknet dedektörü demo data/obj.data cfg/yolo-obj.cfg backup/yolo-obj_ITERATIONNUMBER.weights Vİdeo.avi -ext_output FILENAME.txt
  5. YOLOv3 MATLAB'da İşleme Sonrası
    FILENAME.txt dosyasını MATLAB'a götürün ve iki fare sosyal etkileşim testi için "Process_socialtest_mini.m" komut dosyasını çalıştırın. Şekil 2'deki sonuçlara bakın

4. OpenPose

OpenPose bir insan denek birden fazla vücut parçaları izlemek için idealdir. Kurulum ve yükleme işlemleri önceki iki çerçeveye çok benzer. Ancak, ağ zaten insan verileri üzerinde eğitilmiş olduğu gibi hiçbir eğitim adımı yoktur.

  1. OpenPose Kurulumu
    https://github.com/aarac/openpose gidin ve yükleme yönergelerini izleyin.
  2. İşlem Videosu
    ./build/examples/openpose/openpose.bin --video VIDEONAME.avi --net_resolution "1312x736" --scale_number 4 --scale_gap 0,25 --el -hand_scale_number 6 --hand_scale_range 0,4 --write_json JSONFOLDERNAME --write_video SONUÇLANANVIDEONAME.avi
    Burada ,net_resolution, --scale_number, --scale_gap, --hand_scale_number ve -hand_scale_range tutamaçları, yüksek hassasiyetli algılama gerekmese atlanabilir (bu işlem süresini kısaltabilir).
  3. OpenPose İşlem Sonrası
    MATLAB klasöründe, lütfen 1 ve 2 kameralarından json dosyaları içeren uygun klasörü ve kalibrasyon dosyasını ekledikten sonra kodu çalıştırmak için 'process_files_human3D.m' komut dosyasını kullanın. Bu eklemlerin tüm 3D pozlar ile bir "hücre" dosyası oluşturur. Ayrıca 3D iskelet görünümü bir film yapacak. Kamera kalibrasyonu için lütfen aşağıdaki linkteki talimatları izleyin: http://www.vision.caltech.edu/bouguetj/calib_doc/

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Protokol izlendiğinde, her ağ mimarisiiçin veri aşağıdaki gibi olmalıdır. TensorBox için, ilgi nesnesinin etrafında bir sınırlayıcı kutu çıkar. Örneğimizde, bir gıda peletinin görev eline ulaşan videoları kullandık ve hareketlerini izlemek için doğru pençeleri etiketledik. Şekil 1'degörüldüğü gibi, sağ pati hem ön görünüm hem de yan görüş kameralarında farklı konumlarda tespit edilebilir. Kamera kalibrasyonu ile işlem sonrası işlemden sonra, erişimin 3Boyutlu...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Burada, deepbehavior, hayvan ve insan davranışı görüntüleme verianalizi2 için son zamanlarda geliştirilen derin öğrenme tabanlı araç kutusu uygulanması için bir adım-adım kılavuz sağlar. Her ağ mimarisi için çerçevelerin yüklenmesi için her adım için ayrıntılı açıklamalar sağlar ve bu çerçeveleri çalıştırabilmek için açık kaynak gereksinimlerinin yüklenmesi için bağlantılar sağlarız. Bunları nasıl yükleyebileceğimizi, eğitim verilerinin nasıl oluşturulacaklarını, ağın nasıl eğitilenlerini ve eğiti...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarların açıklayacak bir şeyi yok.

Teşekkürler

Biz pingping Zhao ve Peyman Golshani iki fare sosyal etkileşim testleri orijinal kağıt2kullanılan ham veri sağlamak için teşekkür etmek istiyorum. Bu çalışma NIH NS109315 ve NVIDIA GPU hibeleri (AA) tarafından desteklenmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
CUDA v8.0.61NVIDIAyokGPU Yazılımı
MATLAB R2016bMathworksyokMatlab
Python 2.7PythonyokPython Sürümü
Quadro P6000NVIDIAyokGPU İşlemci
Ubuntu v16.04Ubuntuyokİşletim Sistemi

Kaynaklar

  1. Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
  2. Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20(2019).
  3. Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
  4. Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  5. Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351(2015).
  6. Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
  7. LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
  8. Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
  9. He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , eprint (2015).
  10. Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).
  11. Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
  12. Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
  13. Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , eprint (2018).
  14. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
  15. Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , eprint (2017).
  16. Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , eprint (2016).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Etiketler

DeepBehavior Araç KutusuEvrişimli Sinir AğlarıTek Nesne TespitiÇoklu Nesne Tespitiİnsan Poz TakibiTensor Box KurulumuYOLOv3 KurulumuOpenPose İşlemeMATLAB Son İşleme
DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.