Name: DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu (Video) | JoVE Journal
Uploaded: 2020-02-06T15:00:00.000+00:00
Duration: 5 min 41 s
Description: Öğrenin, evrişimli sinir ağları kullanarak fare ve insan davranışlarını otomatik izleme ve nesnel analiz yöntemlerini. Video verilerinde derin öğrenme ile davranış nicelendirmesini keşfedin.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Biz pingping Zhao ve Peyman Golshani iki fare sosyal etkileşim testleri orijinal kağıt2kullanılan ham veri sağlamak için teşekkür etmek istiyorum. Bu çalışma NIH NS109315 ve NVIDIA GPU hibeleri (AA) tarafından desteklenmiştir.

1. GPU ve Python Kurulumu
<ol><li>
GPU Yazılımı Bilgisayar derin öğrenme uygulamaları için ilk kurulum olduğunda, GPU'ya uygun yazılım ve sürücüler, GPU'nun ilgili web sitesinde bulunabilecek şekilde yüklenmelidir. (bu çalışmada kullanılanlar için Malzeme Tablosu'na bakınız).</li>
	<li>
Python 2.7 Kurulumu Makinenizde bir komut satırı istemi açın. Komut satırı: sudo apt-get install python-pip python-dev python-virtualenv</li>
</ol>2. TENSORBOX
<ol><li>
Tensorbox Kurulumu
	<ol>
<li>
Tensorbox için Sanal Ortam Oluşturma Komut satırı: cd ~ Komut satırı: virtualenv --sistem-site paketleri ~/tensorflow NOT: '~/tensorflow' ortamın adıdır ve keyfi</li>
		<li>
Ortamı etkinleştirme Komut satırı: kaynak ~/tensorflow/bin/activate</li>
	</ol>
</li>
	<li>
Tensorbox Kurulumu Http://github.com/aarac/TensorBox TensorBox'ı klonlamak ve <a href="http://github.com/aarac/TensorBox" target="_blank"></a> makinemize yüklemek ve ek bağımlılıklar yüklemek için GitHub'ı kullanıyor olacağız. Komut satırı: cd ~ Komut satırı: git klon <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> Komut satırı: cd TensorBox Komut satırı: pip install -r requirements.txt</li>
	<li>
Etiket Verileri
	<ol>
<li>
Davranış görüntülerinin bir klasörünü oluşturma ffmpeg gibi açık kaynak araçları, videoları tek tek çerçevelere dönüştürmeyi gerçekleştirmek için yararlıdır Eğitim için davranış çerçevelerinin geniş bir dağılımından en az 600 görüntüetiketlemenizi öneririz. Bu görüntüleri bir klasöre koyun.</li>
		<li>
Başlatma etiketleme grafik kullanıcı arabirimi Komut satırı: python make_json.py <yol resim klasörüne> labels.json Bir resmi etiketlemek için, önce ilgi çekici nesnenin sol üst köşesini (yani pençe) tıklatın ve ardından ilgi çekici nesnenin sağ alt köşesini tıklatın (Şekil 4). Sınırlayıcı kutunun tüm ilgi çekici nesneyi yakaladığını kontrol edin. Aynı görüntüyü yeniden etiketlemek için 'geri ala' tuşuna basın veya bir sonraki çerçeveye geçmek için 'sonraki' tuşuna basın.</li>
	</ol>
</li>
	<li>
Tren TensorBox
	<ol>
<li>
Eğitim görüntülerini ağ hiperparametreleri dosyasına bağlama Tensorbox klasöründe, bir metin düzenleyicisinde aşağıdaki klasörü açın: / TensorBox / hypes / overfeat_rezoom.json. train_idl adlı verilerin altındaki öznitelik gidin ve ./data/brainwash/train_boxes.json'dan labels.json filepath'e dosya yolunu değiştirin. Değişiklikleri dosyaya kaydedin.</li>
		<li>
Eğitim komut dosyasına başlayın Komut satırı: cd ~/TensorBox Komut satırı: python train.py --hypes hypes/overfeat_rezoom.json --gpu 0 --logdir çıktı Ağ daha sonra 600.000 yineleme için eğitimbaşlayacaktır. Çıkış klasöründe, kıvrımlı sinir ağının elde edilen eğitilmiş ağırlıkları oluşturulur.</li>
	</ol>
</li>
	<li>
Yeni Görüntüler hakkında tahminde Görüntü etiketleme için: Komut satırı: cd ~/TensorBox Komut satırı: python label_images.py --folder <yol to image folder> --ağırlıklar çıktısı/overfeat_rezoom_<zaman damgası>/save.ckpt-600000 --hypes /hypes/overfeat_rezoom.json --gpu 0 Sınırlayıcı kutuların koordinatlarını almak için: Komut satırı: cd ~/TensorBox Komut satırı: python predict_images_to_json.py --folder <yol resim klasörüne> --ağırlıklar çıktı/overfeat_rezoom_<zaman damgası>/save.ckpt-600000 --hypes /hypes/overfeat_rezoom.json --gpu 0</li>
	<li>
TensorBox için MATLAB İşlem Sonrası İşlem Modelden elde edilen JSON koordinat dosyasını kullanarak koordinatların kinematik ve görselleştirmelerini ayıklamak için ek MATLAB kodu sağlanmıştır Tek gıda pelet görev ulaşan 3D kinematic analizi için "Process_files_3Dreaching_mouse.m" komut dosyası çalıştırın.</li>
</ol>3. YOLOv3
<ol><li>
YOLOv3'e yükle Komut satırı: cd ~ Komut satırı: git klon cd darknet GPU kullanımı için 'Makefile'yı açın ve aşağıdaki satırları değiştirin: GPU=1; CUDNN=1 olur. Komut satırı: yapmak</li>
	<li>
Eğitim Verilerini Yolo_mark Kullanarak Etiketleme Komut satırı: cd ~ Komut satırı: git klon cd ~/Yolo_Mark Komut satırı: cmake . Komut satırı: yapmak Eğitim görüntülerini ~/Yolo_mark/data/obj klasörüne yerleştirin Komut satırı: chmod +x ./linux_mark.ş Komut satırı: ./linux_mark.ş Görselleri grafiksel kullanıcı arabiriminde tek tek etiketle (Şekil 5). Önerilen görüntü miktarı yaklaşık 200'dür.</li>
	<li>
Eğitim YOLUOv3
	<ol>
<li>
Kurulum yapılandırma dosyası Komut satırı: cd ~/Yolo_mark Komut satırı: scp -r ./data ~/darknet Komut satırı: cd ~/darknet/cfg Komut satırı: cp yolov3.cfg yolo-obj.cfg</li>
		<li>
Yapılandırma dosyasını değiştirme Yolo-obj.cfg klasörünü açın ve aşağıdaki satırları değiştirin: batch=64, subdivision=8, classes=(# sınıf algılamak için) ve bir yolo katmanı filtreyi değiştirmeden önce her kıvrım katmanı için filtre=(sınıflar+5)x3. Bu değişikliklerle ilgili ayrıntıları <a href="https://github.com/aarac/darknet/blob/master/README.md" target="_blank">https://github.com/aarac/darknet/blob/master/README.md</a>
</li>
		<li>
Ağ ağırlıklarını indirin Ağ ağırlıklarını <a href="https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0" target="_blank">https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0'dan</a> indirin İndirilen ağırlık dosyasını ~/darknet/build/darknet/x64 içine yerleştirin
</li>
		<li>
Eğitim algoritması çalıştırın Komut satırı: cd ~/darknet Komut satırı: ./darknet dedektör tren veri/obj.data cfg/yolo-obj.cfg darknet53.conv.74</li>
		<li>
YOLOv3 Değerlendirme Eğitim, belirli sayıda yinelemeye(ITERATIONNUMBER)göre tamamlandıktan sonra, bunları Komut satırı: ./darknet dedektörtest verileri/obj.data cfg/yolo-obj.cfg yedekleme/yolo-obj_ITERATIONNUMBER.ağırlıklar <IMAGE>jpg</li>
	</ol>
</li>
	<li>
Yeni videolar hakkında tahminde olun ve koordinatları alın Bu komut, yeni videodaki etiketlerin koordinatlarını elde etmek için çalıştırılabilir: Komut satırı: ./darknet dedektörü demo data/obj.data cfg/yolo-obj.cfg backup/yolo-obj_ITERATIONNUMBER.weights Vİdeo.avi -ext_output <Vİdeo.avi> FILENAME.txt</li>
	<li>
YOLOv3 MATLAB'da İşleme Sonrası FILENAME.txt dosyasını MATLAB'a götürün ve iki fare sosyal etkileşim testi için "Process_socialtest_mini.m" komut dosyasını çalıştırın. Şekil 2'deki sonuçlara bakın
</li>
</ol>4. OpenPose
OpenPose bir insan denek birden fazla vücut parçaları izlemek için idealdir. Kurulum ve yükleme işlemleri önceki iki çerçeveye çok benzer. Ancak, ağ zaten insan verileri üzerinde eğitilmiş olduğu gibi hiçbir eğitim adımı yoktur.
<ol><li>
OpenPose Kurulumu <a href="https://github.com/aarac/openpose" target="_blank">https://github.com/aarac/openpose</a> gidin ve yükleme yönergelerini izleyin.</li>
	<li>
İşlem Videosu ./build/examples/openpose/openpose.bin --video VIDEONAME.avi --net_resolution "1312x736" --scale_number 4 --scale_gap 0,25 --el -hand_scale_number 6 --hand_scale_range 0,4 --write_json JSONFOLDERNAME --write_video SONUÇLANANVIDEONAME.avi Burada ,net_resolution, --scale_number, --scale_gap, --hand_scale_number ve -hand_scale_range tutamaçları, yüksek hassasiyetli algılama gerekmese atlanabilir (bu işlem süresini kısaltabilir).</li>
	<li>
OpenPose İşlem Sonrası MATLAB klasöründe, lütfen 1 ve 2 kameralarından json dosyaları içeren uygun klasörü ve kalibrasyon dosyasını ekledikten sonra kodu çalıştırmak için 'process_files_human3D.m' komut dosyasını kullanın. Bu eklemlerin tüm 3D pozlar ile bir "hücre" dosyası oluşturur. Ayrıca 3D iskelet görünümü bir film yapacak. Kamera kalibrasyonu için lütfen aşağıdaki linkteki talimatları izleyin: <a href="http://www.vision.caltech.edu/bouguetj/calib_doc/" target="_blank">http://www.vision.caltech.edu/bouguetj/calib_doc/</a>
</li>
</ol>

<ol><li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroscience+Needs+Behavior%3A+Correcting+a+Reductionist+Bias%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li>
<li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepBehavior%3A+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data%5BTitle%5D)+AND+%22Front+Syst+Neurosci%22%5BJournal%5D)">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20(2019).</li>
<li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351(2015).</li>
<li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+aims+and+methods+of+ethology%5BTitle%5D)+AND+%22Zeitschrift+fu%CC%88r+Tierpsychologie%22%5BJournal%5D)">On aims and methods of ethology.</a> Zeitschrift für Tierpsychologie. 20, 410-433 (1963).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li>
<li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+Detection+With+Deep+Learning%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Transactions+on+Neural+Networks+and+Learning+Systems%22%5BJournal%5D)">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li>
<li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Residual Learning for Image Recognition.</a> arXiv. , eprint (2015).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Proceedings+of+the+25th+International+Conference+on+Neural+Information+Processing+Systems%22%5BJournal%5D)">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).</li>
<li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%222015+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li>
<li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-End+People+Detection+in+Crowded+Scenes%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((YOLOv3%3A+An+Incremental+Improvement%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">YOLOv3: An Incremental Improvement.</a> arXiv. , eprint (2018).</li>
<li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li>
<li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , eprint (2017).</li>
<li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+Pose+Machines%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Convolutional Pose Machines.</a> arXiv. , eprint (2016).</li>
</ol>

Yazarların açıklayacak bir şeyi yok.

Burada, deepbehavior, hayvan ve insan davranışı görüntüleme verianalizi2 için son zamanlarda geliştirilen derin öğrenme tabanlı araç kutusu uygulanması için bir adım-adım kılavuz sağlar. Her ağ mimarisi için çerçevelerin yüklenmesi için her adım için ayrıntılı açıklamalar sağlar ve bu çerçeveleri çalıştırabilmek için açık kaynak gereksinimlerinin yüklenmesi için bağlantılar sağlarız. Bunları nasıl yükleyebileceğimizi, eğitim verilerinin nasıl oluşturulacaklarını, ağın nasıl eğitilenlerini ve eğiti...

Davranış ayrıntılı bir analiz beyin ve davranış ilişkilerini anlamak için anahtardır. Yüksek zamansal çözünürlük ile nöronal popülasyonların kayıt ve manipüle için metodolojiler birçok heyecan verici gelişmeler olmuştur, ancak, davranış analizi yöntemleri aynı oranda gelişmiş değil ve dolaylı ölçümler ve indirgemecı yaklaşım ile sınırlıdır1. Son zamanlarda, derin öğrenme tabanlı yöntemler otomatik ve ayrıntılı davranış analizi2,3,4,5gerçekleştirmek için geliştirilmiştir. Bu protokol, DeepBehavior araç kutusu için adım adım uygulama kılavuzu sağlar.
Geleneksel davranış analizi yöntemleri genellikle birden çok değerlendirici tarafından verileri el ile etiketlemeyi içerir ve bu da deneycilerin bir davranışı nasıl tanımladığıkonusunda varyansa yol açar6. Verilerin manuel olarak etiketlanması, toplanan veri miktarıyla orantısız bir şekilde artan zaman ve kaynak gerektirir. Ayrıca, elle etiketlenmiş veriler, davranışın zenginliğini yakalamayan kategorik ölçümlere davranış sonuçlarını azaltır ve daha öznel olacaktır. Bu nedenle, mevcut geleneksel yöntemler doğal davranışlarda ayrıntıları yakalama sınırlı olabilir.
DeepBehavior araç kutusu, davranış analizi için derin öğrenmeyi kullanarak hassas, ayrıntılı, son derece zamansal ve otomatik bir çözüm sunar. Derin öğrenme, açık kaynak araç ve paketleri ile hızlı bir şekilde herkes tarafından erişilebilir hale gelmiştir. Konvolutional sinir ağları (CNNs) nesne tanıma ve izleme görevleri son derece etkili olduğu kanıtlanmıştır7,8. Günümüz CNN'leri ve yüksek performanslı grafik işleme birimleri (GPU) kullanılarak, büyük görüntü ve video veri setleri yüksek hassasiyetle hızlı bir şekilde işlenebilir7,9,10,11. DeepBehavior'de, tensorBox, YOLOv3 ve OpenPose2olmak üzere üç farklı kvolutional nöral ağ mimarisi vardır.
İlk çerçeve, Tensorbox, nesne algılama için birçok farklı CNN mimarileri içeren çok yönlü birçerçevedir 12. TensorBox, görüntü başına yalnızca bir nesne sınıfı algılamak için en uygun uyrdu. Elde edilen çıktılar, ilgi çekici nesnenin(Şekil 1)ve sınırlayıcı kutunun kartezyen koordinatlarını sınırlandırır.
İkinci CNN çerçevesi YOLOv3, "You Only Look Once"13anlamına gelir. YOLOv3, ayrı olarak izlenmesi gereken birden fazla ilgi çekici nesne olduğunda avantajlıdır. Bu ağın çıktısı, ilişkili nesne etiketi sınıfının yanı sıra video çerçevesindeki nesnenin sınırlayıcı kutusu kartezyen koordinatlarını içerir (Şekil 2).
Önceki iki çerçeve, hayvan deneklerinde standart laboratuvar deneylerinden toplanan genelleştirilmiş davranışsal veriler için avantajlıdır. Son CNN çerçeve OpenPoseolduğunu 14,15,16 hangi insan eklem poz tahmini için kullanılır. OpenPose görüntülerde insan vücudu, el, yüz ve ayak anahtar noktaları algılar. Çerçevenin çıktıları, insan öznesinin görüntüleri ve vücuttaki 25 kilit noktanın koordinatları ve her bir elin 21 kilit noktasının koordinatları olarak etiketlenmiştir(Şekil 3).
Yakın zamanda geliştirilen açık kaynaklı DeepBehavior araç kutumuzun uygulanması için bu ayrıntılı adım adım kılavuz, hayvan davranışlarını (örneğin pençenin hareketi) veya insan davranışını (örn. görevlere ulaşma) izlemek için son teknoloji kvolutional sinir ağları kullanır. Davranışı izleyerek, yararlı kinematik konum, hız ve ivme gibi davranışlardan türetilebilir. Protokol, her BIR CNN mimarisinin kurulumunu açıklar, eğitim veri kümelerinin nasıl oluşturulup oluşturulacak, ağların nasıl eğitilir, eğitilmiş ağda yeni videoların nasıl işlenir, yeni videolardaki ağdan nasıl veri çıkarılabildiğini ve nasıl çıkarılabildiğini gösterir. daha fazla analiz için yararlı hale getirmek için çıktı verilerini işleme sonrası.

<table><tbody><tr><td>CUDA v8.0.61</td><td>NVIDIA</td><td>yok</td><td>GPU Yazılımı</td></tr><tr><td>MATLAB R2016b</td><td>Mathworks</td><td>yok</td><td>Matlab</td></tr><tr><td>Python 2.7</td><td>Python</td><td>yok</td><td>Python Sürümü</td></tr><tr><td>Quadro P6000</td><td>NVIDIA</td><td>yok</td><td>GPU İşlemci</td></tr><tr><td>Ubuntu v16.04</td><td>Ubuntu</td><td>yok</td><td>İşletim Sistemi</td></tr></tbody></table>

deepbehavior adım adım uygulama, otomatik davranış analizi için derin Öğrenme araç kutusu

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

Davranışı anlamak, beyindeki onu yönlendiren sinirsel mekanizmaları gerçekten anlamanın ilk adımıdır. Geleneksel davranış analizi yöntemleri genellikle doğal davranış ait zenginliği yakalamak yok. Burada, son metodolojimiz DeepBehavior'in görselleştirmeleriyle birlikte adım adım ayrıntılı talimatlar salıyoruz. DeepBehavior araç kutusu, davranışsal videoları hızla işlemek ve analiz etmek için kıvrımlı sinir ağları yla oluşturulmuş derin öğrenme çerçeveleri kullanır. Bu protokol, tek nesne algılama, birden çok nesne algılama ve üç boyutlu (3D) insan eklem poz izleme için üç farklı çerçeveler gösterir. Bu çerçeveler, davranış videosunun her karesi için ilgi çekici nesnenin karesyen koordinatlarını döndürer. DeepBehavior araç kutusundan toplanan veriler, geleneksel davranış çözümleme yöntemlerinden çok daha fazla ayrıntı içerir ve davranış dinamikleri hakkında ayrıntılı bilgiler sağlar. DeepBehavior davranış görevlerini sağlam, otomatik ve kesin bir şekilde ölçer. Davranışın tanımlanmasından sonra, davranış videolarından bilgi ve görselleştirmeleri ayıklamak için işlem sonrası kod sağlanır.

Protokol izlendiğinde, her ağ mimarisiiçin veri aşağıdaki gibi olmalıdır. TensorBox için, ilgi nesnesinin etrafında bir sınırlayıcı kutu çıkar. Örneğimizde, bir gıda peletinin görev eline ulaşan videoları kullandık ve hareketlerini izlemek için doğru pençeleri etiketledik. Şekil 1'degörüldüğü gibi, sağ pati hem ön görünüm hem de yan görüş kameralarında farklı konumlarda tespit edilebilir. Kamera kalibrasyonu ile işlem sonrası işlemden sonra, erişimin 3Boyutlu...

Bu protokolün amacı, davranış izlemeyi otomatikleştirmek ve ayrıntılı davranış analizi yapmak için önceden oluşturulmuş kvolutional sinir ağları kullanmaktır. Davranış izleme herhangi bir video veri veya görüntü dizileri uygulanabilir ve herhangi bir kullanıcı tanımlı nesne izlemek için genelleştirilebilir.

DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

Ayrıntılı bir davranış analizi yapmak beyin davranışı ilişkisini anlamak için çok önemlidir. Davranışı değerlendirmenin en iyi yollarından biri dikkatli gözlemlerdir. Ancak, gözlenen davranışı niteleme zaman alıcı ve zorludur.Klasik davranış analizi yöntemleri kolayca ölçülebilir değildir ve doğal olarak özneldir. Makine öğrenimi ve yapay zeka alanlarındaki bir dalı olan derin öğrenmedeki son gelişmeler, görüntü ve videoların otomatik ve objektif olarak ölçülmesi için fırsatlar sağlamaktadır. Burada kemirgenler ve insanlarda ayrıntılı davranış analizi yapmak için derin sinir ağları kullanan son zamanlarda geliştirilen yöntemleri sıyoruz.Bu tekniğin en büyük avantajı, davranış analizi için herhangi bir görüntüleme verisine esnekliği ve uygulanabilirliğidir. DeepBehavior Araç Kutusu tek nesne tanımlama, çoklu nesne algılama ve insan poz izleme destekler. Ayrıca daha derinlemesine kinematik analiz yöntemleri için MATLAB'da post processing kodunu salıyoruz.Tensor Kutusu'yu kurarak başlayın. Ortamı etkinleştirin, ardından Tensor Kutusu'nu klonlamak ve makineye ve ek bağımlılıklara yüklemek için GitHub'ı kullanın. Ardından, grafiksel kullanıcı arabirimini başlatın ve davranış çerçevelerinin geniş bir dağıtımından en az 600 görüntüyü etiketlendirin.Görüntüyü etiketlemek için ilgi çekici nesnenin sol üst köşesini ve ardından sağ alt köşeyi tıklatın. Ardından, sınırlayıcı kutunun tüm nesneyi yakaladığından emin olun. Bir sonraki kareye geçmek için hemen tıklatın.Eğitim görüntülerini bir ağ hiper parametre dosyasına bağlamak için overfeat_rezoom açın. bir metin düzenleyicisi json ve train_idl altında dosya yolunu değiştirin labels.json. Ardından test-idl altında aynı dosya yolunu ekleyin ve değişiklikleri kaydedin.600,000 yineleme için eğitime başlayacak ve çıkış klasöründe kıvrımlı sinir ağının elde edilen eğitilmiş ağırlıklarını oluşturacak eğitim komut dosyasını başlatın. Ardından, yeni görüntüler üzerinde tahmin gerçekleştirin ve ağın çıktılarını etiketli görüntüler ve sınırlayıcı kutu koordinatları olarak görüntüleyin. YOLOv3'e yükleyin.Ardından, görüntüleri Yolo_mark-veri-obga klasörüne yerleştirerek ve grafik kullanıcı arabiriminde tek tek etiketleyerek eğitim verilerini Yolo_mark etiketleyin. Yaklaşık 200 görüntüyü etiketle. Ardından, yapılandırma dosyasını ayarlayın.Yapılandırma dosyasını değiştirmek için YOLO-obj'yi açın. cfg klasörü. Toplu iş, alt bölüm ve sınıf satırlarını değiştirin.Ardından, bir YOLO katmanından önce her kıvrım katmanı için filtreyi değiştirin. Ağ ağırlıklarını indirin ve darknet-build'e yerleştirin. x64 klasörü.Eğitim algoritmasını çalıştırın ve tam olarak oluşturulduktan sonra yinelemeleri görüntüleyin. Bir insan nesnesinde birden fazla vücut parçasını izlemek için OpenPose'i yükleyin ve ardından istediğiniz videoyu işlemek için kullanın. DeepBehavior Araç Kutusu'nun yetenekleri, farelerin göreve ulaşan bir gıda peleti performans videolarında gösterilmiştir.Sağ pençeleri etiketlendi ve hareket ön ve yan görüş kameraları ile izlendi. Kamera kalibrasyonu ile post processing işleminden sonra, erişim 3D yörüngeleri elde edildi. YOLOv3 çıkışları birden çok sınırlayıcı kutudur, çünkü birden çok nesne izlenebilir.Sınırlayıcı kutular vücudun parçaları olabilir ilgi nesneleri etrafında. OpenPose'te ağ ortak konumları algıladıktan sonra kamera kalibrasyonu ile işlem sonrası bir 3B model oluşturuldu. Bu protokolde yer almayan kritik bir adım, cihazınızın başlamadan önce uygun Python sürümlerine ve bağımlılıklarına ve GPU yapılandırılmış aygıta sahip olmasını sağlamaktır.Başarıyla ağ dan parça davranışı elde ettikten sonra ek sonrası işleme daha fazla kinematik ve davranış desenleri analiz etmek için yapılabilir. Neden DeepBehavior Toolbox kemirgenler ve insan deneklerin hastalık modellerinde tanısal yaklaşımlar için geçerli dir doğrudan terapötik yarar değildir. Bu tekniklerin tanısal veya prognostik bir araç olarak kullanılması laboratuvarımızda aktif araştırma altındadır.Bu teknik, nörolojik hastalıkları olan hastalarda motor iyileşmedeğerlendirmek için klinik çalışmalarda kullanıldığı gibi kemirgenlerde yetenekli motor davranışın nöral mekanizmaları nın araştırılmasında da kullanılmaktadır.

a-step-step-implementation-deepbehavior-deep-learning-toolbox-for

Research

JoVE Journal

Behavior

Davranış

Derin beyin stimülasyonu ameliyatı uyanık insan beyninin bilgi kodlama incelemek için eşsiz bir fırsat sunmaktadır. Bu makale eş zamanlı EMG, tek birim nöronal aktivite ve / veya yerel alan potansiyelleri gibi fizyolojik veriler elde edilirken, bilişsel ve davranışsal görevleri gerçekleştirmek için kullanılan intra-operatif yöntemler anlatacağım.

Derin beyin stimülasyonu Cerrahi Uygulanan Uyanık İnsanlar İntraoperatif Davranış Görevler

Laboratuvarımız 7 günlük eski Zebra balığı larvaları birkaç farklı davranışların tespiti için yararlı bir yeni yüksek verimli otomatik görüntüleme sistemi geliştirdi. Sistem, larva çevresel toksik ya da eczacılık maruz kalmış sonra davranış ince değişiklikleri tespit etmek için kullanılabilir.

Zebra balığı Larva otomatik Yüksek verim Davranış Analizleri

Nöropsikiyatrik bozuklukların patogenezinde yakın zamanda keşfedilen hastalıkla ilişkili genlerin rolü belirsizliğini korumaktadır. Modifiye edilmiş bir in utero elektroporasyon tekniği, büyük nöron popülasyonlarında gen transferine ve gen ekspresyon değişikliklerinin sosyal davranış üzerindeki nedensel etkilerinin incelenmesine izin verir.

Kemirgen Davranışı Üzerindeki Genetik Etkileri Sorgulamak için İkili İn Utero Elektroporasyonunu Kullanan Bir Boru Hattı

Bu protokol, küçük ve çok yönlü bir video kameranın nasıl inşa edilebildiğini ve bir hayvanın operant klima odalarındaki konumunu izlemek için sinir ağı eğitmek için ondan elde edilen videoların nasıl kullanılacağını açıklar. Bu, operant koşullandırma testlerinden elde edilen veri günlüklerinin standart analizlerinin değerli bir tamamlayıcısıdır.

Çok Yönlü Ev Yapımı Video Kamera ve DeepLabCut kullanarak Operant Klima Odalarında Rats Izleme

İki tırmanma elyafına bağımlı ilişkisel öğrenme görevi sırasında hayvan davranışlarını izlemek için tek bir platform geliştirdik. Düşük maliyetli tasarım, fiber ile ilişkili serebellar aktiviteye tırmanmaya yönelik optogenetik veya görüntüleme deneyleriyle entegrasyona izin verir.

Beyinciğe Bağımlı Duyusal İlişkisel Öğrenmeyi İzlemek için Esnek Bir Platform

Mevcut protokol, Arduino ve ilgili donanımı ve otomatik davranışsal eğitim için isteğe bağlı bir komut dosyası da dahil olmak üzere çok yönlü bir Matlab araç kutusunu kullanarak, kemirgen hayvan modelleri için açık kaynaklı 5 seçimli bir seri reaksiyon süresi görev araç kutusunun geliştirilmesini açıklamaktadır. Komut dosyaları özelleştirilebilir ve farklı deneme ve test tasarımlarının uygulanmasını kolaylaştırır.

Kemirgenlerin Otomatik Davranışsal Eğitimi için Açık Kaynaklı, Tamamen Özelleştirilebilir 5 Seçimli Seri Reaksiyon Süresi Görev Araç Kutusu

Bu protokol, zaman kilitlemeden nörofizyolojik önlemlere uyumlu bir şekilde kemirgenlerde otomatik göz şaşılığının zaman içinde izlenmesi için bir yöntem sağlar. Bu protokolün, migren gibi ağrı bozukluklarının mekanizmalarını inceleyen araştırmacılar için yararlı olması beklenmektedir.

Fare Ağrısı Çalışmalarında Zaman Senkronizasyonu Davranışı ve Beyin Dinamikleri için Otomatik Bir Şaşılık Yöntemi

Protokol, farelerde pentilentetrazol kaynaklı nöbetlerle ilişkili davranışları analiz etmek ve görselleştirmek için yenilikçi bir yöntem sunar. Bu yaklaşım, geleneksel Racine'in puanlarının ötesine geçerek, ictal davranışların çeşitliliği ve zamansal dinamikleri hakkında daha kapsamlı bir değerlendirme sağlar.

Pentilentetrazol ile İndüklenen Nöbetlerin Davranışsal Karakterizasyonu: Racine Ölçeğinin Ötesine Geçmek

Bu protokol, beyin kodlamasını doğal bağlamlarda anlamak için gelişmiş hesaplamalı nöroetolojik yöntemlere dayanan entegre bir çerçeve sunar.

Nöroetolojik Yerleştirmeden Doğal Davranışın Kodunu Çözmek

DeepLabCut kullanarak serbest hareket eden farelerde spontan yürüyüş ve hareket etme nicelini ölçmek için düşük maliyetli, işaretsiz bir iş akışı sunuyoruz. Bu protokol, tek kameralı video alımını, anatomik işaretlerin işaretsiz takibi ve uzaylı-zamansal lokomotor parametrelerinin çıkarılmasını entegre ederek, özel ekipman olmadan motor davranış analizi için invaziv olmayan ve erişilebilir bir çerçeve sağlar.

Serbest Hareket Eden Farelerde Kendiliğinden Yürüyüş ve Hareket Analizi için İşleyicisiz DeepLabCut Tabanlı Düşük Maliyetli İş Akışı

Öğrenin, evrişimli sinir ağları kullanarak fare ve insan davranışlarını otomatik izleme ve nesnel analiz yöntemlerini. Video verilerinde derin öğrenme ile davranış nicelendirmesini keşfedin.

DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu

Daha fazla video keşfet