Name: יישום שלב אחר שלב של התנהגות DeepBehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית (וידאו) | JoVE Journal
Uploaded: 2020-02-06T15:00:00.000+00:00
Duration: 5 min 41 s
Description: למד ניתוח התנהגות אוטומטי באמצעות רשתות נוירונים קונבולוציוניות לנוירומדע ולמידת מכונה. שיטה זו מאפשרת מעקב אחרי עצמים מוגדרים בסרטוני וידאו ותמונות בצורה אובייקטיבית ויעילה.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

אנו רוצים להודות לפינפינג ז'או ולפיימן גולשני על הענקת הנתונים הגולמיים של שני העכברים בדיקות האינטראקציה החברתית המקורית בעיתון המקורי2. מחקר זה נתמך על ידי NIH NS109315 ו-NVIDIA GPU מענקים (AA).

1. GPU ו פיתון ההתקנה
<ol><li>
תוכנת GPU כאשר המחשב הוא ההתקנה הראשונה עבור יישומים למידה עמוקה, GPU-המתאים התוכנה ומנהלי ההתקנים צריך להיות מותקן אשר ניתן למצוא באתר האינטרנט המתאים של GPU. (עיין ברשימת החומרים לאלה המשמשים במחקר זה).</li>
	<li>
פיתון 2.7 מיצב פתח שורת פקודה במחשב שלך. שורת הפקודה: sudo apt-לקבל להתקין פיתון-פיפ פייתון-dev פייתון-וירטואליזציה</li>
</ol>2. תיבת הטסורא
<ol><li>
הגדרת תיבת tensorbox
	<ol>
<li>
יצירת סביבה וירטואלית לתיבת הטסוראלים שורת פקודה: cd ~ שורת הפקודה: וירטואואלנבי--מערכת האתר-חבילות ~/tensorflow הערה: ' ~/tensorflow ' הוא שם הסביבה והוא שרירותי</li>
		<li>
הפעל סביבה שורת הפקודה: מקור ~/tensorflow/bin/o/b</li>
	</ol>
</li>
	<li>
התקנת תיבת הטסורב אנו נשתמש GitHub כדי לשכפל TensorBox מ <a href="http://github.com/aarac/TensorBox" target="_blank">http://github.com/aarac/TensorBox</a> ולהתקין אותו במחשב שלנו, כמו גם התקנת יחסי תלות נוספים. שורת פקודה: cd ~ שורת הפקודה: <a href="http://github.com/aarac/TensorBox" target="_blank">לhttp://github.com/aarac/TensorBox</a> שיבוט שורת פקודה: תיבת תקליטור שורת פקודה: התקנת pip-r דרישות. txt</li>
	<li>
נתוני תוויות
	<ol>
<li>
יצירת תיקיה של תמונות התנהגות כלי קוד פתוח כגון ffmpeg הם שימושיים כדי לבצע המרת קטעי וידאו למסגרות בודדות אנו ממליצים תיוג לפחות 600 תמונות מתוך הפצה רחבה של מסגרות התנהגות לאימונים. שים את התמונות האלה בתיקיה.</li>
		<li>
השקת תיוג ממשק משתמש גרפי שורת פקודה: פיתון make_json. py < נתיב אל תיקיית התמונה > תוויות. json כדי לתייג תמונה, לחץ על הפינה השמאלית העליונה של אובייקט הריבית (כלומר כפה) תחילה ולאחר מכן לחץ על הפינה הימנית התחתונה של אובייקט הריבית (איור 4). בדוק שהתיבה התוחמת מוכדת את כל אובייקט הריבית. לחץ על ' בטל ' כדי לתייג מחדש את אותה תמונה או לחץ על ' הבא ' כדי לעבור אל המסגרת הבאה.</li>
	</ol>
</li>
	<li>
תיבת הרכבת מרכך
	<ol>
<li>
קישור תמונות הדרכה לקובץ היפר-פרמטרים של הרשת בתוך התיקיה tensorbox, פתח את התיקיה הבאה בעורך טקסט: / טסורסותיבת/היפסח/overfeat_rezoom json. נווט אל התכונה תחת נתונים הנקראים train_idl והחלף את נתיב הקובץ מ -./mdoyukageyser/b/train_boxes json לתוויות.. אני מבין. שמור את השינויים בקובץ.</li>
		<li>
התחלת מכתב הדרכה שורת פקודה: תקליטור ~/tensorbox שורת הפקודה: פיתון train.py--מיקוף מיקוף/overfeat_rezoom. json--gpu 0--פלט logdir לאחר מכן, הרשת תתחיל בהכשרה עבור 600,000 איטראציות. בתיקיית הפלט, את המשקולות המיומן המתקבל של הרשת convolutional עצביים תיווצר.</li>
	</ol>
</li>
	<li>
לחזות על תמונות חדשות לתיוג תמונה: שורת פקודה: תקליטור ~/tensorbox שורת הפקודה: פיתון label_images. py-תיקיה < נתיב לתיקיית התמונה >--משקולות פלט/overfeat_rezoom_ < חותמת הזמן >/save.ck-600000--מיקוף/היפסח/overfeat_rezoom. json--gpu 0 כדי לקבל קואורדינטות של תיבות תוחמות: שורת פקודה: תקליטור ~/tensorbox שורת הפקודה: פייתון predict_images_to_json. py--תיקיה < נתיב לתיקיית התמונה >--משקולות פלט/overfeat_rezoom_ < חותמת הזמן >/save.ck-600000--מיקוף /היפסח/overfeat_rezoom. json--gpu 0</li>
	<li>
MATLAB-עיבוד לאחר מעבד עבור TensorBox קוד MATLAB נוסף סופק כדי לחלץ את הקינמטיקה והפריטים החזותיים של קואורדינטות באמצעות קובץ קואורדינטת JSON כתוצאה ממודל הפעל את הסקריפט "Process_files_3Dreaching_mouse. m" לניתוח קימטי תלת-ממדי של כדור מזון יחיד המגיע למשימה.</li>
</ol>3. YOLOv3
<ol><li>
התקנת YOLOv3 שורת פקודה: cd ~ שורת הפקודה: לעשות שיבוט התקליטור דארקנט לשימוש GPU, פתח את ' Makefile ' ולשנות את השורות הבאות: GPU = 1; CUDNN = 1. שורת פקודה: הפוך</li>
	<li>
תיוג נתונים הדרכה באמצעות Yolo_mark שורת פקודה: cd ~ שורת הפקודה: ליין שיבוט תקליטור ~/Yolo_Mark שורת פקודה: cmake. שורת פקודה: הפוך הציבו את תמונות ההדרכה ב- ~/Yolo_mark/data/ola שורת הפקודה: chmod + x./linux_mark. sh שורת הפקודה: ./linux_mark. sh סמן את התמונות בתווית אחת-אחת בממשק המשתמש הגרפי (איור 5). כמות התמונות המומלצת היא כ-200.</li>
	<li>
YOLOv3 אימונים
	<ol>
<li>
קובץ הגדרות תצורה של תוכנית ההתקנה שורת פקודה: cd ~/Yolo_mark שורת הפקודה: scp-r./data ~/darknet שורת פקודה: תקליטור ~/darknet/fg שורת פקודה: cp yolov3. cfg yolo-obj. cfg</li>
		<li>
שינוי קובץ התצורה פתח את התיקייה yolo-obj. cfg ושנה את השורות הבאות: batch = 64, תת-חלוקה = 8, מחלקות = (מחלקה לזיהוי), ועבור כל שכבה convolutional לפני ששכבת yolo לשנות את המסנן = (מחלקות +5) x3. פרטים על שינויים אלה ניתן למצוא ב <a href="https://github.com/aarac/darknet/blob/master/README.md" target="_blank">https://github.com/aarac/darknet/blob/master/README.md</a>
</li>
		<li>
הורד משקולות רשת הורד את משקולות הרשת <a href="https://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0" target="_blank">מhttps://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0</a> מניחים את קובץ המשקל שהורד לתוך ~/darknet/x64
</li>
		<li>
הפעל אלגוריתם הדרכה שורת פקודה: cd ~/darknet שורת הפקודה: ./ofi גלאי הרכבת נתונים/אובייקט. נתונים cfg/yolo-obj. cfg darknet53. המרה 74</li>
		<li>
YOLOv3 הערכה לאחר השלמת ההכשרה על בסיס מספר מוגדר של איטראציות (מספר איטרציות), באפשרותך להציגם על-ידי שורת הפקודה: ./ofb גלאי הבדיקה נתונים/אובייקט. data cfg/yolo-obj. cfg גיבוי/yolo-obj_ITERATIONNUMBER. משקולות < תמונה >. jpg</li>
	</ol>
</li>
	<li>
לחזות על קטעי וידאו חדשים ולקבל קואורדינטות ניתן להפעיל פקודה זו כדי לקבל את הקואורדינטות של התוויות בווידאו החדש: שורת הפקודה: ./ofi גלאי הדגמה נתונים/אובייקט. data cfg/yolo-obj. cfg גיבוי/yolo-obj_ITERATIONNUMBER. משקולות וידאו. avi-ext_output < וידאו. AVI > FILENAME. txt</li>
	<li>
YOLOv3 פוסטעיבוד בMATLAB קח את קובץ FILENAME. txt ל-MATLAB והפעל את הסקריפט "Process_socialtest_mini. m" עבור שני עכברים מבחן אינטראקציה חברתית. ראה תוצאות באיור 2
</li>
</ol>4. לפתוח את התנוחה
OpenPose הוא אידיאלי כדי לעקוב אחר חלקי גוף מרובים בנושא אנושי. תהליכי ההתקנה וההתקנה דומים מאוד לשתי המסגרות הקודמות. עם זאת, אין צעד הכשרה כמו הרשת כבר מאומן על נתונים אנושיים.
<ol><li>
OpenPose התקנה נווט אל <a href="https://github.com/aarac/openpose" target="_blank">https://github.com/aarac/openpose</a> ופעל לפי הוראות ההתקנה.</li>
	<li>
הדפסת וידאו . בסדר--וידאו ווידאו. avi--net_resolution "1312x736"-scale_number 4--scale_gap 0.25--יד-hand_scale_number 6-hand_scale_range 0.4--write_json שם התיקיה-write_video תוצאות-משוב. אבי מלטזון כאן--net_resolution--scale_number--scale_gap--hand_scale_number ו hand_scale_range--מזהים ייחודיים יכולים להיות מושמטים אם אין צורך בזיהוי דיוק גבוה (זה יקטין את זמן העיבוד).</li>
	<li>
פתיחת לאחר עיבוד בתיקיה MATLAB, השתמש בסקריפט ' process_files_human3D. m ' כדי להפעיל את הקוד לאחר הוספת התיקיה המתאימה המכילה קבצי json ממצלמות 1 ו-2, כמו גם את קובץ הכיול. זה יהיה ליצור "תא" קובץ עם כל התנוחות 3D של המפרקים. זה יהיה גם לעשות סרט של תצוגת השלד 3D. עבור כיול מצלמה, אנא בצע את ההוראות בקישור זה: <a href="http://www.vision.caltech.edu/bouguetj/calib_doc/" target="_blank">http://www.vision.caltech.edu/bouguetj/calib_doc/</a>
</li>
</ol>

<ol><li>Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroscience+Needs+Behavior%3A+Correcting+a+Reductionist+Bias%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Neuroscience Needs Behavior: Correcting a Reductionist Bias.</a> Neuron. 93 (3), 480-490 (2017).</li>
<li>Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepBehavior%3A+A+Deep+Learning+Toolbox+for+Automated+Analysis+of+Animal+and+Human+Behavior+Imaging+Data%5BTitle%5D)+AND+%22Front+Syst+Neurosci%22%5BJournal%5D)">DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data.</a> Front Syst Neurosci. 13, 20(2019).</li>
<li>Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Stern, U., He, R., Yang, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analyzing+animal+behavior+via+classifying+each+video+frame+using+convolutional+neural+networks%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Analyzing animal behavior via classifying each video frame using convolutional neural networks.</a> Sci Rep. 5, 14351(2015).</li>
<li>Tinbergen, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+aims+and+methods+of+ethology%5BTitle%5D)+AND+%22Zeitschrift+fu%CC%88r+Tierpsychologie%22%5BJournal%5D)">On aims and methods of ethology.</a> Zeitschrift für Tierpsychologie. 20, 410-433 (1963).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521 (7553), 436-444 (2015).</li>
<li>Zhao, Z., Zheng, P., Xu, S., Wu, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Object+Detection+With+Deep+Learning%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Transactions+on+Neural+Networks+and+Learning+Systems%22%5BJournal%5D)">Object Detection With Deep Learning: A Review.</a> IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).</li>
<li>He, K., Zhang, X., Ren, S., Deep Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Residual Learning for Image Recognition.</a> arXiv. , eprint (2015).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+classification+with+deep+convolutional+neural+networks%5BTitle%5D)+AND+%22Proceedings+of+the+25th+International+Conference+on+Neural+Information+Processing+Systems%22%5BJournal%5D)">ImageNet classification with deep convolutional neural networks.</a> Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).</li>
<li>Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+deeper+with+convolutions%5BTitle%5D)+AND+%222015+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Going deeper with convolutions.</a> 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).</li>
<li>Stewart, R., Andriluka, M., Ng, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((End-to-End+People+Detection+in+Crowded+Scenes%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">End-to-End People Detection in Crowded Scenes.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).</li>
<li>Redmon, J., Farhadi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((YOLOv3%3A+An+Incremental+Improvement%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">YOLOv3: An Incremental Improvement.</a> arXiv. , eprint (2018).</li>
<li>Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Realtime+Multi-Person+2D+Pose+Estimation+using+Part+Affinity+Fields%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.</a> arXiv. , (2017).</li>
<li>Simon, T., Joo, H., Matthews, I., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+Keypoint+Detection+in+Single+Images+using+Multiview+Bootstrapping%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Hand Keypoint Detection in Single Images using Multiview Bootstrapping.</a> arXiv. , eprint (2017).</li>
<li>Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+Pose+Machines%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Convolutional Pose Machines.</a> arXiv. , eprint (2016).</li>
</ol>

. למחברים אין מה לגלות

כאן, אנו מספקים מדריך צעד אחר צעד למימוש של התנהגות DeepBehavior שפיתחנו לאחרונה ארגז הכלים למידה עמוקה שפותחה עבור בעלי חיים והדמיית ההתנהגות האנושית ניתוח נתונים2. אנו מספקים הסברים מפורטים לכל שלב עבור התקנת מסגרות עבור כל ארכיטקטורת רשת, ולספק קישורים להתקנת דרישות קוד פתוח כדי להיות מסוגל להפעיל מסגרות אלה. אנו מדגימים כיצד להתקין אותם, כיצד ליצור נתוני הדרכה, כיצד להכשיר את הרשת וכיצד לעבד קבצי וידאו חדשים ברשת המאומנת. אנו מספקים גם את קוד לאחר עיבוד כדי לחלץ את המידע ההכרחי הבסיסי הדרוש לנ...

ניתוח מפורט של התנהגות הוא המפתח להבנת המוח ויחסי ההתנהגות. לעומת זאת, היו התפתחויות מרתקות רבות במתודולוגיות להקלטה וטיפול באוכלוסיות נירואליות ברזולוציה גבוהה ביותר, אולם השיטות לניתוח התנהגות לא פותחו באותו קצב ומוגבלות למדידות עקיפות ולגישה מדוקדקת1. לאחרונה, שיטות מבוססות למידה עמוקה פותחו כדי לבצע ניתוח התנהגות אוטומטית ומפורטת2,3,4,5. פרוטוקול זה מספק מדריך יישום צעד-אחר-צעד עבור ארגז הכלים DeepBehavior.
שיטות מסורתיות לניתוח התנהגותי כוללות לעיתים קרובות תיוג נתונים באופן ידני על-ידי מעריכים מרובים, המובילים לשונות באופן שבו הניסויים מגדירים התנהגות6. תיוג ידני של הנתונים מחייב זמן ומשאבים המגבירים באופן לא פרופורציונלי את כמות הנתונים שנאספו. יתר על כן, נתונים מתויג באופן ידני להפחית את התוצאות ההתנהגות לתוך מדידות הקטקטיליות אשר לא ללכוד את עושרה של ההתנהגות, ויהיה יותר סובייקטיבי. לפיכך, השיטות המסורתיות הנוכחיות עשויות להיות מוגבלות בלכידת הפרטים בהתנהגויות הטבעיות.
ארגז הכלים DeepBehavior מציג פתרון מדויק, מפורט, זמני מאוד ואוטומטי באמצעות למידה עמוקה לניתוח התנהגותי. למידה עמוקה הופכת במהירות לנגישה לכל עם כלים וחבילות של קוד פתוח. Convolutional רשתות עצביות (cnns) הוכחו כיעילים ביותר במשימות זיהוי אובייקטים ומעקב אחר משימות7,8. באמצעות היום cnns מודרני ביצועים גבוהים-יחידות עיבוד גרפיקה (gpus), תמונה גדולה וערכות נתונים וידאו ניתן לעבד במהירות עם דיוק גבוהה7,9,10,11. באופן התנהגותי, יש שלוש ארכיטקטורות נטו convolutional עצביות שונות, TensorBox, YOLOv3, ו OpenPose2.
המסגרת הראשונה, Tensorbox, היא מסגרת רב-תכליתית המשלבת ארכיטקטורות CNN רבים שונים עבור זיהוי אובייקט12. TensorBox מתאים ביותר לזיהוי מחלקת אובייקט אחד בלבד לכל תמונה. התפוקות המתקבלות הן תיבות תוחמות של אובייקט הריבית (איור 1) והקואורדינטות הקרטזיות של התיבה התוחמת.
מסגרת ה-CNN השנייה היא YOLOv3, המהווה את "הסתכל פעם אחת בלבד"13. YOLOv3 הוא יתרון כאשר קיימים מספר אובייקטים של עניין שיש לעקוב אחריהם בנפרד. הפלט של רשת זו כולל את התיבה התוחמת עם המחלקה של תווית האובייקט המשויכת, כמו גם את הקואורדינטות הקרטזיות של התיבה התוחמת של האובייקט במסגרת הווידאו (איור 2).
שתי המסגרות הקודמות הן יתרון למידע התנהגותי כללי שנאסף מניסויי מעבדה סטנדרטיים בנושאי בעלי חיים. מסגרת CNN האחרונה היא openpose14,15,16 אשר משמש להערכה האדם המשותף פוזה. OpenPose מזהה גוף האדם, יד, פנים, נקודות מפתח ברגל על תמונות. התפוקות של המסגרת מסומנות בתוויות של הנושא האנושי, כמו גם הקואורדינטות של כל 25 נקודות המפתח בגוף 21 נקודות מפתח של כל יד (איור 3).
זה מפורט צעד אחר צעד מדריך ליישום של ארגז הכלים הפותח לאחרונה שלנו מקור התנהגות, מעסיקה רשתות עצביות המדינה-of-the-art convolutional כדי לעקוב אחר התנהגות בעלי חיים (למשל תנועה של כף) או התנהגות אנושית (למשל ההגעה משימות). על-ידי מעקב אחר ההתנהגות, הקינמטיקה שימושית יכולה להיות נגזרת מההתנהגות כגון מיקום, מהירות ותאוצה. הפרוטוקול מסביר את ההתקנה של כל ארכיטקטורת CNN, מדגים כיצד ליצור ערכות נתונים של הדרכה, כיצד להכשיר את הרשתות, כיצד לעבד קטעי וידאו חדשים ברשת המאומנת, כיצד לחלץ את הנתונים מהרשת בקטעי הווידאו החדשים וכיצד ל לאחר העיבוד של נתוני הפלט כדי להפוך אותו לשימושי לצורך ניתוח נוסף.

<table><tbody><tr><td>CUDA v8.0.61</td><td>NVIDIA</td><td>n/a</td><td>GPU תוכנה</td></tr><tr><td>MATLAB R2016b</td><td>Mathworks</td><td>n/a</td><td>Matlab</td></tr><tr><td>Python 2.7</td><td>Python</td> n<td>/a</td><td>גרסת Python</td></tr><tr><td>Quadro P6000</td><td>NVIDIA</td><td>n/a</td><td>GPU מעבד</td></tr><tr><td>אובונטו v16.04</td><td>אובונטו</td><td>n/a</td><td>מערכת הפעלה</td></tr></tbody></table>

יישום שלב אחר שלב של התנהגות deepbehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית

A Step-by-Step Implementation of DeepBehavior, Deep Learning Toolbox for Automated Behavior Analysis

הבנת ההתנהגות היא הצעד הראשון להבנת באמת מנגנונים עצביים במוח שנוהגים בה. שיטות מסורתיות לניתוח התנהגותי אינן לוכדים את העושר הגלום בהתנהגות הטבעית. כאן, אנו מספקים הוראות מפורטות צעד אחר צעד עם פריטים חזותיים של המתודולוגיה האחרונה שלנו, Deepהתנהגו. ארגז הכלים DeepBehavior משתמש במסגרות למידה עמוקה שנבנו עם רשתות עצביות convolutional כדי לעבד במהירות ולנתח סרטי וידאו התנהגותיים. פרוטוקול זה מדגים שלוש מסגרות שונות עבור זיהוי אובייקט יחיד, זיהוי אובייקטים מרובים, ו תלת מימדי (3D) משותף האדם תנוחות מעקב. מסגרות אלה מחזירות קואורדינטות קרטזיות של מושא הריבית עבור כל מסגרת של וידאו ההתנהגות. נתונים שנאספו מארגז הכלים DeepBehavior מכילים פרטים רבים יותר מאשר שיטות ניתוח התנהגות מסורתיות ומספק תובנות מפורטות לגבי דינמיקת ההתנהגות. התנהגות עומק מכמת משימות התנהגות בצורה חזקה, אוטומטית ומדויקת. לאחר זיהוי התנהגות, מסופק קוד לאחר עיבוד כדי לחלץ מידע ופריטים חזותיים מסרטוני ההתנהגות.

כאשר מעקב אחר הפרוטוקול, הנתונים עבור כל ארכיטקטורת רשת צריכים להיות דומים לאלה שלהלן. עבור TensorBox, הוא מפיק פלט של תיבה תוחמת סביב אובייקט הריבית. בדוגמה שלנו, השתמשנו קטעי וידאו מתוך גלולה מזון להגיע למשימה, והוא מתויג כפות הימנית כדי לעקוב אחר תנועתם. כפי שניתן לראות באיור 1, כף הימין יכולה להתגלות במיקומים שונים הן בתצוגה הקדמית והן במצלמות התצוגה הצדדית. לאחר עיבוד פוסט עם כיול המצלמה, מסלולים 3D של ההישג ניתן להשיג (איור 1</stron...

מטרת פרוטוקול זה היא לנצל מראש בנוי רשתות עצביות convolutional כדי להפוך מעקב התנהגות ולבצע ניתוח התנהגות מפורטת. ניתן להחיל מעקב אחר התנהגות על כל נתוני הווידאו או רצפי התמונות וניתנים להכליל כדי לעקוב אחר כל אובייקט המוגדר על-ידי המשתמש.

יישום שלב אחר שלב של התנהגות DeepBehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית

Understanding behavior is the first step to truly understanding neural mechanisms in the brain that drive it. Traditional behavioral analysis methods ...

ביצוע ניתוח התנהגות מפורט חיוני להבנת מערכת היחסים בין התנהגות המוח. אחת הדרכים הטובות ביותר להעריך התנהגות היא באמצעות תצפיות זהירות. עם זאת, כימות ההתנהגות שנצפתה הוא זמן רב ומאתגר.שיטות קלאסיות לניתוח התנהגות אינן ניתנות לכימות בקלות והן סובייקטיביות מטבען. ההתפתחויות האחרונות בלמידה עמוקה, ענף של למידת מכונה ותחומי בינה מלאכותית, מספקות הזדמנויות לכמות אוטומטי ואובייקטיבי של תמונות וסרטונים. כאן אנו מציגים את השיטות שפותחו לאחרונה באמצעות רשתות עצביות עמוקות כדי לבצע ניתוח התנהגות מפורט אצל מכרסמים ובני אדם.היתרון העיקרי של טכניקה זו הוא הגמישות וההתאימות שלה לכל נתוני הדמיה לניתוח התנהגות. ארגז הכלים DeepBehavior תומך בזיהוי אובייקט יחיד, בזיהוי אובייקטים מרובי ומעקב אחר תנוחות אנושיות. אנו מספקים גם את קוד עיבוד הפוסט ב- MATLAB לשיטות ניתוח קינמטיות מעמיקות יותר.התחל בהגדרת תיבת טנזור. הפעל את הסביבה ולאחר מכן השתמש ב- GitHub כדי לשכפל את תיבת טנזור ולהתקין אותה במחשב ובתלות נוספת. לאחר מכן, הפעל את ממשק המשתמש הגרפי לתיוג ותייג לפחות 600 תמונות מהפצה רחבה של מסגרות התנהגות.כדי להוסיף תווית לתמונה, לחץ על הפינה השמאלית העליונה של אובייקט העניין ולאחר מכן על הפינה השמאלית התחתונה. לאחר מכן ודא שהתיבה התוחמת לוכדת את האובייקט כולו. לחץ על לצד כדי לעבור למסגרת הבאה.כדי לקשר את תמונות האימון לקובץ פרמטרי היפר-רשת, פתח את overfeat_rezoom. json בעורך טקסט ולהחליף את נתיב הקובץ תחת train_idl labels.json. לאחר מכן הוסף את אותו נתיב קובץ תחת test-idl ושמור את השינויים.ליזום את סקריפט האימון אשר יתחיל אימון עבור 600, 000 איטראציות וליצור את המשקולות מאומנים וכתוצאה מכך של הרשת העצבית המפותלת בתקריית הפלט. לאחר מכן בצע חיזוי על תמונות חדשות והצג את יציאות הרשת כתמונות המסותוויות וכנקודות ציון של תיבה תוחמת. התקן את YOLOv3.לאחר מכן תייג את נתוני Yolo_mark באמצעות תוויות על-ידי הצבת התמונות Yolo_mark אובגה של נתונים ותוויתן בזה אחר זה בממשק המשתמש הגרפי. תייג כ- 200 תמונות. לאחר מכן, הגדר את קובץ התצורה.כדי לשנות את קובץ התצורה, פתח את YOLO-obj. תיקיית cfg. שנה את שורות האצווה, חלוקת המשנה והמדיות.לאחר מכן שנה את המסנן עבור כל שכבת קונבולוטוריה לפני שכבת YOLO. הורד את משקולות הרשת והצב אותן בבנייה של רשת האפלה. תיקיית x64.הפעל את אלגוריתם האימון, וברגע שהוא יושלם, הצג את איטראציות. כדי לעקוב אחר חלקי גוף מרובים בנושא אנושי, התקן את OpenPose ולאחר מכן השתמש בו כדי לעבד את הווידאו הרצוי. היכולות של ארגז הכלים DeepBehavior הודגמה על קטעי וידאו של עכברים ביצוע גלולת מזון להגיע למשימה.כפותיהם הימניות תויגו והתנועה הייתה במעקב עם מצלמות צפייה קדמיות וצד. לאחר עיבוד פוסט עם כיול המצלמה, מסלולים 3D של תפוצה הושגו. הפלטים של YOLOv3 הם תיבות תוחמות מרובות מכיוון שניתן לעקוב אחר אובייקטים מרובים.הקופסאות התוחמות הן סביב האובייקטים של עניין אשר יכול להיות חלקים של הגוף. ב- OpenPose, הרשת זיהתה את עמדות המפרקים ולאחר עיבוד פוסט עם כיול המצלמה, נוצר דגם תלת-ממד של הנושא. שלב קריטי אחד שלא מכוסה בפרוטוקול זה הוא להבטיח שלהתקן שלך יהיה את גירסאות פייתון ואת יחסי התלות המתאימים, כמו גם התקן שתצורתו נקבעה על-ידי המעבד הגרפי לפני שתתחיל.לאחר קבלת אופן הפעולה של המסלול בהצלחה מהרשת ניתן לעשות עיבוד פוסט נוסף כדי לנתח עוד יותר את kinematics ודפוסים של ההתנהגות. מדוע תיבת הכלים DeepBehavior ישימה עבור גישות אבחון במודלים של מחלות של מכרסמים ונושאים אנושיים אינה יתרון טיפולי ישיר. השימוש בטכניקות אלה ככלי אבחון או פרוגנוסטי נמצא תחת מחקר פעיל במעבדה שלנו.טכניקה זו משמשת כדי לחקור את המנגנונים העצביים של התנהגות מוטורית מיומנת מכרסמים, כמו גם בשימוש במחקרים קליניים כדי להעריך התאוששות מוטורית בחולים עם מחלות נוירולוגיות.

a-step-step-implementation-deepbehavior-deep-learning-toolbox-for

Research

JoVE Journal

Behavior

התנהגות

ניתוח עמוק גירוי המוח מציעה הזדמנות ייחודית לבחון את קידוד המידע במוח האדם ער. מאמר זה יתאר התוך אופרטיבית שיטות לבצע משימות קוגניטיביות והתנהגותיות ובמקביל רכישת נתונים פיזיולוגיים כמו פעילות EMG, יחידה אחת עצבי ו / או פוטנציאלים בשדה המקומי.

תוך Operative משימות ההתנהגות בבני אדם ער שעברו ניתוח עמוק גירוי המוח

המעבדה שלנו פיתחה מערכת שהיא שימושית לצורך זיהוי של כמה התנהגויות שונות בזחלי דג הזברה 7 ימים בת הדמיה אוטומטית תפוקה גבוהה רומן. המערכת יכולה לשמש לאיתור שינויים עדינים בהתנהגות לאחר הזחלים שנחשפו לרעלים או תרופות סביבתיים.

ניתוח התנהגות תפוקה גבוהה אוטומטי בזחלי דג הזברה

התפקיד של גנים הקשורים למחלות שהתגלו לאחרונה בפתוגנזה של הפרעות נוירופסיכיאטריות נשאר מעורפל. דו-צדדי שונה בטכניקת אלקטרופורציה ברחם מאפשר העברת גנים באוכלוסיות גדולות של נוירונים ובחינת ההשפעות הסיבתיות של שינויים בביטוי גנים על ההתנהגות החברתית.

צינור באמצעות אלקטרופורציה דו-צדדית ברחם כדי לחקור השפעות גנטיות על התנהגות מכרסמים

פרוטוקול זה מתאר כיצד לבנות מצלמת וידאו קטנה ומגוונת, וכיצד להשתמש בסרטוני וידאו שהושגו ממנו כדי להכשיר רשת עצבית כדי לעקוב אחר מיקומו של בעל חיים בתוך תאי מיזוג אופרנט. זהו ערך המשלים לניתוחים סטנדרטיים של יומני נתונים שהתקבלו מבדיקות אופרנט מיזוג.

מעקב אחר חולדות בתאי מיזוג אופרנט באמצעות מצלמת וידאו רב-תכליתי ביתית ו-DeepLabCut

פיתחנו פלטפורמה אחת למעקב אחר התנהגות בעלי חיים במהלך שתי משימות למידה אסוציאטיביות תלויות סיבים מטפסים. התכנון הזול מאפשר אינטגרציה עם ניסויים אופטוגנטיים או ניסויי הדמיה המכוונים לטיפוס על פעילות המוח הקטן הקשורה לסיבים תזונתיים.

פלטפורמה גמישה לניטור למידה אסוציאטיבית חושית תלוית מוח הקטן

הפרוטוקול הנוכחי מתאר את הפיתוח של ארגז כלים של משימת זמן תגובה סדרתי בן 5 אפשרויות פתוח עבור מודלים של בעלי חיים מכרסמים, תוך שימוש בארדואינו ובחומרה קשורה וארגז כלים רב-תכליתי של Matlab, כולל סקריפט אופציונלי לאימון התנהגותי אוטומטי. הסקריפטים ניתנים להתאמה אישית ומאפשרים יישום של עיצובי ניסוי ובדיקה שונים.

ארגז כלים לזמן תגובה סדרתי של 5 אפשרויות קוד פתוח וניתן להתאמה אישית מלאה של 5 אפשרויות לאימון התנהגותי אוטומטי של מכרסמים

פרוטוקול זה מספק שיטה למעקב אחר פזילה אוטומטית של העיניים במכרסמים לאורך זמן באופן התואם נעילת זמן למדדים נוירופיזיולוגיים. פרוטוקול זה צפוי להיות שימושי לחוקרים החוקרים מנגנונים של הפרעות כאב כגון מיגרנה.

שיטת פזילה אוטומטית לסנכרון זמן התנהגות ודינמיקה מוחית במחקרי כאב עכברים

הפרוטוקול מציג שיטה חדשנית לניתוח והדמיה של התנהגויות הקשורות להתקפים המושרים על ידי פנטילנטרזול בעכברים. גישה זו משתרעת מעבר לציונים המסורתיים של רסין, ומספקת הערכה מקיפה יותר של המגוון והדינמיקה הזמנית של התנהגויות איקטליות.

אפיון התנהגותי של התקפים הנגרמים על ידי Pentylenetetrazole: מעבר לסולם Racine

פרוטוקול זה נותן מסגרת משולבת המבוססת על שיטות נוירו-אתולוגיות חישוביות מתקדמות להבנת קידוד מוח בהקשרים נטורליסטיים.

פענוח התנהגות טבעית מהטמעה נוירו-אתולוגית

אנו מציגים תהליך עבודה זול וללא סימנים באמצעות DeepLabCut לכימות צעדים ותנועה ספונטנית בעכברים שנעים בחופשיות. פרוטוקול זה משלב רכישת וידאו במצלמה אחת, מעקב ללא סימנים אחר נקודות ציון אנטומיות וחילוץ פרמטרי תנועה מרחבית-זמנית, ומספק מסגרת לא פולשנית ונגישה לניתוח התנהגות מוטורית ללא ציוד ייעודי.

זרימת עבודה זולה ללא סימון מבוססת DeepLabCut לניתוח הליכה ותנועה ספונטנית בעכברים שנעים בחופשיות

למד ניתוח התנהגות אוטומטי באמצעות רשתות נוירונים קונבולוציוניות לנוירומדע ולמידת מכונה. שיטה זו מאפשרת מעקב אחרי עצמים מוגדרים בסרטוני וידאו ותמונות בצורה אובייקטיבית ויעילה.

יישום שלב אחר שלב של התנהגות DeepBehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית

גלה סרטונים נוספים