Summary
מטרת פרוטוקול זה היא לנצל מראש בנוי רשתות עצביות convolutional כדי להפוך מעקב התנהגות ולבצע ניתוח התנהגות מפורטת. ניתן להחיל מעקב אחר התנהגות על כל נתוני הווידאו או רצפי התמונות וניתנים להכליל כדי לעקוב אחר כל אובייקט המוגדר על-ידי המשתמש.
Abstract
הבנת ההתנהגות היא הצעד הראשון להבנת באמת מנגנונים עצביים במוח שנוהגים בה. שיטות מסורתיות לניתוח התנהגותי אינן לוכדים את העושר הגלום בהתנהגות הטבעית. כאן, אנו מספקים הוראות מפורטות צעד אחר צעד עם פריטים חזותיים של המתודולוגיה האחרונה שלנו, Deepהתנהגו. ארגז הכלים DeepBehavior משתמש במסגרות למידה עמוקה שנבנו עם רשתות עצביות convolutional כדי לעבד במהירות ולנתח סרטי וידאו התנהגותיים. פרוטוקול זה מדגים שלוש מסגרות שונות עבור זיהוי אובייקט יחיד, זיהוי אובייקטים מרובים, ו תלת מימדי (3D) משותף האדם תנוחות מעקב. מסגרות אלה מחזירות קואורדינטות קרטזיות של מושא הריבית עבור כל מסגרת של וידאו ההתנהגות. נתונים שנאספו מארגז הכלים DeepBehavior מכילים פרטים רבים יותר מאשר שיטות ניתוח התנהגות מסורתיות ומספק תובנות מפורטות לגבי דינמיקת ההתנהגות. התנהגות עומק מכמת משימות התנהגות בצורה חזקה, אוטומטית ומדויקת. לאחר זיהוי התנהגות, מסופק קוד לאחר עיבוד כדי לחלץ מידע ופריטים חזותיים מסרטוני ההתנהגות.
Introduction
ניתוח מפורט של התנהגות הוא המפתח להבנת המוח ויחסי ההתנהגות. לעומת זאת, היו התפתחויות מרתקות רבות במתודולוגיות להקלטה וטיפול באוכלוסיות נירואליות ברזולוציה גבוהה ביותר, אולם השיטות לניתוח התנהגות לא פותחו באותו קצב ומוגבלות למדידות עקיפות ולגישה מדוקדקת1. לאחרונה, שיטות מבוססות למידה עמוקה פותחו כדי לבצע ניתוח התנהגות אוטומטית ומפורטת2,3,4,5. פרוטוקול זה מספק מדריך יישום צעד-אחר-צעד עבור ארגז הכלים DeepBehavior.
שיטות מסורתיות לניתוח התנהגותי כוללות לעיתים קרובות תיוג נתונים באופן ידני על-ידי מעריכים מרובים, המובילים לשונות באופן שבו הניסויים מגדירים התנהגות6. תיוג ידני של הנתונים מחייב זמן ומשאבים המגבירים באופן לא פרופורציונלי את כמות הנתונים שנאספו. יתר על כן, נתונים מתויג באופן ידני להפחית את התוצאות ההתנהגות לתוך מדידות הקטקטיליות אשר לא ללכוד את עושרה של ההתנהגות, ויהיה יותר סובייקטיבי. לפיכך, השיטות המסורתיות הנוכחיות עשויות להיות מוגבלות בלכידת הפרטים בהתנהגויות הטבעיות.
ארגז הכלים DeepBehavior מציג פתרון מדויק, מפורט, זמני מאוד ואוטומטי באמצעות למידה עמוקה לניתוח התנהגותי. למידה עמוקה הופכת במהירות לנגישה לכל עם כלים וחבילות של קוד פתוח. Convolutional רשתות עצביות (cnns) הוכחו כיעילים ביותר במשימות זיהוי אובייקטים ומעקב אחר משימות7,8. באמצעות היום cnns מודרני ביצועים גבוהים-יחידות עיבוד גרפיקה (gpus), תמונה גדולה וערכות נתונים וידאו ניתן לעבד במהירות עם דיוק גבוהה7,9,10,11. באופן התנהגותי, יש שלוש ארכיטקטורות נטו convolutional עצביות שונות, TensorBox, YOLOv3, ו OpenPose2.
המסגרת הראשונה, Tensorbox, היא מסגרת רב-תכליתית המשלבת ארכיטקטורות CNN רבים שונים עבור זיהוי אובייקט12. TensorBox מתאים ביותר לזיהוי מחלקת אובייקט אחד בלבד לכל תמונה. התפוקות המתקבלות הן תיבות תוחמות של אובייקט הריבית (איור 1) והקואורדינטות הקרטזיות של התיבה התוחמת.
מסגרת ה-CNN השנייה היא YOLOv3, המהווה את "הסתכל פעם אחת בלבד"13. YOLOv3 הוא יתרון כאשר קיימים מספר אובייקטים של עניין שיש לעקוב אחריהם בנפרד. הפלט של רשת זו כולל את התיבה התוחמת עם המחלקה של תווית האובייקט המשויכת, כמו גם את הקואורדינטות הקרטזיות של התיבה התוחמת של האובייקט במסגרת הווידאו (איור 2).
שתי המסגרות הקודמות הן יתרון למידע התנהגותי כללי שנאסף מניסויי מעבדה סטנדרטיים בנושאי בעלי חיים. מסגרת CNN האחרונה היא openpose14,15,16 אשר משמש להערכה האדם המשותף פוזה. OpenPose מזהה גוף האדם, יד, פנים, נקודות מפתח ברגל על תמונות. התפוקות של המסגרת מסומנות בתוויות של הנושא האנושי, כמו גם הקואורדינטות של כל 25 נקודות המפתח בגוף 21 נקודות מפתח של כל יד (איור 3).
זה מפורט צעד אחר צעד מדריך ליישום של ארגז הכלים הפותח לאחרונה שלנו מקור התנהגות, מעסיקה רשתות עצביות המדינה-of-the-art convolutional כדי לעקוב אחר התנהגות בעלי חיים (למשל תנועה של כף) או התנהגות אנושית (למשל ההגעה משימות). על-ידי מעקב אחר ההתנהגות, הקינמטיקה שימושית יכולה להיות נגזרת מההתנהגות כגון מיקום, מהירות ותאוצה. הפרוטוקול מסביר את ההתקנה של כל ארכיטקטורת CNN, מדגים כיצד ליצור ערכות נתונים של הדרכה, כיצד להכשיר את הרשתות, כיצד לעבד קטעי וידאו חדשים ברשת המאומנת, כיצד לחלץ את הנתונים מהרשת בקטעי הווידאו החדשים וכיצד ל לאחר העיבוד של נתוני הפלט כדי להפוך אותו לשימושי לצורך ניתוח נוסף.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. GPU ו פיתון ההתקנה
-
תוכנת GPU
כאשר המחשב הוא ההתקנה הראשונה עבור יישומים למידה עמוקה, GPU-המתאים התוכנה ומנהלי ההתקנים צריך להיות מותקן אשר ניתן למצוא באתר האינטרנט המתאים של GPU. (עיין ברשימת החומרים לאלה המשמשים במחקר זה). -
פיתון 2.7 מיצב
פתח שורת פקודה במחשב שלך.
שורת הפקודה: sudo apt-לקבל להתקין פיתון-פיפ פייתון-dev פייתון-וירטואליזציה
2. תיבת הטסורא
-
הגדרת תיבת tensorbox
-
יצירת סביבה וירטואלית לתיבת הטסוראלים
שורת פקודה: cd ~
שורת הפקודה: וירטואואלנבי--מערכת האתר-חבילות ~/tensorflow
הערה: ' ~/tensorflow ' הוא שם הסביבה והוא שרירותי -
הפעל סביבה
שורת הפקודה: מקור ~/tensorflow/bin/o/b
-
יצירת סביבה וירטואלית לתיבת הטסוראלים
-
התקנת תיבת הטסורב
אנו נשתמש GitHub כדי לשכפל TensorBox מ http://github.com/aarac/TensorBox ולהתקין אותו במחשב שלנו, כמו גם התקנת יחסי תלות נוספים.
שורת פקודה: cd ~
שורת הפקודה: לhttp://github.com/aarac/TensorBox שיבוט
שורת פקודה: תיבת תקליטור
שורת פקודה: התקנת pip-r דרישות. txt -
נתוני תוויות
-
יצירת תיקיה של תמונות התנהגות
כלי קוד פתוח כגון ffmpeg הם שימושיים כדי לבצע המרת קטעי וידאו למסגרות בודדות אנו ממליצים תיוג לפחות 600 תמונות מתוך הפצה רחבה של מסגרות התנהגות לאימונים. שים את התמונות האלה בתיקיה. -
השקת תיוג ממשק משתמש גרפי
שורת פקודה: פיתון make_json. py < נתיב אל תיקיית התמונה > תוויות. json
כדי לתייג תמונה, לחץ על הפינה השמאלית העליונה של אובייקט הריבית (כלומר כפה) תחילה ולאחר מכן לחץ על הפינה הימנית התחתונה של אובייקט הריבית (איור 4). בדוק שהתיבה התוחמת מוכדת את כל אובייקט הריבית. לחץ על ' בטל ' כדי לתייג מחדש את אותה תמונה או לחץ על ' הבא ' כדי לעבור אל המסגרת הבאה.
-
יצירת תיקיה של תמונות התנהגות
-
תיבת הרכבת מרכך
-
קישור תמונות הדרכה לקובץ היפר-פרמטרים של הרשת
בתוך התיקיה tensorbox, פתח את התיקיה הבאה בעורך טקסט:
/ טסורסותיבת/היפסח/overfeat_rezoom json. נווט אל התכונה תחת נתונים הנקראים train_idl והחלף את נתיב הקובץ מ -./mdoyukageyser/b/train_boxes json לתוויות.. אני מבין. שמור את השינויים בקובץ. -
התחלת מכתב הדרכה
שורת פקודה: תקליטור ~/tensorbox
שורת הפקודה: פיתון train.py--מיקוף מיקוף/overfeat_rezoom. json--gpu 0--פלט logdir
לאחר מכן, הרשת תתחיל בהכשרה עבור 600,000 איטראציות. בתיקיית הפלט, את המשקולות המיומן המתקבל של הרשת convolutional עצביים תיווצר.
-
קישור תמונות הדרכה לקובץ היפר-פרמטרים של הרשת
-
לחזות על תמונות חדשות
לתיוג תמונה:
שורת פקודה: תקליטור ~/tensorbox
שורת הפקודה: פיתון label_images. py-תיקיה < נתיב לתיקיית התמונה >--משקולות פלט/overfeat_rezoom_ < חותמת הזמן >/save.ck-600000--מיקוף/היפסח/overfeat_rezoom. json--gpu 0
כדי לקבל קואורדינטות של תיבות תוחמות:
שורת פקודה: תקליטור ~/tensorbox
שורת הפקודה: פייתון predict_images_to_json. py--תיקיה < נתיב לתיקיית התמונה >--משקולות
פלט/overfeat_rezoom_ < חותמת הזמן >/save.ck-600000--מיקוף
/היפסח/overfeat_rezoom. json--gpu 0 -
MATLAB-עיבוד לאחר מעבד עבור TensorBox
קוד MATLAB נוסף סופק כדי לחלץ את הקינמטיקה והפריטים החזותיים של קואורדינטות באמצעות קובץ קואורדינטת JSON כתוצאה ממודל
הפעל את הסקריפט "Process_files_3Dreaching_mouse. m" לניתוח קימטי תלת-ממדי של כדור מזון יחיד המגיע למשימה.
3. YOLOv3
-
התקנת YOLOv3
שורת פקודה: cd ~
שורת הפקודה: לעשות שיבוט התקליטור דארקנט
לשימוש GPU, פתח את ' Makefile ' ולשנות את השורות הבאות: GPU = 1; CUDNN = 1.
שורת פקודה: הפוך -
תיוג נתונים הדרכה באמצעות Yolo_mark
שורת פקודה: cd ~
שורת הפקודה: ליין שיבוט תקליטור ~/Yolo_Mark
שורת פקודה: cmake.
שורת פקודה: הפוך
הציבו את תמונות ההדרכה ב- ~/Yolo_mark/data/ola
שורת הפקודה: chmod + x./linux_mark. sh
שורת הפקודה: ./linux_mark. sh
סמן את התמונות בתווית אחת-אחת בממשק המשתמש הגרפי (איור 5). כמות התמונות המומלצת היא כ-200. -
YOLOv3 אימונים
-
קובץ הגדרות תצורה של תוכנית ההתקנה
שורת פקודה: cd ~/Yolo_mark
שורת הפקודה: scp-r./data ~/darknet
שורת פקודה: תקליטור ~/darknet/fg
שורת פקודה: cp yolov3. cfg yolo-obj. cfg -
שינוי קובץ התצורה
פתח את התיקייה yolo-obj. cfg ושנה את השורות הבאות: batch = 64, תת-חלוקה = 8, מחלקות = (מחלקה לזיהוי), ועבור כל שכבה convolutional לפני ששכבת yolo לשנות את המסנן = (מחלקות +5) x3. פרטים על שינויים אלה ניתן למצוא ב https://github.com/aarac/darknet/blob/master/README.md -
הורד משקולות רשת
הורד את משקולות הרשת מhttps://www.dropbox.com/s/613n2hwm5ztbtuf/darknet53.conv.74?dl=0
מניחים את קובץ המשקל שהורד לתוך ~/darknet/x64 -
הפעל אלגוריתם הדרכה
שורת פקודה: cd ~/darknet
שורת הפקודה: ./ofi גלאי הרכבת נתונים/אובייקט. נתונים cfg/yolo-obj. cfg darknet53. המרה 74 -
YOLOv3 הערכה
לאחר השלמת ההכשרה על בסיס מספר מוגדר של איטראציות (מספר איטרציות), באפשרותך להציגם על-ידי
שורת הפקודה: ./ofb גלאי הבדיקה נתונים/אובייקט. data cfg/yolo-obj. cfg גיבוי/yolo-obj_ITERATIONNUMBER. משקולות < תמונה >. jpg
-
קובץ הגדרות תצורה של תוכנית ההתקנה
-
לחזות על קטעי וידאו חדשים ולקבל קואורדינטות
ניתן להפעיל פקודה זו כדי לקבל את הקואורדינטות של התוויות בווידאו החדש:
שורת הפקודה: ./ofi גלאי הדגמה נתונים/אובייקט. data cfg/yolo-obj. cfg גיבוי/yolo-obj_ITERATIONNUMBER. משקולות וידאו. avi-ext_output < וידאו. AVI > FILENAME. txt -
YOLOv3 פוסטעיבוד בMATLAB
קח את קובץ FILENAME. txt ל-MATLAB והפעל את הסקריפט "Process_socialtest_mini. m" עבור שני עכברים מבחן אינטראקציה חברתית. ראה תוצאות באיור 2
4. לפתוח את התנוחה
OpenPose הוא אידיאלי כדי לעקוב אחר חלקי גוף מרובים בנושא אנושי. תהליכי ההתקנה וההתקנה דומים מאוד לשתי המסגרות הקודמות. עם זאת, אין צעד הכשרה כמו הרשת כבר מאומן על נתונים אנושיים.
-
OpenPose התקנה
נווט אל https://github.com/aarac/openpose ופעל לפי הוראות ההתקנה. -
הדפסת וידאו
. בסדר--וידאו ווידאו. avi--net_resolution "1312x736"-scale_number 4--scale_gap 0.25--יד-hand_scale_number 6-hand_scale_range 0.4--write_json שם התיקיה-write_video תוצאות-משוב. אבי מלטזון
כאן--net_resolution--scale_number--scale_gap--hand_scale_number ו hand_scale_range--מזהים ייחודיים יכולים להיות מושמטים אם אין צורך בזיהוי דיוק גבוה (זה יקטין את זמן העיבוד). -
פתיחת לאחר עיבוד
בתיקיה MATLAB, השתמש בסקריפט ' process_files_human3D. m ' כדי להפעיל את הקוד לאחר הוספת התיקיה המתאימה המכילה קבצי json ממצלמות 1 ו-2, כמו גם את קובץ הכיול. זה יהיה ליצור "תא" קובץ עם כל התנוחות 3D של המפרקים. זה יהיה גם לעשות סרט של תצוגת השלד 3D. עבור כיול מצלמה, אנא בצע את ההוראות בקישור זה: http://www.vision.caltech.edu/bouguetj/calib_doc/
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
כאשר מעקב אחר הפרוטוקול, הנתונים עבור כל ארכיטקטורת רשת צריכים להיות דומים לאלה שלהלן. עבור TensorBox, הוא מפיק פלט של תיבה תוחמת סביב אובייקט הריבית. בדוגמה שלנו, השתמשנו קטעי וידאו מתוך גלולה מזון להגיע למשימה, והוא מתויג כפות הימנית כדי לעקוב אחר תנועתם. כפי שניתן לראות באיור 1, כף הימין יכולה להתגלות במיקומים שונים הן בתצוגה הקדמית והן במצלמות התצוגה הצדדית. לאחר עיבוד פוסט עם כיול המצלמה, מסלולים 3D של ההישג ניתן להשיג (איור 1B).
ב-Yolov3, כאשר קיימים אובייקטים מרובים, הפלט הוא גם מספר תיבות תוחמות. כפי שנראה באיור 2ב', יש מספר תיבות תוחמות מרובות סביב אובייקטי הריבית. אלה יכולים להיות חלקים של הגוף.
ב OpenPose, הרשת מזהה עמדות משותף כפי שנראה באיור 3א. לאחר עיבוד פוסט עם כיול המצלמה, ניתן ליצור דגם תלת-ממד של הנושא (איור 3ב).
לסיכום, תוצאות מייצגים אלה להציג את הפרטים העשירים של התנהגות שניתן ללכוד באמצעות ארגז הכלים DeepBehavior.
איור 1: תיבות תוחמות עם TensorBox לראות על הכפות של מסגרות וידאו במהלך משימה להגיע בעכברים. (מותאם מ-Arac ואח ' 2019). אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 2: תיבות תוחמות עם Yolov3 לראות על אזורי העניין מסגרות וידאו במהלך שני עכברים אינטראקציה חברתית בדיקה (תמונה גולמית, B תמונה מנותח). (מותאם מ-Arac ואח ' 2019). אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 3: האדם הזיהוי תנוחות עם OpenPose בשתי תצוגות המצלמה (A) ו-3D מודל שנוצרו משתי תמונות אלה (ב). (מותאם מ-Arac ואח ' 2019). אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 4: הmake_json GUI של TensorBox משמש לתוויות הדרכה נתונים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
איור 5: GUI של Yolo_Mark כדי לתייג תמונות בפורמט מקובל עבור Yolov3. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
כאן, אנו מספקים מדריך צעד אחר צעד למימוש של התנהגות DeepBehavior שפיתחנו לאחרונה ארגז הכלים למידה עמוקה שפותחה עבור בעלי חיים והדמיית ההתנהגות האנושית ניתוח נתונים2. אנו מספקים הסברים מפורטים לכל שלב עבור התקנת מסגרות עבור כל ארכיטקטורת רשת, ולספק קישורים להתקנת דרישות קוד פתוח כדי להיות מסוגל להפעיל מסגרות אלה. אנו מדגימים כיצד להתקין אותם, כיצד ליצור נתוני הדרכה, כיצד להכשיר את הרשת וכיצד לעבד קבצי וידאו חדשים ברשת המאומנת. אנו מספקים גם את קוד לאחר עיבוד כדי לחלץ את המידע ההכרחי הבסיסי הדרוש לניתוח נוסף.
עבור זיהוי אובייקט יחיד, מומלץ להשתמש ב-TensorBox. אם המטרה היא לעקוב אחר אובייקטים מרובים בבת אחת, אנו ממליצים להשתמש ב-YOLOv3. לבסוף, כדי להשיג נתונים קימטיים אנושיים, אנו ממליצים באמצעות OpenPose. בפרוטוקול זה הצגנו שיטות למידה עמוקות מסוגלות לעבד מאות אלפי מסגרות תוך כדי מעקב אחר אובייקטים בעלי דיוק גבוה. באמצעות קוד לאחר העיבוד שסופק, אנו יכולים להפיק דרכים משמעותיות של ניתוח התנהגות מסומנים של עניין. הדבר מספק דרך מפורטת יותר ללכידת התנהגות. כמו כן, הוא מספק דרך אוטומטית ואיתנה להגדרת התנהגות שניתן להכליל לסוגים רבים ושונים של משימות התנהגותיות.
זה די נפוץ כדי לקבל ' מודאואואונסראדרראור ' כאשר מתחילים עם סביבה וירטואלית חדשה או קוד שהורד מהאינטרנט. במקרה זה קורה, לפתוח את המסוף שלך, להפעיל את סביבת המקור והקלד ' פיפ להתקין < שם מודול חסר > '. אם הבעיה נמשכת, יהיה עליך לבדוק את גרסת פיתון שלך, כמו גם חבילות תלות אחרות.
מגבלות לטכניקה זו כוללות את פתרון התקלות הטכני כדי להגדיר כראוי יחידות עיבוד GPU תואמות קוד פתוח. זה יתרון להיות בעבר ניסיון בתכנות בתוך סביבת לינוקס כדי להגדיר כראוי את יחסי התלות של הפרוייקט הדרושים וסביבות התואמות את חומרת המחשב.
אנו להדגים את התקנות DeepBehavior תנהגות ארגז הכלים ועיבוד של בסביבת לינוקס, אולם, ארגז כלים זה יכול גם להיות מופעל על מכונות Windows ו-Mac עם GPUs על ידי ביצוע מדריכי ההתקנה המתאימים על github.
שימוש בשיטות למידה עמוקה לניתוח נתוני דימות הוא דרך יעילה מאוד לאוטומציה של ניתוח התנהגות. בהשוואה לשיטות ניתוח התנהגות מסורתיות, DeepBehavior לוכדת מידע רב יותר כדי לכמת, להפוך, ולהעריך את ההתנהגות בצורה מדויקת יותר ומפורטת באופן זמני. עם ההתקדמות הנוספת בתחום הלמידה העמוקה, הניצול וההיקף של השימוש בטכנולוגיה זו בניתוח התנהגותי ימשיך להשתפר. היישומים של התנהגות DeepBehavior להרחיב מעבר למשימות הפגינו להגיע כדי לזהות חפצים של עניין בתמונות התנהגותיות כלשהן. בפרוטוקול זה אנו מספקים הנחיות מפורטות ליישום שלוש רשתות עצביות לניתוח התנהגותי. עם סוג זה של שיטות ניתוח התנהגות אוטומטית ומשוחדת, בתקווה, שדה מדעי המוח יהיה מסוגל לבצע ניתוח התנהגות מפורטת יותר.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
. למחברים אין מה לגלות
Acknowledgments
אנו רוצים להודות לפינפינג ז'או ולפיימן גולשני על הענקת הנתונים הגולמיים של שני העכברים בדיקות האינטראקציה החברתית המקורית בעיתון המקורי2. מחקר זה נתמך על ידי NIH NS109315 ו-NVIDIA GPU מענקים (AA).
Materials
| Name | Company | Catalog Number | Comments |
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G.
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , eprint (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, Curran Associates Inc. Lake Tahoe, Nevada. 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al.
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A.
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , eprint (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y.
