מאמר מחקר

זיהוי פעולות בסרטוני ספורט באמצעות רשתות קונבולוציה רב-קנימיות עם מידול זמני המבוס על זיכרון לטווח קצר ארוך (LSTM)

0 צפיות

⸱

DOI:

10.3791/72030

⸱

15 בספטמבר 2026

 ,  ,  , 
1Center for Artificial Intelligence Technology, Faculty of Information Science and Technology, Universiti Kebangsaan Malaysia, 2School of Information Engineering, Shandong Huayu University of Technology, 3School of Physical Education, Dezhou University

במאמר זה

סיכום

מסגרת ה-MSCNN-LSTM המוצעת משלבת מיצוי מאפיינים מרחביים רב-קנימיים עם מידול רצפים זמניים לצורך זיהוי פעולות בסרטוני ספורט, ובכך היא לוכדת מאפיינים מרחביים ברזולוציה גבוהה ותבניות תנועה זמניות, תוך השגת ביצועי סיווג תחרותיים במאגרי נתונים סטנדרטיים של פעולות ספורט.

תקציר

זיהוי פעולות בסרטוני ספורט נותר מאתגר בשל דינמיקה מורכבת של תנועה, הסתרה ושונות גבוהה בתוך המחלקה. למרות שגישות למידה עמוקה קיימות, כולל CNN-BiLSTM ומודלים המבוססים על למידה בהעברה (transfer learning), הדגימו יעילות בזיהוי פעילות אנושית, ביצועיהן עשויות להיות מוגבלים בתרחישי ספורט עם תנועות מהירות ומגוונות. שיטות רבות קיימות מסתמכות על מסנני קונבולוציה במقياس בודד, אשר עשויים שלא ללכוד ביעילות מאפייני תנועה עדינים וגסים בו-זמנית. כדי לטפל במגבלה זו, מחקר זה מציע רשת נוירונים קונבולוציונית רב-מقياسية (MSCNN) המשולבת עם רשת Long Short-Term Memory (LSTM) לזיהוי פעולות בסרטוני ספורט. ה-MSCNN מחלצת ייצוגים מרחביים במספר שדות קליטה באמצעות גרעיני קונבולוציה מקבילים, מה שמאפשר למידה של מאפייני תנועה מפורטים והקשריים כאחד. מאפיינים אלו מעובדים לאחר מכן על ידי ה-LSTM כדי ללכוד תלויות זמניות והמשכיות של התנועה לאורך פריימים עוקבים. הערכה ניסיונית נערכה על מאגרי הבדיקה UCF1, UCF Sports ו-JHMDB. מודל ה-MSCNN-LSTM המוצע השיג דיוקי סיווג של 98.3%, 95.4% ו-81.7%, בהתאמה, ובכך עלה בביצועיו על הגישות ההשוואתיות שנבחנו במחקר זה. ניתוח Ablation הדגים עוד את תרומתם של חילוץ מאפיינים רב-מقيשאי ומידול זמני לביצועים הכוללים. ממצאים אלו מדגימים את הפוטנציאל של המסגרת המוצעת לשלב מידע מרחבי וזמני לזיהוי פעולות בסרטוני ספורט.

מבוא

לזיהוי פעילות אנושית ישנם יישומים נרחבים במגוון תחומים בעולם האמיתי, כולל מעקב חכם, זיהוי חריגות, אחזור אודיו-ויזואלי מבוס-פעולה וניטור מטופלים במערכת הבריאות1,2. לזיהוי פעולות, במיוחד בזרמי וידאו ממערכות מעקב ומפלטפורמות של רשתות חברתיות, יש פוטנציאל משמעותי לזיהוי חריגות ולהבנת אירועים3. פעולות אנושיות מזוהות בניתוח וידאו באמצעות תצפית על חלקי גוף שונים, כגון הידיים והרגליים. בניגוד לתמונות סטטיות, פריים בודד לרוב אינו מספיק כדי לייצג פעולה4. לדוגמה, התנוחה הראשונית של פעולות כדורגל וקפיצה בחבל עשויה להיראות דומה בפריים בודד. ההבדלים בין פעולות אלו הופכים גלויים כאשר הן נצפות לאורך רצף של פריימים הלוכדים דפוסי תנועה ואינטראקציות של גוף האדם עם סביבתו5,6,7. קיצורי המילים המשמשים לאורך כתב יד זה מסוכמים בטבלה 1 כדי לשפר את קריאות הטקסט ולהבטיח עקביות בטרמינולוגיה.

קיצורפירוט מלא
AIבינה מלאכותית (Artificial Intelligence)
AUCהשטח תחת העקום (Area Under the Curve)
BiLSTMזיכרון לטווח קצר ארוך דו-כיווני (Bidirectional Long Short-Term Memory)
CNNרשת נוירונים קונבולוציונית (Convolutional Neural Network)
CUDAארכיטקטורת התקן חישוב מאוחדת (Compute Unified Device Architecture)
F1-scoreממוצע הרמוני של דיוק ורגישות (Harmonic Mean of Precision and Recall)
GPUמעבד גרפי (Graphics Processing Unit)
HARזיהוי פעילות אנושית (Human Activity Recognition)
JHMDBמאגר נתונים של תנועה אנושית מרוכבת (Joint Human Motion DataBase)
LSTMזיכרון לטווח קצר ארוך (Long Short-Term Memory)
mAP-Tדיוק ממוצע זמני (Temporal Mean Average Precision)
MCCמקדם המתאם של מתיוס (Matthews Correlation Coefficient)
MSCNNרשת נוירונים קונבולוציונית רב-קנימית (Multi-Scale Convolutional Neural Network)
ROCמאפיין תפעול מקלט (Receiver Operating Characteristic)
TSIמדד יציבות זמנית (Temporal Stability Index)
UCFאוניברסיטת מרכז פלורידה (University of Central Florida)
VRAMזיכרון גישה אקראית של וידאו (Video Random Access Memory)

טבלה 1: רשימת קיצורים המשמשים בכתב היד. קיצורים נפוצים וראשי תיבות המשמשים לאורך המחקר והצורות המלאות התואמות להם.

סיווג מהיר ומדויק של סרטוני ספורט הוא חשוב למגוון רחב של יישומים8,9,10, כולל אנליטיקה של ספורט, זיהוי אירועים, אחזור מבוס תוכן ומערכות המלצה1,12,13. עם הצמיחה המהירה של תוכן וידאו הקשור לספורט, המגבלות של מסגרות אנליטיות מוקדמות הפכו לבולטות יותר ויותר14. כתוצאה מכך, קיים ביקוש גובר לגישות חסונות המסוגלות להתמודד עם המורכבות והטבע הדינמי של פעילויות ספורט. שיטות מסורתיות לסיווג סרטוני ספורט הסתמכו במידה רבה על תיאורים שנוצרו ידנית, כגון זרימה אופטית (optical flow) והיסטוגרמה של גרדיאנטים מכוונים (HOG), כדי לאפיין דפוסי תנועה ופעילויות בסרטוני ספורט15.

רשתות ConvNets, שהשיגו הצלחה יוצאת דופן בסיווג תמונות סטטיות, יושמו גם בניתוח וידאו. עם זאת, זיהוי פעולות נותר מאתגר יותר מכיוון שסרטוני וידאו מכילים מידע מרחבי-זמני (spatiotemporal) דינמי. גישות נוכחיות המבוסות על למידה עמוקה ניתן לחלק באופן כללי לשלוש קבוצות: רשתות דו-זרמיות (two-stream networks)16, רשתות קונבולוציה תלת-מדיות (3D convolutional networks), וארכיטקטורות יעילות חישובית. כדי ללמוד מידע זמני מזרימה אופטית (optical flow), רשתות דו-זרמיות משתמשות ב-ConvNet נוספת17,18, אם כי גישה זו דורשת משאבים חישוביים רבים. בעוד שארכיטקטורות קונבולוציה תלת-מדיות כגון C3D, I3D ו-R3D יכולות למדל מידע זמני באופן ישיר, הן מגדילות משמעותית את מספר הפרמטרים, מה שהופך את האופטימיזציה למאתגרת יותר. שיטות יעילות חישובית מנסות להפחית את מורכבות המודל באמצעות בחינת פעולות תלת-מדיות מפורקות (decomposed 3D operations).

יתרה מכך, מכיוון ש-CNNs מסוגלים לחלץ מאפיינים מרחביים מקומיים ו-LSTMs מסוגלים ללכוד מידע על הקשר זמני, מודלים היברידיים יכולים ללמוד ביעילות תבניות תנועה מרחביות-זמניות מקלטי חיישנים. מחקרים אחרונים המשלבים ארכיטקטורות של CNN ורשתות עצביות רקורסיביות הניבו תוצאות מעודדות18,19,20. עם זאת, מכיוון ש-LSTMs דוחסים מידע במהלך עיבוד הרצף, רעש שנוצר במהלך חילוץ המאפיינים עלול להשפיע על ביצועי הזיהוי. כדי לטפל בבעיה זו, מספר מחקרים שילבו מנגנוני קשב (attention mechanisms)21,2. מנגנוני קשב מאפשרים למודל להתמקד במאפיינים הרלוונטיים ביותר למשימת הזיהוי, ובכך לשפר את ביצועי הסיווג.

אף שדגמי LSTM דו-כיווניים עמוקים בשילוב עם חילוץ מאפיינים מבוס CNN השיגו תוצאות מבטיחות בזיהוי פעילות אנושית, נותרו מספר אתגרים בעת הרחבת מסגרות עבודה אלו לזיהוי פעולות בסרטוני ספורט. ראשית, ארכיטקטורות CNN-LSTM קיימות משתמשות לעיתים קרובות בחילוץ מאפיינים קונבולוציוני רב-קנה (single-scale), דבר שעלול להגביל את יכולתן ללכוד פעולות המתרחשות ברזולוציות מרחביות וזמניות מרובות, כגון תנועה סימולטנית של שחקן ואובייקט בסצנות ספורט. רשתות קונבולוציוניות רב-קנה, כולל 3D CNNs23 ו-two-stream CNNs, הדגימו את החשיבות של לכידת רמזים מרחביים ותנועתיים בקניינים שונים, אם כי קונספט זה נותר פחות נחקר במערכות היברידיות מבוסות LSTM. שנית, רוב דגמי ה-CNN-BiLSTM הקודמים24 מתמקדים בעיקר בתלות זמנית לטווח קצר, בעוד שרציפות תנועה לטווח ארוך ואינטראקציות בין אובייקטים הנפוצות בספורט קבוצתי עשויות שלא להיות מיוצגות באופן מספק. גישות רבות המבוסות על למידה בהעברה (transfer learning), כגון MobileNetV2 ו-ResNet, מסתמכות על מאפייני פריימים סטטיים ואינן מנצלות באופן מלא מנגנוני תשומת לב זמנית או מיזוג מאפיינים רב-קנה אדפטיבי25. יתרה מכך, רוב הדגמים הקיימים הוערכו בעיקר על מאגרי נתונים סטנדרטיים כגון UCF1 ו-JHMDB. מאגרי נתונים עדכניים יותר ייעודיים לספורט, הלוכדים תנועות מצלמה מורכבות ותבניות פעילות, כגון SoccerNet ו-FineGym, נותרו פחות נחקרים. מגבלות אלו מדגישות את הצורך במסגרת עבודה לחילוץ מאפיינים קונבולוציוניים רב-קנה המשולבת עם מודולי זיכרון זמני, כגון רשתות LSTM או BiLSTM, כדי ללכוד טוב יותר הן ייצוגים מרחביים ברזולוציה גבוהה והן תלויות זמניות לטווח ארוך בזיהוי פעולות בסרטוני ספורט.

בנוסף, רשתות CNN יכולות לחלץ מאפיינים מרחביים מקומיים, בעוד שרשתות LSTM יכולות למדל הקשר זמני. לפיכך, ארכיטקטורות היברידיות של CNN-RNN הראו ביצועים מבטיחים בזיהוי פעילות אנושית26,27. מחקרים אחרונים הרחיבו את מסגרות ה-CNN–LSTM הקונבנציונליות על ידי שילוב אסטרטגיות למידה משלימות לשיפור זיהוי הפעילות האנושית. לדוגמה, מנגנוני קשב (attention mechanisms) הוצגו כדי להדגיש מאפיינים רלוונטיים למשימה ולדכא ייצוגים פחות אינפורמטיביים, ובכך לשפר את ביצועי הזיהוי28. גישות אחרות אימצו למידה רב-משימתית (multi-task learning) כדי לבצע אופטימיזציה משותפת למשימות זיהוי פעולה וסגמנטציה זמנית, ובכך לשפר את יעילות הלמידה ואת ייצוג המאפיינים29. למרות התקדמויות אלו, לשיטות הקיימות עשויה להיות עדיין יכולת מוגבלת להבחין בין פעולות דומות ויזואלית, מכיוון שמאפיינים מרחביים וזמניים עדינים (fine-grained) לא תמיד נלכדים ביעילות. טבלה 2 מסכמת את נקודות החוזק והמגבלות של הגישות הקיימות30.

סימוכין / שנההשיטה שבה נעשה שימושסט(ים) של נתוניםמדדי ביצועיםנקודות חוזק מרכזיותמגבלות
Hassan et al. (2024)1KFDI (תמונה דינמית של פריים מפתח)UCF1דיוק: 85.3%בחירה יעילה של פריימי מפתח וייצוג משופר של תמונות דינמיות.רגיש לשגיאות בבחירת פריימים; מידול זמני מוגבל.
.Zhou et al (2023)24CNN מורחב + BiLSTM + בלוק שאריות (Residual Block)UCF1, ספורט UCFדיוק: UCF1: 89 ו-UCF Sports: 92.2% משלב למידה מרחבית וזמנית; לוכד מידע רב-קנה מידה.עתיר משאבים חישוביים; סיכון להתאמת-יתר (overfitting) במאגרי נתונים קטנים.
.Ullah et al (2025)34מאפיין מקומי-גלובלי + QSVMUCF1דיוק: 82.6%משלב מאפיינים מעובדים ידנית ומאפיינים עמוקים לזיהוי חסון.דורש כיוונון ידני; יכולת הרחבה מוגבלת.
שין וחב' (2025)25ViT-ReT (Vision Transformer + Recurrent Transformer)UCF1, UCF50, UCF101 ו-JHMDBדיוק: UCF1: 97.73%; UCF50: 98.81%; UCF101: 98.46%; JHMDB: 83.38%לוכד תלויות מרחביות וזמניות ארוכות טווח.עלות חישובית גבוהה ודרישות נתונים רבות.
Su et al. (2024)233D-CNNUCF1דיוק: 85.1%למידת מאפיינים מרחביים-זמניים מקצה לקצה.דרישות גבוהות לזיכרון ולמעבד גרפי (GPU).
Karuppannan et al. (2024)35אוטו-אנקודר עמוק + רשת נוירונים קונבולוציונית (CNN)UCF1דיוק: 96.2%לומד ייצוגי תכונות דחוסים.מידול זמני מוגבל לטווח ארוך.
.Sahoo et al (2020)36HAR-DepthKTH, UCF sports, JHMDB, UCF101, ו-HMDB51דיוק: KTH: 97.67%; UCF Sports: 95.0%; JHMDB: 73.13%; UCF101: 92.97%; HMDB51: 69.74%למידה זמנית יעילה מבוססת עומק.דורש הערכת עומק מדויקת ועיבוד מקדים נרחב.

טבלה 2: השוואה בין שיטות למידה עמוקה קיימות לזיהוי פעולות בסרטוני ספורט.סיכום של גישות מייצגות של למידה עמוקה, כולל מערכי נתונים, מאפיינים מתודולוגיים, יתרונות ומגבלות, תוך הדגשת פערי המחקר שמענה להם מסגרת ה-MSCNN-LSTM המוצעת.

הוצעה מסגרת לעשיית אנימציית פנים המונחית על ידי סנכרון שמע, המשלבת מודל לניקוי רעשים פנימי (FDM) עם מודל דיפוזיה לטנט מקומי-אל-גלובלי (LG-LDM) ליצירת אנימציות פנים בעלות ביטוי רגשי. נעשה שימוש באוטו-אנקודר וריאציוני עם קוונטיזציית וקטורית ממוקד-רגש (EVQ-VAE) כדי לשחזר גיאומטריית פנים תלת-מדית מפורטת ושינויי הבעה עדינים31. כמו כן, פותחה מסגרת לאחיזה רובוטית המודעת להסתרות באמצעות ראייה סטריאוסקופית בינוקולרית, לצורך ביצוע סגמנטציה של המטרה, לוקליזציה, הסקת הסתרה והערכת תנוחת אחיזה של מטרות מרובות בתנאי הסתרה32. בנוסף, הוצגה מסגרת דו-שלבית להפקת קרקע מענני נקודות באמצעות הקרנת רשת וחלוקת סלילים אדפטיבית, שבה נעשה שימוש בהסתברויות גובה ועקמומיות כדי לדייק את הגבולות בין הקרקע למכשולים לאחר הפקה גסה באמצעות ניתוח מאפיינים מבוס רשת3.

למרות התקדמויות משמעותיות בזיהוי פעולות המבוס על למידה עמוקה, שיטות קיימות עדיין מתקשות להתמודד עם השונות הגבוהה והמורכבות של סרטוני ספורט, הכוללים תנועה מהירה, תנועת מצלמה ואינטראקציות בין מספר שחקנים. מודלים מסורתיים רבים המבוססים על CNN או LSTM פועלים בקנה מידה מרחבי יחיד, ולכן עשויים להתקשות בלכידה יעילה של דפוסי תנועה מקומיים וגלובליים כאחד. יתרה מכך, שמירה על קוהרנטיות זמנית ברצפים ארוכים או בפעולות חופפות נותרת מאתגרת. למרות ששיטות של למידה בהעברה (transfer learning) שיפרו את חילוץ המאפיינים, התאמתן למאגרי נתונים ספציפיים לספורט נותרה בלתי נחקרת יחסית.

מחקר זה שואף לפתח ולהעריך מסגרת של רשת נוירונים קונבולוציונית רב-קנימית בשילוב זיכרון לטווח קצר-ארוך (MSCNN-LSTM) לזיהוי פעולות בסרטוני ספורט, וזאת על ידי שילוב של מיצוי מאפיינים מרחביים רב-קנימיים עם מידול זמני מבוס LSTM כדי ללכוד הן מאפיינים מרחביים עדינים והן תלויות זמניות ארוכות טווח. המסגרת המוצעת עושה שימוש בגרעיני קונבולוציה משלימים ובמיזוג מאפיינים רב-שכבתי כדי לשפר את הייצוג של פעולות ספורט מורכבות תחת תנאים מאתגרים. ביצועיה הוערכו על גבי מאגרי הנתונים המקובלים UCF1, UCF Sports ו-JHMDB באמצעות מדדי דיוק (accuracy), דיוק חיובי (precision), רגישות (recall), מדד F1, ממוצע דיוק ממוצע לאורך זמן (mAP-T), מדד יציבות זמנית (TSI), מקדם קאפה של כוהן (κ), מקדם מתיוס (MCC) ושטח תחת עקומת ROC ‏(AUC). תוצאות ניסיוניות הדגימו ביצועים תחרותיים בהשוואה לשיטות שנבחנו במחקר זה, ומדגישות את הפוטנציאל של המסגרת לניתוח ספורט, ניטור ביצועי ספורטאים, זיהוי אירועים אוטומטי והבנת סרטוני ספורט.

פרוטוקול

מחקר זה השתמש במסגרת למידה עמוקה דו-שלבית לזיהוי פעולות בסרטוני ספורט, המשלבת רשת עצבית קונבולוציונית רב-קנה (MSCNN) עם רשת זיכרון לטווח קצר ארוך (LSTM). מערכי נתונים סטנדרטיים הזמינים לציבור, דהיינו UCF1, UCF Sports ו-JHMDB, שימשו לפיתוח והערכה של המודל. לא נאספו נתונים חדשים ממשתתפים אנושיים, ולא נעשה שימוש או עיבוד במידע המאפשר זיהוי אישי. מכיוון שהמחקר כלל ניתוח משני של מערכי נתונים אנונימיים הזמינים לציבור ולא כלל השתפות אנושית ישירה, לא נדרשו אישור אתי מוסדי והסכמה מדעת.

זרימת העבודה כללה דגימת פריימים ונורמליזציה זמנית, ולאחריהן חילוץ מאפיינים באמצעות מודול ה-MSCNN. המאפיינים שחולצו עובדו לאחר מכן באמצעות רשת LSTM למידול זמני והועברו לשכבת סיווג רב-מחלקתית. לבסוף, המודל אומן והוערך באמצעות מערכי נתוני הייחוס שנבחרו. איור 1 ממחיש את הארכיטקטורה הכללית של המסגרת המוצעת.

figure-protocol-1
איור 1: מסגרת MSCNN-LSTM מוצעת לזיהוי פעולות בסרטוני ספורט. תזרים עבודה כללי הממחיש עיבוד מקדים של וידאו, הפקת מאפיינים מרחביים רב-קנימיים, למידת רצפים זמניים וסיווג פעולות. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 1 ממחיש את זרימת העבודה של מסגרת זיהוי הפעולות בסרטוני ספורט המוצעת, המבוססת על ארכיטקטורת MSCNN-LSTM היברידית. התהליך מתחיל בסרטוני ספורט המכילים פעולות אתלטיות שונות, כולל בעיטות, רכיבה על סוסים וחבטות גולף. במהלך שלב עיבוד המקדם, הסרטונים הגולמיים פוּרקו לפריימים בודדים, אשר נגזרו, עברו סטנדרטיזציה והוכנו להזנה למודל. הפריימים שעברו עיבוד מקדם הוזנו לאחר מכן למודול ה-MSCNN לצורך חילוץ מאפיינים. ארכיטקטורת הקונבולוציה הרב-קנימית לוכדת מאפיינים מרחביים בשדות קליטה שונים, מה שמאפשר חילוץ של מידע מקומי והקשרי מפריימי סרטוני הספורט. וקטורי המאפיינים שחולצו עובדו לאחר מכן על ידי רשת LSTM כדי למדל תלויות זמניות ואת התפתחות התנועה לאורך פריימים עוקבים. לבסוף, מודול הסיווג והאימון השתמש בייצוגים הספטיו-טמפורליים שנלמדו כדי לחזות את קטגוריית הפעולה עבור כל סרטון. המסגרת המוצעת כללה ארבעה שלבים רצופים, החל מאיסוף נתונים ועיבוד מקדם באמצעות מאגרי הנתונים המקובלים UCF1 (YouTube Actions), UCF Sports ו-JHMDB. כל סרטון ספורט הומר לרצף של פריימים, אשר שונו בגודלם, עברו נורמליזציה והועשרו באמצעות סיבוב, היפוך וגזירה כדי לשפר את העמידות לשינויים סביבתיים. הפריימים שעברו עיבוד מקדם עובדו לאחר מכן על ידי רשת העצבים הקונבולוצית הרב-קנימית (MSCNN) המוצעת, שבה ענפי קונבולוציה מקבילים עם גרעיני 3 × 3, 5 × 5 ו-7 × 7 חילצו מאפיינים מרחביים מקומיים והקשריים משלימים. מאפיינים רב-קנימיים אלה שורשרו ועובדו באמצעות נורמליזציה של אצוות (batch normalization) ו-max pooling כדי ליצור ייצוגי מאפיינים תמציתיים. המאפיינים ברמת הפריים שהתקבלו הועברו לאחר מכן לרשת Long Short-Term Memory (LSTM) כדי למדל תלויות זמניות בין פריימים עוקבים. פלטי ה-LSTM הסופיים עברו שיטוח (flattening) והועברו דרך שכבות מחוברות במלואן עם הפעלת ReLU, ולאחריהן מסווג Softmax לחיזוי קטגוריית הפעולה. הרשת אומנה באמצעות אופטימייזר Adam עם פונקציית הפסד cross-entropy והסדרת dropout להפחתת התאמת-יתר (overfitting). ביצועי המודל הוערכו לבסוף במאגרי הנתונים UCF1, UCF Sports ו-JHMDB באמצעות מדדי דיוק (accuracy), רגישות (precision), recall ו-F1-score.

1. איסוף נתונים ועיבוד מקדים

במחקר זה נעשה שימוש בשלושה מאגרי נתונים להשוואה (benchmark datasets) הזמינים לציבור עבור ספורט ופעולות אדם. מאגרי נתונים אלו מכילים סרטוני ספורט מהעולם האמיתי עם תנועות מצלמה משתנות, נקודות מבט שונות ומורכבות רקע משתנה. באופן ספציפי, המחקר השתמש ב-UCF1 (YouTube Actions) (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php), המכיל 1 קטגוריות פעולה שנאספו מ-1,168 סרטוני יוטיוב שהוקלטו מ-25 אנשים בקירוב, עם מספר דוגמאות לכל פעולה. מאגר הנתונים Joint-Annotated Human Motion Database (JHMDB)34,35 מכיל 21 מחלקות פעולה ו-928 סרטונים מתויגים. מאגר הנתונים UCF Sports כולל 10 מחלקות פעולה ו-150 רצפי וידאו שנתפסו ממקורות שידור ברזולוציה של 720 × 480 pixels (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php).

בסיכומם, מערכי נתונים אלו מכסים ספורט אישי וספורט קבוצתי ומספקים שונות במשך הזמן ובקנה המידה הוויזואלי לצורך הערכת מסגרת זיהוי הפעולות המוצעת, MSCNN-LSTM. כחלק מתהליך סינון איכות הנתונים, מערכי הנתונים UCF1, UCF Sports ו-JHMDB נבחנו לאיתור סרטונים פגומים, קבצים כפולים וקטעים עם הערות (annotations) חסרות. לא זוהו דגימות שענו לקריטריוני החרגה אלה; לפיכך, כל הסרטונים הזמינים נשמרו לניתוח המשכי. לאחר מכן, מערכי הנתונים חולקו לתתי-קבוצות של אימון (70%), תיקוף (15%) ובדיקה (15%) באמצעות אסטרטגיית פיצול אקראית עקבית. איור 2 מציג תמונות מייצגות ששימשו לאימון ולהערכה.

figure-protocol-2
איור 2: פריימים נבחרים מתוך מאגרי נתוני הייחוס לזיהוי פעולות ספורט. לוחות (A–D) מציגים דוגמאות ממאגר הנתונים UCF1 (YouTube Actions), לוחות (E–H) ממאגר הנתונים UCF Sports, ולוחות (I–L) ממאגר הנתונים JHMDB. הפריימים ממחישים וריאציות במחלקות הפעולה, זוויות הצפייה, הרקעים, תנאי התאורה ומורכבות התנועה. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

מודל זיהוי הפעולות המוצע הוערך על גבי מערכי הנתונים Benchmark של UCF1, UCF Sports ו-JHMDB, כפי שמסוכם ב-טבלה 3. מערכי נתונים אלו מייצגים דפוסי תנועה מגוונים ותנאי סביבה מאתגרים. מערך הנתונים UCF1 (YouTube Actions) מכיל פעולות ספורט מ-1 מחלקות שנרכשו תחת תנאי תאורה, נקודות מבט ותנאי רקע משתנים. מערך הנתונים UCF Sports כולל 150 סרטוני ספורט מהשטח משידורים מקצועיים, המציגים רצפי תנועה ריאליסטיים. מערך הנתונים JHMDB מספק הערות (annotations) מפורטות של תנועת בני אדם עבור 21 קטגוריות פעולה מדויקות ומש כמערך נתוני ייחוס לזיהוי פעולות מרחביות-זמניות (spatiotemporal action recognition). יחד, מערכי נתונים אלו שימשו להערכת ביצועי המודל בתרחישים של ספורט ופעולות אנושיות. הרשת אומנה באמצעות אופטימייזר Adam למשך 10 epochs עם גודל batch של 32, קצב למידה ראשוני של 0.01 ופונקציית הפסד מסוג cross-entropy. המודל עם הפסד התיקוף (validation loss) הנמוך ביותר נבחר להערכה הסופית. בכל הניסויים נעשה שימוש ב-seed אקראי קבוע של 42. הופעלו מנגנוני עצירה מוקדמת (Early stopping) והפחתת קצב למידה בעת מישורה (learning-rate reduction on plateau) כדי לשפר את ההתכנסות, ובמהלך אימון ה-LSTM נעשה שימוש ב-gradient clipping עם סף של 5.0 כדי למנוע התפוצצות גרדיאנטים (exploding gradients). מודל ה-MSCNN-LSTM המוצע הכיל כ-15 מיליון פרמטרים הניתנים לאימון. תצורת החומרה והתוכנה ששימשה למימוש מסוכמת ב-טבלה 4. מכיוון שהתפלגויות המחלקות היו מאוזנות מספיק, לא יושמו הליכי שקלול מחלקות או דגימה מחדש (resampling) נוספים. מודלים להשוואה יושמו באמצעות ההיפר-פרמטרים שדווחו במחקרים המקוריים שלהם, כאשר הגדרות האימון הותאמו במידת האפשר. ערכי הביצועים דווחו כממוצע ± סטיית תקן מחמש הרצות עצמאיות עם אתחולים אקראיים שונים. הבדלים בין המודל המוצע למודלים להשוואה הוערכו באמצעות מבחני t מזווגים בסף מובהקות של p < 0.05.

ערכה של נתוניםמספר מחלקותמספר סרטוניםרזולוציה (px)אנא ספק את הטקסט המקור באנגלית שברצונך לתרגם.תיאור
UCF1 (פעולות יוטיוב)111168משתנה (≈ 320×240)אוניברסיטת מרכז פלורידהכולל 11 פעולות אנושיות מענפי ספורט (למשל, זריקה בכדורסל, צלילה, תנופת גולף, הלהטוט בכדורגל). הסרטונים נאספו מ-YouTube עם שונות גבוהה בתאורה, בזווית הצפייה וברקע.
ספורט UCF10150720×480מאגר נתוני פעולות ספורט של UCFמכיל פעילויות ספורט כגון צלילה, רכיבה על סוסים, תנועת חבטה בגולף, ריצה והנפת משקולות, שהוקלטו מצילומי שידורי טלוויזיה אמיתיים (BBC, ESPN).
JHMDB21928320×240מכון מקס פלאנק למערכות אינטליגנטיותכולל פעילויות יומיומיות וספורטיביות כגון תפיסה, קפיצה, הברשת שיער, קליעה וריצה, עם הערות מפרקים (joint annotations) לניתוח תנועה ומנח גוף.

טבלה 3: מאפייני מערכי נתוני הייחוס ששימשו לאימון ולהערכה. סקירה של מערכי הנתונים UCF1, UCF Sports ו-JHMDB, כולל מספר מחלקות הפעולה, דגימות הווידאו, מאפייני מערכי הנתונים ותפקידיהם באימון, תיקוף ובדיקה של המודל.

פרמטרים שנעשה בהם שימושתיאור
שפת תכנותPython 3.8.18 [4]
מסגרת למידה עמוקהTensorFlow 2.15.0 [1]
מאיץ GPUNVIDIA GeForce RTX 3090 (24 GB VRAM) [1]
יחידת עיבוד מרכזית (CPU)Intel Core i9 @ 3.5 GHz × 16 ליבות
מערכת הפעלהWindows 1 
זיכרון גישה אקראית (RAM)64 GB DDR4
אופטימייזרAdam (קצב למידה = 0.001)
גודל סדרה32
מספר תקופות (Epochs)100
פונקציות אקטיבציהReLU (שכבות CNN), Softmax (שכבת פלט)
שיעור נשירה0.5

טבלה 4: סביבת הסימולציה ותצורת ההיפר-פרמטרים של מודל ה-MSCNN-LSTM המוצע. מפרטי חומרה, סביבת תוכנה, הגדרות אופטימייזר, קצב למידה, גודל אצווה (batch size), מספר תקופות (epochs), ממדי קלט והיפר-פרמטרים אחרים ששימשו במהלך אימון והערכת המודל.

2. עיבוד מקדים

לפני האימון, כל סרטון גולמי הומר לרצף של פריימים המסודרים לפי סדר כרונולוגי, ולאחר מכן עבר נורמליזציה, דגימה זמנית והעשרה (augmentation). כל סרטון קלט V הומר תחילה לרצף של פריימים ויוצג כטנזור ארבע-מדי V ∈ RT×H×W×C, כאשר T הוא מספר הפריימים, H × W i מציין את אינדקס הפריים, ו-C מציין את מספר ערוצי הצבע (3 עבור RGB). תהליך העיבוד המקדים כלל הפקת פריימים, שינוי גודל מרחבי ולאחריו חיתוך (cropping) מרכזי או אקראי לרזולוציה קבועה (H′, W′), נורמליזציה של עוצמת הפיקסלים, והעשרת נתונים אופציונלית, הכוללת היפוך אקראי, שינוי קנה מידה (scaling) ושינוי צבע אקראי (color jittering), לפני שלב הפקת המאפיינים. באופן קונקרטי, נורמליזציה של העוצמה יושמה כנורמליזציית ציון סטנדרטית (standard score normalization) כבמספרה (1).

figure-protocol-3    (1)

כאשר μ, σ הם ממוצעי הערוצים וסטיות התקן שחושבו עבור קבוצת האימון, או כנרמול מינימום-מקסימום (min–max scaling) כבמשוואה (2).

figure-protocol-4    (2)

לאחר נורמליזציה, כל פריים יוצג כ-F̃t ∈ RH′×W′×C′ וטנזור הווידאו שהתקבל יוצג כ-V′ ∈ RT×H′×W′×C. ב-frontend קונבולוציוני רב-קנה מידה (multi-scale), מפות מאפיינים מרחביות של שדות קליטה מרובים מתקבלות על ידי הפעלת מספר קונבולוציות דו-מדיות (או תלת-ממדיות עבור קונבולוציות ספטיו-טמפורליות מוקדמות) עם גודלי קרנל שונים; לאחר מכן נוצר ייצוג מאפיינים טמפורלי עבור כל פריים או קליפ וידאו קצר, אשר הועבר למודול ה-LSTM. במאמר המקורי נעשה שימוש ב-MobileNetV2 ולאחר מכן ב-Deep BiLSTM לצורך מידול טמפורלי; צינור העיבוד המקדים המתואר לעיל תואם באופן מלא להחלפה של multi-scale conv + LSTM.

3. דגימה ונורמליזציה זמנית

מכיוון שאורכי הסרטונים T משתנים בין מערכי נתונים ובתוכם, אנו דוגמים באופן אחיד או דוגמים מחדש פריימים במישור הזמן כדי להעניק ל-multi-scale convolution + LSTM אורך קלט קבוע N במונחים של פריימים או קטעים קצרים. ניתן לחשב אינדקסים אחידים של פריימים כפי שמוצג במשוואה (3),

figure-protocol-5 (3)

אם כן, רצף הפריימים שנדגמו הוא Vs = {F̃t0, …, F̃tN−1}. כאשר נדרשת רמת דיוק זמנית גבוהה יותר, אנו מבצעים אינטרפולציה זמנית ליניארית: עבור כל זמן שברי מהדגימה מחדש τ ∈ [0, T−1] שחושב כפי שמופיע במשוואה (4).

figure-protocol-6 (4)

כך שרצף הדגימה מחדש Vs יכיל בדיוק N פריימים וישמור על תנועה חלקה. לחלופין, דגימה באמצעות קטעים רציפים קצרים (אורך חלון זמני w עם פסיעה s) מניבה קבוצה של טנזורי קטעים שבהם כל קטע Cj ∈ RT×H′×W′×C ו-j = 0, …, ⌊(T − w)/s⌋. לצורך נורמליזציה זמנית בתוך הרשת, איגור (pooling) זמני פשוט במספר קני מידה הוא יעיל: בהינתן רצף מאפיינים זמניים X = {x1, …, xN} שנוצר על ידי קונבולוציות רב-קני מידה, יש להחיל מאפיינים מאוגרים כפי שמוצג במשוואה (5).

figure-protocol-7 (5)

איפה Sק האם התמיכה הזמנית מותאמת לקנה המידה ק (למשל, Sק עשויים להיות בלוקים שאינם חופפים או אינדקסים מורחבים (dilated indices) ו מק = |Sק|.

לפני מיצוי המאפיינים, כל הסרטונים הותאמו לגודל של 24 × 24 פיקסלים ונדגמו בקצב של 25 פריימים לשנייה. בכל ניסוי נעשה שימוש באורך רצף קבוע של 32 פריימים. טכניקות להגדלת הנתונים (data augmentation) כללו חיתוך אקראי (scale = 0.8–1.0), סיבוב אקראי (±15°), היפוך אופקי אקראי (probability = 0.5) ושינוי בהירות (±20%). ערכי הממוצע [0.485, 0.456, 0.406] וסטיות התקן [0.29, 0.24, 0.25] של ImageNet שימשו לסטנדרטיזציה של ערכי הפיקסלים. עבור כל רצף סרטונים, נעשה שימוש בבחירת פריימים אחידה לדגימה זמנית. סרטונים ארוכים יותר קוצצו או נדגמו באופן אחיד כדי לשמור על אורך רצף עקבי, בעוד שסרטונים עם פחות מ-32 פריימים עברו ריפוד באפסים (zero-padded). הגדרות אלו שימשו באופן עקבי לאורך כל תהליכי האימון וההערכה.

4. מיצוי מאפיינים באמצעות MSCNN

רשת עצבית קונבולוציונית רב-קנימית (MSCNN) הועסקה כדי לשפר את הייצוג המרחבי של פעולות בסרטוני ספורט. רשתות עצביות קונבולוציוניות קונבנציונליות המסתמכות על גודל גרעין (kernel) יחיד עשויות להיות בעלות יכולת מוגבלת ללכידת מאפיינים במספר קניינים מרחביים. מאחר שחלק מפעולות הספורט מציגות מאפיינים חזותיים דומים, ייתכן שארכיטקטורה קונבולוציונית בעלת קניי אחד תתקשה ללכוד בו-זמנית מאפיינים מקומיים וגלובליים. כדי להתגבר על מגבלה זו, המסגרת המוצעת משתמשת בגרעיני קונבולוציה בגדלים שונים לביצוע מיצוי מאפיינים רב-קנימי ומיזוג מאפיינים.

בארכיטקטורת הרשת המוצעת, נעשה שימוש בגרעיני קונבולוציה של 1 × 1 כדי לארגן מידע בין הערוצים ולהפחית את ממדיות מפות המאפיינים של הקלט. בנוסף, שכבות אלו מגבירות את יכולת הביטוי של הרשת על ידי הכנסת טרנספורמציות מאפיינים נוספות וייצוגים לא-ליניאריים. גרעיני קונבולוציה בגדלים שונים מאפשרים חילוץ של מידע מרחבי במספר קנה מידה. נורמליזציה סדרתית מבוצעת לאחר מיזוג מאפיינים רב-קנה מידה משוקל כדי לשפר את יציבות האימון. כדי לצמצם בעיות של דעיכת גרדיאנט (gradient vanishing) ופיצוץ גרדיאנט (gradient explosion) במהלך אימון רשת עמוקה, הארכיטקטורה המוצעת משתמשת בחיבורי שארית (residual connections) ובמידול זמני מבוס LSTM.

התכנון רב-הקשקש (multi-scale design) משפר את יכולתו של הרשת ללכוד מאפיינים ברזולוציות מרחביות שונות ומשפר את יכולת ייצוג המאפיינים. יתרה מכך, גרעין קונבולוציה קונבנציונלי של N × N מפורק לפעולות קונבולוציה של N × 1 ו-1 × N. קונבולוציות ה-N × 1 וה-1 × N המועסקות במודול ה-MSCNN תוכננו ללכוד מאפיינים מרחביים רב-קשקשיים וכיווניים משלימים מתוך פריימים בודדים של הווידאו. פעולות קונבולוציה אלו משפרות את ייצוג המאפיינים המרחביים על ידי מיצוי תבניות בקשקשי שדה-קבלה (receptive-field scales) שונים. קשרים זמניים בין פריימים עוקבים ממודלים לאחר מכן על ידי מודול ה-LSTM, המעבד את רצף המאפיינים שהופקו על ידי ה-MSCNN כדי ללמוד תלויות זמניות ארוכות טווח לצורך זיהוי פעולות.

כל סרטון ספורט V = {F1, F2, …, FT} מפורק ל-T פריימים. כדי לקודד שינויים מרחביים, למשל, תנוחת שחקן, טשטוש תנועה ומסלול הכדור, ענפים קונבולוציוניים בשלושה קנה מידה שונים פועלים ב-s ∈ {1, 2, 3}, התואמים לגדלי קרנל של 3 × 3, 5 × 5 ו-7 × 7. כל ענף מחלץ מפות מאפיינים כפי שמוצג במשוואה (6):

figure-protocol-8    (6)

כאשר Ws ו-bs הם משקולות קונבולוציה והטיות (biases) בקנה מידה s, ו-σ היא פונקציית ההפעלה ReLU. שכבת מיזוג הרב-קנה מידה מאגדת מאפיינים כפי שמוצג במשוואה (7):

figure-protocol-9    (7)

טנזור מאפיינים ממוזג זה מטמיע הן רמזי תנועה ברזולוציה גבוהה והן מידע הקשרי בשטח רחב, כגון פעילויות קבוצתיות. איור 3 ממחיש רק את מודול חילוץ המאפיינים של ה-MSCNN. שכבת ה-LSTM (256 יחידות נסתרות), השכבה הצפופה (128 נוירונים), ושכבת ה-dropout (0.5) המשמשות למידול זמני ולסיווג מוצגות בנפרד באיור 4.

figure-protocol-10
איור 3: מודול חילוץ תכונות מוצע של רשת נוירונים קונבולוצית רב-קנה-מידה (MSCNN). שלושה ענפים קונבולוציוניים מקבילים עם גדלי גרעין של 3 × 3, 5 × 5 ו-7 × 7 מחלצים תכונות מרחביות משלימות ברב-קנה-מידה, אשר מאוחדות לפני מידול זמני על ידי רשת LSTM. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-protocol-11
איור 4: ארכיטקטורת LSTM מוצעת לזיהוי פעולות בסרטוני ספורט. מודול ה-LSTM ממדל תלויות זמניות באמצעות פעולות של שער קלט, שער שכחה ושער פלט לאורך פריימים עוקבים של הווידאו. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

איור 3 מחיש את מודול חילוץ המאפיינים המוצע של רשת עצבית קונבולוצית רב-קנימית (MSCNN) לזיהוי פעולות בסרטוני ספורט. פריימים של וידאו קלט עובדו במקביל דרך שלושה ענפי קונבולוציה עם גדלי קרנל של 3 × 3, 5 × 5 ו-7 × 7, כאשר כל אחד מכיל 64 פילטרים כדי ללכוד מאפיינים מרחביים משלימים ברזולוציות דקות וגסות. התוצאות עובדו באמצעות Batch Normalization, הפעלת ReLU ו-2 × 2 max pooling, ולאחר מכן שורשרו וחוברו על ידי קונבולוציה של 1 × 1 עם 128 פילטרים. חיבור דילוג שאריתי (residual skip connection) שימר מידע מרחבי ברמה נמוכה ושיפר את זרימת הגרדיאנט. מפות המאפיינים המאוחדות הופקו לצורה שטוחה (flattened) והועברו לשכבת LSTM עם 256 יחידות נסתרות לצורך מידול זמני, ולאחריה שכבה מחוברת באופן מלא (fully connected layer) עם 128 נוירונים, הפעלת ReLU ושיעור dropout של 0.5 לפני סיווג סופי באמצעות שכבת Softmax. מפות המאפיינים רב-קנימיות (f1l, f2l, ו-f3l) שורשרו כדי ליצור את הייצוג המאוחד (Fl), אשר עובד עוד יותר על ידי קונבולוציה של 3 × 3 כדי להפיק את מפת המאפיינים עבור השכבה הבאה. ארכיטקטורה היררכית זו אפשרה למידה של מאפיינים מרחביים משלימים בשדות קליטה (receptive fields) מרובים, ובכך שיפרה את ביצועי זיהוי פעולות הספורט.

5. מידול זמני באמצעות LSTM

על מנת למדל את האבולוציה המבוססת-זמן לאורך קצוות הווידאו, רצף המאפיינים המצטבר הועבר למערכת ה-LSTM כדי ללכוד תלויות דינמיות והמשכיות של תנועה. עבור כל סרטון קלט, חילצנו תחילה מאפייני CNN רב-קנה-מידה לכל פריים. נסמן את פריימי הווידאו כ- I1, …, IT. עבור כל פריים t וכל קנה-מידה s, המקודד הקונבולוציוני הרב-קנה-מידה מייצר וקטור מאפיינים ft(s) ∈ Rd. לאחר מכן, מוזגים את קני-המידה לתוך תיאור פריים יחיד באמצעות השלכה + שרשור (projection + concat) או סכום משוקל כפי שמוצג במשוואה (8):

figure-protocol-12     (8)

לאחר מכן, הזנו את הרצף {xt}tT=1 לתוך LSTM כדי למדל את הדינמיקה הזמנית. בסימון LSTM סטנדרטי, בזמן t השערים והמצבים מופיעים במשוואות (9) עד (13):

figure-protocol-13 (9)

figure-protocol-14 (10)

figure-protocol-15 (11)

figure-protocol-16 (12)

figure-protocol-17 (13)

כאן σ היא הפעלה סיגמואידית, ו-⊙ היא כפל איבר-איבר.) למרות שניתן להשתמש בארכיטקטורות LSTM דו-כיווניות כדי ללכוד הקשר זמני הן מהעבר והן מהעתיד, המסגרת המוצעת משתמשת ב-LSTM סטנדרטי כדי למדל תלויות זמניות לאורך פריימים רצופים של וידאו. בחירה עיצובית זו עקבית עם ארכיטקטורת ה-MSCNN-LSTM המוצגת במחקר זה. לאחר עיבוד הקליפ, התקבל ייצוג קליפ (למשל, מצב נסתר אחרון או איחוד זמני): z = Poolt(vt).

איור 4 ממחיש את זרימת העבודה של ארכיטקטורת ה-LSTM המוצעת לזיהוי פעולות ספורט. הרשת קיבלה רצף של פריימים מווידאו או מאפיינים שהופקו באמצעות CNN ועיבדה אותם לאורך שלבי זמן עוקבים (t−2, t−1, ו-t). כל תא LSTM הכיל שער קלט (input gate), שער שכחה (forget gate) ושער פלט (output gate), אשר ויסתו את זרימת המידע ברשת. שער הקלט שילב מידע חדש במצב התא (cell state), שער השכחה השליך מידע זמני לא רלוונטי, ושער הפלט ייצר את המצב החבוי (hidden state) המועבר לשלב הזמן הבא. מצב התא שימר תלויות זמניות ארוכות טווח, בעוד שהמצב החבוי לכד מידע זמני קצר טווח. לאחר עיבוד רצפי, פלטי ה-LSTM עברו איחוד (pooling) כדי לייצר ייצוג מאפיינים זמני, אשר הועבר לשכבה מחוברת במלואה (fully connected layer) ולמסווג Softmax כדי לחזות את פעולת הספורט המתאימה. הרשת אומנה באמצעות אופטימייזר Adam למשך 10 epochs עם גודל batch של 32, קצב למידה ראשוני של 0.01 ופונקציית הפסד מסוג cross-entropy. המודל עם הפסד התיקוף (validation loss) הנמוך ביותר נבחר להערכה סופית. כדי להבטיח שחזור, כל הניסויים בוצעו באמצעות seed אקראי קבוע של 42. נעשה שימוש בעצירה מוקדמת (early stopping) ובהפחתת קצב הלמידה בעת הגעה למישורה (plateau) כדי לשפר את ההתכנסות, ובוצע קיטום גרדיאנטים (gradient clipping) עם סף של 5.0 במהלך אימון ה-LSTM כדי למנוע גרדיאנטים מתפוצצים. מודל ה-MSCNN-LSTM המוצע הכיל כ-15 מיליון פרמטרים הניתנים לאימון.

ציוני המחלקה הסופיים וההסתברות משתמשים בשכבה ליניארית + softmax כבמשוואה (14):

figure-protocol-18 (14)

בצע אימון על ידי מזעור הפסד ה-cross-entropy על גבי הקטעים המסומנים, כפי שמוצג במשוואה (15):

figure-protocol-19 (15)

כאשר Nb הוא גודל הסבכה (batch), C הוא מספר המחלקות, ו-y(n) הוא ה-one-hot של ה-ground truth. רגולריזציה (dropout על xt/פלטי LSTM, דעיכת משקולות) וקיטום גרדיאנטים (Gradient clipping) מיושמים כדי לסייע ליציבות עבור רצפי ספורט ארוכים.

תוצאות

מודל ה-MSCNN-LSTM המוצע אומן והוערך על מאגרי הנתונים UCF1 (YouTube Actions), UCF Sports ו-JHMDB, שכללו פעולות ספורט, זוויות ראייה ותבניות תנועה מגוונות. מכיוון שההתפלגויות של המחלקות היו מאוזנות מספיק, לא יושמו הליכי שקלול מחלקות או דגימה מחדש נוספים. מודלי השוואה הוטמעו תוך שימוש בהיפר-פרמטרים שדווחו במחקרים המקוריים שלהם, כאשר הגדרות האימון תואמו במידת האפשר. התוצאות דווחו כממוצע ± סטיית תקן מחמישה הרצות עצמאיות עם אתחולים אקראיים שונים. הבדלים בין המודל המוצע למודלי ההשוואה הוערכו באמצעות מבחני t מזווגים בסף מובהקות של p < 0.05.

איור 5 משווה את דיוק הסיווג בין שלושת מערכי הנתונים. מודל ה-MSCNN-LSTM השיג את הדיוק הגבוה ביותר, והגיע ל-98.3% ב-UCF1, ל-95.4% ב-UCF Sports ול-81.7% ב-JHMDB. ערכים אלו עלו מאלו שהושגו על ידי מודלים של Dilated CNN–BiLSTM, Two-Stream LSTM ו-ViT-ReT. הדיוק הנמוך יותר ב-JHMDB שיקף את הקושי הרב יותר בזיהוי פעולות בעלות רזולוציה דקה (fine-grained) בסרטונים ברזולוציה נמוכה.

figure-results-1
איור 5: השוואה של דיוק הסיווג (%) של מודלי למידה עמוקה שונים על מאגרי נתוני וידאו של ספורט. דיוק הסיווג של MSCNN-LSTM, ViT-ReT, Two-Stream LSTM, ו-Dilated CNN + BiLSTM במאגרי הנתונים UCF1, UCF Sports, ו-JHMDB. התוצאות מדווחות כממוצע ± SD מחמש הרצות עצמאיות (n = 5). פסי השגיאה מייצגים סטיית תקן אחת. מובהקות סטטיסטית נבחנה באמצעות מבחני t מצומדים דו-זנביים (p < 0.05). אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

המודל המוצע השיג גם את הדיוק (precision) הגבוה ביותר בכל מאגרי הנתונים, עם ערכים של כ-96% ב-UCF1, 93% ב-UCF Sports ו-78% ב-JHMDB (איור 6). ערכי ה-Recall היו כ-95%, 94% ו-7%, בהתאמה (איור 7), בעוד שציוני ה-F1 המתאימים היו כ-95.5%, 93.5% ו-77.5% (איור 8). ממצאים אלו הצביעו על כך שהמודל שמר על איזון חיובי בין זיהוי נכון של מחלקות פעולה לבין הגבלת תחזיות חיוביות שגויות (false-positive).

figure-results-2
איור 6: השוואה של הדיוק (precision, %) של מודלים שונים של למידה עמוקה על מאגרי נתונים של סרטוני ספורט. ערכי הדיוק מדווחים כממוצע ± SD מחמש הרצות עצמאיות (n = 5). פסי השגיאה מייצגים סטיית תקן אחת. מובהקות סטטיסטית נבחנה באמצעות מבחני t-test זיווגים דו-זנביים (p < 0.05). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-3
איור 7: השוואה של recall (%) של מודלי למידה עמוקה שונים על מאגרי נתונים של סרטוני ספורט. ערכי ה-Recall מדווחים כממוצע ± SD מחמש הרצות עצמאיות (n = 5). פסי השגיאה מייצגים סטיית תקן אחת. מובהקות סטטיסטית הוערכה באמצעות מבחני t מזווגים דו-זנביים (p < 0.05). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-4
איור 8: השוואה של מדד F1-score (%) של מודלי למידה עמוקה שונים על מאגרי נתונים של סרטוני ספורט. מדדי F1-score מדווחים כממוצע ± SD מחמישה הרצות עצמאיות (n = 5). פסי השגיאה מייצגים סטיית תקן אחת. מובהקות סטטיסטית הוערכה באמצעות מבחני t-tests זוגיים דו-זנביים (p < 0.05). אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

טבלה 5 מציגה את תוצאות מדד הקאפה של כוהן (Cohen’s kappa) ומקדם המתאם של מתיוס (Matthews correlation coefficient). ב-UCF11, המודל המוצע השיג κ = 0.96 ו-MCC = 0.96, בהשוואה לערכי κ/MCC של 0.92/0.92 עבור ViT-ReT, 0.90/0.90 עבור Two-Stream LSTM, ו-0.87/0.87 עבור Dilated CNN–BiLSTM. ב-UCF Sports, ה-MSCNN-LSTM השיג κ = 0.95 ו-MCC = 0.94, תוצאות העולות על הערכים המקבילים שהושגו על ידי ViT-ReT (0.90/0.90), Two-Stream LSTM (0.8/0.89), ו-Dilated CNN–BiLSTM (0.84/0.85). ב-JHMDB, המודל המוצע השיג κ = 0.83 ו-MCC = 0.84, בהשוואה ל-0.74/0.75 עבור ViT-ReT, 0.70/0.71 עבור Two-Stream LSTM, ו-0.71/0.72 עבור Dilated CNN–BiLSTM. תוצאות אלו הראו התאמה חזקה יותר בין התוויות החזויות לתוויות האמת (ground-truth) עבור המודל המוצע.

מודלמערך נתוניםמדד הקאפה של קוהן (κ)מקדם המתאם של מת'יוס (MCC)
CNN מורחב + BiLSTM [4]UCF1 (פעולות YouTube)0.87 ± 0.010.88 ± 0.01
ספורט UCF0.84 ± 0.020.85 ± 0.02
JHMDB0.71 ± 0.030.72 ± 0.03
LSTM דו-זרמי [38]UCF1 (פעולות YouTube)0.90 ± 0.010.91 ± 0.01
ספורט UCF0.88 ± 0.020.89 ± 0.02
JHMDB0.70 ± 0.030.71 ± 0.03
ViT-ReT (Vision Transformer + Recurrent Transformer) [6]UCF1 (פעולות YouTube)0.92 ± 0.010.92 ± 0.01
ספורט UCF0.90 ± 0.010.90 ± 0.01
JHMDB0.74 ± 0.020.75 ± 0.02
מודל ה-MSCNN–LSTM המוצעUCF1 (פעולות יוטיוב)0.96 ± 0.010.96 ± 0.01
ספורט UCF0.95 ± 0.010.94 ± 0.01
JHMDB0.83 ± 0.020.84 ± 0.02

טבלה 5: השוואה של מדד הקאפה של כהן (κ) ומקדם המתאם של מתיוס (MCC) בין מודלים שונים של למידה עמוקה. השוואת ביצועים של MSCNN-LSTM, ViT-ReT, Two-Stream LSTM ו-Dilated CNN + BiLSTM על מאגרי הנתונים UCF1, UCF Sports ו-JHMDB. ערכים גבוהים יותר מעידים על התאמה חזקה יותר בין התוויות החזויות לאמיתות ועל אמינות סיווג גבוהה יותר. הערכים מדווחים כממוצע ± SD מחמש הרצות עצמאיות (n = 5).

איור 9 מציג את עקומות מאפייני המקלט (receiver operating characteristic curves). מודל ה-MSCNN-LSTM המוצע השיג ערכי AUC של 0.975 ב-UCF1, 0.961 ב-UCF Sports, ו-0.937 ב-JHMDB. ערכי ה-AUC הגבוהים באופן עקבי מעידים על יכולת הבחנה חזקה בין מחלקות הפעולה במאגרי נתונים בעלי מורכבות שונה.

figure-results-5
איור 9: עקומות מאפיין תפעול מקלט (ROC) של מודל ה-MSCNN-LSTM המוצע. עקומות ROC עבור מאגרי הנתונים UCF1, UCF Sports ו-JHMDB הממחישות את הפשרה בין שיעור החיוביים האמיתיים לשיעור החיוביים הכוזבים. השטח תחת העקומה (AUC) מסכם את ביצועי ההבחנה של המודל לאורך ספי thresholds סיווג. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

תוצאות הביצועים הזמניות מסוכמות ב- טבלה 6במאגר הנתונים UCF11, המודל המוצע השיג mAP-T של 98.3%, דיוק ברמת הפריים (frame-level accuracy) של 96.5%, ו-TSI של 0.95. במאגר UCF Sports, הערכים המקבילים היו 95.4%, 94.0%, ו-0.93. במאגר JHMDB, המודל השיג mAP-T של 81.7%, דיוק ברמת הפריים של 78.9%, ו-TSI של 0.8 (טבלה 7). ערכים אלו היו גבוהים מאלו שהתקבלו במודלי ההשוואה והעידו על שיפור בעקביות הזמנית (temporal coherence) וביציבות הניבוי ברצפי פעולות קצרים וארוכים כאחד.

שיטהערכה של נתוניםmAP-T (%)דיוק ברמת הפריים (%)מדד יציבות זמנית (TSI)
CNN מורחב + BiLSTM4UCF1 (פעולות YouTube)93.6 ± 0.891.8 ± 0.90.87 ± 0.01
ספורט UCF90.2 ± 1.089.1 ± 1.10.83 ± 0.02
JHMDB72.4 ± 1.570.3 ± 1.70.78 ± 0.03
LSTM דו-זרמי38UCF1 (פעולות YouTube)94.8 ± 0.792.6 ± 0.80.89 ± 0.01
ספורט UCF91.3 ± 0.990.0 ± 1.00.85 ± 0.02
JHMDB73.8 ± 1.471.5 ± 1.60.79 ± 0.03
ViT-ReT (Vision Transformer + Recurrent Transformer)6UCF1 (פעולות יוטיוב)95.5 ± 0.693.4 ± 0.70.90 ± 0.01
ספורט UCF92.4 ± 0.891.2 ± 0.90.87 ± 0.01
JHMDB74.6 ± 1.372.8 ± 1.40.81 ± 0.02
.UCF1 (פעולות YouTube)98.3 ± 0.596.5 ± 0.60.95 ± 0.01
ספורט UCF95.4 ± 0.794.0 ± 0.80.93 ± 0.01
JHMDB81.7 ± 1.178.9 ± 1.30.88 ± 0.02

טבלה 6: השוואה של מדדי ביצועים זמניים לזיהוי פעולות בסרטוני ספורט. תוצאות ניסיוניות של mean Average Precision over Temporal Segments (mAP-T), דיוק ברמת הפריים (frame-level accuracy), ו-Temporal Stability Index (TSI) עבור מודלי למידה עמוקה שונים במאגרי הנתונים של הבנצ'מרק. הערכים מדווחים כממוצע ± SD מחמש הרצות עצמאיות (n = 5).

תצורהMulti-Scale CNN (MSCNN)LSTMדיוק (%)ציון F1 (%)mAP-T (%)
קו בסיס CNN בלבד✗✗90.4 ± 1.289.8 ± 1.38.9 ± 1.4
CNN + LSTM✗✓93.1 ± 0.992.4 ± 1.091.7 ± 1.1
MSCNN בלבד✓✗94.2 ± 0.893.6 ± 0.992.8 ± 1.0
MSCNN-LSTM המוצע✓✓98.3 ± 0.597.8 ± 0.697.1 ± 0.6

טבלה 7: ניתוח Ablation של מסגרת ה-MSCNN-LSTM המוצעת. תרומה לביצועים של רכיבי ה-MSCNN וה-LSTM תחת הגדרות אימון והערכה זהות. הערכים מדווחים כממוצע ± SD מחמישה הרצות עצמאיות (n = 5).

איור 10, איור 1, איור 12 מציגים את מטריצות הבלבול מנורמלות-שורות עבור UCF1, UCF Sports ו-JHMDB, בהתאמה. כל שלוש המטריצות הראו דומיננטיות אלכסונית ברורה, המעידה על כך שרוב מחלקות הפעולה זוהו נכונה. שגיאות מוגבלות מחוץ לאלכסון התרחשו בעיקר בין פעולות בעלות מאפייני חזות או תנועה דומים. מטריצת JHMDB הראתה בלבול גבוה יותר בין המחלקות באופן יחסי, דבר העולה בקנה אחד עם הביצועים הכמותיים הנמוכים יותר שנצפו במערך נתונים מאתגר זה.

figure-results-6
איור 10: מטריצת בלבול מנורמלת לפי שורה של מודל ה-MSCNN-LSTM המוצע על מאגר הנתונים UCF1. כל שורה מנורמלת לאחד, והערכים באלכסון מייצגים את ה-recall עבור כל מחלקה במקום את דיוק הסיווג הכולל, המדווח בנפרד. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-7
איור 11מטריצת בלבול מנורמלת לפי שורות של מודל ה-MSCNN-LSTM המוצע על מערך הנתונים UCF Sports. כל שורה מנורמלת לאחד, והערכים באלכסון מייצגים את ה-recall של כל מחלקה ולא את דיוק הסיווג הכולל, שמדווח בנפרד. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-8
איור 12: מטריצת בלבול מנורמלת לפי שורות של מודל ה-MSCNN-LSTM המוצע על מערך הנתונים JHMDB. כל שורה מנורמלת לאחד, והערכים באלכסון מייצגים recall לפי מחלקה ולא את דיוק הסיווג הכללי, אשר מדווח בנפרד. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

באופן כללי, מסגרת ה-MSCNN-LSTM המוצעת הראתה ביצועים עקביים וטובים יותר מהמודלים המשווים שנבחנו במדדי סיווג, הסכמה, הבחנה ויציבות זמנית. הממצאים תמכו בהשערה ששילוב של הפקת מאפיינים מרחביים רב-קנימיים עם מידול זמני מבוס LSTM שיפר את זיהוי פעולות ספורט במאגרי נתונים בעלי מורכבות תנועה, איכות תמונה ותנאי נקודת מבט משתנים.

זמינות נתונים:

מאגרי הנתונים שנותחו במהלך המחקר הנוכחי זמינים לציבור מהמקורות הבאים: מאגר הנתונים UCF1 (YouTube Actions) (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php) ומאגר הנתונים UCF Sports (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php). כדי לתמוך ביכולת השחזור של מחקר זה, צינור העיבוד המקדים (preprocessing pipeline), חלוקת מאגרי הנתונים (יצירת פיצול של אימון/תיקוף/בדיקה), קבצי המימוש, קבצי ההגדרה והתיעוד התומך ששימשו בניסויים הופקדו במאגר Zenodo והם זמינים לציבור בכתובת https://doi.org/10.5281/zenodo.21020947.

דיון

מסגרת ה-MSCNN-LSTM המוצעת הראתה ביצועים עקביים יותר מהגישות שנבחנו במאגרי הנתונים benchmark של UCF11, UCF Sports ו-JHMDB. שיטות קודמות המבוסות על Dilated CNN–BiLSTM, ארכיטקטורות Vision Transformer ו-3D CNNs הדגימו למידה יעילה של מאפיינים מרחביים-זמניים (spatiotemporal), אך הן עלולות להיות מוגבלות בשל סיבוכיות חישובית גבוהה, דרישות אימון משמעותיות או ייצוג לא מספיק של תבניות תנועה עדינות23,24,25. לעומת זאת, המסגרת המוצעת שילבה מיצוי מאפיינים מרחביים רב-קנימיים (multi-scale) עם מידול זמני מבוס LSTM, מה שאיפשר ללכוד הן פרטי תנועה מקומיים והן תלות זמנית לטווח רחוק. שילוב זה שיפר את הזיהוי של פעולות ספורט מורכבות, הפחית בלבול בין מחלקות (inter-class confusion) ושיפר את העקביות הזמנית, במיוחד במאגר הנתונים המאתגר יותר JHMDB. ממצאים אלו מעידים כי המסגרת המוצעת סיפקה ייצוג מאוזן של מידע מרחבי וזמני בהשוואה לגישות המבוסות על CNN, רשתות רקורסיביות ו-transformer שנבחנו.

מנקודת מבט תיאורטית, מסגרת ה-MSCNN-LSTM סיפקה גישה מאוחדת למיזוג מאפיינים רב-קנימי וללמידה רצפית-זמנית36,37. השימוש בשדות רספטיביים היררכיים אפשר את מיצוי המידע המרחבי בקניינים שונים, בעוד שה-LSTM מידל תלויות בין פריימים עוקבים בווידאו. תכנון זה הרחיב את תהליך ה-CNN-LSTM הקונבנציונלי על ידי שימור מידע מרחבי מקומי והקשרי לפני המידול הזמני. הביצועים העקביים במאגרי נתונים הכוללים מחלקות פעולה, תבניות תנועה ונקודות מבט של מצלמה מגוונות תמכו עוד יותר בחסון של הארכיטקטורה המוצעת.

מנקודת מבט מעשית, המסגרת הראתה פוטנציאל לניתוח ספורט אוטומטי, הערכת ביצועי ספורטאים, זיהוי אירועים והבנת סרטוני ספורט. עם זאת, נדרשת תיקוף נוסף בתנאי הפעלה של העולם האמיתי לפני הפריסה. למרות שהארכיטקטורה השיגה ביצועי זיהוי חזקים, יש לאשר את התאמתה למכשירים בעלי משאבים מוגבלים או לפלטפורמות ניתוח מבוסות ענן באמצעות הערכה נוספת של העלות החישובית, זמן ההסקה, דרישות הזיכרון וצריכת האנרגיה.

מחקר האבלציה (ablation study) הדגים את התרומות המשלימות של רכיבי ה-MSCNN וה-LSTM. ה-MSCNN שיפר את מיצוי המאפיינים המרחביים על ידי למידת ייצוגים במספר קשקי שדות רספטיביים (receptive-field scales), בעוד שה-LSTM שיפר את המידול הזמני באמצעות לכידת תלויות תנועה בין פריימים עוקבים. תצורת ה-MSCNN-LSTM המלאה השיגה את הביצועים הטובים ביותר, מה שמעיד על כך שמיצוי מאפיינים מרחביים רב-קשקי ומידול רצפים זמני תרמו במשותף לשיפור שנצפה בזיהוי הפעולות.

באופן כללי, מסגרת ה-MSCNN-LSTM המוצעת שילבה ביעילות למידה של ייצוגים מרחביים וזמניים לצורך זיהוי פעולות בסרטוני ספורט. הערכה על מאגרי הנתונים UCF1, UCF Sports ו-JHMDB הראתה ביצועים משופרים בהשוואה לגישות הלמידה העמוקה שנבחנו. תוצאות אלו תמכו בהשערה כי שילוב של מאפיינים קונבולוציוניים רב-קנימיים עם מידול זמני מבוס LSTM משפר את זיהוי פעולות ספורט מורכבות. עם זאת, נדרשת תיקוף על מאגרי נתונים גדולים, מגוונים יותר וחוצי-דומיינים כדי לבס את יכולת ההכללה והיישומיות בעולם האמיתי.

יש לשקול מספר מגבלות. ראשית, ההערכה הוגבלה למאגרי נתונים של benchmark הזמינים לציבור, וייתכן שהיא אינה מייצגת באופן מלא את הגיוון והמורכבות של סביבות ספורט בעולם האמיתי. שנית, למרות שנעשה שימוש בחלוקות קבועות לאימון, תיקוף ובדיקה, לא ניתן היה לשלול לחלוטין הטיות במאגר הנתונים ודליפה לא מכוונת של נתונים. שלישית, הביצועים המדווחים עשויים להשתנות בהתאם להרכב מאגר הנתונים, אתחול המודל, נהלי עיבוד מקדים והגדרות האימון. בנוסף, רכיבי המידול הקונבולוציוני והזמני רב-הקנה הגבירו את הדרישות החישוביות, דבר שעשוי להשפיע על הפריסה במכשירים עם משאבים מוגבלים. המסגרת לא נבחנה גם כן באמצעות מאגרי נתונים חיצוניים או תרחישי ייצור בזמן אמת.

מודלי וידאו מבוססי Transformer הראו ביצועים חזקים במאגרי נתונים רחבי-היקף לזיהוי פעולות, אך לעיתים קרובות הם דורשים משאבים חישוביים משמעותיים ונתוני אימון נרחבים. מסגרת ה-MSCNN-LSTM המוצעת מציעה גישה חלופית על ידי שילוב של מיצוי מאפיינים מרחביים רב-קנימיים (multi-scale) עם מידול זמני רקורסיבי. עבודות עתידיות צריכות לבחון תיקוף בין-מאגרי נתונים, הסקה בזמן אמת, אופטימיזציה חישובית, הערכת אי-ודאות, וארכיטקטורות היברידיות המשלבות מנגנוני קשב מבוססי transformer עם מסגרת ה-multi-scale CNN-LSTM המוצעת38.

גילויים

המחברים מצהירים כי אין ניגודי אינטרסים.

תודות

מחקר זה נערך במרכז לטכנולוגיית בינה מלאכותית (CAIT), הפקולטה למדעי המידע וטכנולוגיה, Universiti Kebangsaan Malaysia. המחברים מודים על התמיכה המוסדית ועל מתקני המחקר שסופקו. עבודה זו לא קיבלה מימון ספציפי מכל סוכנות מימון ציבורית, מסחרית או ללא מטרת רווח.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
מעבד גרפי GeForce RTX 3090NVIDIA CorporationRTX 3090, 24 GB VRAMמש לאימון ולהסקה של מודלי למידה עמוקה
מעבד Intel Core i9Intel Corporation16 ליבות, 3.5 GHzמש לעיבוד מקדים של נתונים ולחישוב
זיכרון המערכתגנרי64 GB DDR4 RAMתומך בעיבוד וידאו רחב-היקף
שפת התכנות PythonPython Software Foundationגרסה 3.8.18שפת התכנות העיקרית למימוש
TensorFlowגוגלגרסה 2.15מסגרת למידה עמוקה ששימשה לפיתוח המודל
מערכת הפעלהMicrosoft CorporationWindows 1פיתוח מודלים וניסויים
ערכת הכלים CUDA (CUDA Toolkit)NVIDIA CorporationCUDA 1.8האצה באמצעות GPU לאימון מודלים
cuDNNNVIDIA CorporationcuDNN 8.9.7ספריית האצה לרשתות עצביות עמוקות
OpenCVקוד פתוחגרסה 4.8.1חילוץ פרימיות וידאו ועיבוד מקדים
NumPyקוד פתוחגרסה 1.24.4חישוב נומרי ועיבוד מערכים
Scikit-learnקוד פתוחגרסה 1.3.2הערכת ביצועים וניתוח סטטיסטי
Matplotlibקוד פתוחגרסה 3.7.5ויזואליזציה של תוצאות ניסוייות
סט הנתונים UCF1אוניברסיטת מרכז פלורידהמאגר נתונים ציבוריערכת נתוני ייחוס לזיהוי פעולות ספורט
מאגר נתוני הספורט של UCFאוניברסיטת מרכז פלורידהמאגר נתונים ציבוריסט רכיב נתונים (dataset) להערכה של זיהוי פעולות ספורט
מאגר הנתונים JHMDBמכון מקס פלנק לאינפורמטיקהמאגר נתונים ציבוריסט רכיבי נתונים למד של זיהוי תנועה ופעולה אנושית

מקורות

  1. Hassan N, Miah ASM, Shin J. A deep bidirectional LSTM model enhanced by transfer-learning-based feature extraction for dynamic human activity recognition. Appl Sci. 2024;14:603. https://doi.org/10.3390/app14020603
  2. Egawa R, et al. Dynamic fall detection using graph-based spatial temporal convolution and attention network. Electronics. 2023;12:3234. https://doi.org/10.3390/electronics12153234
  3. Riahi M, Eslami M, Safavi SH, Torkamani Azar F. Human activity recognition using improved dynamic image. IET Image Process. 2020;14:3223–3231. https://doi.org/10.1049/iet-ipr.2020.0372
  4. Muhammad K, et al. Human action recognition using attention-based LSTM network with dilated CNN features. Future Gener Comput Syst. 2021;125:820–830. https://doi.org/10.1016/j.future.2021.06.017
  5. Al-Obaidi S, Al-Khafaji H, Abhayaratne C. Making sense of neuromorphic event data for human action recognition. IEEE Access. 2021;9:82686–82700. https://doi.org/10.1109/ACCESS.2021.3085769
  6. Wensel J, Ullah H, Munir A. ViT-ReT: Vision and recurrent transformer neural networks for human activity recognition in videos. IEEE Access. 2023;11:72227–72249. https://doi.org/10.1109/ACCESS.2023.3293445
  7. Vrskova R, Hudec R, Kamencay P, Sykora P. Human activity classification using the 3DCNN architecture. Appl Sci. 2022;12:931. https://doi.org/10.3390/app12020931
  8. Ullah A, et al. Action recognition using optimized deep autoencoder and CNN for surveillance data streams of non-stationary environments. Future Gener Comput Syst. 2019;96:386–397. https://doi.org/10.1016/j.future.2019.01.041
  9. Jaouedi N, Boujnah N, Bouhlel MS. A new hybrid deep learning model for human action recognition. J King Saud Univ Comput Inf Sci. 2020;32:447–453. https://doi.org/10.1016/j.jksuci.2018.08.001
  10. Zebhi S, Al-Modarresi SMT, Abootalebi V. Converting video classification problem to image classification with global descriptors and pre-trained network. IET Comput Vis. 2020;14:614–624. https://doi.org/10.1049/iet-cvi.2020.0023
  11. Cust E, Sweeting AJ, Ball K, Robertson S. Machine and deep learning for sport-specific movement recognition: A systematic review. J Sports Sci. 2019;37:568–600. https://doi.org/10.1080/02640414.2018.1504613
  12. Cao S, Wang B, Zhang W, Ma L. Visual consensus modeling for video-text retrieval. In Proc AAAI Conf Artif Intell. 2022:167–175. https://doi.org/10.1609/aaai.v36i1.19890
  13. Yu H, et al. Fine-grained video captioning for sports narrative. In Proc IEEE Conf Comput Vis Pattern Recognit (CVPR). 2018:6006–6015. https://doi.org/10.1109/CVPR.2018.00628
  14. Browne P, Sweeting AJ, Woods CT, Robertson S. Methodological considerations for furthering the understanding of constraints in applied sports. Sports Med Open. 2021;7:22. https://doi.org/10.1186/s40798-021-00307-9
  15. Gao T, et al. Sports video classification method based on improved deep learning. Appl Sci. 2024;14:948. https://doi.org/10.3390/app14020948
  16. Dong Z, Xie M, Li X. Multi-scale receptive fields convolutional network for action recognition. Appl Sci. 2023;13:3403. https://doi.org/10.3390/app13063403
  17. Liu S, et al. Human memory update strategy: A multi-layer template update mechanism for remote visual monitoring. IEEE Trans Multimed. 2021;23:2188–2198. https://doi.org/10.1109/TMM.2020.3009234
  18. Liu S, Liu D, Muhammad K, Ding W. Effective template update mechanism in visual tracking with background clutter. Neurocomputing. 2021;458:615–625. https://doi.org/10.1016/j.neucom.2021.05.032
  19. Haque MN, et al. GRU-based attention mechanism for human activity recognition. In Proc ICASERT. 2019:1–6. https://doi.org/10.1109/ICASERT.2019.8934521
  20. Al-qaness MA, Dahou A, AbdElaziz M, Helmi A. Multi-ResAtt: Multilevel residual network with attention for human activity recognition using wearable sensors. IEEE Trans Ind Inform. 2022;19:144–152. https://doi.org/10.1109/TII.2022.3147850
  21. Duan F, et al. A multi-task deep learning approach for sensor-based human activity recognition and segmentation. IEEE Trans Instrum Meas. 2023;72:2514012. https://doi.org/10.1109/TIM.2023.3264512
  22. Gomes E, et al. Machine learning algorithms for activity-intensity recognition using accelerometer data. Sensors. 2021;21:1214. https://doi.org/10.3390/s21041214
  23. Su C, et al. A novel model for fall detection and action recognition combining lightweight 3D-CNN and ConvLSTM networks. Pattern Anal Appl. 2024;27:3. https://doi.org/10.1007/s10044-023-01234-5
  24. Zhou T, et al. Behavior recognition based on improved density clustering and context-guided Bi-LSTM model. Multimed Tools Appl. 2023;82:45471–45488. https://doi.org/10.1007/s11042-023-14678-9
  25. Shin J, et al. Video-based human activity recognition using hybrid deep learning model. Comput Model Eng Sci. 2025;143:3615. https://doi.org/10.32604/cmes.2025.058341
  26. Vrskova R, Hudec R, Kamencay P, Sykora P. A new approach for abnormal human activities recognition based on ConvLSTM architecture. Sensors. 2022;22:2946. https://doi.org/10.3390/s22082946
  27. Vijeikis R, Raudonis V, Dervinis G. Efficient violence detection in surveillance. Sensors. 2022;22:2216. https://doi.org/10.3390/s22062216
  28. Rendón-Segador F, et al. ViolenceNet: Dense multi-head self-attention with bidirectional ConvLSTM for detecting violence. Electronics. 2021;10:1601. https://doi.org/10.3390/electronics10131601
  29. Kalfaoglu E, Kalkan S, Alatan A. Late temporal modeling in 3D CNN architectures with BERT for action recognition. In Proc ECCV Workshops. 2020. https://doi.org/10.1007/978-3-030-66823-5_43
  30. Moaaz M, Mohamed E. Violence detection in surveillance videos using deep learning. Inf Bull Fac Comput Artif Intell. 2020;2:6.
  31. Song W, et al. Expressive 3D facial animation generation based on local-to-global latent diffusion. IEEE Trans Vis Comput Graph. 2024;30:7397–7407. https://doi.org/10.1109/TVCG.2024.3456213
  32. Li L, Cherouat A, Snoussi H, Wang T. Grasping with occlusion-aware ally method in complex scenes. IEEE Trans Autom Sci Eng. 2025;22:5944–5954. https://doi.org/10.1109/TASE.2024.3434610
  33. Li R, et al. UE-Extractor: A grid-to-point ground extraction framework for unstructured environments. IEEE Robot Autom Lett. 2025;10:5991–5998. https://doi.org/10.1109/LRA.2025.3563127
  34. Jhuang, H., Gall, J., Zuffi, S., Schmid, C., Black, M. J. Towards understanding action recognition. Proceedings of the IEEE International Conference on Computer Vision. 3192–3199, doi:10.1109/ICCV.2013.396 (2013).
  35. OpenMMLab. MMAction2: JHMDB dataset preparation. GitHub. https://github.com/open-mmlab/mmaction2/tree/main/tools/data/jhmdb (2026).
  36. Ullah W, Khalid YN, Khan SH. A novel deep hybrid framework with ensemble-based feature optimization for HAR. arXiv preprint arXiv:2508.18695. 2025. https://arxiv.org/abs/2508.18695
  37. Karuppannan K, Darmanayagam SE, Cyril SR. Human action recognition using fusion-based discriminative features and LSTM classification. Concurr Comput Pract Exp. 2022;34:e7250. https://doi.org/10.1002/cpe.7250
  38. Sahoo SP, et al. HAR-depth: A novel framework for human action recognition using sequential learning and depth estimated history images. IEEE Trans Emerg Top Comput Intell. 2020;5:813–825. https://doi.org/10.1109/TETCI.2020.3006543

הדפסות חוזרות והרשאות

תגיות

LSTMCNN BiLSTM
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.