מסגרת רב-מודלית מבוססת טרנספורמר לניתוח החלטות טקטיות בספורט קבוצתי עם יישום בכדורגל

Summary

כדי לשפר את הסיווג של החלטות טקטיות בכדורגל, מחקר זה מציע מודל מיזוג רב-מודלי מבוסס טרנספורמר המשלב נתונים ויזואליים, מיקומים, אקוסטיים והקשריים. המודל משיג ביצועים כמעט בזמן אמת במאגר נתונים רב-מודלי של 500 רצפים, ומציג ביצועים טובים יותר מבסיסי CNN-LSTM, BiLSTM-Attention ו-GNN מבחינת דיוק וסיווג שגוי שנגרם מלחץ.

Abstract

נדרש קבלת החלטות טקטיות מהירה ומדויקת בכדורגל המודרני. עם זאת, גישות מסורתיות להערכת קבלת החלטות טקטיות הן בעלות תוקף אקולוגי נמוך ואינן מתרחבות בקלות. כדי להתמודד עם אתגרים אלו, מאמר זה מציג מודל מיזוג רב-מודלי מבוסס טרנספורמר הכולל מיקום שחקנים, וידאו, אודיו ומטא-דאטה קונטקסטואלית כדי לסיווג החלטות טקטיות בזמן אמת. נערכו ניסויים עם 40 שחקנים גברים ומערך נתונים שכלל 500 רצפים של מחזות מולטימודליים. מערך הנתונים של 40 שחקנים מתייחס לניסויים מבוקרים בסגנון מעבדה לקבלת החלטות המשמשים לאימות ראשוני ולהערכת אמינות. לאחר מכן, 500 רצפים מולטימודליים הופקו מסימולציות משחק מורחבות והקלטות משחק אמיתי כדי לספק את מאגר הנתונים הגדול יותר ששימש לאימון ובדיקת מודל הטרנספורמר הרב-מודלי.

הוא מעבד קלטים בחמישה שלבים: רכישת נתונים, עיבוד מוקדם, חילוץ תכונות, מיזוג מבוסס שנאי וסיווג החלטות. בהשוואה לבסיסים של CNN-LSTM, BiLSTM-Attention ו-GNN, הגישה המוצעת משפרת את דיוק חיזוי ההחלטות ב-28% ומפחיתה סיווג שגוי הנגרם מלחץ ב-41%, עם השהיה הסקה נמוכה של 52.6 מילישניות, מה שהופך אותה למתאימה ליישומים כמעט בזמן אמת. ההכללה של ממצאים בהקשרים טקטיים מגוונים יותר ולדמוגרפיה רחבה יותר של ספורטאים מוגבלת גם היא על ידי גודל קטן יחסית וההומוגניות באוכלוסיית המדגם של שחקנים צעירים מאזור אחד. תוצאות אלו מדגישות את תרומתו של מיזוג רב-מודלי מבוסס טרנספורמרים לניתוח החלטות טקטי אוטומטי ומצביעות על הצורך באימות נוסף שלו במצבי התאמה מגוונים ורחבי היקף יותר.

Introduction

ספורט קבוצתי, כמו כדורגל, דורש החלטות טקטיות מהירות בסביבות דינמיות ולא בטוחות. השחקנים חייבים לקרוא כל הזמן מידע חזותי מהכדור, מהחברים לקבוצה ומהיריבים, ולהגיב תוך שבריר שנייה כדי להבטיח יתרון תחרותי. קבלת החלטות טקטית בכדורגל תלויה מאוד בתפיסה מהירה של תנועות השחקן, מסלול הכדור ורמזים מצבים. למרות שמיומנויות תפיסתיות-קוגניטיביות כלליות, כמו זמן תגובה וקשב סלקטיבי, אכן משפיעות על הביצועים, מחקרים עדכניים הדגישו מודלים מונחי נתונים ומודעים להקשר, שיכולים להתקרב לקוגניציה טקטית אמיתית במשחק 1,2,3,4,5. זמן תגובה ויכולות תפיסתיות, כמו יכולות קוגניטיביות, גם הם ממלאים תפקיד מרכזי בביצועים ^6,7,8. מחקרים עדכניים בתחום קוגניציה ספורטיבית הראו כי קבלת החלטות טקטית מתבססת לא רק על מיומנויות תפיסתיות אלא גם על יכולתו של הספורטאי לשלב מידע מרחבי דינמי, לחץ יריבים ורמזים הקשקיים במשחק בזמן אמת. מחקרים בתחום מומחיות תפיסתית-קוגניטיבית מצביעים על כך ששחקנים בעלי אוריינות טקטית יותר מזהים רמזים מהר יותר, קולטים מידע בצורה יעילה יותר, ומפגינים דפוסי קבלת החלטות יציבים יותר תחת לחץ. ממצאים אלו תומכים בצורך במודלים חישוביים שיכולים ללכוד את הטבע המורכב והרב-שכבתי של תהליכי קבלת החלטות בספורט.

שיטות קלאסיות להערכת קבלת החלטות טקטיות משתמשות לעיתים קרובות במשימות מעבדה מבוקרות ובשיפוטי מומחים סובייקטיביים, שמטילים מגבלות משמעותיות על תוקף אקולוגי ויכולת הרחבה. התקדמות אחרונה בלמידה עמוקה מציעה פוטנציאל לאוטומציה של התהליך באמצעות שימוש במקורות נתונים מולטימודליים – כגון וידאו, מעקב מיקומי ומטא-דאטה של התאמה קונטקסטואלית – בתוך ארכיטקטורות לכידת תלות זמנית וחוצת-מודאלית. למרות התקדמות זו, רוב המודלים הנוכחיים עדיין מבוססים על מודלים של רשתות עצביות קונבולוציונליות-זיכרון ארוך-קצר טווח או זיכרון דו-כיווני ארוך-קצר טווח (CNN-LSTM או BiLSTM), שיש להם יכולת מוגבלת למודל תלות ארוכת טווח בין מודאליות. חיסרון זה הוא הכוח המניע מאחורי פיתוח מודלים מולטימודליים מבוססי טרנספורמרים, המצוידים טוב יותר למודל קבלת החלטות טקטית בצורה מקיפה ויציבה יותר בתרחישי כדורגל. בספורט הקבוצתי היריב, למשל, השחקנים חייבים להעריך במהירות מידע על הכדור, כולל חברי הקבוצה, היריבים והמיקום על המגרש. לפני שמחליטים על דרך הפעולה הטובה ביותר בהתבסס על היכולות שלהם, הוראות המאמן ונסיבות^המשחק. עקב הנגישות של מאגרי נתונים מאורגנים ורכיבים טקטיים מוגדרים, מחקר זה מתמקד אך ורק בכדורגל; עם זאת, עקרונות טקטיים לקבלת החלטות חלים על ענפי ספורט קבוצתיים רבים.

למעשה, מחקרים קודמים מצביעים על כך ש-CNN-LSTM ו-BiLSTM אינם יכולים ללכוד תלות זמן לטווח ארוך מאוד באמצעות שדה קליטה קבוע או על ידי הגבלה על ידי שער סדרתי 11,12,13. באופן דומה, עבודת מדד יסודית בזיהוי פעולה ובמידול זמני רב-מודלי מגלה כי ביצועי מודלים מבוססי LSTM יורדים עם עליית אורך הרצף או כאשר רמזים קונטקסטואליים מופיעים במרחק של כמה פריימים זה מזה, מה שעלול להגביל את התוקף האקולוגי בסביבות ספורט דינמיות. יתרה מזאת, מודלים מבוססי רשת עצבית גרפית (GNN) הם כלים רבי עוצמה למידול אינטראקציה מרחבית, אך הם הציגו ביצועים נמוכים בעקביות בתרחישים הדורשים הסקה זמנית מדויקת או במקרים שבהם רמזי לחץ הקשרי משתנים במהירות לאורך זמן^14,15. בניגוד לגישות אלו, מסגרות מבוססות טרנספורמר עדכניות יותר מדגימות עליונות ביצועים בניתוח ספורט, זיהוי פעילות אנושית ומשימות שפת וידאו באמצעות שילוב משותף של רמזים זמניים ארוכי טווח, יחסים מרחביים ואותות הקשר במעבר קדימה אחד, המופעל על ידי תשומת לב עצמית גלובלית. ממצאים כאלה מצדיקים את הבחירה בארכיטקטורה מבוססת שנאי כעמוד השדרה למודל המוצע במחקר הנוכחי.

שיפור הידע הטקטי והבנת עקרונות טקטיים הוכח כחיוניים לפתרון מגבלות ובעיות משחק^16,17. שחקני פוטבול לומדים מגוון אלמנטים במשחק, כולל חדירה, הגנה התקפית, תנועה, זמן, הגבלה, הגנה על הגנה, איזון וריכוז, באמצעות אימון טכני-טקטי¹⁸. ככל שהשחקנים צוברים יותר ניסיון בכדורגל, ההבנה שלהם ביסודות הטכניים והטקטיים צריכה להשתפר. לכן, שחקנים עשויים להיות מסוגלים להבחין באותות רלוונטיים בקלות רבה יותר, מה שיאפשר קבלת החלטות מתאימה לכל חוק משחק בתרחיש מסוים¹⁹. בגלל זה, שחקנים יכולים להשתמש ביעילות המוטורית ובכישורי קבלת ההחלטות שלהם כדי להשלים דפוסי תנועה עם כישרונות מיוחדים.

המחבר השתמש בקבלת החלטות רב-מאפיינים כדי לנתח את יתרונות הכושר של פעילות גופנית והרגלים, והמחיש את היעילות של יכולת אימון מוסמכת בחינוך גופני בקרב סטודנטים. פעילות גופנית יעילה, פיתוח הרגלי כושר בריאים וקידום רפורמות באופן שבו הספורט מוצג במוסדות חינוך כולם זוכים למשקל רב. הממוצע ההרוני המטושטש האינטואיציוניסטי (IFWHM) עם סיוע במספרים מטושטשים משמש לקבלת החלטות אפקטיביות. התוצאה תמכה בהצלחתם הקוגניטיבית של הסטודנטים והדגימה הערכה מדויקת יותר של בעיות הבריאות הפיזית שלהם. כדי לזהות את הקישורים החבויים בנתונים, החוקר²⁰ השתמש בשיטת Apriori המורחבת. מסקנות המחקר רלוונטיות להערכות הבריאות הפיזית של הסטודנטים בהשכלה הגבוהה. התוצאה הראשונה נקבעת על ידי הערכת העייפות של כיוונים שונים בהתאם לתדירות ההופעה שלהן.

מחקרים קודמים מבוססי בינה מלאכותית באנליטיקה ספורטיבית התמקדו במשימות ראיית מחשב, כולל זיהוי שחקנים, מעקב וזיהוי פעילויות קבוצתיות. ארכיטקטורות מודרניות עם פיקוח חלש וללא גלאים חשפו את חשיבות המודלים הרב-מודליים ומודלים להקשר בהבנת התנהגויות טקטיות. ההתקדמות הזו מחייבת שילוב של למידה עמוקה רב-מודלית כדי לסיווג החלטות טקטיות בכדורגל. באמצעות וקטורי תכונות חבויים שנוצרו ממטריצת התועלת באמצעות פירוק מטריצות, הוא מחשב את הדמיון הקוסינוסי בין משתמשים למשתמשים או בין פריטים ופריטים במאמר זה.

מחקרים עדכניים באנליטיקת ספורט עברו למסגרות למידה עמוקה רב-מודליות ומודעת להקשר, המשלבות וידאו, נתוני מיקום ורמזים קונטקסטואליים לפרשנות התנהגות טקטית. גישות שונות מבוססות טרנספורמרים הראו יכולת חזקה במידול מבנה זמן ארוך טווח ויחסים חוצים-מודליים בסביבות ספורט, כולל הבאים: MM-ViT לזיהוי פעולה רב-מודלית, שנאי מיזוג ניגודיים מאוחדים להסקת הקשר ספורט, וגלאי אירועים מונעי קשב צולב^21,22. גישות אלו מציינות שהחלטות טקטיות מיוצגות בצורה הטובה ביותר באמצעות ארכיטקטורות שתופסות אינטראקציות בין שחקנים, מרחב, רמזים לתנועה ומידע הקשרי במקום מודלים חד-מודאליים של CNN-LSTM. בהינתן כיוון זה, המחקר המוצע ישתמש גם במסגרת מיזוג רב-מודלית מבוססת טרנספורמר לעיבוד משותף של אותות חזותיים, מיקומים והקשר למידול כמעט בזמן אמת של החלטות טקטיות בכדורגל.

מודלים קודמים לניתוח כדורגל נבנו בדרך כלל סביב ארכיטקטורת CNN-LSTM או BiLSTM, אשר לוכדת דפוסים זמניים מקומיים אך מתמודדת עם תלות ארוכת טווח בין מודאליות. טרנספורמרים ממלאים את הפער הזה על ידי יישום תשומת לב עצמית גלובלית, ומאפשרים למודל לקשר בין תנועות השחקנים, מסלולי הכדור ורמזים מצביים בין יכולות חלונות זמן ארוכות טווח – מפתח לניתוח החלטות טקטי חזק. כדי לפתור את בעיית הדלילות בנתוני הדירוג עבור מערכות ממליצות, המחבר^23,24 הציע טכניקת פירוק מטריצות-מבוסס סקירה שמשלבת סינון שיתופי מבוסס סקירה והקצאת דירוג.

למרות זאת, יעילותן, יכולת ההרחבה והיישומיות של שיטות אלו מוגבלות קשות בשל התלות שלהן בתיבות הגבלה להסקה והדרישה הרחבה לתיוג נתונים. אחת השיטות לפתרון בעיה זו היא שימוש בתוויות קופסאות גבולות כדי לאמן זיהוי שחקנים וזיהוי פעילות קבוצתית בו-זמנית 25,26,27,28. למרות שעדיין נדרשות הערות קופסאות גבול ברמת שחקן לנתוני אימון, השיטה המוצעת מחשבת את תיבות הגבול של השחקנים במהלך ההסקנה. גישת זיהוי פעילות קבוצתית בפיקוח חלש (WSGAR), שאינה דורשת תוויות ברמת שחקן להכשרה או הסקה, שואפת להקל על נטל ההערות. לאחר שיצרו הצעות לקופסאות גבול באמצעות גלאי מאומן מראש על מאגר נתונים חיצוני, הם למדו לסנן זיהויים לא רלוונטיים. לאחרונה,²⁹, החוקרים הציגו גישה ללא גלאים לאתגר WSGAR, המשתמשת בהטמעות טוקנים ליצירת הקשרים חלקיים שאוספים מידע על השחקנים.

בתוך אנליטיקת ספורט, ארכיטקטורות רב-מודליות ומבוססות טרנספורמרים זכו לאחרונה לחשיבות משום שהן מסוגלות ללכוד דפוסים זמניים לטווח ארוך ולשלב זרמי נתונים הטרוגניים^30,31. וריאנטים של טרנספורמרים יושמו לחיזוי תנועות השחקנים, ביצוע ניתוח טקטיקות רב-תצוגה וזיהוי כוונת פעולה, תוך הפגנת חשיבה זמנית מצוינת בהשוואה למודל CNN-LSTM. אסטרטגיות מיזוג מולטימודליות, המשלבות וידאו, מיקום ורמזים הקשריים, הניבו תוצאות מעודדות במידול טקטי בזמן אמת והדגישו את חשיבות הלמידה בין תשומת לב ורצף לרצף בהבנת דינמיקות החלטות במשחק.

מסגרות רב-מודליות מבוססות טרנספורמרים הראו לאחרונה ביצועים יוצאי דופן במגזרים שונים שבהם יש צורך בשילוב זרמי נתונים מגוונים. לדוגמה, מודלים מולטימודליים מבוססי ViT שימשו לפרשנות משותפת של מידע וידאו, פוזות ואודיו, תוך שימוש בתהליכי קשב חוצה לחיזוי אירועים מודעים להקשר, מעקב אחרי שחקן וזיהוי פעולה^32,33. יתרה מזאת, הארכיטקטורה מבוססת MM-Former ו-Perceiver עלתה על מודלים חוזרים וקונבולוציוניים במיזוג רמזים מרחביים-זמניים, וכן בחשיבה זמנית ארוכת טווח, בניתוח ספורט וניתוח פעילות אנושית³⁴. תוצאות אלו תומכות בשימוש בארכיטקטורת מיזוג רב-מודלית מבוססת טרנספורמרים במחקר זה, בכך שמצביעות על כך שטרנספורמטורים מסוגלים ללכוד אינטראקציות עדינות בין מודאליות באמצעות תשומת לב גלובלית³⁵. טרנספורמרים מתאימים במיוחד לניתוח טקטי, שכן תשומת הלב הגלובלית שלהם מאפשרת למודל לקשר רמזים ויזואליים, נתוני מיקום ואותות הקשריים לאורך חלונות זמן ארוכים יותר, יכולות שמודלים של CNN-LSTM ו-BiLSTM חסרות.

מחקרים קודמים השתמשו בעיקר בהערכות מעוצבות ידניות ומאומתות כדי להעריך ביצועים, מהירות ודיוק החלטות בפעילויות שנקבעו מראש, כגון נהיגה ועקיפה, למרות העניין הגובר בהערכת קבלת החלטות טקטיות בספורט קבוצתי 36,37,38. מסגרות אלו מציבות גבולות מבחינת יכולת הרחבה, אובייקטיביות והתאמה לנסיבות דינמיות בעולם האמיתי, למרות שהן מספקות נתונים מעמיקים על התנהגות שחקנים ומצוינות בקבלת החלטות³⁹. גישות ממוחשבות מונחות נתונים שיכולות להקליט ולהבין את האופי הרב-מודאלי של קבלת החלטות טקטית, הכוללת אסוציאציות מורכבות בין פעולות השחקן, אותות חזותיים, רמזים קוליים והגדרות משחק, אינן משולבות בשיטות הנוכחיות 40,41,42. בנוסף, מבני בינה מלאכותית רב-ממדיים שיכולים לעבור בין קשרי רקע לזמן לעיתים קרובות מתעלמים מהם בשיטות אלו. הצמיחה של מסגרת מיזוג רב-מודלית מבוססת טרנספורמר, המשתמשת במקורות נתונים עשירים בזמן אמת, כגון קטעי וידאו ומעקב מיקום, ומשלבת תהליכי קבלת החלטות בספורט קבוצתי, חסרה בבירור. סגירת פער זה יכולה לשפר משמעותית את החדירה הטקטית, יכולת ההרחבה והעצמאות של קבלת ההחלטות בסביבות ספורט עתירות ביצועים. בניגוד למתודולוגיות הנוכחיות של CNN-LSTM ו-BiLSTM, מיזוג מבוסס טרנספורמר זה מדמה במודע תשומת לב בין-מודלית בין מידע חזותי, מרחבי והקשרי. חידוש כזה מקדם ייצוג טקטי צפוף יותר ומסייע למזער סיווג שגוי במהלך תרחישי לחץ ביותר מ-40%.

המטרה העיקרית של מחקר זה היא לפתח מסגרת מיזוג רב-מודלית מבוססת טרנספורמר להערכת קבלת החלטות טקטיות בכדורגל. בעוד שהמסגרת המוצעת ניתנת להכללה לענפי ספורט קבוצתיים אחרים, מחקר זה מתמקד בכדורגל בשל המורכבות הטקטית שלו וזמינות מערכי נתונים מובנים. המערכת מאפשרת הערכה מובנית של דיוק טקטי ותזמון תגובה במשימות כדורגל מבוקרות ומבודדות, בהתבסס על הערכות מומחים. עבודה זו מתמודדת עם המגבלות של סביבות הערכה ידנית ובדיקות סטטיות על ידי שילוב מקורות נתונים מולטימודליים, כולל מעקב מיקומי, קטעי וידאו, אותות שמע ומידע הקשרי על משחק.

באמצעות תהליכי קשב מבוססי טרנספורמר, המסגרת המוצעת לומדת כל הזמן קישורים מולטימודליים, ומאפשרת פרשנות מאוחדת ומודעת להקשר של שיטות קבלת ההחלטות בזמן אמת של השחקנים.

המטרה העיקרית של קביעה זו היא לקדם הערכת ביצועים חכמה בספורט על ידי מתן הבנה עמוקה יותר למאמנים ולאנליסטים של חשיבת השחקנים ודינמיקת הקבוצה באמצעות תובנות מבוססות נתונים.

המסגרת המוצעת תלמד באופן מתמיד יחסים בין-מודליים על ידי ניצול מנגנוני הקשב של הטרנספורמרים, ותאפשר לה לקבל הבנה מאוחדת של אסטרטגיות קבלת ההחלטות של השחקנים במשחקים בזמן אמת.

כך היא מציידת את המערכת ביכולת לספק תובנות מעשיות להתנהגות טקטית שקשה לאפיין בשיטות הערכה סטנדרטיות.

המטרה היא לשפר את יכולת הפרשנות ולספק למאמנים ולאנליסטים מידע שימושי יותר.

התרומה המרכזית של עבודה זו ניתנת להלן:

מחקר זה עושה שימוש בעיצוב מיזוג רב-מודלי מבוסס טרנספורמר כדי להציג מודל למידה עמוקה חדשני לניתוח קבלת החלטות טקטיות בספורט קבוצתי.

באמצעות שילוב זרמים ויזואליים, מיקומיים והקשרים של נתונים שהופקו מצילומים ממשחק אמיתי, גישה זו מרחיבה משמעותית את היקף שיטות ההערכה הפשוטות שהוצגו במחקר הבסיסי, שהתמקד במסירות סולו ובפעולות נהיגה.

המקודד הרב-מודלי אוסף יחסי מרחב-זמן מתוחכמים על ידי שילוב נתוני מעקב שחקן, מסגרות ויזואליות ואירועי התאמה הקשריים באמצעות מנגנוני קשב.

ניסויים על מאגר נתונים של פוטבול מדד גילו כי מודל זה עוקף את הבסיסים המסורתיים כמו שיטות מיזוג מבוססות CNN ו-LSTM.

בהשוואה לבסיסי CNN-LSTM, BiLSTM-Attention, ו-GNN, ארכיטקטורת היתוך רב-מודלית מבוססת טרנספורמרים מרגישה שיפורים משמעותיים.

Protocol

המחקר כלל 40 שחקני פוטבול גברים בגילאי 18-24 (ממוצע = 20.1 ± 1.2), שגויסו מארבעה מועדונים חובבניים וחצי-מקצוענים בליגה אזורית אחת. לכל המשתתפים הייתה לפחות שלוש שנות ניסיון תחרותי וכעת התאמנו בסביבה מובנית. איסוף הנתונים בוצע בשני מסגרות מבוקרות: ראשית, בתרגילי שטח אימון סטנדרטיים שסימו תרחישי החלטה טקטית של מסירה/דחיפה; שנית, במפגשי סימולציית התאמה ממושכים מהם הופקו רצפים מולטימודליים. כל ההליכים אושרו על ידי ועדת האתיקה המוסדית של אוניברסיטת בייבו גולף (מספר אישור: BG-PE-2023-117), והתקבלה הסכמה מדעת בכתב מכל המשתתפים לפני איסוף הנתונים. סטנדרטים אתיים בינלאומיים ומוסדיים נשמרו בביצוע חקירה זו. ועדת האתיקה המוסדית של אוניברסיטת בייבו גולף בחנה ואישרה את כל ההליכים הכוללים נבדקים אנושיים (מספר אישור: BG-PE-2023-117). לפני איסוף הנתונים, כל משתתף נתן הסכמה מודעת בכתב, וכל הנתונים שנאספו הוסמרו באנונימיות לפני הניתוח.

עבודה זו שואפת לאוטומט ולשפר את חקירת קבלת ההחלטות הטקטיות בספורט קבוצתי באמצעות ארכיטקטורת מיזוג רב-מודלית מבוססת טרנספורמר. הוא משתמש במגוון מקורות נתונים, כולל וידאו, אודיו, מיקום מרחבי ומטא-דאטה של השחקנים, כדי ליצור מודל חיזוי בזמן אמת חזק. איור 1 מציג את הארכיטקטורה של השיטה המוצעת. העבודה המוצעת מורכבת מחמישה שלבים. השלבים מתוארים להלן:

איור 1. הארכיטקטורה של השיטה המוצעת. סכמטי של המודל המשלב קלטים מולטימודליים ורכיבי סיווג לקבלת החלטות טקטיות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

רכישת נתונים ועיבוד מוקדם

נתונים משיטות שונות נאספים מהקלטות של משחקים, כגון שידורי וידאו, פרשנות שמע, מידע על GPS/מיקום, ומדדי ביצועי שחקנים. כל מודאליות עוברת עיבוד מוקדם בצורת טכניקות כמו חילוץ פריימים (לווידאו), סינון רעש (לאודיו), ונרמול (לקריאות חיישנים), מה שמבטיח סנכרון בצעדי זמן.

פריימים וידאו הופקו בקצב של 25 פריימים לשנייה, ודגימה הורדה לרזולוציה של 224 × 224. אותות שמע עובדו באמצעות מסנן מעבר פס, שנע בין 300 ל-3,400 הרץ, כדי לבטל את רוב רעשי הסביבה. נתוני מעקב מיקום מחיישני GPS הוקלטו בתדר 10 הרץ ואינטרפולציה באמצעות אינטרפולציה מבוססת חותמת זמן ליניארית, כדי להבטיח שהם תואמים את ציר הזמן של הווידאו ב-25 הרץ. כל הקלטים היו מיושרים זמנית באמצעות חותמות זמן משותפות, והסולמות שלהם נורמל באמצעות ניקוד z.

חילוץ תכונות

לאיסוף המידע המרחב-זמני של נתוני וידאו, משתמשים ב-CNN תלת-ממדי. ה-CNN התלת-ממדיים מטפלים במידע מרחבי וזמני בין פריימים של וידאו, מה שהופך את המודל למסוגל לזהות דפוסי תנועה, להבין התנהגות קבוצתית ולהפיק תכונות מבוססות תנועה. פעולה זו מייצרת ייצוג תכונה צפוף לכל רצף פעולה, המשמש כקלט חזותי למודל. כל קליפ קלט וידאו הכיל 16 פריימים רצופים שנדגמו בצעד של 2. במהלך האימון יושמו חיתוך אקראי, הפיכה אופקית ונורמליזציה של בהירות. ה-CNN התלת-ממדי עבר אופטימיזציה באמצעות אדם (lr = 0.0001), גודל אצווה 16, ואובדן אנטרופיה צולבת.

הטמעה ויישור של קלטים מולטימודליים

לאחר מכן, הטמעות ממודאליות שונות משולבות עם פלטי ה-CNN התלת-ממדי. נעשה שימוש בארכיטקטורת מודל טרנספורמר רב-מודלי, כאשר ענפי מקודד שונים מטפלים בכל מודאליות. שכבות קשב צולב משמשות למיזוג ויישור של מודאליות, ומאפשרות למודל ללכוד תלויות הדדיות (למשל, בין מיקומי שחקנים ותנועת כדור, והקשר מהפרשנות). מיזוג זה מאפשר הבנה הקשרית מועשרת של הבחירות הטקטיות הנוכחיות. גם יישם את כל ההטמעות ב-PyTorch. תכונות וידאו הוקרנו באופן ליניארי בין 1,024 ל-512 ממדים, ותכונות אודיו ומיקום הוקרנו ל-256 ו-128 ממדים, בהתאמה, מאוחדים ל-512 ממדים לפני יישור זמן.

היתוך רב-מודלי מבוסס טרנספורמרים

משמר מולטימודלי משמש לשילוב התכונות המופקות מכל המקורות. מנגנוני תשומת לב עצמית בשנאי מאפשרים למודל ללמוד תלות הדדית בין מודאליות (למשל, ויזואלי + אודיו), ללכוד זרימה זמנית והקשר, ולהדגיש מסגרות ואירועים חשובים טקטית. התוצאה של שלב זה היא ייצוג משולב הלוכד את הכוונה הטקטית וההקשר המצבי של כל החלטה שמתקבלת. הטרנספורמטור הרב-מודלי כלל שש שכבות מקודד, כל אחת עם שמונה ראשי תשומת לב. מטריצות קשב חושבו באמצעות תשומת לב עם מכפלה נקודתית בקנה מידה. שכבות קשב והזנה קדימה כללו גם דרופאאוט עם p = 0.1 כדי למנוע התאמת יתר.

סיווג והערכה של החלטות טקטיות

לבסוף, הייצוג המאוחד מוזן כקלט לשכבת סיווג או בלוק ניתוח החלטות, המשמש לחיזוי סוג ההחלטה הטקטית, להערכת איכות ההחלטה, ובאופן אופציונלי ליצירת תובנות מוסברות למאמנים באמצעות מפות חום קשב או מפות הפעלה. התוצר של שלב זה מספק הערכה כמותית ואיכותית של יכולות קבלת ההחלטות של קבוצה או שחקן במהלך משחק.

ראש הסיווג השתמש ב-MLP בשלוש שכבות עם הפעלה של ReLU ואחריה שכבת softmax. המודל אומן על חלוקה של 70/15/15 עם אימות צולב של 10 פעמים. המדדים בהם השתמשו היו דיוק, דיוק, שחזור, ציון F1, השהיה ו-AUC.

תרשים זרימה פשוט, המסכם את חמשת השלבים, מספק סקירה חזותית מיידית של התהליך הסדרתי, כפי שמוצג באיור 2. תרשים זה מייצג בקצרה את כל צינור המחקר, הכולל רכישת נתונים, עיבוד מוקדם, חילוץ תכונות, מיזוג רב-מודלי וסיווג החלטות טקטיות, ואחריו תיאורים מפורטים של כל שלב.

איור 2. זרימת העבודה הכוללת של תהליך המחקר. סקירה של צינור המחקר, מאיסוף נתונים ועיבוד מוקדם ועד לחילוץ תכונות, אימון מודלים והערכה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 3 מציג את זרימת העבודה הכוללת של תהליך המחקר המוצע. התהליך מתחיל בשלב 1: רכישת נתונים ועיבוד מוקדם, שבו מקורות נתונים רב-מודליים כגון וידאו, אודיו, מעקב מיקום ומטא-דאטה הקשרית, נאספים ומסונכרנים. במהלך שלב 2: חילוץ תכונות, משתמשים ברשתות עצביות קונבולוציונליות תלת-ממדיות (CNNs תלת-ממדיות) לחילוץ מידע מרחבי-זמני מזרמי וידאו, מה שמוביל לייצוגים ויזואליים צפופים של פעולות השחקן וזרימה טקטית. שלב 3: הטמעה ויישור של קלטים מולטימודליים משלבים תכונות אודיו, וידאו ומיקום למרחב סמוי משותף, עם יישור זמני ויישור חוצה-מודאלי. ייצוגים אלו מצטברים לאחר מכן בשלב 4: מיזוג רב-מודלי מבוסס טרנספורמר, שבו מנגנוני רב-מודליות ותשומת לב עצמית מאפשרים למודל ללמוד תלותיות בין מודאליות ולהפיק תובנות הקשריות עמוקות יותר לגבי החלטות טקטיות. לבסוף, בשלב 5: סיווג והערכת החלטות טקטיות, הייצוגים המשולבים מוזנים לשכבת סיווג כדי לזהות החלטות טקטיות, כגון מסירה, דרייב או החזקה. במקביל, מדדי ביצועים משמשים להערכת דיוק קבלת ההחלטות וזמן התגובה. תרשים זרימה זה מספק סקירה ברורה של הגישה שלב-אחר-שלב, בתוספת תיאורים טקסטואליים מפורטים המפורטים בקטעים הבאים.

איור 3. צינור עיבוד סדרתי. מתאר את הזרימה שלב אחר שלב מאיסוף נתונים לסיווג החלטות טקטיות ותפוקת מודל. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

רכישת נתונים ועיבוד מוקדם

כדי לאפשר ניתוח קבלת החלטות טקטי ברמה גבוהה בספורט קבוצתי באמצעות צינור מיזוג רב-מודלי באמצעות טרנספורמר, נוצר מערך מובנה ומדויק לאיסוף נתונים ועיבוד מוקדם. ההגדרה כוללת מיזוג מספר מודאליות נתונים, כולל הקלטות וידאו, מעקב מיקום של שחקן, אותות שמע מאינטראקציות בין שחקן למאמן, ומטא-דאטה הקשרי כמו שלב המשחק, מבנה הקבוצה ואזורי החזקה.

מדגם המחקר כלל 40 גברים בני 20 ומעלה, שכולם היו מעורבים באופן פעיל בליגות כדורגל חובבניות וחצי-מקצועניות אזוריות. כל אחד מהם גויס מארבעה מועדונים תחרותיים עם תוכנית אימונים מובנית. הגיל הממוצע של הספורטאים היה 20.1 ± 1.2 שנים, עם גובה ממוצע של 177.5 ± 3.1 ס"מ ומשקל ממוצע של 72.6 ± 2.9 ק"ג. הם שיחקו במועדונים שלהם בממוצע של 6.8 ± שנה וחצי. לכל המשתתפים היו לפחות שלוש שנות ניסיון תחרותי ונמצאו מיומנים טקטית.

כדי להבטיח עוצמה סטטיסטית, גודל המדגם הוערך באמצעות רמת אמינות של 95% (Z = 1.96) ורמת מובהקות של 5% עם מקדם קורלציה תוך-קבוצה (ICC) צפוי של 0.96 ורווח ביטחון של 95% כדי לשקף התאמה כמעט מושלמת. דבר זה תואם את המטרה לאמת את האמינות והעקביות של נתוני קבלת החלטות רב-מודליים שנאספו²⁷.

כדי להבטיח שחזוריות, הגדרות הרכש והמפרטים הטכניים הוגדרו לאורך הסשנים. נתוני הווידאו הוקלטו ברזולוציה של 1,080p ו-25 פריימים לשנייה באמצעות מצלמות GoPro Hero4 עם הגדרת שדה ראייה רחב ללכוד את כל המרחב הטקטי. כל הקלטה יוצבה והותקנה בגובה קבוע של 2.5 מטר. אותות האודיו נלכדו באמצעות מיקרופון שדה חיצוני בקצב דגימה של 44.1 קילוהרץ (מונו) ובהמשך סיננו באמצעות מסנן פס במהירות 300-3,400 הרץ להסרת רעש סביבתי. נתוני מעקב מיקום נאספו באמצעות חיישני GPS לבישים הפועלים בתדר 10 הרץ, עם דיוק מיקום ממוצע שדווח על ידי היצרן של ±0.5 מטר. כל המודאליות סונכרן באמצעות חותמות זמן משותפות ודגימה מחדש לקו זמן משותף של 25 הרץ באמצעות אינטרפולציה ליניארית.

העיבוד המוקדם כלל אז את הדברים הבאים: הורדת דגימה של וידאו לרזולוציה 224 × 224, דגימת פריימים של 16 פריימים רצופים עם צעד של 2, חיתוך אקראי, הפיכת אופק, נרמול בהירות, נרמול שמע, וסינון רעש, ונירמול z-score משתנה לפי מיקום והקשר.

סקריפט הקדם-עיבוד מסודר בסדר הבא לצורך שחזוריות: (i) חילוץ מסגרת; (ii) סינון שמע; (iii) אינטרפולציה של GPS; (iv) דגימה מחדש של מודליות ל-25 הרץ; (v) נרמול ציון z; ו-(vi) מבחני יושרה לשחיתות, חסימה ונצירה. סקריפטים של עיבוד אצווה משמשים להשלמת כל שלב אוטומטית.

כדי לשמור על אמינות הנתונים, הקריטריונים לבקרת איכות והחרגה כללו: i) רצפים עם >20% חסימת נגנים, ii) הפסקת GPS מעל 200 ms, iii) אודיו פגום או חתוך, ו-iv) טשטוש תנועה חמור או דה-סינכרון בין המודאליות. בסך הכל 17 רצפים (3.4%) הוצאו מהמצב האלה. טבלה 1 מציגה את תיאור מערך הנתונים.

תכונות	פרטים
ספורט	כדורגל (סוקר)
משתתפים	40 שחקני פוטבול גברים
רמת המשחק	שחקני פוטבול מאוחדים עם ≥5 שנות ניסיון
סוג ניסוי	מבחן קבלת החלטות וביצוע במסירה ודרייב (שליטה בכדור)
הגדרת מבחן	מבנה מגרש כדורגל סטנדרטי, אזורים מסומנים, מיקומים קבועים
כלי מדידה	מצלמות GoPro Hero4, תוכנת Kinovea, תזמון סטופר
נתונים שנאספו	זמן ביצוע (ET), דיוק קבלת החלטות (DM), מספר הפעולות הנכונות
הליך הבדיקה	השחקנים הגיבו לגירויים חזותיים ממאמנים וביצעו מסירות או דרייב
חזרות משפטיות	10 ניסיונות לשחקן (5 מסירות, 5 דרייבים)
הערכה	מומחים בדירוג DM; ET נמדד באמצעות חותמות זמן/וידאו
משתני תוצאה	זמן תגובה, ספירת החלטות נכונה, ציון ביצוע טכני

טבלה 1: תיאור מערך נתונים. פירוט את דמוגרפיית המשתתפים, נהלי הבדיקה, כלי מדידה ומשתני תוצאה.

במחקר הנוכחי נעשה שימוש בשני מערכי נתונים קשורים אך נפרדים. מערך הנתונים הראשון כלל 40 שחקנים שהשתתפו במשימות קבלת החלטות מבוקרות של מסירה/דרייב (pass/drive), ששימשו בעיקר לקביעת אמינות בסיסית ולאימות הליך מדידת ההחלטה הבסיסי. מערך הנתונים השני כולל 500 רצפים טקטיים מולטימודליים שנאספו מסימולציות משחק מורחבות והקלטות משחק אמיתי. רצפים אלו היוו את מאגר הנתונים העיקרי של אימון ובדיקה למודל ההיתוך המבוסס על טרנספורמרים, ואפשרו הערכה בתנאים אקולוגיים תקפים יותר.

למרות שמערך הנתונים כולל 500 רצפים מולטימודליים, דגימה שכבתית הבטיחה ייצוג מאוזן בין פעולות טקטיות (מעבר, דחיפה, החזקה). גישות להגדלת נתונים, כגון חיתוך זמני וערבוב רצפים, שימשו גם הן לשיפור השונות ולהפחתת הטיית מודלים במהלך האימון.

ראוי לציין כי מערך הנתונים המבוקר של 40 שחקנים שימש באימות המודל הראשוני ובבדיקת אמינות, בעוד שהאוסף הגדול יותר של 500 רצפים מולטימודליים נאסף מהקלטות משחקים ממושכות ומפגשי הדרכה מאורגנים להערכת יכולת ההרחבה והתוקף האקולוגי של המסגרת. אמינות בסיסית נקבעה באמצעות מאגר נתונים קטן יותר, בעוד שמאגר הנתונים הגדול יותר אפשר אימון ובדיקות מודלים בקנה מידה גדול.

תיאור מערך הנתונים

הניסוי גייס 40 שחקני פוטבול גברים, כל אחד עם לפחות חמש שנות ניסיון במשחק מאוחד, כדי להבטיח שלאוכלוסיית המדגם יש מיומנויות טכניות וטקטיות בסיסיות. איסוף הנתונים התבצע בסידור סטנדרטי של מגרשי כדורגל, שבו הוקצו אזורים ומיקומי משחק קבועים מראש כדי להבטיח תנאי בדיקה זהים. במהלך הניסוי, המשתתפים נדרשו להגיב לרמזים חזותיים של המאמן, או כדי למסור או לנהוג בכדור, תוך חיקוי החלטות טקטיות שהתקבלו במשחק אמיתי. כל משתתף השלים בסך הכל 10 מבחנים, חמישה עברו וחמישה נהגה. תנועות אלו תועדו במצלמות GoPro Hero4, ונתוני הביצועים נמדדו באמצעות תוכנת ניתוח וידאו Kinovea לצד זמן סטופר ידני ללכידת זמן ביצוע (ET). מקור הנתונים העיקרי שנאסף היה: זמן הביצוע, איכות ה-DM כפי שהוערכה על ידי מאמנים מנוסים, וכמות הפעולות הנכונות שבוצעו. גורמים אלו סיפקו בסיס כמותי לניתוח המהירות והיעילות של השחקנים בקבלת וביצוע החלטות טקטיות בתנאי תגובה מבוקרים. מערך הנתונים המיוצר הוא משאב מובנה ומסומן, המתאים במיוחד למשימת יצירת מדדי דרך או אימון מערכות חכמות במטרה למודל חשיבה טקטית ותגובות מוטוריות בהקשרים של ספורט קבוצתי.

המדגם מוגבל לשחקנים צעירים מליגה אזורית אחת, מה שעשוי להגביל את ההכללה שלו בין קבוצות גיל, ספורטאיות או תרבויות אחרות. מחקרים עתידיים ינסו למשוך דגימות מייצגות ומגוונות יותר.

מגבלה נוספת היא גודל המדגם של 40 שחקנים צעירים מליגה אזורית אחת. בעוד שהמדגם ההומוגני תרם לתוקף פנימי ולהפחתת שונות בביצועים בשל הבדלי גיל, מגדר ורקע טקטי, הוא גם מגביל את ההכללה של הממצאים לאוכלוסייה רחבה יותר. הדפוסים הטקטיים שהמודל לומד עשויים לשקף סגנונות משחק ספציפיים לאזור או מגדר, ולא התנהגות קבלת החלטות אוניברסלית. למחקר זה, נעשה שימוש בדגימה שכבתית והרחבת נתונים כדי לשפר את השונות של מאגר הנתונים הרלוונטי; עם זאת, נדרשים מחקרים רחבי היקף הכוללים ספורטאיות, שחקניות נוערות, שחקניות מקצועניות ומשתתפות בתרבויות טקטיות שונות כדי לאשר את עמידות המודל בסביבות כדורגל מגוונות. תוצאות אלו מראות הבטחה רבה אך זקוקות לאימות נוסף על מערכי נתונים מגוונים וגדולים יותר לפני שניתן לטעון להכללה רחבה יותר.

כדי להפחית את הסובייקטיביות, שלושה מאמני כדורגל מקצועיים סימנו באופן עצמאי את הבחירות הטקטיות. האמינות בין המערכים הוערכה באמצעות מקדם הקורלציה התוך-קבוצה (ICC = 0.96, CI 0.94-0.98), מה שמעיד על הסכמה כמעט מושלמת. דיון קונצנזוס פתר את המחלוקת. עבור נתונים מולטימודליים, עיבוד מוקדם דרש סנכרון זמני בין מודאליות (וידאו 25 fps ונתוני חיישן 10 הרץ) ונרמול תכונות ב-z-score כדי לאפשר השוואה בין מודאליות.

אמינות בין מעריכים נמדדה באמצעות מקדם קורלציה בין השפעות אקראיות דו-כיווני (ICC [2,3]), שכן הוא מתאים להערכת הסכמה מוחלטת בין מספר מעריכים. ה-ICC של 0.96 (רווח בר-סמך 95%: 0.94-0.98) מציין הסכמה כמעט מושלמת לפי הספים הנפוצים ומוכיח כי תוויות ההחלטה הטקטיות ששימשו באימונים היו אמינות מאוד. חושבה אמינות בכל 500 הרצפים הרב-מודליים, כדי להבטיח שהקשרים מבוקרים ושל סימולציית התאמה יקבלו הערות ראויות ועקביות.

נוהל סימון ופרוטוקול תיוג

כל הרצפים הרב-מודליים הוסמכו באמצעות פרוטוקול מובנה בעל שלושה שלבים. ראשית, שלושה מאמני פוטבול מורשים בדקו באופן עצמאי כל רצף מיקום וידאו באמצעות ממשק סינכרון עם סימון זמן (Kinovea + גיליון תיוג מותאם אישית). המפרשים סימנו את קטגוריית ההחלטה הטקטית (מעבר, דחיפה, החזקה), רמזים קונטקסטואליים (אזור לחץ, זמינות נתיב מעבר), וחותמות זמן לאירועים. שנית, סקריפט לזיהוי אי-הסכמה זיהה אוטומטית מקרים של עמימות או קונפליקט, שנבדקו לאחר מכן בפגישת קונצנזוס משותפת. שלישית, כדי להבטיח עקביות בסימון גבולות האירוע וביישור הזמן בין מודאליות, בוצע מעבר סופי על ידי אנליסט בכיר עצמאי. תהליך זה, לצורך אימון מודלים מאוחר יותר, הבטיח שכל הערה תהיה ניתנת למעקב ובאיכות הטובה ביותר.

קדם-עיבוד

בעוד שהמחקר הנוכחי נערך עם 500 רצפים רב-מודליים, צינור העיבוד המוקדם הוקם, בעיצוב, למאגרי נתונים בקנה מידה גדול. כל המודאליות עברו סקריפטים אוטומטיים שבמקביל חילקו פריימים של וידאו באצווה, דגמו מחדש אודיו, הפיתחו נתוני מיקום ויישמו נרמול ציון z. נוכחות של ארכיטקטורה מודולרית מאפשרת לכל מודאליות לעבור עיבוד מוקדם באופן עצמאי על תהליכי GPU/CPU נפרדים. זה מאפשר קליטה בכמות גבוהה של קטעי משחק. זה מבטיח שתהליך העבודה יכול להיות מורחב בקלות למערכי נתונים של עונה מלאה ללא התערבות ידנית, והופך את המסגרת למתאימה לפריסה בעולם האמיתי בסביבות אנליטיקה מקצועיות.

כדי לבחון כראוי את קבלת ההחלטות הטקטיות בספורט קבוצתי, יש לעבד מראש ולהתאים נתונים גולמיים משיטות שונות – כגון קטעי וידאו, אותות שמע והקלטות מיקום – מראש. האיור המולטימודלי הוא

(1)

כאן, V מסומן כסדרה של מאפייני וידאו שהופקו ממקודד CNN.

(2)

כאן, A הוא תכונה שמעית המקודדת על ידי wave2vec.

(3)

P מייצג את מיקום הקואורדינטות של שחקן בזמן ti.

כדי להתמודד עם קצבי דגימה אסינכרוניים, כל מודאליות עוברת דגימה מחדש או אינטרפולציה לקו זמן משותף:

(4)

כאן , הוא מאפיין מסונכרן f_t , הוא קצב המסגרת המשולבת, X_m הוא אינדיקציה התחלתית.

עבור סולם אחיד בין מודאליות, כל וקטורי התכונות מנורמלים בציון z:

(5)

μ_X ו-σ_X מציינים את הממוצע ואת סטיית התקן של ממד התכונה בקבוצת האימון.

בעוד שהדאגות העיקריות הן החלטות מסירה/דרייב, ערוצי שמע (למשל, תקשורת בין שחקן/מאמן, רמזים סביבתיים במשחק) נוספו כדי להתחשב במצבי משחק אמיתיים שבהם אותות דיבור משפיעים על התגובה הטקטית. היפרפרמטרים (למשל, קצב למידה, תקופות) נבחרו באמצעות חיפוש רשת והערכות קיימות בלמידה רב-מודלית, תוך איזון בין יציבות התכנסות ליעילות חישובית.

ההיפרפרמטרים של המסגרת המוצעת – קצב למידה, גודל אצווה ותקופות אימון – נבחרו באמצעות חיפוש רשת מתוכנן היטב כדי להשיג יציבות התכנסות ויעילות חישובית. הבחירה בקצב למידה של 0.0001 עם אופטימייזר אדם נמצאה כמספקת עדכונים יציבים של הגרדיאנט ללא תנודות, בעוד שגדלי האצווה מותאמים לאיזון בין קיבולת זיכרון ה-GPU לקצב ההדרכה. הגדרת 50-100 אפוקים שימשה ללמידה מספקת ללא התאמת יתר, כפי שאושר במעקב אחר אובדן אימות ואימות צולב של 10 פעמים. ערכים אלו לא נקבעו באופן שרירותי, אלא הונחו על ידי בדיקות קודמות בלמידה רב-מודלית והותאמו על ידי ניסויים על מאגר הנתונים הנוכחי. תהליך קפדני זה הבטיח שההיפרפרמטרים שנבחרו סייעו באימון מודלים יציב ושיפורים שחזרתיים בביצועים לעומת גישות בסיסיות.

למרות שמשימת הסיווג מתמקדת בהחלטות מסירה/דרייב/החזקה, מידע קולי נכלל בכוונה מכיוון שהתנהגות טקטית אמיתית בכדורגל מושפעת מאוד מתקשורת בין שחקן למאמן, רמזים של קריאת חבר לקבוצה, לחיצה על אותות וקולות סביבתיים (למשל, מגע עם הכדור, גישת היריב). רמזים אלו לעיתים קרובות מקדים או מתרחשים במקביל לקבלת החלטות ומהווים חלק מהסביבה התפיסתית הטבעית של שחקני כדורגל. ניסויי אבלציה ראשוניים הראו כי הוצאת אודיו הפחיתה את הקריאה ב-3.8%, מה שהצביע על כך שגם רמזים אקוסטיים עדינים תורמים למודעות להקשר. מסיבה זו, האודיו נשמר כדי לשמור על תוקף אקולוגי ולשפר את יכולת המודל להכליל לתנאי התאמה אמיתיים.

למעשה, לתמיכה נוספת בפרמטרים אלו, בוצע ניתוח רגישות פנימית על ידי שינוי שיטתי של קצב הלמידה מ-1e-5 ל-5e-4, גודל האצווה מ-8 עד 32, מספר שכבות השנאים מ-4 עד 8, ומספר ראשי הקשב מ-4 עד 12. הקונפיגורציה שנבחרה, עם קצב למידה של 1e-4, גודל אצווה של 16, ומקודד בן 6 שכבות עם 8 ראשי קשב, הניבה התכנסות יציבה עם אובדן אימות נמוך יותר, תוך מזעור התאמת יתר על פני אימות צולב של 10 פעמים. גדלי אצווה גדולים יותר גרמו לחוסר יציבות גרדיאנט, בעוד שאצווה קטנה יותר הגדילו את הרעש ועיכבו את ההתכנסות. באופן דומה, מודלים של שנאים עם יותר מ-8 ראשים לא הראו שיפור בביצועים, אך הם האריכו משמעותית את זמן החישוב. התוצאות שהושגו מצדיקות את ההגדרות הסופיות של ההיפרפרמטרים ששימשו במחקר זה.

חילוץ תכונות באמצעות רשת עצבית קונבולוציונית תלת-ממדית

במסגרת Transformer-Based Multimodal Fusion המוצעת לקבלת החלטות טקטיות בספורט קבוצתי, רשת העצבים הקונבולוציונית התלת-ממדית (3D CNN) אחראית על חילוץ תכונות מרחב-זמן מקטעי וידאו גולמיים.

בניגוד ל-CNNs דו-ממדיים, שמתחשבים רק בממדים מרחביים (רוחב W וגובה H), CNNים תלת-ממדיים מתחשבים גם בממד הזמן R, מה שמאפשר להם לזהות דינמיקת תנועה ודפוסים רצפיים החיוניים להבנת התנהגויות קבוצתיות, כמו נהיגה ומסירה בכדורגל.

ה-3D-CNN²⁸ הוצע לראשונה לשלב את המידע המרחבי והזמני של נתוני וידאו. גרעין תלת-ממדי משמש באלגוריתם קונבולוציה תלת-ממדי לקוביה המורכבת ממסגרות עם חלק מהעמודות מונחות בערימה. הקונבולוציה התלת-ממדית יכולה להיכתב ב-Eqn (6)

(6)

כאשר: היא תכונת הפלט במיקום (x, y, z) על מפת התכונות jth של השכבה ה-lth. הוא משקל הגרעין במיקום (H,W,R) ממפת תכונות הקלט של mth. הוא הקלט בהזחה מרחבית-זמנית מהשכבה הקודמת. b_lj הוא ההטיה. f(.) היא פונקציית ההפעלה (בדרך כלל ReLU). M הוא מספר מפות תכונות הקלט מהשכבה הקודמת. משוואה זו מאפשרת ל-CNN התלת-ממדי לשלב במקביל את המידע המרחבי (גובה ורוחב) ואת המידע הזמני (רצף הפריימים).

איור 4. ארכיטקטורת עיבוד CNN תלת-ממדית. ממחיש כיצד תכונות מרחב-זמן מופקות מרצפי וידאו באמצעות פעולות קונבולוציה תלת-ממדיות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 4 מציג את תהליך העבודה של CNN תלת-ממדי. הצינור מתחיל בשלב הקלט, שבו זרמי וידאו לא מעובדים של משחק פוטבול מתמזג עם נתונים מאורגנים, כולל מיקומי שחקנים, סטטיסטיקות משחק ומטא-דאטה הקשריים. מידע רב-מודלי זה שומר הן על דינמיקה ויזואלית והן הקשר סיטואציוני, שהם קריטיים לניתוח טקטיקות קבוצתיות. לאחר מכן, זרם הווידאו מנותב דרך רשת עצבית קונבולוציונית תלת-ממדית (CNN תלת-ממדי). במקרה זה, משתמשים בסדרה של שכבות קונבולוציונליות תלת-ממדיות על מסגרות הקלט. השכבות מתגלגלות לאורך הממדים המרחביים (גובה ורוחב) והממד הזמני (מסגרות), ומאפשרות לרשת ללמוד דפוסי תנועה, אינטראקציות עם שחקנים וטקטיקות מבוססות רצף, כמו מסירות או דרייבים. בהמשך, נוצר קוביית תכונה עם תכונות מרחב-זמן צפופות. קובייה זו עוברת פעולות איגוד כדי להקטין את הממד תוך שמירה על תכונות משמעותיות. בעת האיחוד, נפח התכונה משתטח לווקטור חד-ממדי, ומספק ייצוג תמציתי של המצב הטקטי. וקטור תכונה זה מוזן לאחר מכן לרשת עצבית עמוקה (DNN) מחוברת במלואה. ה-DNN הוא בלוק קבלת ההחלטות, שמעבד את התכונות המאוחדות והמוקצות לקבלת החלטות טקטיות, כמו מסירה, ירי או החזקה. הפלט של הרשת הוא ההחלטה הטקטית הסופית שמתקבלת על ידי המערכת, בהתבסס על מצב המשחק בזמן אמת וכן על פי דפוסי אסטרטגיה שנלמדו.

הטמעה ויישור של קלטים מולטימודליים

לאחר חילוץ התכונות, שלוש התכונות, כגון אודיו, וידאו ומיקום סטטיסטי של הנגן, ניתנות כמודאליות קלט.

להזין אותם לטרנספורמטור ואז להזין כל אחד מהם דרך פונקציית הטמעה ללמידה:

(7)

כאשר f_3DCNN לומד תכונות מרחב-זמניות של כל פרוסת זמן V_t וממפה אותה למרחב סמוי בממד d.

(8)

כאשר W_P ו-b_P הם משקלים שניתן ללמוד.

(9)

כל ההטבעות מיושרות לפי הממד הזמני T. אם למודאליות יש תדרים שונים, הוא משתמש באינטרפולציה או דגימה נמוכה:

(10)

כעת, כל המודאליות מסונכרנות כך:

(11)

כדי לשמור על הסדר הזמני בשנאי, יש להכניס גם קידודים מיקומיים לכל וקטור:

(12)

כאשר מייצג את קידוד המיקום הסינוסואידלי או הניתן ללמידה.

כל מודאליות מקודדת תפעולית באמצעות שכבת PyTorch ליניארית, מחוברת לווקטור 512 ממדי, ואז מוזנת לרצף הקלט של הטרנספורמטור לאחר קידוד מיקומי. דבר זה מבטיח שהטמעה מאוחדת מוכנה לתשומת לב חוצה בכל שלב זמן.

הטנזור הסופי הוא

(13)

מוזן ל-Transformer Encoder, שבו מנגנוני תשומת הלב העצמית והקשב החוצה-מודאליים מאפשרים למודל להסיק במשותף בין כל המודאליות לקבלת החלטות טקטיות.

היתוך רב-מודלי מבוסס טרנספורמרים

בגישה המוצעת, נעשה שימוש בשיטת פירוק מטריצות-דרגה נמוכה לאינטגרציה של וקטורי הנתונים הרב-מודליים שנרכשו. הבעיה המממדית הגבוהה שמתרחשת כאשר טנזורים מתוזכים ישירות מטופלת בשיטה זו, המשתמשת בפקטור פירוק בדרגה נמוכה עבור מיזוג טנזורי²⁹. כל מודוליות מבוטאת בתחילה כוקטור, והפחתת ממדיות ששומרת על אינטראקציות משמעותיות מושגת באמצעות פירוק בדרגה נמוכה. טנזור ההיתוך Z_M בין M מודאליות בנוי כך:

(14)

כאן: הוא גורם הדרגה הנמוכה של המודאליות m, הוא המכפלה החיצונית, ו-r הוא דרגת הפירוק.

וקטור ההיתוך h מחושב כך:

(15)

כאשר משתמשים בשתי מודאליות בלבד, ההיתוך המופחת הוא:

(16)

זה מייצר וקטור ייצוג רב-מודלי משותף h שמדמה אינטראקציות חוצות-מודליות ברמה סמויה.

לאחר רכישת וקטור המותך בדרגה נמוכה h, מודול הטרנספורמר מדמה תלותיות ומיישר ייצוגים סמנטיים בין מודאליות. קשב חוצה-מודלי תוכנן במיוחד כדי לאפשר למודאליות אחת לשים לב לאחרת:

(17)

כאשר Q_m היא שאילתת המודאליות m, K_{n,V n} הם וקטורי המפתח והערך במודליות n, d_k הוא הממד של וקטורי המפתח. הגדרה זו מאפשרת זרימות קשב ספציפיות למודליות, ומאפשרת עיבוד לכל קטגוריה של קלט ביחס לאחרות (למשל, סנכרון תנועת השחקן עם הקשר המשחק ומדדי וידאו).

הווקטורים המשולבים נערמים ומסווגים באמצעות פרספטרון רב-שכבתי (MLP). הפלט הוא תווית החלטה טקטית (למשל, מעבר, דחיפה, החזקה), אובדן אנטרופיה צולבת המותאמת לאימון מקצה לקצה.

איור 5. ארכיטקטורת מיזוג רב-מודלית מבוססת טרנספורמר. מראה כיצד מודאליות ויזואלית וחיישנים משולבות באמצעות מקודד שנאי לשיפור ייצוג התכונות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

בלוק המיזוג הרב-מודלי, כפי שמוצג באיור 5, משלב קלטים ויזואליים ומיצוניים. זהו עיצוב הכרחי שכן החלטות טקטיות דורשות מודעות מרחבית ודינמיקת תנועה, שלא ניתן לייצג במודליות אחת.

איור 5 מציג את מבנה העבודה של מיזוג רב-מודלי מבוסס טרנספורמר. עיצוב זה משלב נתונים מגוונים, וידאו, קואורדינטות מרחביות ונתוני הקשר של המשחק לערוץ אחד לחיזוי פעולות טקטיות כמו מעבר, נהיגה או החזקה. הגישה מתחילה בהזנת סרטונים, שנבדקים באמצעות רשת עצבית קונבולוציונית תלת-ממדית (CNN תלת-ממדי). מערכת זו מזהה הן מבנים מרחביים והן זמניים בווידאו, ומאפשרת לה ללכוד פעילות ותקשורת דינמית של שחקנים לאורך זמן. במקביל, מידע הקשרי ומיקום מועבר על ידי הטמעת שכבות, מה שהופך קלטים מובנים לייצוגים וקטוריים צפופים. הזרמים ההקשריים, המיקומים והווידאו יכולים אז לקבל מיזוג על ידי מודול מיזוג דרגה נמוכה. הגישה משיגה למעשה קורלציות חוצות מודליות באמצעות פירוק מרחב המיזוג, תוך מזעור המורכבות החישובית תוך שמירה על קשרים חיוניים בין מודאליות. לבסוף, הייצוג הרב-מודלי הממוזג מעובד על ידי מקודד טרנספורמר עם תשומת לב חוצה-מודלית. הליך זה מאפשר למודל להתמקד בתכונות הנכונות בין מודאליות וצעדי זמן, ומעשיר את הבנתו את התנהגות המשחק האסטרטגית. לבסוף, הפלט המקודד עובר דרך בלוק שרשור ובלוק Perceptron רב-שכבתי (MLP) שממפה את הייצוג הנלמד להחלטות טקטיות מסוימות. פלט המודל מסווג פעולות שחקן כמו "מסירה", "דחיפה" או "החזקה" כדי לאפשר בחינה חכמה ומבוססת נתונים של טקטיקות הקבוצה.

במערכת הניתוח הטקטי המוצעת Transformer-Based Multimodal Fusion לספורט קבוצתי, השלב האחרון הוא סיווג והערכת החלטות טקטיות, שממיר ייצוגים מולטימודליים שנלמדו לתווים הניתנים לפעולה בהחלטה. לאחר מיזוג תכונות וידאו, מיקום והקשריות באמצעות מיזוג בדרגה נמוכה וכיוונן העדין באמצעות תשומת לב חוצה מודאלית במקודד הטרנספורמר, וקטורי התכונה המתקבלים מוזנים למסווג Perceptron רב-שכבתי (MLP). כל מחלקת החלטה מיוצגת באמצעות פונקציית הפעלה של סופטמקסיה, המניבה ציוני הסתברות לכל הפעולות האפשריות. המחלקה הסבירה ביותר נבחרת כהחלטה החזויה של המודל. המודל מאומן על פונקציית אובדן אנטרופיה צולבת, שמתגמלת תחזיות נכונות וגורמת לרשת ללמוד להבחין בין הבדלים דומים במצבים טקטיים. בנוסף, ניתן לשקול הערכת תחום הזמן כדי לאשר תגובתיות במשחק בזמן אמת או כמעט בזמן אמת, ולהבטיח שהמסווג מדויק ולא מבזבז זמן תחת מגבלות זמן דמויות. טבלה 2 מציגה את ארכיטקטורת המודל וההיפרפרמטרים.

רכיב	מפרט טכני
שכבות מקודד טרנספורמר	6
ראשי תשומת לב	8
ממד נסתר	512
גודל שכבת הזנה קדימה	2048
מימדי הטמעה	וידאו: 1024 → 512, אודיו: 256 → 512, מיקום: 128 → 512
קידוד מיקומי	ניתן ללמידה
שיטת ההיתוך	מיזוג רב-מודלי בדרגה נמוכה (דרגה r = 16)
אופטימייזר	אדם
קצב למידה	0.0001
גודל אצווה	16
תקופות האימון	50–100
נשירה	0.1
פונקציית אובדן	אנטרופיה חוצה

טבלה 2: ארכיטקטורת מודלים והיפרפרמטרים. מפרט הגדרות אימון ורכיבים מרכזיים של מודל ההיתוך המולטימודלי המוצע מבוסס טרנספורמרים.

למען בהירות ושחזור נוסף, הטרנספורמטור הרב-מודלי יושם עם מחסנית מקודדים בת 6 שכבות, שכל אחת מהן מצוידת ב-8 ראשי תשומת לב ומימד נסתר של 512, בהתאם להגדרות שנאי טיפוסיות למשימות מולטימודליות בקנה מידה בינוני. כל מודוליות עוברת דרך בלוק הטמעה: וידאו באמצעות פלט מקודד 3D-CNN, 1024-dim; אודיו על ידי מקודד מבוסס Wave2Vec, 256-dim; ותכונות מיקום בתוספת הקשר באמצעות מקודד MLP דו-שכבתי, 128-DIM. כל ההטמעות הללו הוקרנו למרחב סמוי משותף של 512 מדים באמצעות טרנספורמציות ליניאריות ללמידה. כדי לקבוע יישור זמני, כל המודאליות מועברות תחילה לתדר יחיד של 25 הרץ, ולאחר מכן מיישמים קידודי מיקום נלמדים לשמירה על סדר זמן. יישור חוצה-מודאלי נעשה באמצעות שכבות הקשב החוצה, שלומדות במפורש קורלציות בין מודאליות לפני שהן מוזנות למחסנית מקודדי תשומת הלב העצמית. בחירות ארכיטקטוניות אלו נעשו כדי לאזן בין קיבולת המודל ליעילות חישובית, ובכך להבטיח התכנסות יציבה במאגר נתונים בגודל בינוני.

במונחים מעשיים, מסגרת המיזוג המולטימודלית מבוססת טרנספורמר המוצעת מתאימה במיוחד לתרחישים שבהם זמינים נתונים מולטימודליים מסונכרנים, כגון מפגשי אימון מובנים, סימולציות התאמה מבוקרות, או סביבות מקצועיות המצוידות בשידורי וידאו עקביים ומערכות מעקב מיקום. ארבעת הקלטים העיקריים הנדרשים לשיטה הם (i) וידאו ברזולוציה גבוהה, (ii) נתוני מעקב מיקום (GPS/LPS), (iii) זרמי שמע, ו-(iv) מטא-דאטה הקשרי - למשל, בעלות, אזורי לחץ, שלב התאמה. כדי להשיג ביצועים אמינים, מודאליות אלו חייבות להיות מיושרות בזמן עם סטייה מינימלית (וידאו ≥ 25 פריימים לשנייה וחיישני מיקום ≥ 10 הרץ), ולשמור על נקודות מבט יציבות ורעש אות מינימלי. הגדרות שלא מספקות קלטים מסונכרנים אלה, למשל משחקים חובבניים עם זוויות מצלמה לא סדירות, שידורים חיים עם ארטיפקטים של השהיה/דחיסה, או סביבה שחסרה תשתית מעקב מיקום, יהיו פחות רלוונטיות למסגרת. יתרה מזאת, המערכת הנוכחית מתפקדת טוב ביותר בתנאים חצי-מבוקרים, אך עשויה להיות פחות עמידה בהרבה במצבי משחק חי בלתי נשלטים לחלוטין, שבהם תנאי תאורה, הסתרה ורעש קהל דינמי משפיעים על איכות איסוף הנתונים. מגבלות אלו מגדירות את הגבולות המעשיים שבאמצעותם ניתן לפרוס את המערכת הזו ומדגישות כי לכידה עקבית של נתונים במצבים מרובים היא חיונית ליישום המודל המוצע.

שינויים ופתרון תקלות

ביישום מעשי, עלולות להתעורר מספר בעיות לאורך צינור המולטימודלים שעשויות להפחית את יציבות המודל או את הביצועים הכוללים. בעיה נפוצה היא חוסר יישור זמני בין מודאליות, כאשר וידאו שהוקלט ב-25 פריימים לשנייה ונתוני מיקום שנקלטים ב-10 הרץ יוצאים מסינכרון, מה שמוביל לחוסר התאמה של רמזים שמערערים את מייצבי הקשב ומפחיתים את הזיכרון. ניתן לפתור זאת על ידי יישום דגימה מחדש מבוססת חותמת זמן, אינטרפולציה ליניארית, והסרה אוטומטית של רצפים עם סטייה מופרזת. ערוצי אודיו עלולים גם לסבול מרעש הנגרם מרוח, קולות קהל או חיתוך מיקרופון, מה שגורם לשנאי להתעלם מטקני אודיו ולהפחית מעט את הדיוק. החלת סינון מעבר פס, גייטינג ספקטרלי, והחלפת קטעים פגומים קשות בווקטורים אפס מסייעים לשמור על יציבות הטמעת האודיו. בעיות איכות ויזואלית, כמו חסימות שחקן או טשטוש תנועה, עלולות להחליש את הייצוגים המרחביים-זמניים של ה-3D-CNN ולהגביר את הבלבול ב-pass-drive. זה מתמתן על ידי הוצאת רצפים מוסתרים מאוד ושימוש באסטרטגיות שדרוג, כולל חיתוך אקראי, נרמול בהירות וסימולציית טשטוש תנועה. אי יציבות של טרנספורמר עלולה להתרחש אם סולמות ההטמעה משתנים בין מודאליות, מה שגורם לאובדן אימות מתנדנד או לעלויות גרדיאנט. הבטחת נורמליזציה עקבית של ציון z, שימוש בלוח זמנים של קצב למידה, יישום חיתוך גרדיאנט והגדלת הנשירה יכולים להחזיר אימון יציב. מיזוג בדרגה נמוכה עלול להפוך לבעייתי גם כאשר דרגת המיזוג מוגדרת בצורה לא נכונה, מה שגורם ליחסים מעוותים בין מודלים ולחוסר איזון בין מחלקות. שמירה על דירוג בינוני למאגרי נתונים קטנים, העלאת הדירוג למאגרי נתונים גדולים יותר, ויישום רגולריזציה של L2 מסייעים לשמור על מיזוג מאוזן. צווארי בקבוק חישוביים עלולים להיווצר עקב טנסורים גדולים של וידאו שגורמים להצפת זיכרון GPU או איטי באימון. בעיות אלו ניתנות לטיפול באמצעות אימון דיוק מעורב (FP16), הפחתת רזולוציית קלט במהלך ניסויים מוקדמים, או מטמון תכונות תלת-ממדיות CNN מחושבות מראש. לבסוף, חוסר האיזון הטבעי בין המעמדות בהחלטות טקטיות, במיוחד עבור "דרייב", עשוי להפחית את הקריאה ולגרום לתנודות ב-AUC; יישום הפסד מאוזן לפי מחלקה, דגימת יתר על פעולות מיעוטים והעשרת מטא-דאטה הקשרית יכולים לשפר משמעותית את האיזון והבחנה בהחלטות. הנחיות מאוחדות אלו מבטיחות שחוקרים ואנשי מקצוע יוכלו לשמור על תנאי אימון יציבים, לשפר את השחזור ולהתאים את המסגרת ביעילות בין מערכי נתונים וסביבות שונות.

Results

עיצוב זה משלב נתונים מגוונים, וידאו, קואורדינטות מרחביות ונתוני הקשר של המשחק לערוץ אחד לחיזוי פעולות טקטיות כמו מעבר, נהיגה או החזקה. הגישה מתחילה בהזנת סרטונים, שנבדקים באמצעות רשת עצבית קונבולוציונית תלת-ממדית (CNN תלת-ממדי). הזרמים ההקשריים, המיקומים והווידאו יכולים אז לקבל מיזוג על ידי מודול מיזוג דרגה נמוכה. הגישה משיגה למעשה קורלציות חוצות מודליות באמצעות פירוק מרחב המיזוג, תוך מזעור המורכבות החישובית תוך שמירה על קשרים חיוניים בין מודאליות. לבסוף, הייצוג הרב-מודלי הממוזג מעובד על ידי מקודד טרנספורמר עם תשומת לב ח...

Discussion

מסגרת המיזוג המולטימודלית מבוססת טרנספורמר המוצגת כאן מייצגת התפתחות חשובה לעומת מבחן הפוטבול הבסיסי של משימת סטרופ (STFT) המתואר במאמר הבסיס. בניגוד למאמר הבסיס, שהתמקד בבדיקות מבוקרות ומעבדתיות עם גירויים מוגבלים וסטטיים כמו חצים צבעוניים ומשימות מוגדרות מראש (נהיגה או מעבר), המודל החדש פועל על נתוני מקור מולטימודליים אמיתיים כדי להקל על צינור אנליטיקה טקטית עשיר ואוטומטי. עם זאת, למרות האינטגרציה של רצפי מולטימודלים בהתאמה אמיתית, משימות המסירה/דרייב המבוקרות עדיין מהוות יחס גבוה מהאי...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CNN תלת-ממדי	מימוש מותאם אישית		חילוץ תכונות מרחב-זמן מוידאו
GoPro Hero4	GoPro Inc.	https://gopro.com/	הקלטת וידאו של קרבות
חיישני GPS/IMU	ספורט קטפולט / Xsens	https://www.catapultsports.com/	מעקב מיקום של שחקן
מעבד Intel Core i7-11700K	אינטל	https://www.intel.com	מעבד תחנת עבודה למודל אימון
ליברוזה	librosa.org	https://pypi.org/project/librosa/	עיבוד אות אודיו ודגימה מחדש
מסווג MLP	PyTorch / TensorFlow		סיווג החלטות טקטיות
NumPy	קרן התוכנה של פייתון	https://pypi.org/project/numpy/	חישוב נומרי ופעולות מטריצה
כרטיס גרפי NVIDIA RTX 3080	NVIDIA	https://www.nvidia.com	הכשרה והסקה בלמידה עמוקה
OpenCV	OpenCV.org	https://pypi.org/project/opencv-python/	חילוץ פריימים מוידאו
פנדות	קרן התוכנה של פייתון	https://pypi.org/project/pandas/	עיבוד נתונים וטיפול טבלאי
PCA (Scikit-learn)	Scikit-learn	https://scikit-learn.org/	הפחתת ממדיות
פייתון 3.9	קרן התוכנה של פייתון	https://www.python.org/downloads/release/python-390/	סביבת שפת התכנות
פייטורץ'	קרן פייטורץ'	https://pytorch.org/	מסגרת למידה עמוקה
סקיקיט-לרן	מפתחי SCIKIT-Learn	https://pypi.org/project/scikit-learn/	אימות צולב, חישוב ICC
TensorFlow 2.8	גוגל	https://www.tensorflow.org/	מסגרת למידה עמוקה
מקודד הטרנספורמר	PyTorch / TensorFlow		אינטגרציה של תכונות מולטימודליות עם תשומת לב
אובונטו 20.04 LTS	קנוניקל בע"מ.	https://ubuntu.com/	מערכת הפעלה לאימון מודלים
תחנת עבודה	מותאם אישית / אינטל, NVIDIA		CPU, GPU, RAM לאימון מודלים