Research Article

פיתוח כלים אינטראקטיביים לבינה מלאכותית להערכת סומטוסנסוריה וקצב מותאמת אישית בפלטפורמות חינוך מוזיקלי חכם

DOI:

10.3791/69058

⸱

December 19th, 2025

 , 
1Department of Art, Hefei College of Early Childhood Education

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג פרוטוקול למידת מוזיקה סומטוסנסורית שניתן לשחזור המשלב זיהוי LSTM שאריתי עם TRPO לקושי אדפטיבי. הוא כולל פרה-עיבוד, תכונות FFT, הכשרה, התאמה אישית והערכה. במאגר נתונים ציבורי, המודל ההיברידי הגיע ל-Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 על פני שלושה קיפולים נפרדים-נבדקים.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

חינוך מוזיקלי מסורתי לעיתים קרובות חסר אינטראקטיביות והסתגלות בזמן אמת, במיוחד בסביבות מרוחקות. מחקר זה מציג מסגרת סומטוסנסוריה מותאמת אישית, TRPO-ResLSTM, לפלטפורמות חינוך מוזיקלי. המערכת לוכדת תנועה, קצב וזמן תגובה, מעבדת נתונים מראש עם סינון Wiener ונירמול Z-score, ומחלצת תכונות באמצעות FFT. זיהוי מחוות מבוצע על ידי DeepRes-LSTM, בעוד שרמת הקושי האדפטיבי מווסתת על ידי למידת חיזוק TRPO. למידה הדרגתית מבטיחה התאמה אישית בין המפגשים. ניסויים על מאגר נתונים של קצב מחוות-תנועה אנונימי זמין לציבור (n = 2,730 מדגמים; חלוקת אימון/אימות/מבחנים 70/15/15) מראים ביצועים טובים יותר לעומת קווי בסיס מולטימודליים, עם 95% דיוק, 93.5% דיוק, 94.6% זיכרון ו-94.2% ציון F1. מחקרי אבלציה מאשרים את התרומה האישית של TRPO ו-Res-LSTM. החידוש של פרוטוקול זה טמון בשילוב למידת חיזוק עם מידול זמני שאריתי לזיהוי מחוות אדפטיבי, המאפשר למידה יציבה אך מותאמת אישית. עבודה זו מראה שכלים אדפטיביים ומגיבים למחוות יכולים לשפר את המעורבות, ההתאמה האישית ופיתוח מיומנויות מתקדמים בחינוך מוזיקלי אינטליגנטי. המגבלות כוללות הסתמכות על מערך נתונים יחיד והצורך באימות לומד אמיתי, שמגדיר כיוונים לעבודה עתידית.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

התקדמות אחרונה בבינה מלאכותית (AI) וטכנולוגיית סומטוסנסוריה מעצבת מחדש את חינוך המוזיקה בכך שהיא מאפשרת ללומדים לתקשר עם המוזיקה באמצעות תנועות גוף, שבהן מחוות מתורגמות לתווים, קצבים או בקרות לכלים וירטואליים 1,2. תכונות אינטראקטיביות אלו משפרות את המעורבות, השימור והיצירתיות בהשוואה להוראה מסורתית בכיתה, וכלים סומטוסנסוריים מאפשרים לתלמידים לתרגל קצב, קואורדינציה והבעה באמצעות כלי הקשה בגוף, ניצוח על מחוות וסימולציות קבוצתיות3. בשילוב עם מסלולים אדפטיביים מונעי בינה מלאכותית, הלומדים מקבלים תוכן מותאם אישית, משוב בזמן אמת ופיתוח מיומנויות מתקדם שמשפר מוטיבציה ותוצאות 4,5.

למרות ההתפתחויות הללו, פלטפורמות קיימות לעיתים קרובות מסתמכות על שיטות מוגבלות, חסרות המשכיות בהתאמה אישית, או אינן מצליחות להסתגל לסגנונות למידה תרבותיים ופיזיים מגוונים 6,7. הגישות המסורתיות גם לא מצליחות לספק התאמות בזמן אמת, מונחות נתונים, המשקפות את היכולות המתפתחות של הלומד. לדוגמה, לכידת תנועה ומכשירים לבישים יכולים לייצר מערכי נתונים עשירים אך לעיתים קרובות אינם מנוצלים מספיק בהוראות אדפטיבית 8,9. יתרה מזאת, בעוד שספריות מוזיקה ומערכות ניהול למידה הרחיבו את הנגישות, הן לעיתים נדירות מספקות התאמה אישית דינמית בין מפגשים, דבר קריטי בהקשרים רב-תרבותיים והטרוגניים של למידה10.

כדי להתמודד עם פערים אלו, מחקר זה מציע מסגרת חדשנית בשם TRPO-ResLSTM (TRPO-ResLSTM) לפלטפורמות חינוך מוזיקלי11. המערכת משלבת שיטות קדם-עיבוד מתקדמות, כולל סינון וינר ונירמול Z-score, עם Fast Fourier Transform להפקת תכונות בתחום התדר. Res-LSTM מספק זיהוי חזק של מחוות ורצפים זמניים, בעוד שלמידת חיזוק TRPO מתאימה באופן דינמי את קושי המשימה בהתאם לביצועי הלומד. למידה הדרגתית מחזקת עוד יותר את ההתאמה האישית על ידי עדכון מודלים לאורך הסשנים.

נערכו ניסויים על מערך המחוות והקצב של Kaggle הכולל 2,730 דגימות, שחולקו לתת-קבוצות אימון, אימות ובדיקות. התוצאות מראות שהשיטה המוצעת עולה בעקביות על ארכיטקטורות מולטימודליות בסיסיות, ומשיגה דיוק, דיוק, שחזור וערכי F1 בטווח של 93%-95%. ניתוחי אבלציה מאשרים את היעילות של רכיבי TRPO ו-Res-LSTM. על ידי שיפור דיוק הקצב, מעורבות המשתמשים ויציבות המדיניות בזמן אמת, המסגרת מספקת פתרון מעשי לשיפור יעילות החינוך המוזיקלי בסביבות מוגבלות במשאבים ולמידה מרחוק. עבודות קשורות על חינוך מוזיקלי מונע בינה מלאכותית הדגישה את הפוטנציאל של מעורבות סומטוסוסרית, התאמה אישית של למידה אדפטיבית, ואפילו יישומים בטיפול במוזיקה והלחנה אוטומטית12,13. מחקר זה בונה על ממצאים אלו ומציע פרוטוקול ניתן לשחזור המשלב למידה מחזקת עם מודלים זמניים עמוקים לקידום תחום החינוך המוזיקלי האינטליגנטי.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה ניתח נתונים אנונימיים וזמינים לציבור ולא כלל נבדקים אנושיים או בעלי חיים. לכן, לא נדרשה אישור אתי נוסף.

1. סקירה כללית

פרוטוקול זה מתאר מסגרת ניתנת לשחזור לחינוך מוזיקלי סומטוסנסורי המבוססת על זיהוי LSTM שאריתי עמוק ואופטימיזציה של מדיניות אזור אמון (TRPO) לשליטה אדפטיבית בקושי. הוא כולל הכנת מערכי נתונים, עיבוד מוקדם, חילוץ תכונות בתחום התדר, ארכיטקטורת מודל, הכשרה, התאמה אישית והערכה. איור 1 ממחיש את תהליך העבודה מקצה לקצה14.

2. מערך נתונים

נעשה שימוש במערך נתונים של מחוות מוזיקליות וקצב אנונימיים הזמין לציבור, שהקליט את תגובות הגוף לרמזים שמיעתיים כמו קצב ועוצמת הקצב. מאגר הנתונים מספק נתוני סדרות זמן רב-מודליות המתאימים לחקר ביצוע קצב ולמידה של התנהגויות למידה. כל תקליט מכיל דפוסי תנועה, מדידות דיוק תזמון וקצב, משוב תגובה וזמן השלמת המשימה. מכיוון שמאגר הנתונים היה אנונימי לחלוטין ונגיש לציבור, לא נדרשה אישור נוסף של ועדת ביקורת מוסדית15. לניסויים, הנתונים חולקו לפי נבדק לתת-קבוצות אימון, אימות ובדיקות כדי למנוע דליפת זהות; סטטיסטיקות מפורטות ויחסי פיצול מדווחים בטבלה 1. נעשה שימוש בשלושה קיפולים נפרדים לנושא, זרעים אקראיים קבועים בכל הרצות, ועיבוד מוקדם זהה לכל גרסאות הדגם כדי להבטיח השוואה16.

מערך הנתונים הניב התפלגות מאוזנת של מחוות קצביות, כאשר חלוקות אימון, אימות ובדיקות הראו שונות דומה בתזמון ובתכונות התנועה. סטטיסטיקות תיאוריות (חציון ± IQR) לסטיית קצב ומשרעת תנועה היו דומות בין פיצולים, מה שמעיד על שינוי משתנים מינימלי.

3. קדם-עיבוד נתונים

  1. נרמול ציון Z
    הנתונים הגולמיים הוסגנו באמצעות נורמליזציה של ציון Z. עבור ערוץ c וזמן t:
    figure-protocol-1(1)
    חישבנו μc ו-σc רק על סט האימון ויישמנו אותם על ערכות אימות ובדיקות כדי למנוע דליפה17.
    לאחר הנורמליזציה, כל הערוצים הראו שונות ממוצעת ויחידה כמעט אפסית, מה שהבטיח השוואה בין המשתתפים. אבחון לפי אצווה אישר שאין סטייה בין הקפלים.
  2. סינון וינר
    כדי לדכא רעש, השתמשנו מסנן וינר בתחום התדרים:
    figure-protocol-2(2)
    כאשר Y(k) הוא הספקטרום הנצפה, \hat{X}(k) הוא האומדן המנוצל, ו-Sxx(k), Snn(k) מסמנים צפיפויות ספקטרום של הספק אות/רעש. השתמשנו באורך חלון וחפיפה התואמים ל-FFT במורד הזרם כדי לשמור על קוהרנטיות פאזה18.
    סינון וינר הפחית רעש בתדר גבוה ב~30% תוך שמירה על רכיבים קצביים דומיננטיים. יחס האות לרעש השתפר ללא החלשת שיאים נעולים.
  3. חילוץ תכונות (FFT)
    תכונות FFT קצרות זמן שימשו בחלונות חופפים:
    figure-protocol-3(3)
    התיאורים שהופקו כללו תדר דומיננטי, זרם ספקטרלי ויחסי אנרגיה-פס. חושבו גם בולטות שיא נעילה בקצב ושונות בין שיאים כדי ללכוד יציבות מיקרו-תזמון19.
    FFT חשף שיאים ספקטרליים ברורים המתואמים עם הטמפו המוזיקלי (2-3 הרץ), ואישר את המבנה הריתמי במאגר הנתונים. יחס שיא לרעש עלה בממוצע על 6-8 dB בניסויים שבוצעו נכון.

4. מודל: TRPO-ResLSTM

  1. LSTM שאריתי (ResLSTM)
    דפוסי הזמן דומנו באמצעות LSTMs מוערמים עם קיצורי דרך שאריתיים:
    figure-protocol-4 (4)
    כאשר P היא זהות או היטל המתאים לממדים. חיבורים שאריתיים מפחיתים שיפועים נעלמים ומאפשרים ערימות זמן עמוקות יותר תוך שמירה על יציבות אימון20.
    חיבורים שאריתיים שיפרו את זרימת הגרדיאנטים ואת דיוק הסיווג בהשוואה ל-LSTM רגיל. אבלציות הראו דיוק של +0.7-1.1 pp על ערימות לא שאריות בספירת פרמטרים דומות.
  2. אופטימיזציה של מדיניות אזורי אמון (TRPO)
    TRPO שלט בקושי המשימה באופן דינמי. התגמול האישי היה:
    figure-protocol-5(5)
    עם ציון הצלחה st, סטיית קצב Δtempot, אי דמיון במחוות dt (למשל, DTW מרחק או אובדן סיווג), ומדד החלפה ut (עונש שינויים תכופים בקושי). אופטימיזציה של יעד אזור אמון עם הגבלת KL:
    figure-protocol-6(6)
    1. הגדרת למידת חיזוק וסימון
      קושי אדפטיבי נוסח כ-MDP באופק סופי שבו המצב s t מאגד תכונות סומטוסנסוריות-חלונות (ערוצי תאוצה, מיקומי מפרקי ידיים, תיאורי קצב לאחר הנרמליזציה, סינון וינר ו-FFT), והפעולה at היא רמת קושי בדידה השולטת בסבילות הקצב ובקפדנות המחווה. ה-reward rt מאזן בין הצלחה במשימה, סטיית תזמון ומעורבות, עם עונש קטן על קושי מופרז במעבר כדי למנוע תנודה. עדכוני מדיניות מגיעים לאחר TRPO עם הגבלת סטייה מ-KL לצעדים שמרניים. ב-EQS. (5-6), g(y,x) מציין את גרדיאנט האובדן הספציפי למשימה, W(ζ) הוא רגולרייזר L2 מעל פרמטרים ζ, πθ הוא המדיניות הסטוכסטית עם הפרמטרים θ, DKL מגדיר את אזור האמון, γ הוא גורם ההנחה ו-δ הוא רדיוס אזור האמון. היפרפרמטרים α,β,γ,δ נבחרו באמצעות חיפוש רשת על חלוקת האימות (טווחים בטבלה 2) כדי לאזן בין יציבות ותגובתיות; עצירה מוקדמת הופעלה כאשר ממוצע KL הגיע ל-0.921.
    2. היגיון מול אלטרנטיבות
      עדכוני מדיניות מוגבלים על ידי KL של TRPO היו מועדפים לקבוצות קטנות ברמת הסשן ולהתנהגות לומדים שאינה נייחת; PPO/SAC נשארים מבטיחים ויומדדו בעבודה עתידית22.
      TRPO השיג למידה יציבה והתאמת קושי חלקה יותר מאשר בקרים בסיסיים, עם התכנסות עקבית. עקומות הלמידה הראו שיפור מונוטוני וייצוב מוקדם יותר של KL עבור TRPO-ResLSTM לעומת קווי בסיס חד-רכיביים.
  3. התאמה אישית ועדכוני סשן
    עדכונים הדרגתיים שיפרו את מודלי ResLSTM ו-TRPO לאחר כל סשן משתמש עם קצב למידה נמוך ומאגרי חזרה. השתמשנו במאגר חזרות קטן של ניסויים אחרונים לכל לומד כדי למנוע סטייה, והגבלנו עדכונים לכל מפגש לתקציב קבוע כדי לשמור על יציבות. יעילות ההתאמה האישית נמדדה כרווח יחסי ב-F1 בין המפגש הראשון לאחרון של הלומד בתוך אופקקבוע 23.
    התאמה אישית בין סשנים הגדילה את הדיוק הספציפי למשתמש ב-2%-3% ללא שכחה קטסטרופלית. הרווחים היו הגדולים ביותר בקרב לומדים עם דיוק בסיסי בטווח בינוני, מה שמרמז על מרווח ראש לפיגומים אדפטיביים.
  4. אלגוריתם ויישום
    הקוד המלא ("אלגוריתם 1: TRPO-ResLSTM") ומימוש ייחוס לפייתון 3.10.1 מסופקים כ. כל האיורים והטבלאות כוללים הגדרות מדידה, פסי שגיאה וגודל מדגם. אנו מדווחים על ממוצע ± SD בשלושה קפלים נפרדים של נבדק ומעריכים הבדלים בין-מודלים באמצעות בדיקות ANOVA או Friedman במדידות חוזרות לפי הצורך, עם השוואות פוסט-הוק מותאמות לפי ריבוי (α = 0.05). כדי להבטיח שחזוריות, אנו מפרטים גרסאות חבילות ומפרטי GPU/CPU בטבלת החומרים וכוללים README עם תצורת סביבה וזרע24.
    הפרוטוקול שיחזר בעקביות שיפורים על פני קווי בסיס מולטימודליים, ואימת את השחזוריות שלו. בדיקות חוזרות עצמאיות בין זרעים הניבו שונות דיוק של <0.5 נקודות למודל המשולב.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סידור ניסיוני
מסגרת TRPO-ResLSTM יושמה ב-Python 3.10.1 עם האצת GPU. סביבת המחשוב, חומרת חישה תנועה וספריות פייתון מופיעים בטבלת החומרים. הנתונים חולקו לחלוקות אימון/אימות/בדיקה נפרדות בין הנבדקים, כפי שמוצג בטבלה 1 (15/70/15). היפרפרמטרים המרכזיים מסוכמים בטבלה 2. הוערכו שלושה מודלים: TRPO בסיסי, ResLSTM בסיסי, ו-TRPO-ResLSTM משולב. ההגדרה הזו אפשרה הערכה עקבית של זיהוי מחוות, שליטה אדפטיבית בקושי והתאמה אישית בתרחישי למידת מוזיקה.

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציע פרוטוקול היברידי, TRPO-ResLSTM, המשלב למידה מחוזקת ומודלים זמניים שאריתיים לחינוך מוזיקלי מבוסס מחוות. על ידי שילוב היציבות של Trust Region Policy Optimization (TRPO) עם יכולת למידת רצף של LSTMs שאריתיים, המסגרת מספקת זיהוי מחוות בזמן אמת יחד עם שליטה אדפטיבית ברמת קושי, ומאפשרת משוב מותאם אישית ורכישת מיומנויות מתקדמת. כדי להבטיח שחזוריות, נעשה שימוש בקפלים נפרדים-נבדקים, זרעים קבועים ועיבוד מוקדם זהה בין מודלים, והממוצע ± ה-SD דווח על פני שלושה כיוו...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין ניגוד עניינים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מודים לעמיתיהם על משוב בונה על עיצוב המחקר והכנת כתב היד. עבודה זו לא קיבלה מענק ספציפי מסוכנות מימון כלשהי במגזר הציבורי, המסחרי או הלא-רווחי.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
נתוני חיישני מד תאוצהקגל (נחלת הכלל)אותות קלט מולטימודליים (דפוסי תנועה, תכונות תזמון) הכלולים במאגר הנתונים
תחנת עבודה של GPUתאגיד NVIDIA, ארה"בחומרת אימון: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
יד - נתוני מיקום משותףקגל (נחלת הכלל)קלט סומטוסונסרי לזיהוי מחוות
Matplotlib (v3.7)https://matplotlib.orgספריית ויזואליזציה לשרטוט איורים ומדדי ביצועים
NumPy (גרסה 1.23)https://numpy.orgספריית חישוב נומרית לפעולות מערך
מערך נתונים של מחוות וקצב של מוזיקה ציבוריתקגל (נחלת הכלל)מערך נתונים אנונימי של 2,730 דגימות המתעדות תגובות גוף לקצב ולקצב; משמש לאימון/אימות/בדיקות (70/15/15)
פייתון 3.10.1קרן התוכנה של פייתון, https://www.python.orgסביבת תכנות ליישום וניתוח מודלים
פייטורץ' (v1.13)https://pytorch.orgמסגרת למידה עמוקה ליישום מודולי ResLSTM ו-TRPO
SCIKIT - ללמוד (v1.2)https://scikit-learn.orgכלי למידת מכונה לעיבוד מוקדם והערכה
SciPy (v1.10)https://scipy.orgספריית מחשוב מדעי (משמשת לסינון וינר)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wei, J., Karuppiah, M., Prathik, A. College music education and teaching based on AI techniques. Comput Electr Eng. 100, 107851(2022).
  2. Yu, X., et al. Developments and applications of artificial intelligence in music education. Technol. 11 (2), 42(2023).
  3. Fang, J. Artificial intelligence robots based on machine learning and visual algorithms for interactive experience assistance in music classrooms. Entertain Comput. 52, 100779(2025).
  4. Zhang, S., Lu, X., Liu, X. Study on the influence of AI composition software on students' creative ability in music education. J Educ Technol Innov. 6 (2), (2024).
  5. Feng, Y. Design and research of music teaching system based on virtual reality system in the context of education informatization. PLoS One. 18 (10), e0285331(2023).
  6. Zhou, X. Entertainment performance robots application in music network classrooms based on speech sensor recognition and artificial intelligence. Entertain Comput. 52, 100782(2025).
  7. Yu, H., Zou, Z. The music education and teaching innovation using blockchain technology supported by artificial intelligence. Int J Grid Util Comput. 14 (2-3), 278-296 (2023).
  8. Hong Yun, Z., et al. A decision-support system for assessing the function of machine learning and artificial intelligence in music education for network games. Soft Comput. 26 (20), 11063-11075 (2022).
  9. Dey, M. T., Patra, S., Mitra, S. Enhancing music education with innovative tools and techniques: The role of artificial intelligence in musical works. Enhancing Music Education With Innovative Tools and Techniques. , IGI Global. 19-50 (2025).
  10. Lin, X., et al. The application of music therapy in the rehabilitation education of children with cerebral palsy. J Investig Med. 73 (1 Suppl. 1), (2025).
  11. Wang, X. Design of vocal music teaching system platform for music majors based on artificial intelligence. Wirel Commun Mob Comput. 2022 (1), 5503834(2022).
  12. Chen, Y., Sun, Y. The usage of artificial intelligence technology in music education system under deep learning. IEEE Access. , 130546-130556 (2024).
  13. Yang, Y., et al. Multi-source and heterogeneous online music education mechanism: An artificial intelligence-driven approach. Fractals. 31 (6), 2340154(2023).
  14. Sang, J. The intersection of technology and art: A study on AI-driven CTCL music teaching paradigm. , (2024).
  15. Yin, Y. Research on technological innovation and application of music education transformation under the background of technology. J Educ Theory Pract. 2 (2), (2025).
  16. Yuan, Y. Influencing factors and modeling methods of vocal music teaching quality supported by artificial intelligence technology. Int J Web Based Learn Teach Technol. 19 (1), 1-16 (2024).
  17. Sanganeria, M., Gala, R. Tuning music education: AI-powered personalization in learning music. arXiv Prepr. , (2024).
  18. Qiusi, M. Research on the improvement method of music education level under the background of AI technology. Mob Inf Syst. 2022 (1), 7616619(2022).
  19. Xu, Z. Construction of an intelligent recognition and learning education platform of national music genre under deep learning. Front Psychol. 13, 843427(2022).
  20. Wang, X., et al. College music teaching and ideological and political education integration mode based on deep learning. J Intell Syst. 31 (1), 466-476 (2022).
  21. Tang, H., Zhang, Y., Zhang, Q. The use of deep learning-based intelligent music signal identification and generation technology in national music teaching. Front Psychol. 13, 762402(2022).
  22. Artificial intelligence in music education: Exploring applications, benefits, and challenges. Yue, Y., Jing, Y. Proc Int Conf Educ Inf Technol, , 141-146 (2025).
  23. Bai, A., Yeh, C. K., Hsieh, C. J., Taly, A. An efficient rehearsal scheme for catastrophic forgetting mitigation during multi-stage fine-tuning. arXiv Prepr. , (2024).
  24. Ravi, N., Goel, A., Davis, J. C., Thiruvathukal, G. K. Improving the reproducibility of deep learning software: An initial investigation through a case study analysis. arXiv Prepr. , (2025).
  25. Chen, J., Jin, F., Jiao, Y., Zhan, Y., Qin, X. Improving dynamic gesture recognition with attention-enhanced LSTM and grounding SAM. Electronics. 14 (9), 1793(2025).
  26. Ouyang, F., Dai, X., Chen, S. Applying multimodal learning analytics to examine the immediate and delayed effects of instructor scaffoldings on small groups' collaborative programming. Int J STEM Educ. 9 (1), 45(2022).
  27. Aoyama Lawrence,, Weinberger, L., A, Being in-sync: A multimodal framework on the emotional and cognitive synchronization of collaborative learners. Front Educ. , (2022).
  28. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O. Proximal policy optimization algorithms. arXiv Prepr. , (2017).
  29. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. PMLR. Haarnoja, T., Zhou, A., Abbeel, P., Levine, S. Proc Int Conf Mach Learn, , (2018).
  30. Huang, S., Dossa, R. F. J., Raffin, A., Kanervisto, A., Wang, W. The 37 implementation details of proximal policy optimization. ICLR Blog Track. , https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/ (2023).
  31. Sclater, N., Bailey, P. Code of practice for learning analytics. , https://www.jisc.ac.uk/guides/code-of-practice-for-learning-analytics (2022).
  32. Rabiner, L. R. A tutorial on hidden Markov models and selected applications in speech recognition. Proc IEEE. 77 (2), 257-286 (2002).
  33. Tao, S., et al. MusicalPT: Augmenting physical therapy by integrating adaptive musical guidance to enhance exercise quality and patient experience. Proc ACM Interact Mob Wearable Ubiquitous Technol. 9 (3), 1-32 (2025).
  34. Proverbio, A. M., Camporeale, E., Brusa, A. Multimodal recognition of emotions in music and facial expressions. Front Hum Neurosci. 14, 32(2025).
  35. Kang, S. Adaptations, code-switching, and novelty with cultural integrity: Musicians performing and learning musical instruments in different musical traditions. J Res Music Educ. , (2025).
  36. Han, Y., Han, L., Zeng, C., Zhao, W. The innovation path of VR technology integration into music classroom teaching in colleges and universities. Sci Rep. 15 (1), 12200(2025).
  37. Huang, A. Y., Lu, O. H., Yang, S. J. Effects of artificial intelligence-enabled personalized recommendations on learners' learning engagement, motivation, and outcomes in a flipped classroom. Comput Educ. 194, 104684(2023).
  38. Tao, S., et al. MusicalPT: Augmenting physical therapy by integrating adaptive musical guidance to enhance exercise quality and patient experience. Proc ACM Interact Mob Wearable Ubiquitous Technol. 9 (3), 1-32 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Intelligent Music EducationSomatosensory EvaluationGesture RecognitionRhythm EvaluationTRPO Reinforcement LearningResLSTM ModelAdaptive DifficultyIncremental LearningFeature ExtractionPersonalized Learning

Related Articles