Research Article

פיתוח כלים אינטראקטיביים לבינה מלאכותית להערכת סומטוסנסוריה וקצב מותאמת אישית בפלטפורמות חינוך מוזיקלי חכם

DOI:

10.3791/69058

⸱

December 19th, 2025

 , 
1Department of Art, Hefei College of Early Childhood Education

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג פרוטוקול למידת מוזיקה סומטוסנסורית שניתן לשחזור המשלב זיהוי LSTM שאריתי עם TRPO לקושי אדפטיבי. הוא כולל פרה-עיבוד, תכונות FFT, הכשרה, התאמה אישית והערכה. במאגר נתונים ציבורי, המודל ההיברידי הגיע ל-Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 על פני שלושה קיפולים נפרדים-נבדקים.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

חינוך מוזיקלי מסורתי לעיתים קרובות חסר אינטראקטיביות והסתגלות בזמן אמת, במיוחד בסביבות מרוחקות. מחקר זה מציג מסגרת סומטוסנסוריה מותאמת אישית, TRPO-ResLSTM, לפלטפורמות חינוך מוזיקלי. המערכת לוכדת תנועה, קצב וזמן תגובה, מעבדת נתונים מראש עם סינון Wiener ונירמול Z-score, ומחלצת תכונות באמצעות FFT. זיהוי מחוות מבוצע על ידי DeepRes-LSTM, בעוד שרמת הקושי האדפטיבי מווסתת על ידי למידת חיזוק TRPO. למידה הדרגתית מבטיחה התאמה אישית בין המפגשים. ניסויים על מאגר נתונים של קצב מחוות-תנועה אנונימי זמין לציבור (n = 2,730 מדגמים; חלוקת אימון/אימות/מבחנים 70/15/15) מראים ביצועים טובים יותר לעומת קווי בסיס מולטימודליים, עם 95% דיוק, 93.5% דיוק, 94.6% זיכרון ו-94.2% ציון F1. מחקרי אבלציה מאשרים את התרומה האישית של TRPO ו-Res-LSTM. החידוש של פרוטוקול זה טמון בשילוב למידת חיזוק עם מידול זמני שאריתי לזיהוי מחוות אדפטיבי, המאפשר למידה יציבה אך מותאמת אישית. עבודה זו מראה שכלים אדפטיביים ומגיבים למחוות יכולים לשפר את המעורבות, ההתאמה האישית ופיתוח מיומנויות מתקדמים בחינוך מוזיקלי אינטליגנטי. המגבלות כוללות הסתמכות על מערך נתונים יחיד והצורך באימות לומד אמיתי, שמגדיר כיוונים לעבודה עתידית.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

התקדמות אחרונה בבינה מלאכותית (AI) וטכנולוגיית סומטוסנסוריה מעצבת מחדש את חינוך המוזיקה בכך שהיא מאפשרת ללומדים לתקשר עם המוזיקה באמצעות תנועות גוף, שבהן מחוות מתורגמות לתווים, קצבים או בקרות לכלים וירטואליים 1,2. תכונות אינטראקטיביות אלו משפרות את המעורבות, השימור והיצירתיות בהשוואה להוראה מסורתית בכיתה, וכלים סומטוסנסוריים מאפשרים לתלמידים לתרגל קצב, קואורדינציה והבעה באמצעות כלי הקשה בגוף, ניצוח על מחוות וסימולציות קבוצתיות3. בשילוב עם מסלולים אדפטיביים מונעי בינה מלאכותית, הלומדים מקבלים תוכן מותאם אישית, משוב בזמן אמת ופיתוח מיומנויות מתקדם שמשפר מ....

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה ניתח נתונים אנונימיים וזמינים לציבור ולא כלל נבדקים אנושיים או בעלי חיים. לכן, לא נדרשה אישור אתי נוסף.

1. סקירה כללית

פרוטוקול זה מתאר מסגרת ניתנת לשחזור לחינוך מוזיקלי סומטוסנסורי המבוססת על זיהוי LSTM שאריתי עמוק ואופטימיזציה של מדיניות אזור אמון (TRPO) לשליטה אדפטיבית בקושי. הוא כולל הכנת מערכי נתונים, עיבוד מוקדם, חילוץ תכונות בתחום התדר, ארכיטקטורת מודל, הכשרה, התאמה אישית והערכה. איור 1 ממחיש את תהליך העבודה מקצה לקצה14.

2. מערך נתונים

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סידור ניסיוני
מסגרת TRPO-ResLSTM יושמה ב-Python 3.10.1 עם האצת GPU. סביבת המחשוב, חומרת חישה תנועה וספריות פייתון מופיעים בטבלת החומרים. הנתונים חולקו לחלוקות אימון/אימות/בדיקה נפרדות בין הנבדקים, כפי שמוצג בטבלה 1 (15/70/15). היפרפרמטרים המרכזיים מסוכמים בטבלה 2. הוערכו שלושה מודלים: TRPO בסיסי, ResLSTM בסיסי, ו-TRPO-ResLSTM משולב. ההגדרה הזו אפשרה הערכה עקבית של זיהוי מחוות, שליטה אדפטיבית בקושי והתאמה אישית בתרחישי למידת מוזיקה.

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציע פרוטוקול היברידי, TRPO-ResLSTM, המשלב למידה מחוזקת ומודלים זמניים שאריתיים לחינוך מוזיקלי מבוסס מחוות. על ידי שילוב היציבות של Trust Region Policy Optimization (TRPO) עם יכולת למידת רצף של LSTMs שאריתיים, המסגרת מספקת זיהוי מחוות בזמן אמת יחד עם שליטה אדפטיבית ברמת קושי, ומאפשרת משוב מותאם אישית ורכישת מיומנויות מתקדמת. כדי להבטיח שחזוריות, נעשה שימוש בקפלים נפרדים-נבדקים, זרעים קבועים ועיבוד מוקדם זהה בין מודלים, והממוצע ± ה-SD דווח על פני שלושה כיוו.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין ניגוד עניינים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מודים לעמיתיהם על משוב בונה על עיצוב המחקר והכנת כתב היד. עבודה זו לא קיבלה מענק ספציפי מסוכנות מימון כלשהי במגזר הציבורי, המסחרי או הלא-רווחי.

....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
נתוני חיישני מד תאוצהקגל (נחלת הכלל)אותות קלט מולטימודליים (דפוסי תנועה, תכונות תזמון) הכלולים במאגר הנתונים
תחנת עבודה של GPUתאגיד NVIDIA, ארה"בחומרת אימון: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
יד - נתוני מיקום משותףקגל (נחלת הכלל)קלט סומטוסונסרי לזיהוי מחוות
Matplotlib (v3.7)https://matplotlib.orgספריית ויזואליזציה לשרטוט איורים ומדדי ביצועים
NumPy (גרסה 1.23)https://numpy.orgספריית חישוב נומרית לפעולות מערך
מערך נתונים של מחוות וקצב של מוזיקה ציבוריתקגל (נחלת הכלל)מערך נתונים אנונימי של 2,730 דגימות המתעדות תגובות גוף לקצב ולקצב; משמש לאימון/אימות/בדיקות (70/15/15)
פייתון 3.10.1קרן התוכנה של פייתון, https://www.python.orgסביבת תכנות ליישום וניתוח מודלים
פייטורץ' (v1.13)https://pytorch.orgמסגרת למידה עמוקה ליישום מודולי ResLSTM ו-TRPO
SCIKIT - ללמוד (v1.2)https://scikit-learn.orgכלי למידת מכונה לעיבוד מוקדם והערכה
SciPy (v1.10)https://scipy.orgספריית מחשוב מדעי (משמשת לסינון וינר)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wei, J., Karuppiah, M., Prathik, A. College music education and teaching based on AI techniques. Comput Electr Eng. 100, 107851(2022).
  2. Yu, X., et al. Developments and applications of artificial intelligence in music education. Technol. 11 (2), ....

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Intelligent Music EducationSomatosensory EvaluationGesture RecognitionRhythm EvaluationTRPO Reinforcement LearningResLSTM ModelAdaptive DifficultyIncremental LearningFeature ExtractionPersonalized Learning

Related Articles