Research Article

Akıllı Müzik Eğitim Platformlarında Kişiselleştirilmiş Somatosensory ve Ritim Değerlendirmesi için İnteraktif Yapay Zeka Araçlarının Geliştirilmesi

DOI:

10.3791/69058

⸱

December 19th, 2025

 , 
1Department of Art, Hefei College of Early Childhood Education

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, adaptif zorluk için kalıntı LSTM tanıma ile TRPO'yu birleştiren tekrarlanabilir bir somatosensorik müzik öğrenme protokolü sunmaktadır. Ön işleme, FFT özellikleri, eğitim, kişiselleştirme ve değerlendirmeyi kapsar. Kamuya açık bir veri setinde, hibrit model üç denek-ayrık katlanma üzerinden Acc 95.0 / P 93.5 / R 94.6 / F1 94.2'ye ulaştı.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Geleneksel müzik eğitimi genellikle etkileşim ve gerçek zamanlı uyum sağlama yeteneğinden yoksundur, özellikle uzak ortamlarda. Bu çalışma, müzik eğitim platformları için kişiselleştirilmiş bir somatosensory çerçeve olan TRPO-ResLSTM'yi tanıtmaktadır. Sistem hareket, ritim ve tepki süresini yakalıyor, Wiener filtreleme ve Z-skor normalizasyonu ile verileri ön işliyor ve özellikleri FFT ile çıkarıyor. Jest tanıma DeepRes-LSTM ile yapılırken, adaptif zorluk ise TRPO pekiştirme öğrenme ile düzenlenir. Artırıcı öğrenme, seanslar arasında kişiselleştirmeyi sağlar. Kamuya açık ve anonimleştirilmiş bir jest-ritm veri seti üzerinde yapılan deneyler (n = 2.730 örnek; eğitim/doğrulama/test bölünmesi 15.07.15) çok modlu temellere göre üstün performans göstererek %95 doğruluk, %93,5 hassasiyet, %94,6 hatırlama ve %94,2 F1 puanı elde etmiştir. Ablasyon çalışmaları, TRPO ve Res-LSTM'nin bireysel katkılarını doğrulamaktadır. Bu protokolün yeniliği, uyarlanabilir jest tanıma için pekiştirme öğrenmesini kalıntı zaman modellemeyle entegre etmekte yatıyor; böylece kararlı ama kişiselleştirilmiş öğrenme mümkün oluyor. Bu çalışma, uyarlanabilir, jestlere duyarlı araçların zeki müzik eğitiminde katılımı, kişiselleştirmeyi ve ilerleyici beceri gelişimini artırabileceğini göstermektedir. Sınırlamalar arasında, tek bir veri setine güvenmek ve gelecekteki çalışmalar için yönleri belirleyen gerçek öğrenen doğrulama ihtiyacı yer alır.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yapay zeka (YZE) ve somatosensori teknolojideki son gelişmeler, öğrencilerin beden hareketleriyle müzikle etkileşime girmesini sağlayarak müzik eğitimini yeniden şekillendiriyor; burada jestler nota, ritim veya sanal enstrümanlar için kontrollereçevriliyor 1,2. Bu etkileşimli özellikler, geleneksel sınıf eğitimine kıyasla katılım, aklımsızlık ve yaratıcılığı artırır ve somatosensori araçlar sayesinde öğrenciler vücut vurma asları, jestler ve topluluk simülasyonları aracılığıyla ritim, koordinasyon ve ifade pratiği yapmalarınısağlar 3. Yapay zeka destekli uyarlanabilir yollarla birleştiğinde, öğrenenler bireyselleştirilmiş içerik, gerçek zamanlı geri bildirim ve motivasyon ile sonuçları iyileştiren ilerleyici beceri gelişimialır 4,5.

Bu gelişmelere rağmen, mevcut platformlar genellikle sınırlı modalitelere dayanır, kişiselleştirmenin sürekliliği yoktur veya çeşitli kültürel ve fiziksel öğrenme tarzlarına uyum sağlamaz 6,7. Geleneksel yaklaşımlar da öğrenenin gelişen yeteneklerini yansıtan gerçek zamanlı, veri odaklı ayarlamalar sağlamada yetersiz kalır. Örneğin, hareket yakalama ve giyilebilir cihazlar zengin veri setleri üretebilir ancak uyarlanabilirtalimatlarda genellikle yeterince kullanılmamaktadır 8,9. Ayrıca, müzik kütüphaneleri ve öğrenme yönetim sistemleri erişilebilirliği genişletmiş olsa da, seanslar arasında dinamik kişiselleştirme sağlarlar ki, bu da çok kültürlü ve heterojen öğrenme bağlamlarında kritiköneme sahiptir 10.

Bu eksiklikleri gidermek için, bu çalışma müzik eğitimi platformları için yeni bir Güven Bölgesi Politikası Optimize Edilmiş Derin Kalıntı Uzun Süreli Hafıza (TRPO-ResLSTM) çerçevesiönermektedir 11. Sistem, Wiener filtreleme ve Z-skor normalizasyonu gibi gelişmiş ön işleme yöntemlerini, frekans alanı özellik çıkarımı için Hızlı Fourier Dönüşümü ile entegre eder. Res-LSTM, jestlerin ve zamansal dizilerin sağlam tanınması sağlarken, TRPO pekiştirme öğrenmesi görev zorluğunu öğrenenin performansına göre dinamik olarak ayarlar. Artan öğrenme, modelleri seanslar arasında güncelleyerek kişiselleştirmeyi daha da güçlendirir.

Deneyler, 2.730 örnekten oluşan Kaggle müzik jest ve ritim veri seti üzerinde eğitim, doğrulama ve test alt kümelerine ayrılmıştır. Sonuçlar, önerilen yöntemin temel multimodal mimarileri tutarlı şekilde geride bıraktığını, doğruluk, hassasiyet, hata ve F1 değerlerini %93-95 aralığında elde ettiğini gösteriyor. Ablasyon analizleri, hem TRPO hem de Res-LSTM bileşenlerinin etkinliğini doğrulamaktadır. Ritim doğruluğunu, kullanıcı katılımını ve politika istikrarını gerçek zamanlı olarak artırarak, bu çerçeve, kaynak kısıtlı ve uzaktan öğrenme ortamlarında müzik eğitimi verimliliğini artırmak için pratik bir çözüm sunar. Yapay zeka destekli müzik eğitimi üzerine yapılan çalışmalar, somatosensorik etkileşim, uyarlanabilir öğrenme kişiselleştirmesi ve hatta müzik terapisi ile otomatik bestecilikte uygulamalarınpotansiyelini ortaya koymuştur 12,13. Bu çalışma, zeki müzik eğitimi alanını ilerletmek için pekiştirici öğrenmeyi derin zaman modellemeyle birleştiren tekrarlanabilir bir protokol sunarak bu bulgulara dayanmaktadır.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, anonimleştirilmiş, kamuya açık verileri analiz etti ve insan denek veya hayvanları içermedi. Bu nedenle, ek etik onay gerekmiyordu.

1. Genel Bakış

Bu protokol, derin kalıntı LSTM tanıma ve uyarlanabilir zorluk kontrolü için Güven Bölgesi Politikası Optimizasyonu (TRPO) temelli somatosensori müzik eğitimi için tekrarlanabilir bir çerçeve tanımlar. Veri seti hazırlama, ön işleme, frekans-alan özellik çıkarma, model mimarisi, eğitim, kişiselleştirme ve değerlendirmeyi içerir. Şekil 1 , uçtan uca işakışını 14 göstermektedir.

2. Veri seti

Halka açık olan, anonimleştirilmiş bir müzik jest ve ritim veri seti kullanıldı; bu veri seti tempo ve ritim yoğunluğu gibi işitsel ipuçlarına vücut tepkilerini kaydetti. Veri seti, ritim yürütme ve davranışları öğrenmek için uygun çok modlu zaman serisi verileri sağlar. Her kayıt, hareket kalıplarını, zamanlama ve ritim doğruluk ölçümlerini, yanıt geri bildirimini ve görev tamamlanma süresini içerir. Veri seti tamamen anonimleştirilmiş ve kamuya açık olduğundan, ek kurumsal inceleme kurulu onayı gerekmemiştir15. Deneyler için, veriler denek olarak eğitim, doğrulama ve test alt kümelerine bölünerek kimlik sızıntısını önledi; ayrıntılı istatistikler ve bölünme oranları Tablo 1'de sunulmaktadır. Üç dennek-ayrık katlama kullanıldı, tüm çalışmalarda rastgele tohumlar sabitlendi ve karşılaştırılabilirliği sağlamak için tüm model varyantları için aynı ön işlemesağlandı.

Veri seti, ritmik jestlerin dengeli bir dağılımı sağladı; eğitim, doğrulama ve test bölümleri zamanlama ve hareket özelliklerinde benzer varyantlar gösterdi. Tempo sapması ve hareket genliği için betimleyici istatistikler (medyan ± IQR) bölünmeler arasında karşılaştırılabilir hale gelmiş, bu da minimum kovaryat kaymasını göstermektedir.

3. Veri ön işleme

  1. Z-skor normalizasyonu
    Ham veriler Z-skor normalizasyonu kullanılarak standartlaştırıldı. Kanal c ve t zamanı için:
    figure-protocol-1(1)
    Sadece eğitim setinde μc ve σ c hesapladık ve sızıntıyı önlemek için doğrulama ve test setlerineuyguladık 17.
    Normalizasyondan sonra, tüm kanallar neredeyse sıfır ortalama ve birim varyansı gösterdi ve katılımcılar arasında karşılaştırılabilirlik sağlandı. Parti bazında yapılan tanılar, katlamalar arasında kayma olmadığını doğruladı.
  2. Wiener filtreleme
    Gürültüyü bastırmak için, frekans alanında bir Wiener filtresi uyguladık:
    figure-protocol-2(2)
    burada Y(k) gözlemlenen spektrumdur, \hat{X}(k) denoizlenmiş tahmindir ve Sxx(k), Snn(k) sinyal/gürültü gücü spektral yoğunluklarını gösterir. Faztutarlılığını korumak için aşağı akış FFT ile uyumlu bir pencere uzunluğu ve örtüşme kullandık.
    Wiener filtrelemesi, yüksek frekanslı gürültüyü ~%30 azaltırken baskın ritmik bileşenleri korurken. Sinyal-gürültü oranı, beat-locked zirveleri zayıflatmadan iyileştirildi.
  3. Özellik çıkarımı (FFT)
    Kısa süreli FFT özellikleri örtüşen pencerelerde kullanıldı:
    figure-protocol-3(3)
    Çıkarılan tanımlayıcılar arasında baskın frekans, spektral akı ve bant-enerji oranları bulunuyordu. Tempo kilitli zirve belirginliği ve pikler arası değişkenlik de mikro-zamanlamakararlılığını yakalamak için hesaplandı 19.
    FFT, müzik temposuyla uyumlu net spektral zirveler (2-3 Hz) ortaya koyarak veri setindeki ritmik yapıyı doğruladı. Doğru yürütülmüş denemelerde tepe gürültü oranları ortalama 6-8 dB'yi aşmıştır.

4. Model: TRPO-ResLSTM

  1. Kalıntı LSTM (ResLSTM)
    Zamansal desenler, kalıntı kısayollara sahip yığılmış LSTM'ler kullanılarak modellenmiştir:
    figure-protocol-4 (4)
    burada P, özdeşlik veya boyutlara uyacak bir projeksiyondur. Kalıntı bağlantılar, kaybolan gradyanları azaltır ve daha derin zaman yığınlarını sağlarken eğitimkararlılığını korur 20.
    Kalıntı bağlantılar, düz LSTM'ye kıyasla gradyan akışını ve sınıflandırma doğruluğunu iyileştirmiştir. Ablasyonlar, benzer parametre sayılarında kalıntı olmayan yığınlara göre +0,7-1,1 pp doğruluk gösterdi.
  2. Güven Bölgesi Politikası Optimizasyonu (TRPO)
    TRPO, görev zorluğunu dinamik olarak kontrol ediyordu. Kişiselleştirilmiş ödül şuydu:
    figure-protocol-5(5)
    başarı puanıs t, tempo sapması Δtempot, jest farklılığı dt (örneğin, DTW mesafesi veya sınıflandırma kaybı) ve switch göstergesi ut (sık zorluk değişikliklerini cezalandıran) ile birlikte. Bir güven bölgesi hedefini KL kısıtlamasıyla optimize ettik:
    figure-protocol-6(6)
    1. Güçlendirme-öğrenme kurulumu ve notasyonu
      Adaptif zorluk, durum st pencereli somatosensorik özellikleri (ivmeölçer kanalları, el eklemleri pozisyonları, normalizasyon sonrası ritim tanımlayıcıları, Wiener filtreleme ve FFT) topladığı sonlu ufuk MDP olarak formüle edilmiştir ve eylem a t tempo toleransını ve jest katlığını kontrol eden ayrık bir zorluk seviyesidir. Ödül rt, görev başarısını, zamanlama sapmasını ve etkileşimi dengeler; aşırı zorluk değişiminde salınımları caydırmak için küçük bir ceza verilir. Politika güncellemeleri, muhafazakar adımlar için KL-ayrımcılık kısıtlaması ile TRPO'yu takip eder. Eq'larda. (5-6), g(y,x) göreve özgü kayıp gradyanını gösterir, W(ζ) ζ parametreleri üzerinde L2 düzenleyicidir, πθ θ parametrelerine sahip stokastik politikadır, DKL güven bölgesini tanımlar, γ indirim faktörü ve δ güven bölgesi yarıçapıdır. Hiperparametreler α,β,γ,δ, doğrulama bölünmesinde (Tablo 2'deki aralıklar) ızgara aramasıyla kararlılık ve yanıt verebilirliği dengelemek için seçildi; erken durma ortalama KL 0.921'e ulaştığında tetiklendi.
    2. Gerekçe ve alternatifler
      TRPO'nun KL ile sınırlı politika güncellemeleri, küçük, oturum düzeyindeki gruplar ve sabit olmayan öğrenici davranışları için tercih edildi; PPO/SAC umut verici olmaya devam ediyor ve gelecektekiçalışmalarda kıyaslanacak.
      TRPO, temel kontrolörlere göre istikrarlı öğrenme ve daha akıcı zorluk ayarlaması sağladı, tutarlı yakınsamayla. Öğrenme eğrileri, tek bileşenli bazallara göre TRPO-ResLSTM için monoton iyileşme ve daha erken KL stabilizasyonu gösterdi.
  3. Kişiselleştirme ve oturum güncellemeleri
    Artan güncellemeler, her kullanıcı oturumundan sonra hem ResLSTM hem de TRPO modellerini küçük öğrenme oranları ve prova tamponlarıyla geliştirdi. Sapmayı önlemek için her öğrenen başına son denemelerden oluşan küçük bir prova tamponu kullandık ve istikrarı korumak için oturum başına sınırlı güncellemeleri sabit bir bütçeye bağladık. Kişiselleştirme etkinliği, sabit birufuk 23 içinde bir öğrenenin ilk ve son oturumu arasındaki göreli F1 kazancı olarak ölçüldü.
    Oturumdan seansa kişiselleştirme, kullanıcıya özgü doğruluğu %2-3 oranında artırdı ve felaket bir unutma olmadı. Kazanımlar en büyük orta seviye taban doğruluğuna sahip öğrenenler için oldu; bu da uyarlanabilir iskele için boşluk olduğunu gösteriyordu.
  4. Algoritma ve uygulama
    Tam sözde kod ("Algoritma 1: TRPO-ResLSTM") ve referans Python 3.10.1 uygulaması şu şekilde sunulmaktadır. Tüm şekiller ve tablolar ölçüm tanımları, hata çubukları ve örnek boyutlarını içerir. Üç denek-ayrık katlama üzerinden ortalama ± SD rapor ediyoruz ve modeller arası farkları uygun ölçüde tekrarlanan ANOVA veya Friedman testleriyle değerlendiriyoruz; çokluğa göre ayarlanmış post-hoc karşılaştırmalar yapılıyor (α = 0.05). Tekrarlanabilirliği sağlamak için, paket sürümlerini ve GPU/CPU özelliklerini Materyaller Tablosu'nda listeliyoruz ve ortam ile tohumyapılandırması 24 içeren bir README ekliyoruz.
    Protokol, çoklu modal temellere göre sürekli iyileştirmeler üreterek tekrarlanabilirliğini doğruladı. Tohumlar arasında bağımsız tekrarlar, entegre model için doğruluk açısından <0,5 pp varyans verdi.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deneysel Kurulum
TRPO-ResLSTM çerçevesi, GPU hızlandırma ile Python 3.10.1'de uygulanmıştır. Hesaplama ortamı, hareket algılayıcı donanım ve Python kütüphaneleri Materyaller Tablosu'nda listelenmiştir. Veriler, Tablo 1'de (15/70/15) gösterildiği gibi denek-ayrık eğitim/doğrulama/test bölümlerine ayrılmıştır. Temel hiperparametreler Tablo 2'de özetlenmiştir. Üç model değerlendirildi: temel TRPO, temel ResLSTM ve entegre TRPO-ResLSTM. B...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, jest tabanlı müzik eğitimi için güçlendirme öğrenme ve kalıcı zaman modellemesini entegre eden TRPO-ResLSTM adlı hibrit bir protokol önermektedir. Güven Bölgesi Politika Optimizasyonu'nun (TRPO) kararlılığını kalıntı LSTM'lerin sıra-öğrenme kapasitesiyle birleştirerek, çerçeve gerçek zamanlı jest tanıma ile uyarlanabilir zorluk kontrolü sunarak, kişiselleştirilmiş geri bildirim ve ilerleyici beceri edinimimümkün kalıyor 25. Tekrarlanabilirliği sağlamak...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar çıkar çatışması belirtmemektedir.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, çalışma tasarımı ve makale hazırlama konusundaki yapıcı geri bildirimleri için meslektaşlarına teşekkür ediyor. Bu çalışma, kamu, ticari veya kar amacı gütmeyen sektörlerde herhangi bir finansman kuruluşundan özel bir hibe almadı.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Ivmeölçer sensörü verileriKaggle (Kamu malı)Veri setine dahil edilen çoklu modal giriş sinyalleri (hareket desenleri, zamanlama özellikleri)
GPU iş istasyonuNVIDIA Corporation, ABDEğitim donanımı: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
El - eklem pozisyon verileriKaggle (Kamu malı)Jest tanıma için somatosensorik girdi
Matplotlib (v3.7)https://matplotlib.orgFigürler ve performans metrikleri için görselleştirme kütüphanesi
NumPy (v1.23)https://numpy.orgDizi işlemleri için sayısal hesaplama kütüphanesi
Kamusal müzik jest ve ritim veri setiKaggle (Kamu malı)Vücut tepkilerini tempo ve ritme kaydeden 2.730 örnekten oluşan anonimleştirilmiş veri seti; eğitim/doğrulama/test için kullanıldı (15/70/15)
Python 3.10.1Python Yazılım Vakfı, https://www.python.orgModel uygulaması ve analizi için programlama ortamı
PyTorch (v1.13)https://pytorch.orgResLSTM ve TRPO modüllerinin uygulanması için derin öğrenme çerçevesi
SCIKIT - Öğren (v1.2)https://scikit-learn.orgÖn işlem ve değerlendirme için makine öğrenimi araçları
SciPy (v1.10)https://scipy.orgBilimsel hesaplama kütüphanesi (Wiener filtreleme için kullanılır)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wei, J., Karuppiah, M., Prathik, A. College music education and teaching based on AI techniques. Comput Electr Eng. 100, 107851(2022).
  2. Yu, X., et al. Developments and applications of artificial intelligence in music education. Technol. 11 (2), 42(2023).
  3. Fang, J. Artificial intelligence robots based on machine learning and visual algorithms for interactive experience assistance in music classrooms. Entertain Comput. 52, 100779(2025).
  4. Zhang, S., Lu, X., Liu, X. Study on the influence of AI composition software on students' creative ability in music education. J Educ Technol Innov. 6 (2), (2024).
  5. Feng, Y. Design and research of music teaching system based on virtual reality system in the context of education informatization. PLoS One. 18 (10), e0285331(2023).
  6. Zhou, X. Entertainment performance robots application in music network classrooms based on speech sensor recognition and artificial intelligence. Entertain Comput. 52, 100782(2025).
  7. Yu, H., Zou, Z. The music education and teaching innovation using blockchain technology supported by artificial intelligence. Int J Grid Util Comput. 14 (2-3), 278-296 (2023).
  8. Hong Yun, Z., et al. A decision-support system for assessing the function of machine learning and artificial intelligence in music education for network games. Soft Comput. 26 (20), 11063-11075 (2022).
  9. Dey, M. T., Patra, S., Mitra, S. Enhancing music education with innovative tools and techniques: The role of artificial intelligence in musical works. Enhancing Music Education With Innovative Tools and Techniques. , IGI Global. 19-50 (2025).
  10. Lin, X., et al. The application of music therapy in the rehabilitation education of children with cerebral palsy. J Investig Med. 73 (1 Suppl. 1), (2025).
  11. Wang, X. Design of vocal music teaching system platform for music majors based on artificial intelligence. Wirel Commun Mob Comput. 2022 (1), 5503834(2022).
  12. Chen, Y., Sun, Y. The usage of artificial intelligence technology in music education system under deep learning. IEEE Access. , 130546-130556 (2024).
  13. Yang, Y., et al. Multi-source and heterogeneous online music education mechanism: An artificial intelligence-driven approach. Fractals. 31 (6), 2340154(2023).
  14. Sang, J. The intersection of technology and art: A study on AI-driven CTCL music teaching paradigm. , (2024).
  15. Yin, Y. Research on technological innovation and application of music education transformation under the background of technology. J Educ Theory Pract. 2 (2), (2025).
  16. Yuan, Y. Influencing factors and modeling methods of vocal music teaching quality supported by artificial intelligence technology. Int J Web Based Learn Teach Technol. 19 (1), 1-16 (2024).
  17. Sanganeria, M., Gala, R. Tuning music education: AI-powered personalization in learning music. arXiv Prepr. , (2024).
  18. Qiusi, M. Research on the improvement method of music education level under the background of AI technology. Mob Inf Syst. 2022 (1), 7616619(2022).
  19. Xu, Z. Construction of an intelligent recognition and learning education platform of national music genre under deep learning. Front Psychol. 13, 843427(2022).
  20. Wang, X., et al. College music teaching and ideological and political education integration mode based on deep learning. J Intell Syst. 31 (1), 466-476 (2022).
  21. Tang, H., Zhang, Y., Zhang, Q. The use of deep learning-based intelligent music signal identification and generation technology in national music teaching. Front Psychol. 13, 762402(2022).
  22. Artificial intelligence in music education: Exploring applications, benefits, and challenges. Yue, Y., Jing, Y. Proc Int Conf Educ Inf Technol, , 141-146 (2025).
  23. Bai, A., Yeh, C. K., Hsieh, C. J., Taly, A. An efficient rehearsal scheme for catastrophic forgetting mitigation during multi-stage fine-tuning. arXiv Prepr. , (2024).
  24. Ravi, N., Goel, A., Davis, J. C., Thiruvathukal, G. K. Improving the reproducibility of deep learning software: An initial investigation through a case study analysis. arXiv Prepr. , (2025).
  25. Chen, J., Jin, F., Jiao, Y., Zhan, Y., Qin, X. Improving dynamic gesture recognition with attention-enhanced LSTM and grounding SAM. Electronics. 14 (9), 1793(2025).
  26. Ouyang, F., Dai, X., Chen, S. Applying multimodal learning analytics to examine the immediate and delayed effects of instructor scaffoldings on small groups' collaborative programming. Int J STEM Educ. 9 (1), 45(2022).
  27. Aoyama Lawrence,, Weinberger, L., A, Being in-sync: A multimodal framework on the emotional and cognitive synchronization of collaborative learners. Front Educ. , (2022).
  28. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O. Proximal policy optimization algorithms. arXiv Prepr. , (2017).
  29. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. PMLR. Haarnoja, T., Zhou, A., Abbeel, P., Levine, S. Proc Int Conf Mach Learn, , (2018).
  30. Huang, S., Dossa, R. F. J., Raffin, A., Kanervisto, A., Wang, W. The 37 implementation details of proximal policy optimization. ICLR Blog Track. , https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/ (2023).
  31. Sclater, N., Bailey, P. Code of practice for learning analytics. , https://www.jisc.ac.uk/guides/code-of-practice-for-learning-analytics (2022).
  32. Rabiner, L. R. A tutorial on hidden Markov models and selected applications in speech recognition. Proc IEEE. 77 (2), 257-286 (2002).
  33. Tao, S., et al. MusicalPT: Augmenting physical therapy by integrating adaptive musical guidance to enhance exercise quality and patient experience. Proc ACM Interact Mob Wearable Ubiquitous Technol. 9 (3), 1-32 (2025).
  34. Proverbio, A. M., Camporeale, E., Brusa, A. Multimodal recognition of emotions in music and facial expressions. Front Hum Neurosci. 14, 32(2025).
  35. Kang, S. Adaptations, code-switching, and novelty with cultural integrity: Musicians performing and learning musical instruments in different musical traditions. J Res Music Educ. , (2025).
  36. Han, Y., Han, L., Zeng, C., Zhao, W. The innovation path of VR technology integration into music classroom teaching in colleges and universities. Sci Rep. 15 (1), 12200(2025).
  37. Huang, A. Y., Lu, O. H., Yang, S. J. Effects of artificial intelligence-enabled personalized recommendations on learners' learning engagement, motivation, and outcomes in a flipped classroom. Comput Educ. 194, 104684(2023).
  38. Tao, S., et al. MusicalPT: Augmenting physical therapy by integrating adaptive musical guidance to enhance exercise quality and patient experience. Proc ACM Interact Mob Wearable Ubiquitous Technol. 9 (3), 1-32 (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Intelligent Music EducationSomatosensory EvaluationGesture RecognitionRhythm EvaluationTRPO Reinforcement LearningResLSTM ModelAdaptive DifficultyIncremental LearningFeature ExtractionPersonalized Learning

Related Articles