Akıllı Müzik Eğitim Platformlarında Kişiselleştirilmiş Somatosensory ve Ritim Değerlendirmesi için İnteraktif Yapay Zeka Araçlarının Geliştirilmesi

Summary

Bu çalışma, adaptif zorluk için kalıntı LSTM tanıma ile TRPO'yu birleştiren tekrarlanabilir bir somatosensorik müzik öğrenme protokolü sunmaktadır. Ön işleme, FFT özellikleri, eğitim, kişiselleştirme ve değerlendirmeyi kapsar. Kamuya açık bir veri setinde, hibrit model üç denek-ayrık katlanma üzerinden Acc 95.0 / P 93.5 / R 94.6 / F1 94.2'ye ulaştı.

Abstract

Geleneksel müzik eğitimi genellikle etkileşim ve gerçek zamanlı uyum sağlama yeteneğinden yoksundur, özellikle uzak ortamlarda. Bu çalışma, müzik eğitim platformları için kişiselleştirilmiş bir somatosensory çerçeve olan TRPO-ResLSTM'yi tanıtmaktadır. Sistem hareket, ritim ve tepki süresini yakalıyor, Wiener filtreleme ve Z-skor normalizasyonu ile verileri ön işliyor ve özellikleri FFT ile çıkarıyor. Jest tanıma DeepRes-LSTM ile yapılırken, adaptif zorluk ise TRPO pekiştirme öğrenme ile düzenlenir. Artırıcı öğrenme, seanslar arasında kişiselleştirmeyi sağlar. Kamuya açık ve anonimleştirilmiş bir jest-ritm veri seti üzerinde yapılan deneyler (n = 2.730 örnek; eğitim/doğrulama/test bölünmesi 15.07.15) çok modlu temellere göre üstün performans göstererek %95 doğruluk, %93,5 hassasiyet, %94,6 hatırlama ve %94,2 F1 puanı elde etmiştir. Ablasyon çalışmaları, TRPO ve Res-LSTM'nin bireysel katkılarını doğrulamaktadır. Bu protokolün yeniliği, uyarlanabilir jest tanıma için pekiştirme öğrenmesini kalıntı zaman modellemeyle entegre etmekte yatıyor; böylece kararlı ama kişiselleştirilmiş öğrenme mümkün oluyor. Bu çalışma, uyarlanabilir, jestlere duyarlı araçların zeki müzik eğitiminde katılımı, kişiselleştirmeyi ve ilerleyici beceri gelişimini artırabileceğini göstermektedir. Sınırlamalar arasında, tek bir veri setine güvenmek ve gelecekteki çalışmalar için yönleri belirleyen gerçek öğrenen doğrulama ihtiyacı yer alır.

Introduction

Yapay zeka (YZE) ve somatosensori teknolojideki son gelişmeler, öğrencilerin beden hareketleriyle müzikle etkileşime girmesini sağlayarak müzik eğitimini yeniden şekillendiriyor; burada jestler nota, ritim veya sanal enstrümanlar için kontrollere^{çevriliyor 1,2}. Bu etkileşimli özellikler, geleneksel sınıf eğitimine kıyasla katılım, aklımsızlık ve yaratıcılığı artırır ve somatosensori araçlar sayesinde öğrenciler vücut vurma asları, jestler ve topluluk simülasyonları aracılığıyla ritim, koordinasyon ve ifade pratiği yapmalarını^{sağlar 3}. Yapay zeka destekl....

Protocol

Bu çalışma, anonimleştirilmiş, kamuya açık verileri analiz etti ve insan denek veya hayvanları içermedi. Bu nedenle, ek etik onay gerekmiyordu.

1. Genel Bakış

Bu protokol, derin kalıntı LSTM tanıma ve uyarlanabilir zorluk kontrolü için Güven Bölgesi Politikası Optimizasyonu (TRPO) temelli somatosensori müzik eğitimi için tekrarlanabilir bir çerçeve tanımlar. Veri seti hazırlama, ön işleme, frekans-alan özellik çıkarma, model mimarisi, eğitim, kişiselleştirme ve değerlendirmeyi içerir. Şekil 1 , uçtan uca iş^{akışını 14<....}

Results

Deneysel Kurulum
TRPO-ResLSTM çerçevesi, GPU hızlandırma ile Python 3.10.1'de uygulanmıştır. Hesaplama ortamı, hareket algılayıcı donanım ve Python kütüphaneleri Materyaller Tablosu'nda listelenmiştir. Veriler, Tablo 1'de (15/70/15) gösterildiği gibi denek-ayrık eğitim/doğrulama/test bölümlerine ayrılmıştır. Temel hiperparametreler Tablo 2'de özetlenmiştir. Üç model değerlendirildi: temel TRPO, temel ResLSTM ve entegre TRPO-ResLSTM. B.......

Discussion

Bu çalışma, jest tabanlı müzik eğitimi için güçlendirme öğrenme ve kalıcı zaman modellemesini entegre eden TRPO-ResLSTM adlı hibrit bir protokol önermektedir. Güven Bölgesi Politika Optimizasyonu'nun (TRPO) kararlılığını kalıntı LSTM'lerin sıra-öğrenme kapasitesiyle birleştirerek, çerçeve gerçek zamanlı jest tanıma ile uyarlanabilir zorluk kontrolü sunarak, kişiselleştirilmiş geri bildirim ve ilerleyici beceri edinimi^{mümkün kalıyor 25}. Tekrarlanabilirliği sağlamak.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Ivmeölçer sensörü verileri	Kaggle (Kamu malı)		Veri setine dahil edilen çoklu modal giriş sinyalleri (hareket desenleri, zamanlama özellikleri)
GPU iş istasyonu	NVIDIA Corporation, ABD		Eğitim donanımı: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
El - eklem pozisyon verileri	Kaggle (Kamu malı)		Jest tanıma için somatosensorik girdi
Matplotlib (v3.7)	https://matplotlib.org		Figürler ve performans metrikleri için görselleştirme kütüphanesi
NumPy (v1.23)	https://numpy.org		Dizi işlemleri için sayısal hesaplama kütüphanesi
Kamusal müzik jest ve ritim veri seti	Kaggle (Kamu malı)		Vücut tepkilerini tempo ve ritme kaydeden 2.730 örnekten oluşan anonimleştirilmiş veri seti; eğitim/doğrulama/test için kullanıldı (15/70/15)
Python 3.10.1	Python Yazılım Vakfı, https://www.python.org		Model uygulaması ve analizi için programlama ortamı
PyTorch (v1.13)	https://pytorch.org		ResLSTM ve TRPO modüllerinin uygulanması için derin öğrenme çerçevesi
SCIKIT - Öğren (v1.2)	https://scikit-learn.org		Ön işlem ve değerlendirme için makine öğrenimi araçları
SciPy (v1.10)	https://scipy.org		Bilimsel hesaplama kütüphanesi (Wiener filtreleme için kullanılır)