Sviluppo di strumenti interattivi di intelligenza artificiale per la valutazione somatosensoriale e ritmica personalizzata su piattaforme intelligenti di educazione musicale

Summary

Questo studio presenta un protocollo somatosensoriale riproducibile per l'apprendimento musicale che combina il riconoscimento residuo di LSTM con il TRPO per la difficoltà adattativa. Comprende preprocessing, funzionalità FFT, formazione, personalizzazione e valutazione. Su un dataset pubblico, il modello ibrido ha raggiunto Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 su tre pieghe disgiunte soggetto.

Abstract

L'educazione musicale tradizionale spesso manca di interattività e adattabilità in tempo reale, specialmente in contesti remoti. Questo studio introduce un quadro somatosensoriale personalizzato, TRPO-ResLSTM, per piattaforme di educazione musicale. Il sistema cattura movimento, ritmo e tempo di risposta, preelabora i dati con filtraggio di Wiener e normalizzazione Z-score, ed estrae caratteristiche tramite FFT. Il riconoscimento dei gesti è eseguito da DeepRes-LSTM, mentre la difficoltà adattiva è regolata dall'apprendimento per rinforzo TRPO. L'apprendimento incrementale garantisce personalizzazione tra le sessioni. Gli esperimenti su un dataset di ritmo gestuale anonimo e pubblicamente disponibile (n = 2.730 campioni; suddivisione addestramento/validazione/test 70/15/15) mostrano prestazioni superiori rispetto a basi multimodali, raggiungendo il 95% di accuratezza, il 93,5% di precisione, il 94,6% di richiamo e il 94,2% di punteggio F1. Gli studi di ablazione confermano i contributi individuali di TRPO e Res-LSTM. L'innovazione di questo protocollo risiede nell'integrazione dell'apprendimento per rinforzo con la modellazione temporale residua per il riconoscimento adattivo dei gesti, consentendo un apprendimento stabile ma personalizzato. Questo lavoro dimostra che strumenti adattivi e reattivi ai gesti possono aumentare il coinvolgimento, la personalizzazione e lo sviluppo progressivo delle competenze nell'educazione musicale intelligente. Le limitazioni includono la dipendenza da un singolo dataset e la necessità di una validazione reale dell'apprendente, che definisce le direzioni per i lavori futuri.

Introduction

I recenti progressi nell'intelligenza artificiale (IA) e nella tecnologia somatosensoriale stanno rimodellando l'educazione musicale permettendo agli studenti di interagire con la musica attraverso i movimenti del corpo, dove i gesti vengono tradotti in note, ritmi o controlli per strumenti^{virtuali 1,2}. Queste funzionalità interattive aumentano il coinvolgimento, la fidelizzazione e la creatività rispetto all'insegnamento tradizionale in classe, e gli strumenti somatosensoriali permettono agli studenti di esercitarsi su ritmo, coordinazione ed espressione attraverso percussion....

Protocol

Questo studio ha analizzato dati anonimizzati e pubblicamente disponibili e non ha coinvolto soggetti umani o animali. Pertanto, non era richiesta un'ulteriore approvazione etica.

1. Panoramica

Questo protocollo descrive un quadro riproducibile per l'educazione musicale somatosensoriale basato sul riconoscimento profondo residuo LSTM e sull'Ottimizzazione delle Politiche della Regione di Fiducia (TRPO) per il controllo adattivo della difficoltà. Include la preparazione del dataset, la pre-elaborazione, l'estrazione delle caratteristiche nel dominio della frequenza,....

Results

Configurazione sperimentale
Il framework TRPO-ResLSTM è stato implementato in Python 3.10.1 con accelerazione GPU. L'ambiente informatico, l'hardware di rilevamento del movimento e le librerie Python sono elencati nella Tabella dei Materiali. I dati sono stati suddivisi in partizioni disgiunti di addestramento/validazione/test come mostrato nella Tabella 1 (15/70/15). Gli iperparametri chiave sono riassunti nella Tabella 2. Sono stati.......

Discussion

Questo studio propone un protocollo ibrido, TRPO-ResLSTM, che integra il reinforcement learning e la modellazione temporale residua per l'educazione musicale basata sui gesti. Combinando la stabilità della Trust Region Policy Optimization (TRPO) con la capacità di apprendimento delle sequenze degli LSTM residui, il framework offre riconoscimento dei gesti in tempo reale insieme a un controllo adattivo della difficoltà, consentendo feedback personalizzato e acquisizione progressiva

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dati del sensore dell'accelerometro	Kaggle (Dominio pubblico)		Segnali di ingresso multimodali (pattern di movimento, caratteristiche temporali) inclusi nel dataset
Stazione di lavoro GPU	NVIDIA Corporation, USA		Hardware di addestramento: NVIDIA RTX 3080 (10 GB), 32 GB di RAM, Ubuntu 20.04
Dati sulla posizione della mano - articolazione	Kaggle (Dominio pubblico)		Input somatosensoriale per il riconoscimento dei gesti
Matplotlib (v3.7)	https://matplotlib.org		Libreria di visualizzazione per tracciare cifre e metriche di performance
NumPy (v1.23)	https://numpy.org		Libreria di calcolo numerico per operazioni su array
Dataset di gesti musicali pubblici e ritmi	Kaggle (Dominio pubblico)		Dataset anonimizzato di 2.730 campioni che registrano le risposte corporee al tempo e al battito; Utilizzato per addestramento/validazione/test (15/70/15)
Python 3.10.1	Python Software Foundation, https://www.python.org		Ambiente di programmazione per l'implementazione e l'analisi dei modelli
PyTorch (v1.13)	https://pytorch.org		Framework di deep learning per l'implementazione dei moduli ResLSTM e TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utility di machine learning per preprocessing e valutazione
SciPy (v1.10)	https://scipy.org		Libreria di calcolo scientifico (usata per il filtraggio di Wiener)