Sviluppo di strumenti interattivi di intelligenza artificiale per la valutazione somatosensoriale e ritmica personalizzata su piattaforme intelligenti di educazione musicale

Summary

Questo studio presenta un protocollo somatosensoriale riproducibile per l'apprendimento musicale che combina il riconoscimento residuo di LSTM con il TRPO per la difficoltà adattativa. Comprende preprocessing, funzionalità FFT, formazione, personalizzazione e valutazione. Su un dataset pubblico, il modello ibrido ha raggiunto Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 su tre pieghe disgiunte soggetto.

Abstract

L'educazione musicale tradizionale spesso manca di interattività e adattabilità in tempo reale, specialmente in contesti remoti. Questo studio introduce un quadro somatosensoriale personalizzato, TRPO-ResLSTM, per piattaforme di educazione musicale. Il sistema cattura movimento, ritmo e tempo di risposta, preelabora i dati con filtraggio di Wiener e normalizzazione Z-score, ed estrae caratteristiche tramite FFT. Il riconoscimento dei gesti è eseguito da DeepRes-LSTM, mentre la difficoltà adattiva è regolata dall'apprendimento per rinforzo TRPO. L'apprendimento incrementale garantisce personalizzazione tra le sessioni. Gli esperimenti su un dataset di ritmo gestuale anonimo e pubblicamente disponibile (n = 2.730 campioni; suddivisione addestramento/validazione/test 70/15/15) mostrano prestazioni superiori rispetto a basi multimodali, raggiungendo il 95% di accuratezza, il 93,5% di precisione, il 94,6% di richiamo e il 94,2% di punteggio F1. Gli studi di ablazione confermano i contributi individuali di TRPO e Res-LSTM. L'innovazione di questo protocollo risiede nell'integrazione dell'apprendimento per rinforzo con la modellazione temporale residua per il riconoscimento adattivo dei gesti, consentendo un apprendimento stabile ma personalizzato. Questo lavoro dimostra che strumenti adattivi e reattivi ai gesti possono aumentare il coinvolgimento, la personalizzazione e lo sviluppo progressivo delle competenze nell'educazione musicale intelligente. Le limitazioni includono la dipendenza da un singolo dataset e la necessità di una validazione reale dell'apprendente, che definisce le direzioni per i lavori futuri.

Introduction

I recenti progressi nell'intelligenza artificiale (IA) e nella tecnologia somatosensoriale stanno rimodellando l'educazione musicale permettendo agli studenti di interagire con la musica attraverso i movimenti del corpo, dove i gesti vengono tradotti in note, ritmi o controlli per strumenti^{virtuali 1,2}. Queste funzionalità interattive aumentano il coinvolgimento, la fidelizzazione e la creatività rispetto all'insegnamento tradizionale in classe, e gli strumenti somatosensoriali permettono agli studenti di esercitarsi su ritmo, coordinazione ed espressione attraverso percussioni corporee, gesti direttivi e simulazioni d'ensemble³. Combinati con percorsi adattivi guidati dall'IA, gli studenti ricevono contenuti personalizzati, feedback in tempo reale e uno sviluppo progressivo di competenze che migliorano motivazione e risultati ^4,5.

Nonostante questi sviluppi, le piattaforme esistenti spesso si basano su modalità limitate, mancano di continuità nella personalizzazione o non riescono ad adattarsi a diversi stili di apprendimento culturali e^{fisici 6,7}. Gli approcci tradizionali non sono adeguati nel fornire aggiustamenti in tempo reale basati sui dati che riflettano le capacità in evoluzione dello studente. Ad esempio, la motion capture e i dispositivi indossabili possono generare dataset ricchi ma sono spesso sottoutilizzati nelle istruzioni^{adattive 8,9}. Inoltre, sebbene le librerie musicali e i sistemi di gestione dell'apprendimento abbiano ampliato l'accessibilità, raramente offrono una personalizzazione dinamica tra le sessioni, cosa fondamentale in contesti di apprendimento multiculturali ed^{eterogenei 10}.

Per colmare queste lacune, questo studio propone un nuovo framework TRPO-ResLSTM (Trust Region Optimized Deep Residual Long Short-Term Memory, Record Optimized Trust Region Exchange) per le piattaforme di educazione^{musicale 11}. Il sistema integra metodi avanzati di preprocessing, tra cui il filtraggio di Wiener e la normalizzazione Z-score, con la Fast Fourier Transform per l'estrazione delle caratteristiche nel dominio della frequenza. Res-LSTM fornisce un riconoscimento robusto di gesti e sequenze temporali, mentre il reinforcement learning TRPO aggiusta dinamicamente la difficoltà del compito in risposta alle prestazioni dello studente. L'apprendimento incrementale rafforza ulteriormente la personalizzazione aggiornando i modelli tra le sessioni.

Sono stati condotti esperimenti sul dataset di gesti musicali e ritmi di Kaggle, composto da 2.730 campioni, suddivisi in sottoinsiemi di addestramento, validazione e test. I risultati mostrano che il metodo proposto supera costantemente le architetture multimodali di base, raggiungendo accuratezza, precisione, richiamo e valori F1 nell'intervallo del 93%-95%. Le analisi di ablazione confermano l'efficacia sia dei componenti TRPO che di quelli di Res-LSTM. Migliorando la precisione del ritmo, il coinvolgimento degli utenti e la stabilità delle politiche in tempo reale, il framework offre una soluzione pratica per migliorare l'efficienza dell'educazione musicale in ambienti di apprendimento a distanza e a risorse limitate. Lavori correlati sull'educazione musicale guidata dall'IA hanno evidenziato il potenziale dell'impegno somatosensoriale, della personalizzazione dell'apprendimento adattivo e persino delle applicazioni nella musicoterapia e nella composizione^{automatizzata 12,13}. Questo studio si basa su questi risultati offrendo un protocollo riproducibile che combina l'apprendimento per rinforzo con la modellazione temporale profonda per far progredire il campo dell'educazione musicale intelligente.

Protocol

Questo studio ha analizzato dati anonimizzati e pubblicamente disponibili e non ha coinvolto soggetti umani o animali. Pertanto, non era richiesta un'ulteriore approvazione etica.

1. Panoramica

Questo protocollo descrive un quadro riproducibile per l'educazione musicale somatosensoriale basato sul riconoscimento profondo residuo LSTM e sull'Ottimizzazione delle Politiche della Regione di Fiducia (TRPO) per il controllo adattivo della difficoltà. Include la preparazione del dataset, la pre-elaborazione, l'estrazione delle caratteristiche nel dominio della frequenza, l'architettura del modello, l'addestramento, la personalizzazione e la valutazione. La Figura 1 illustra il flusso di lavoro^{end-to-end 14}.

2. Dataset

È stato utilizzato un dataset di gesti musicali e ritmi anonimi e pubblicamente disponibile che registra le risposte corporee a segnali uditivi come tempo e intensità del battito. Il dataset fornisce dati multimodali di serie temporali adatti allo studio dell'esecuzione dei ritmi e dell'apprendimento dei comportamenti. Ogni disco contiene schemi di movimento, misure di accuratezza del tempo e del ritmo, feedback di risposta e tempi di completamento del compito. Poiché il dataset era completamente anonimo e accessibile al pubblico, non era necessaria un'ulteriore approvazione da parte del comitato di revisione^{istituzionale 15}. Per gli esperimenti, i dati sono stati suddivisi per soggetto in sottoinsiemi di addestramento, validazione e test per evitare la perdita di identità; statistiche dettagliate e rapporti di divisione sono riportati nella Tabella 1. Furono utilizzate tre pieghe soggetto-disgiunte, semi casuali fissi su tutte le esecuzioni e pre-elaborazione identica per tutte le varianti del modello per garantire^{la comparabilità 16}.

Il dataset ha prodotto una distribuzione equilibrata dei gesti ritmici, con partizioni di addestramento, validazione e test che mostrano variazioni comparabili nelle caratteristiche di tempistica e movimento. Le statistiche descrittive (mediana ± IQR) per la deviazione del tempo e l'ampiezza del movimento erano comparabili tra le suddivisioni, indicando un minimo spostamento delle covarie.

3. Preprocessing dei dati

1. Normalizzazione Z-score
   I dati grezzi sono stati standardizzati utilizzando la normalizzazione Z-score. Per il canale c e il tempo t:
   (1)
   Abbiamo calcolato μ_c e σ_c solo sul set di addestramento e li abbiamo applicati a set di validazione e test per evitare la fuga¹⁷.
   Dopo la normalizzazione, tutti i canali hanno mostrato media e varianza unitaria quasi zero, garantendo la comparabilità tra i partecipanti. La diagnostica a batch ha confermato che non c'è deriva tra le pieghe.
2. Filtraggio di Wiener
   Per sopprimere il rumore, abbiamo applicato un filtro di Wiener nel dominio della frequenza:
   (2)
   dove Y(k) è lo spettro osservato, \hat{X}(k) è la stima denodata, e _{S xx}(k), S_nn(k) indicano densità spettrali di potenza segnale/rumore. Abbiamo utilizzato una lunghezza di finestra e una sovrapposizione coerenti con la FFT a valle per mantenere la coerenza di fase¹⁸.
   Il filtraggio Wiener riduceva il rumore ad alta frequenza del ~30% mantenendo le componenti ritmiche dominanti. Il rapporto segnale/rumore migliorò senza attenuare i picchi bloccati al ritmo.
3. Estrazione delle caratteristiche (FFT)
   Funzionalità FFT a breve durata venivano utilizzate su finestre sovrapposte:
   (3)
   I descrittori estratti includevano frequenza dominante, flusso spettrale e rapporti banda-energia. La prominenza di picco bloccata a tempo e la variabilità tra picchi sono state calcolate per catturare la stabilità del^{micro-timing 19}.
   La FFT ha rivelato chiari picchi spettrali allineati con il tempo musicale (2-3 Hz), confermando la struttura ritmica nel dataset. I rapporti picco/rumore hanno superato in media 6-8 dB nelle prove eseguite correttamente.

4. Modello: TRPO-ResLSTM

1. LSTM residuo (ResLSTM)
   I modelli temporali sono stati modellati utilizzando LSTM impilati con scorciatoie residue:
   (4)
   dove P è l'identità o una proiezione che corrisponde alle dimensioni. Le connessioni residue mitigano gradienti di nullità e permettono stack temporali più profondi preservando la stabilità^{di addestramento 20}.
   Le connessioni residue migliorarono il flusso del gradiente e la precisione della classificazione rispetto al semplice LSTM. Le ablazioni hanno mostrato una precisione di +0,7-1,1 pp rispetto agli stack non residui con conteggi di parametri comparabili.
2. Ottimizzazione delle Politiche della Regione di Fiducia (TRPO)
   TRPO controllava dinamicamente la difficoltà dei compiti. La ricompensa personalizzata era:
   (5)
   con punteggio di successo s_t, deviazione del tempoΔtempo t, disomiglianza del gesto d_t (ad esempio, distanza DTW o perdita di classificazione), e indicatore di interruttore u_t (penalizzando i frequenti cambiamenti di difficoltà). Abbiamo ottimizzato un obiettivo di trust-region con un vincolo KL:
   (6)
   1. Configurazione e notazione dell'apprendimento per rinforzo
      La difficoltà adattiva è stata formulata come un MDP a orizzonte finito in cui lo stato s_t aggrega caratteristiche somatosensoriali a finestre (canali accelerometri, posizioni delle articolazioni della mano, descrittori del ritmo dopo la normalizzazione, filtraggio di Wiener e FFT), e l'azione _{a t} è un livello di difficoltà discreto che controlla la tolleranza al tempo e la severità dei gesti. La ricompensa r_t bilancia il successo del compito, la deviazione temporale e l'ingaggio, con una piccola penalità in caso di difficoltà eccessiva per scoraggiare l'oscillazione. Gli aggiornamenti delle politiche seguono TRPO con un vincolo di divergenza KL per passi conservativi. In Equalizzazioni. (5-6), g(y,x) indica il gradiente di perdita specifico per compito, W(ζ) è un regolarizzatore L-2 sui parametri ζ, π_θ è la politica stocastica con parametri θ, D_KL definisce la regione di fiducia, γ è il fattore di sconto e δ è il raggio della regione di fiducia. Gli iperparametri α,β,γ,δ sono stati selezionati tramite la ricerca a griglia sulla divisione di validazione (intervalli nella Tabella 2) per bilanciare stabilità e reattività; l'arresto precoce si attivava quando la media KL raggiungeva 0,9²¹.
   2. Motivazione contro alternative
      Gli aggiornamenti on-policy vincolati da KL di TRPO erano preferiti per piccoli lotti a livello di sessione e comportamenti degli apprendenti non stazionari; PPO/SAC rimangono promettenti e saranno valutati nel lavoro futuro²².
      TRPO ha raggiunto un apprendimento stabile e un adattamento della difficoltà più fluido rispetto ai controller baseline, con convergenza costante. Le curve di apprendimento hanno mostrato un miglioramento monotono e una stabilizzazione KL più precoce per TRPO-ResLSTM rispetto alle basi a singolo componente.
3. Personalizzazione e aggiornamenti delle sessioni
   Aggiornamenti incrementali hanno perfezionato sia i modelli ResLSTM che TRPO dopo ogni sessione utente con bassi tassi di apprendimento e buffer di prova. Abbiamo utilizzato un piccolo buffer di prova di prove recenti per apprendente per evitare drift, e aggiornamenti limitati per sessione a un budget fisso per preservare la stabilità. L'efficacia della personalizzazione è stata misurata come il guadagno relativo in F1 tra la prima e l'ultima sessione di uno studente all'interno di un orizzonte^{fisso 23}.
   La personalizzazione sessione per sessione ha aumentato la precisione specifica dell'utente del 2%-3% senza dimenticare in modo catastrofico. I progressi sono stati maggiori per gli studenti con accuratezza di base di fascia media, suggerendo un margine per l'impalcatura adattiva.
4. Algoritmo e implementazione
   Il pseudo-codice completo ("Algoritmo 1: TRPO-ResLSTM") e un'implementazione di riferimento per Python 3.10.1 sono forniti come. Tutte le figure e le tabelle includono definizioni di misurazione, barre di errore e dimensioni del campione. Riportiamo media ± SD su tre pieghe disgiunte tra soggetti e valutiamo le differenze inter-modello con test ANOVA o Friedman a misure ripetute, secondo il caso, con confronti post-hoc aggiustati per molteplicità (α = 0,05). Per garantire la riproducibilità, elenchiamo le versioni dei pacchetti e le specifiche GPU/CPU nella Tabella dei Materiali e includiamo un README con configurazione ambiente e^{seed 24}.
   Il protocollo riproduceva costantemente miglioramenti rispetto alle basi multimodali, convalidandone la riproducibilità. Ripetizioni indipendenti tra semi hanno prodotto una variazione di accuratezza di <0,5 pp per il modello integrato.

Results

Configurazione sperimentale
Il framework TRPO-ResLSTM è stato implementato in Python 3.10.1 con accelerazione GPU. L'ambiente informatico, l'hardware di rilevamento del movimento e le librerie Python sono elencati nella Tabella dei Materiali. I dati sono stati suddivisi in partizioni disgiunti di addestramento/validazione/test come mostrato nella Tabella 1 (15/70/15). Gli iperparametri chiave sono riassunti nella Tabella 2. Sono stati...

Discussion

Questo studio propone un protocollo ibrido, TRPO-ResLSTM, che integra il reinforcement learning e la modellazione temporale residua per l'educazione musicale basata sui gesti. Combinando la stabilità della Trust Region Policy Optimization (TRPO) con la capacità di apprendimento delle sequenze degli LSTM residui, il framework offre riconoscimento dei gesti in tempo reale insieme a un controllo adattivo della difficoltà, consentendo feedback personalizzato e acquisizione progressiva

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dati del sensore dell'accelerometro	Kaggle (Dominio pubblico)		Segnali di ingresso multimodali (pattern di movimento, caratteristiche temporali) inclusi nel dataset
Stazione di lavoro GPU	NVIDIA Corporation, USA		Hardware di addestramento: NVIDIA RTX 3080 (10 GB), 32 GB di RAM, Ubuntu 20.04
Dati sulla posizione della mano - articolazione	Kaggle (Dominio pubblico)		Input somatosensoriale per il riconoscimento dei gesti
Matplotlib (v3.7)	https://matplotlib.org		Libreria di visualizzazione per tracciare cifre e metriche di performance
NumPy (v1.23)	https://numpy.org		Libreria di calcolo numerico per operazioni su array
Dataset di gesti musicali pubblici e ritmi	Kaggle (Dominio pubblico)		Dataset anonimizzato di 2.730 campioni che registrano le risposte corporee al tempo e al battito; Utilizzato per addestramento/validazione/test (15/70/15)
Python 3.10.1	Python Software Foundation, https://www.python.org		Ambiente di programmazione per l'implementazione e l'analisi dei modelli
PyTorch (v1.13)	https://pytorch.org		Framework di deep learning per l'implementazione dei moduli ResLSTM e TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utility di machine learning per preprocessing e valutazione
SciPy (v1.10)	https://scipy.org		Libreria di calcolo scientifico (usata per il filtraggio di Wiener)