Desarrollo de herramientas interactivas de inteligencia artificial para la evaluación somatosensorial y de ritmo personalizada en plataformas inteligentes de educación musical

Summary

Este estudio presenta un protocolo reproducible de aprendizaje musical somatosensorial que combina el reconocimiento residual de LSTM con TRPO para la dificultad adaptativa. Cubre preprocesamiento, funciones FFT, formación, personalización y evaluación. En un conjunto de datos público, el modelo híbrido alcanzó Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 a través de tres pliegues disjuntos sujeto.

Abstract

La educación musical tradicional a menudo carece de interactividad y adaptabilidad en tiempo real, especialmente en entornos remotos. Este estudio introduce un marco somatosensorial personalizado, TRPO-ResLSTM, para plataformas de educación musical. El sistema captura movimiento, ritmo y tiempo de respuesta, preprocesa datos con filtrado de Wiener y normalización Z-score, y extrae características mediante FFT. El reconocimiento de gestos lo realiza DeepRes-LSTM, mientras que la dificultad adaptativa está regulada por el aprendizaje por refuerzo TRPO. El aprendizaje incremental garantiza la personalización entre las sesiones. Los experimentos sobre un conjunto de datos de ritmo gestual anonimizado y de acceso público (n = 2.730 muestras; división de entrenamiento/validación/prueba 70/15/15) muestran un rendimiento superior sobre líneas base multimodales, logrando un 95% de precisión, 93,5% de precisión, 94,6% de recuerdo y 94,2% de puntuación F1. Los estudios de ablación confirman las contribuciones individuales de TRPO y Res-LSTM. La innovación de este protocolo radica en integrar el aprendizaje por refuerzo con modelado temporal residual para el reconocimiento adaptativo de gestos, permitiendo un aprendizaje estable pero personalizado. Este trabajo demuestra que las herramientas adaptativas y responsivas a gestos pueden mejorar la implicación, la personalización y el desarrollo progresivo de habilidades en la educación musical inteligente. Las limitaciones incluyen la dependencia de un único conjunto de datos y la necesidad de validación real del aprendizaje, que define las direcciones para trabajos futuros.

Introduction

Los avances recientes en inteligencia artificial (IA) y tecnología somatosensorial están transformando la educación musical al permitir que los alumnos interactúen con la música a través de movimientos corporales, donde los gestos se traducen en notas, ritmos o controles para instrumentos^{virtuales 1,2}. Estas funciones interactivas aumentan la implicación, la retención y la creatividad en comparación con la instrucción tradicional en aula, y las herramientas somatosensoriales permiten a los estudiantes practicar ritmo, coordinación y expresión mediante percusión corporal, gestos de dirección y simulaciones de conjunto³. Combinado con vías adaptativas impulsadas por IA, los estudiantes reciben contenido individualizado, retroalimentación en tiempo real y un desarrollo progresivo de habilidades que mejoran la motivación y los resultados ^4,5.

A pesar de estos avances, las plataformas existentes a menudo dependen de modalidades limitadas, carecen de continuidad de personalización o no logran adaptarse a estilos culturales y físicos diversos ^6,7. Los enfoques tradicionales también no logran ofrecer ajustes en tiempo real basados en datos que reflejen las capacidades cambiantes del alumno. Por ejemplo, la captura de movimiento y los dispositivos portátiles pueden generar conjuntos de datos completos, pero a menudo están infrautilizados en la instrucción^{adaptativa 8,9}. Además, aunque las bibliotecas musicales y los sistemas de gestión del aprendizaje han ampliado su accesibilidad, rara vez proporcionan personalización dinámica entre sesiones, lo cual es fundamental en contextos de aprendizaje multiculturales y^{heterogéneos 10}.

Para abordar estas carencias, este estudio propone un nuevo marco de Memoria Residual Profunda a Corto Plazo Optimizada por Región de Confianza (TRPO-ResLSTM) para plataformas de educación^{musical 11}. El sistema integra métodos avanzados de preprocesado, incluyendo filtrado de Wiener y normalización Z-score, con la Transformada Rápida de Fourier para la extracción de características en el dominio de la frecuencia. Res-LSTM proporciona un reconocimiento robusto de gestos y secuencias temporales, mientras que el aprendizaje por refuerzo TRPO ajusta dinámicamente la dificultad de la tarea en respuesta al rendimiento del aprendiz. El aprendizaje incremental fortalece aún más la personalización al actualizar los modelos entre sesiones.

Se realizaron experimentos con el conjunto de datos de gestos y ritmo musical de Kaggle, que comprende 2.730 muestras, divididos en subconjuntos de entrenamiento, validación y prueba. Los resultados muestran que el método propuesto supera consistentemente a las arquitecturas multimodales base, logrando valores de precisión, precisión, recuperación y F1 en el rango del 93%-95%. Los análisis de ablación confirman la eficacia tanto de los componentes TRPO como de Res-LSTM. Al mejorar la precisión del ritmo, la participación del usuario y la estabilidad de las políticas en tiempo real, el marco proporciona una solución práctica para mejorar la eficiencia de la educación musical en entornos de aprendizaje remoto y con recursos limitados. Trabajos relacionados sobre la educación musical impulsada por IA han puesto de manifiesto el potencial del compromiso somatosensorial, la personalización del aprendizaje adaptativo e incluso aplicaciones en musicoterapia y composición^{automatizada 12,13}. Este estudio se basa en estos hallazgos ofreciendo un protocolo reproducible que combina aprendizaje por refuerzo con modelado temporal profundo para avanzar en el campo de la educación musical inteligente.

Protocol

Este estudio analizó datos anonimizados y disponibles públicamente y no involucró a sujetos humanos ni animales. Por lo tanto, no se requería una aprobación ética adicional.

1. Visión general

Este protocolo describe un marco reproducible para la educación musical somatosensorial basado en el reconocimiento profundo residual de LSTM y la Optimización de Políticas de Región de Confianza (TRPO) para el control adaptativo de la dificultad. Incluye la preparación de conjuntos de datos, preprocesamiento, extracción de características en el dominio de la frecuencia, arquitectura del modelo, entrenamiento, personalización y evaluación. La Figura 1 ilustra el flujo de trabajo de extremo^{a extremo 14}.

2. Conjunto de datos

Se utilizó un conjunto de datos de gestos y ritmo musical anónimo y disponible públicamente que registra las respuestas del cuerpo a señales auditivas como el tempo y la intensidad del pulso. El conjunto de datos proporciona datos multimodales de series temporales adecuados para estudiar la ejecución de ritmos y comportamientos de aprendizaje. Cada registro contiene patrones de movimiento, medidas de precisión de sincronización y ritmo, retroalimentación de respuesta y tiempo de finalización de la tarea. Como el conjunto de datos estaba completamente anonimizado y accesible públicamente, no se requirió la aprobación adicional de la junta de revisión^{institucional 15}. Para los experimentos, los datos se particionaron por sujeto en subconjuntos de entrenamiento, validación y prueba para evitar la fuga de identidad; las estadísticas detalladas y los ratios de división se presentan en la Tabla 1. Se usaron tres pliegues disjuntos en el sujeto, semillas aleatorias fijas en todas las ejecuciones y preprocesamiento idéntico para todas las variantes del modelo para asegurar^{la comparabilidad 16}.

El conjunto de datos produjo una distribución equilibrada de gestos rítmicos, con particiones de entrenamiento, validación y prueba que mostraron variaciones comparables en el tiempo y las características de movimiento. Las estadísticas descriptivas (mediana ± IQR) para la desviación del tempo y la amplitud del movimiento fueron comparables entre las divisiones, lo que indica un desplazamiento mínimo de covariables.

3. Preprocesamiento de datos

1. Normalización de puntuación Z
   Los datos en bruto se estandarizaron mediante la normalización de puntuación Z. Para el canal c y el tiempo t:
   (1)
   Calculamos μ_c y σ_c solo en el conjunto de entrenamiento y los aplicamos a los conjuntos de validación y pruebas para evitar la fuga¹⁷.
   Tras la normalización, todos los canales mostraron una media y varianza unitaria cercanas a cero, asegurando la comparabilidad entre los participantes. Los diagnósticos por lotes confirmaron que no había deriva entre pliegues.
2. Filtrado de Salchicha
   Para suprimir el ruido, aplicamos un filtro de Wiener en el dominio de la frecuencia:
   (2)
   donde Y(k) es el espectro observado, \hat{X}(k) es la estimación con desruido, y _{S xx}(k), S_nn(k) denotan densidades espectrales de potencia señal/ruido. Utilizamos una longitud de ventana y solapamiento consistentes con la FFT aguas abajo para mantener la coherencia de fase¹⁸.
   El filtrado de Salchicha redujo el ruido de alta frecuencia en un ~30% mientras conservaba los componentes rítmicos dominantes. La relación señal-ruido mejoró sin atenuar los picos de bloqueo de ritmo.
3. Extracción de características (FFT)
   Se usaron características FFT de corta duración en ventanas superpuestas:
   (3)
   Los descriptores extraídos incluían frecuencia dominante, flujo espectral y relaciones banda-energía. También se calcularon la prominencia máxima fijada por tempo y la variabilidad entre picos para capturar la estabilidad de^{micro-temporización 19}.
   La FFT reveló picos espectrales claros alineados con el tempo musical (2-3 Hz), confirmando la estructura rítmica en el conjunto de datos. Las relaciones pico-ruido superaron de media los 6-8 dB en ensayos correctamente ejecutados.

4. Modelo: TRPO-ResLSTM

1. LSTM residual (ResLSTM)
   Los patrones temporales se modelaron usando LSTM apilados con atajos residuales:
   (4)
   donde P es identidad o una proyección para coincidir con las dimensiones. Las conexiones residuales mitigan los gradientes nulos y permiten pilas temporales más profundas mientras mantienen la estabilidad de^{entrenamiento 20}.
   Las conexiones residuales mejoraron el flujo de gradiente y la precisión de clasificación en comparación con el LSTM simple. Las ablaciones mostraron una precisión de +0,7-1,1 pp sobre pilas no residuales con conteos de parámetros comparables.
2. Optimización de Políticas de Región de Confianza (TRPO)
   TRPO controlaba dinámicamente la dificultad de las tareas. La recompensa personalizada fue:
   (5)
   con puntuaciones de éxito_{s t}, desviación de tempoΔtempo t, disimilitud de gesto d_t (por ejemplo, distancia DTW o pérdida de clasificación), y un indicador de cambio u_t (penalizando cambios frecuentes de dificultad). Optimizamos un objetivo de región de confianza con una restricción KL:
   (6)
   1. Configuración y notación del aprendizaje por refuerzo
      La dificultad adaptativa se formuló como un MDP de horizonte finito en el que el estado s_t agrega características somatosensoriales con ventanas (canales de acelerómetro, posiciones de articulaciones manuales, descriptores de ritmo tras normalización, filtrado de Wiener y FFT), y la acción _{a t} es un nivel de dificultad discreto que controla la tolerancia al tempo y la estricta severidad del gesto. La recompensa equilibra el éxito de la tarea, la desviación de tiempo y el engagement, con una pequeña penalización en el cambio excesivo de dificultad para desincentivar la oscilación. Las actualizaciones de políticas siguen TRPO con una restricción de divergencia de KL para los pasos conservadores. En Ecualizaciones. (5-6), g(y,x) denota el gradiente de pérdida específico de la tarea, W(ζ) es un regularizador L-2 sobre parámetros ζ, π_θ es la política estocástica con parámetros θ, D_KL define la región de confianza, γ es el factor de descuento y δ es el radio de la región de confianza. Se seleccionaron hiperparámetros α,β,γ,δ mediante búsqueda en cuadrícula en la división de validación (rangos en la Tabla 2) para equilibrar estabilidad y respuesta; la parada temprana se activaba cuando la media de KL alcanzaba 0,9²¹.
   2. Justificación frente a alternativas
      Las actualizaciones de políticas de TRPO con límites de KL se preferían para lotes pequeños a nivel de sesión y comportamientos de aprendices no estacionarios; PPO/SAC siguen siendo prometedores y serán evaluados en futuros^{trabajos 22}.
      TRPO logró un aprendizaje estable y un ajuste de dificultad más suave que los controladores base, con convergencia constante. Las curvas de aprendizaje mostraron una mejora monótona y una estabilización de KL más temprana para TRPO-ResLSTM que para las líneas base de un solo componente.
3. Personalización y actualizaciones de sesión
   Las actualizaciones incrementales refinaban tanto los modelos ResLSTM como TRPO tras cada sesión de usuario con bajas tasas de aprendizaje y buffers de ensayo. Utilizamos un pequeño buffer de ensayos recientes por aprendiz para evitar deriva, y actualizaciones limitadas por sesión con un presupuesto fijo para preservar la estabilidad. La efectividad de la personalización se midió como la ganancia relativa en F1 entre la primera y la última sesión de un aprendiz dentro de un horizonte^{fijo 23}.
   La personalización sesión a sesión aumentó la precisión específica del usuario entre un 2% y un 3% sin olvidos catastróficos. Las ganancias fueron mayores para los aprendices con precisión base de rango medio, lo que sugiere margen para andamiaje adaptativo.
4. Algoritmo e implementación
   Se proporciona el pseudocódigo completo ("Algoritmo 1: TRPO-ResLSTM") y una implementación de referencia en Python 3.10.1 como. Todas las cifras y tablas incluyen definiciones de medición, barras de error y tamaños de muestra. Informamos de media ± DS sobre tres pliegues disjuntos en sujeto y evaluamos diferencias entre modelos con pruebas ANOVA o Friedman de medidas repetidas según corresponda, con comparaciones post-hoc ajustadas por multiplicidad (α = 0,05). Para garantizar la reproducibilidad, listamos las versiones de los paquetes y las especificaciones de GPU/CPU en la Tabla de Materiales e incluimos un README con configuración de entorno y^{semilla 24}.
   El protocolo reproducía de forma constante mejoras sobre líneas base multimodales, validando su reproducibilidad. Las repeticiones independientes entre semillas produjeron una variación de precisión de <0,5 pp para el modelo integrado.

Results

Montaje experimental
El marco TRPO-ResLSTM se implementó en Python 3.10.1 con aceleración por GPU. El entorno informático, el hardware de detección de movimiento y las bibliotecas de Python se enumeran en la Tabla de Materiales. Los datos se dividieron en particiones de entrenamiento/validación/prueba disjuntas por sujeto, como se muestra en la Tabla 1 (15/70/15). Los hiperparámetros clave se resumen en la Tabla 2. Se evaluaron tres m...

Discussion

Este estudio propone un protocolo híbrido, TRPO-ResLSTM, que integra aprendizaje por refuerzo y modelado temporal residual para la educación musical basada en gestos. Al combinar la estabilidad de la Optimización de Políticas de Región de Confianza (TRPO) con la capacidad de aprendizaje de secuencias de los LSTM residuales, el marco proporciona reconocimiento de gestos en tiempo real junto con control adaptativo de dificultad, permitiendo retroalimentación personalizada y adquisición pro...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Datos del sensor del acelerómetro	Kaggle (Dominio público)		Señales de entrada multimodales (patrones de movimiento, características de temporización) incluidas en el conjunto de datos
Estación de trabajo GPU	NVIDIA Corporation, EE. UU.		Hardware de entrenamiento: NVIDIA RTX 3080 (10 GB), 32 GB de RAM, Ubuntu 20.04
Datos de posición de la mano y la articulación	Kaggle (Dominio público)		Entrada somatosensorial para el reconocimiento de gestos
Matplotlib (v3.7)	https://matplotlib.org		Biblioteca de visualización para graficar cifras y métricas de rendimiento
NumPy (v1.23)	https://numpy.org		Biblioteca numérica de cálculo para operaciones de array
Conjunto de datos de gestos y ritmo de música pública	Kaggle (Dominio público)		Conjunto de datos anonimizado de 2.730 muestras que registran las respuestas corporales al tempo y al ritmo; Usado para entrenamiento/validación/pruebas (15/70/15)
Python 3.10.1	Fundación de Software en Python, https://www.python.org		Entorno de programación para la implementación y análisis de modelos
PyTorch (v1.13)	https://pytorch.org		Marco de aprendizaje profundo para implementar módulos ResLSTM y TRPO
SciKit - Learn (v1.2)	https://scikit-learn.org		Utilidades de aprendizaje automático para preprocesamiento y evaluación
SciPy (v1.10)	https://scipy.org		Biblioteca de computación científica (utilizada para el filtrado de Wiener)