Desarrollo de herramientas interactivas de inteligencia artificial para la evaluación somatosensorial y de ritmo personalizada en plataformas inteligentes de educación musical

Summary

Este estudio presenta un protocolo reproducible de aprendizaje musical somatosensorial que combina el reconocimiento residual de LSTM con TRPO para la dificultad adaptativa. Cubre preprocesamiento, funciones FFT, formación, personalización y evaluación. En un conjunto de datos público, el modelo híbrido alcanzó Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 a través de tres pliegues disjuntos sujeto.

Abstract

La educación musical tradicional a menudo carece de interactividad y adaptabilidad en tiempo real, especialmente en entornos remotos. Este estudio introduce un marco somatosensorial personalizado, TRPO-ResLSTM, para plataformas de educación musical. El sistema captura movimiento, ritmo y tiempo de respuesta, preprocesa datos con filtrado de Wiener y normalización Z-score, y extrae características mediante FFT. El reconocimiento de gestos lo realiza DeepRes-LSTM, mientras que la dificultad adaptativa está regulada por el aprendizaje por refuerzo TRPO. El aprendizaje incremental garantiza la personalización entre las sesiones. Los experimentos sobre un conjunto de datos de ritmo gestual anonimizado y de acceso público (n = 2.730 muestras; división de entrenamiento/validación/prueba 70/15/15) muestran un rendimiento superior sobre líneas base multimodales, logrando un 95% de precisión, 93,5% de precisión, 94,6% de recuerdo y 94,2% de puntuación F1. Los estudios de ablación confirman las contribuciones individuales de TRPO y Res-LSTM. La innovación de este protocolo radica en integrar el aprendizaje por refuerzo con modelado temporal residual para el reconocimiento adaptativo de gestos, permitiendo un aprendizaje estable pero personalizado. Este trabajo demuestra que las herramientas adaptativas y responsivas a gestos pueden mejorar la implicación, la personalización y el desarrollo progresivo de habilidades en la educación musical inteligente. Las limitaciones incluyen la dependencia de un único conjunto de datos y la necesidad de validación real del aprendizaje, que define las direcciones para trabajos futuros.

Introduction

Los avances recientes en inteligencia artificial (IA) y tecnología somatosensorial están transformando la educación musical al permitir que los alumnos interactúen con la música a través de movimientos corporales, donde los gestos se traducen en notas, ritmos o controles para instrumentos^{virtuales 1,2}. Estas funciones interactivas aumentan la implicación, la retención y la creatividad en comparación con la instrucción tradicional en aula, y las herramientas somatosensoriales permiten a los estudiantes practicar ritmo, coordinación y expresión mediante percusión corporal, gesto....

Protocol

Este estudio analizó datos anonimizados y disponibles públicamente y no involucró a sujetos humanos ni animales. Por lo tanto, no se requería una aprobación ética adicional.

1. Visión general

Este protocolo describe un marco reproducible para la educación musical somatosensorial basado en el reconocimiento profundo residual de LSTM y la Optimización de Políticas de Región de Confianza (TRPO) para el control adaptativo de la dificultad. Incluye la preparación de conjuntos de datos, preprocesamiento, extracción de características en el dominio de la frecuencia, arqui....

Results

Montaje experimental
El marco TRPO-ResLSTM se implementó en Python 3.10.1 con aceleración por GPU. El entorno informático, el hardware de detección de movimiento y las bibliotecas de Python se enumeran en la Tabla de Materiales. Los datos se dividieron en particiones de entrenamiento/validación/prueba disjuntas por sujeto, como se muestra en la Tabla 1 (15/70/15). Los hiperparámetros clave se resumen en la Tabla 2. Se evaluaron tres m.......

Discussion

Este estudio propone un protocolo híbrido, TRPO-ResLSTM, que integra aprendizaje por refuerzo y modelado temporal residual para la educación musical basada en gestos. Al combinar la estabilidad de la Optimización de Políticas de Región de Confianza (TRPO) con la capacidad de aprendizaje de secuencias de los LSTM residuales, el marco proporciona reconocimiento de gestos en tiempo real junto con control adaptativo de dificultad, permitiendo retroalimentación personalizada y adquisición pro.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Datos del sensor del acelerómetro	Kaggle (Dominio público)		Señales de entrada multimodales (patrones de movimiento, características de temporización) incluidas en el conjunto de datos
Estación de trabajo GPU	NVIDIA Corporation, EE. UU.		Hardware de entrenamiento: NVIDIA RTX 3080 (10 GB), 32 GB de RAM, Ubuntu 20.04
Datos de posición de la mano y la articulación	Kaggle (Dominio público)		Entrada somatosensorial para el reconocimiento de gestos
Matplotlib (v3.7)	https://matplotlib.org		Biblioteca de visualización para graficar cifras y métricas de rendimiento
NumPy (v1.23)	https://numpy.org		Biblioteca numérica de cálculo para operaciones de array
Conjunto de datos de gestos y ritmo de música pública	Kaggle (Dominio público)		Conjunto de datos anonimizado de 2.730 muestras que registran las respuestas corporales al tempo y al ritmo; Usado para entrenamiento/validación/pruebas (15/70/15)
Python 3.10.1	Fundación de Software en Python, https://www.python.org		Entorno de programación para la implementación y análisis de modelos
PyTorch (v1.13)	https://pytorch.org		Marco de aprendizaje profundo para implementar módulos ResLSTM y TRPO
SciKit - Learn (v1.2)	https://scikit-learn.org		Utilidades de aprendizaje automático para preprocesamiento y evaluación
SciPy (v1.10)	https://scipy.org		Biblioteca de computación científica (utilizada para el filtrado de Wiener)