Développement d’outils d’intelligence artificielle interactifs pour l’évaluation somatosensorielle et rythmique personnalisée sur des plateformes intelligentes d’éducation musicale

Summary

Cette étude présente un protocole d’apprentissage musical somatosensoriel reproductible combinant la reconnaissance résiduelle de LSTM avec la TRPO pour la difficulté adaptative. Il couvre le prétraitement, les fonctionnalités FFT, la formation, la personnalisation et l’évaluation. Sur un ensemble de données public, le modèle hybride a atteint Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 sur trois replis sujet-disjoints.

Abstract

L’éducation musicale traditionnelle manque souvent d’interactivité et d’adaptabilité en temps réel, surtout dans les environnements isolés. Cette étude introduit un cadre somatosensoriel personnalisé, TRPO-ResLSTM, pour les plateformes d’éducation musicale. Le système capture le mouvement, le rythme et le temps de réponse, prétraite les données avec un filtrage de Wiener et une normalisation Z-score, et extrait les caractéristiques via FFT. La reconnaissance gestuelle est réalisée par DeepRes-LSTM, tandis que la difficulté adaptative est régulée par l’apprentissage par renforcement TRPO. L’apprentissage progressif assure la personnalisation entre les séances. Les expériences sur un ensemble de données de rythme gestuel anonymisé et accessible au public (n = 2 730 échantillons ; répartition entraînement/validation/test 70/15/15) montrent des performances supérieures sur des bases multimodales, atteignant 95 % de précision, 93,5 % de précision, 94,6 % de rappel et 94,2 % de score F1. Les études d’ablation confirment les contributions individuelles de TRPO et Res-LSTM. L’innovation de ce protocole réside dans l’intégration de l’apprentissage par renforcement avec la modélisation temporelle résiduelle pour la reconnaissance adaptative des gestes, permettant un apprentissage stable mais personnalisé. Ce travail démontre que des outils adaptatifs et réactifs aux gestes peuvent renforcer l’engagement, la personnalisation et le développement progressif des compétences dans l’éducation musicale intelligente. Les limites incluent la dépendance à un seul jeu de données et la nécessité d’une validation par l’apprenant réel, qui définit les orientations pour les travaux futurs.

Introduction

Les avancées récentes en intelligence artificielle (IA) et en technologie somatosensorielle transforment l’éducation musicale en permettant aux apprenants d’interagir avec la musique par le biais de mouvements corporels, où les gestes sont traduits en notes, rythmes ou contrôles pour des instruments^{virtuels 1,2}. Ces fonctionnalités interactives améliorent l’engagement, la rétention et la créativité par rapport à l’enseignement traditionnel en classe, et les outils somatosensoriels permettent aux élèves de pratiquer le rythme, la coordination et l’expression grâce à la percussi....

Protocol

Cette étude a analysé des données anonymisées et accessibles au public, et n’a pas impliqué de sujets humains ni d’animaux. Par conséquent, une approbation éthique supplémentaire n’était pas requise.

1. Aperçu

Ce protocole décrit un cadre reproductible pour l’éducation musicale somatosensorielle, basé sur la reconnaissance résiduelle profonde du LSTM et l’optimisation des politiques de la région de confiance (TRPO) pour le contrôle adaptatif de la difficulté. Il comprend la préparation des ensembles de données, le prétraitement, l’extraction de caractéristiques dan....

Results

Installation expérimentale
Le framework TRPO-ResLSTM a été implémenté en Python 3.10.1 avec accélération GPU. L’environnement informatique, le matériel de détection de mouvement et les bibliothèques Python sont listés dans le tableau des matériaux. Les données ont été divisées en partitions d’entraînement/validation/test disjointes par sujet, comme indiqué dans le Tableau 1 (15/70/15). Les hyperparamètres clés sont résumés dans le tableau 2

Discussion

Cette étude propose un protocole hybride, TRPO-ResLSTM, qui intègre l’apprentissage par renforcement et la modélisation temporelle résiduelle pour l’éducation musicale basée sur les gestes. En combinant la stabilité de l’optimisation des politiques de région de confiance (TRPO) avec la capacité d’apprentissage de séquences des LSTM résiduels, le cadre offre une reconnaissance gestuelle en temps réel ainsi qu’un contrôle adaptatif de la difficulté, permettant un retour personnalisé et une.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Données du capteur d’accéléromètre	Kaggle (domaine public)		Signaux d’entrée multimodaux (schémas de mouvement, caractéristiques de synchronisation) inclus dans le jeu de données
Station de travail GPU	NVIDIA Corporation, États-Unis		Matériel d’entraînement : NVIDIA RTX 3080 (10 Go), 32 Go de RAM, Ubuntu 20.04
Données de position main - articulation	Kaggle (domaine public)		Entrée somatosensorielle pour la reconnaissance des gestes
Matplotlib (v3.7)	https://matplotlib.org		Bibliothèque de visualisation pour tracer les chiffres et les métriques de performance
NumPy (v1.23)	https://numpy.org		Bibliothèque de calcul numérique pour les opérations sur tableau
Jeu de données sur la musique publique sur les gestes et le rythme	Kaggle (domaine public)		Jeu de données anonymisé de 2 730 échantillons enregistrant les réponses corporelles au tempo et au rythme ; utilisé pour la formation/validation/tests (15/70/15)
Python 3.10.1	Fondation logicielle Python, https://www.python.org		Environnement de programmation pour l’implémentation et l’analyse de modèles
PyTorch (v1.13)	https://pytorch.org		Cadre d’apprentissage profond pour la mise en œuvre des modules ResLSTM et TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utilitaires d’apprentissage automatique pour le prétraitement et l’évaluation
SciPy (v1.10)	https://scipy.org		Bibliothèque de calcul scientifique (utilisée pour le filtrage de Wiener)