Développement d’outils d’intelligence artificielle interactifs pour l’évaluation somatosensorielle et rythmique personnalisée sur des plateformes intelligentes d’éducation musicale

Summary

Cette étude présente un protocole d’apprentissage musical somatosensoriel reproductible combinant la reconnaissance résiduelle de LSTM avec la TRPO pour la difficulté adaptative. Il couvre le prétraitement, les fonctionnalités FFT, la formation, la personnalisation et l’évaluation. Sur un ensemble de données public, le modèle hybride a atteint Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 sur trois replis sujet-disjoints.

Abstract

L’éducation musicale traditionnelle manque souvent d’interactivité et d’adaptabilité en temps réel, surtout dans les environnements isolés. Cette étude introduit un cadre somatosensoriel personnalisé, TRPO-ResLSTM, pour les plateformes d’éducation musicale. Le système capture le mouvement, le rythme et le temps de réponse, prétraite les données avec un filtrage de Wiener et une normalisation Z-score, et extrait les caractéristiques via FFT. La reconnaissance gestuelle est réalisée par DeepRes-LSTM, tandis que la difficulté adaptative est régulée par l’apprentissage par renforcement TRPO. L’apprentissage progressif assure la personnalisation entre les séances. Les expériences sur un ensemble de données de rythme gestuel anonymisé et accessible au public (n = 2 730 échantillons ; répartition entraînement/validation/test 70/15/15) montrent des performances supérieures sur des bases multimodales, atteignant 95 % de précision, 93,5 % de précision, 94,6 % de rappel et 94,2 % de score F1. Les études d’ablation confirment les contributions individuelles de TRPO et Res-LSTM. L’innovation de ce protocole réside dans l’intégration de l’apprentissage par renforcement avec la modélisation temporelle résiduelle pour la reconnaissance adaptative des gestes, permettant un apprentissage stable mais personnalisé. Ce travail démontre que des outils adaptatifs et réactifs aux gestes peuvent renforcer l’engagement, la personnalisation et le développement progressif des compétences dans l’éducation musicale intelligente. Les limites incluent la dépendance à un seul jeu de données et la nécessité d’une validation par l’apprenant réel, qui définit les orientations pour les travaux futurs.

Introduction

Les avancées récentes en intelligence artificielle (IA) et en technologie somatosensorielle transforment l’éducation musicale en permettant aux apprenants d’interagir avec la musique par le biais de mouvements corporels, où les gestes sont traduits en notes, rythmes ou contrôles pour des instruments^{virtuels 1,2}. Ces fonctionnalités interactives améliorent l’engagement, la rétention et la créativité par rapport à l’enseignement traditionnel en classe, et les outils somatosensoriels permettent aux élèves de pratiquer le rythme, la coordination et l’expression grâce à la percussion corporelle, à la direction de gestes et aux simulations^{d’ensemble 3}. Combinés aux parcours adaptatifs pilotés par l’IA, les apprenants reçoivent un contenu individualisé, des retours en temps réel et un développement progressif des compétences qui améliorent la motivation et les résultats ^4,5.

Malgré ces évolutions, les plateformes existantes reposent souvent sur des modalités limitées, manquent de continuité de personnalisation ou ne parviennent pas à s’adapter à la diversité des styles d’apprentissage culturels et^{physiques 6,7}. Les approches traditionnelles échouent également à fournir des ajustements en temps réel, basés sur les données, qui reflètent les capacités évolutives de l’apprenant. Par exemple, la capture de mouvement et les dispositifs portables peuvent générer des ensembles de données riches mais sont souvent sous-utilisés dans l’instruction^{adaptative 8,9}. De plus, bien que les bibliothèques musicales et les systèmes de gestion de l’apprentissage aient élargi leur accessibilité, ils offrent rarement une personnalisation dynamique entre les séances, ce qui est crucial dans des contextes d’apprentissage multiculturels et^{hétérogènes 10}.

Pour combler ces lacunes, cette étude propose un nouveau cadre TRPO-ResLSTM (TRPO-ResLSTM) pour les plateformes d’éducation^{musicale 11}. Le système intègre des méthodes avancées de prétraitement, incluant le filtrage de Wiener et la normalisation Z-score, avec la transformée rapide de Fourier pour l’extraction des caractéristiques en domaine fréquentiel. Res-LSTM offre une reconnaissance robuste des gestes et des séquences temporelles, tandis que l’apprentissage par renforcement TRPO ajuste dynamiquement la difficulté de la tâche en réponse à la performance de l’apprenant. L’apprentissage incrémental renforce encore la personnalisation en mettant à jour les modèles entre les sessions.

Des expériences ont été menées sur le jeu de données de musique et de rythme Kaggle, comprenant 2 730 échantillons, répartis en sous-ensembles d’entraînement, de validation et de test. Les résultats montrent que la méthode proposée surpasse systématiquement les architectures multimodales de base, atteignant des valeurs de précision, de rappel et de F1 dans la fourchette de 93 % à 95 %. Les analyses d’ablation confirment l’efficacité des composants TRPO et Res-LSTM. En améliorant la précision du rythme, l’engagement des utilisateurs et la stabilité des politiques en temps réel, le cadre offre une solution pratique pour améliorer l’efficacité de l’enseignement musical dans des environnements d’apprentissage à faible ressource et à distance. Des travaux connexes sur l’éducation musicale pilotée par l’IA ont mis en lumière le potentiel de l’engagement somatosensoriel, de la personnalisation de l’apprentissage adaptatif, et même des applications en musicothérapie et composition^{automatisée 12,13}. Cette étude s’appuie sur ces résultats en proposant un protocole reproductible qui combine apprentissage par renforcement avec modélisation temporelle profonde afin de faire progresser le domaine de l’éducation musicale intelligente.

Protocol

Cette étude a analysé des données anonymisées et accessibles au public, et n’a pas impliqué de sujets humains ni d’animaux. Par conséquent, une approbation éthique supplémentaire n’était pas requise.

1. Aperçu

Ce protocole décrit un cadre reproductible pour l’éducation musicale somatosensorielle, basé sur la reconnaissance résiduelle profonde du LSTM et l’optimisation des politiques de la région de confiance (TRPO) pour le contrôle adaptatif de la difficulté. Il comprend la préparation des ensembles de données, le prétraitement, l’extraction de caractéristiques dans le domaine fréquentiel, l’architecture du modèle, l’entraînement, la personnalisation et l’évaluation. La figure 1 illustre le flux de travail^{de bout en bout 14}.

2. Ensemble de données

Un jeu de données anonymisé de musique, accessible au public, a été utilisé pour enregistrer les réponses corporelles aux signaux auditifs tels que le tempo et l’intensité du battement. Le jeu de données fournit des données multimodales de séries temporelles adaptées à l’étude de l’exécution du rythme et des comportements d’apprentissage. Chaque enregistrement contient des schémas de mouvement, des mesures de timing et de précision rythmique, des retours de réponse et des temps d’accomplissement des tâches. Comme l’ensemble de données était entièrement anonymisé et accessible au public, aucune approbation supplémentaire du comité d’examen institutionnel n’a été^{requise 15}. Pour les expériences, les données étaient partitionnées par sujet en sous-ensembles d’entraînement, de validation et de test afin d’éviter la fuite d’identité ; des statistiques détaillées et des ratios de répartition sont présentés dans le Tableau 1. Trois plis disjoints de sujet ont été utilisés, des graines aléatoires fixes sur toutes les exécutions, et un prétraitement identique pour toutes les variantes de modèle afin d’assurer la comparabilité¹⁶.

Le jeu de données a permis de réunir une répartition équilibrée des gestes rythmiques, avec des partitions d’entraînement, de validation et de test montrant une variance comparable dans le temps et les caractéristiques de mouvement. Les statistiques descriptives (médiane ± IQR) pour la déviation de tempo et l’amplitude du mouvement étaient comparables entre les divisions, indiquant un décalage minimal des covariables.

3. Prétraitement des données

1. Normalisation du score Z
   Les données brutes ont été standardisées à l’aide de la normalisation Z-score. Pour le canal c et le temps t :
   (1)
   Nous avons calculé μ_c et σ_c uniquement sur l’ensemble d’entraînement et les avons appliqués aux jeux de validation et de test pour éviter la^{fuite 17}.
   Après la normalisation, tous les canaux ont montré une moyenne et une variance unitaire proches de zéro, assurant la comparabilité entre les participants. Les diagnostics par lot ont confirmé qu’aucune dérive entre les plis.
2. Filtrage de Wiener
   Pour supprimer le bruit, nous avons appliqué un filtre de Wiener dans le domaine fréquentiel :
   (2)
   où Y(k) est le spectre observé, \hat{X}(k) est l’estimation dénoiseisée, et _{S xx}(k), S_nn(k) désignent les densités spectrales de puissance signal/bruit. Nous avons utilisé une longueur de fenêtre et un chevauchement compatibles avec la FFT en aval pour maintenir la cohérence de phase¹⁸.
   Le filtrage de Wiener réduisait le bruit haute fréquence de ~30 % tout en conservant les composantes rythmiques dominantes. Le rapport signal/bruit s’est amélioré sans atténuer les pics bloqués par le rythme.
3. Extraction de caractéristiques (FFT)
   Les fonctionnalités FFT à courte durée étaient utilisées sur des fenêtres qui se chevauchent :
   (3)
   Les descripteurs extraits comprenaient la fréquence dominante, le flux spectral et les rapports bande-énergie. La proéminence de pic verrouillée en tempo et la variabilité entre pics ont également été calculées pour capturer la stabilité de^{micro-synchronisation 19}.
   La FFT a révélé des pics spectraux clairs alignés avec le tempo musical (2-3 Hz), confirmant la structure rythmique dans l’ensemble de données. Les rapports pic/bruit dépassaient en moyenne 6 à 8 dB lors des essais correctement exécutés.

4. Modèle : TRPO-ResLSTM

1. LSTM résiduel (ResLSTM)
   Les schémas temporels ont été modélisés à l’aide de LSTM empilés avec des raccourcis résiduels :
   (4)
   où P est l’identité ou une projection correspondant aux dimensions. Les connexions résiduelles atténuent les gradients nuls et permettent des empilements temporels plus profonds tout en préservant la stabilité^{d’entraînement 20}.
   Les connexions résiduelles ont amélioré l’écoulement du gradient et la précision de classification par rapport au LSTM simple. Les ablations ont montré une précision de +0,7 à 1,1 pp sur les piles non résiduelles à des comptes de paramètres comparables.
2. Optimisation des politiques de région de confiance (TRPO)
   TRPO contrôlait dynamiquement la difficulté des tâches. La récompense personnalisée était :
   (5)
   avec un score de réussite s_t, une déviation de tempoΔtempo t, une dissemblance de geste d_t (par exemple, distance DTW ou perte de classification), et un indicateur de commutation u_t (pénalisant les changements fréquents de difficulté). Nous avons optimisé un objectif de région de confiance avec une contrainte KL :
   (6)
   1. Installation et notation de l’apprentissage par renforcement
      La difficulté adaptative a été formulée comme un MDP à horizon fini dans lequel l’état s_t agrège des caractéristiques somatosensorielles fenêtreuses (canaux d’accéléromètre, positions des articulations de la main, descripteurs de rythme après normalisation, filtrage de Wiener et FFT), et l’action _{a t} est un niveau de difficulté discret contrôlant la tolérance de tempo et la stricteur des gestes. La récompense r_t équilibre la réussite de la tâche, la déviation du timing et l’engagement, avec une petite pénalité en cas de difficulté excessive à changer pour décourager l’oscillation. Les mises à jour de politique suivent TRPO avec une contrainte de divergence KL pour des mesures prudentes. En égalisation. (5-6), g(y,x) désigne le gradient de perte spécifique à la tâche, W(ζ) est un régulariseur L-2 sur les paramètres ζ, π_θ est la politique stochastique avec les paramètres θ, D_KL définit la région de confiance, γ est le facteur d’escompte, et δ est le rayon de la région de confiance. Les hyperparamètres α, β, γ, δ ont été sélectionnés via une recherche en grille sur la répartition de validation (plages du tableau 2) afin d’équilibrer stabilité et réactivité ; un arrêt précoce a été déclenché lorsque la moyenne des KL atteignait 0,9²¹.
   2. Justification versus alternatives
      Les mises à jour de politique de TRPO contraintes par KL étaient préférées pour de petits groupes de session et le comportement non stationnaire de l’apprenant ; PPO/SAC restent prometteurs et seront évalués dans les travaux^{futurs 22}.
      TRPO a permis un apprentissage stable et un ajustement de difficulté plus fluide que les contrôleurs de base, avec une convergence constante. Les courbes d’apprentissage ont montré une amélioration monotone et une stabilisation KL plus précoce pour TRPO-ResLSTM que pour les bases monocomposantes.
3. Personnalisation et mises à jour des sessions
   Des mises à jour progressives ont affiné à la fois les modèles ResLSTM et TRPO après chaque session utilisateur avec de faibles taux d’apprentissage et des tampons de répétition. Nous avons utilisé un petit tampon de répétition d’essais récents par apprenant pour éviter la dérive, et des mises à jour limitées par session avec un budget fixe afin de préserver la stabilité. L’efficacité de la personnalisation a été mesurée comme le gain relatif en F1 entre la première et la dernière séance d’un apprenant dans un horizon^{fixe 23}.
   La personnalisation session par session a augmenté la précision spécifique à chaque utilisateur de 2 % à 3 % sans oublier de façon catastrophique. Les gains étaient les plus importants pour les apprenants ayant une précision de base moyenne, suggérant une marge de manœuvre pour l’échafaudage adaptatif.
4. Algorithme et implémentation
   Le pseudo-code complet (« Algorithme 1 : TRPO-ResLSTM ») et une implémentation de référence Python 3.10.1 sont fournis sous la forme suivante. Toutes les figures et tableaux incluent les définitions de mesure, les barres d’erreur et les tailles d’échantillon. Nous rapportons la moyenne ± DS sur trois plis disjoints sujets et évaluons les différences inter-modèles avec des tests ANOVA ou Friedman à mesures répétées selon les besoins, avec des comparaisons post-hoc ajustées par multiplicité (α = 0,05). Pour garantir la reproductibilité, nous listons les versions des paquets et les spécifications GPU/CPU dans la Table des Matériaux et incluons un README avec la configuration environnement et^{seed 24}.
   Le protocole reproduisait systématiquement des améliorations sur les bases multimodales, validant sa reproductibilité. Des rediffusions indépendantes entre les graines ont donné une variance de précision de <0,5 pp pour le modèle intégré.

Results

Installation expérimentale
Le framework TRPO-ResLSTM a été implémenté en Python 3.10.1 avec accélération GPU. L’environnement informatique, le matériel de détection de mouvement et les bibliothèques Python sont listés dans le tableau des matériaux. Les données ont été divisées en partitions d’entraînement/validation/test disjointes par sujet, comme indiqué dans le Tableau 1 (15/70/15). Les hyperparamètres clés sont résumés dans le tableau 2

Discussion

Cette étude propose un protocole hybride, TRPO-ResLSTM, qui intègre l’apprentissage par renforcement et la modélisation temporelle résiduelle pour l’éducation musicale basée sur les gestes. En combinant la stabilité de l’optimisation des politiques de région de confiance (TRPO) avec la capacité d’apprentissage de séquences des LSTM résiduels, le cadre offre une reconnaissance gestuelle en temps réel ainsi qu’un contrôle adaptatif de la difficulté, permettant un retour personnalisé et une...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Données du capteur d’accéléromètre	Kaggle (domaine public)		Signaux d’entrée multimodaux (schémas de mouvement, caractéristiques de synchronisation) inclus dans le jeu de données
Station de travail GPU	NVIDIA Corporation, États-Unis		Matériel d’entraînement : NVIDIA RTX 3080 (10 Go), 32 Go de RAM, Ubuntu 20.04
Données de position main - articulation	Kaggle (domaine public)		Entrée somatosensorielle pour la reconnaissance des gestes
Matplotlib (v3.7)	https://matplotlib.org		Bibliothèque de visualisation pour tracer les chiffres et les métriques de performance
NumPy (v1.23)	https://numpy.org		Bibliothèque de calcul numérique pour les opérations sur tableau
Jeu de données sur la musique publique sur les gestes et le rythme	Kaggle (domaine public)		Jeu de données anonymisé de 2 730 échantillons enregistrant les réponses corporelles au tempo et au rythme ; utilisé pour la formation/validation/tests (15/70/15)
Python 3.10.1	Fondation logicielle Python, https://www.python.org		Environnement de programmation pour l’implémentation et l’analyse de modèles
PyTorch (v1.13)	https://pytorch.org		Cadre d’apprentissage profond pour la mise en œuvre des modules ResLSTM et TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utilitaires d’apprentissage automatique pour le prétraitement et l’évaluation
SciPy (v1.10)	https://scipy.org		Bibliothèque de calcul scientifique (utilisée pour le filtrage de Wiener)