Desenvolvimento de Ferramentas Interativas de Inteligência Artificial para Avaliação Somatossensorial e Rítmica Personalizada em Plataformas Inteligentes de Educação Musical

Summary

Este estudo apresenta um protocolo somatossensorial reprodutível de aprendizagem musical que combina reconhecimento residual de LSTM com TRPO para dificuldade adaptativa. Ele abrange pré-processamento, recursos de FFT, treinamento, personalização e avaliação. Em um conjunto de dados público, o modelo híbrido alcançou Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 em três dobras disjuntas entre sujeito.

Abstract

A educação musical tradicional frequentemente carece de interatividade e adaptabilidade em tempo real, especialmente em ambientes remotos. Este estudo introduz uma estrutura somatossensorial personalizada, TRPO-ResLSTM, para plataformas de educação musical. O sistema captura movimento, ritmo e tempo de resposta, pré-processa dados com filtragem de Wiener e normalização Z-score, e extrai características via FFT. O reconhecimento de gestos é realizado pelo DeepRes-LSTM, enquanto a dificuldade adaptativa é regulada pelo aprendizado por reforço TRPO. O aprendizado incremental garante personalização ao longo das sessões. Experimentos em um conjunto de dados de ritmo gestual anonimizado e disponível publicamente (n = 2.730 amostras; divisão de treinamento/validação/teste 70/15/15) mostram desempenho superior em linhas de base multimodais, alcançando 95% de precisão, 93,5% de precisão, 94,6% de recordação e 94,2% de pontuação F1. Estudos de ablação confirmam as contribuições individuais do TRPO e do Res-LSTM. A inovação desse protocolo está na integração do aprendizado por reforço com modelagem temporal residual para reconhecimento adaptativo de gestos, permitindo um aprendizado estável, porém personalizado. Este trabalho demonstra que ferramentas adaptativas e responsivas a gestos podem aumentar o engajamento, a personalização e o desenvolvimento progressivo de habilidades na educação musical inteligente. As limitações incluem a dependência de um único conjunto de dados e a necessidade de validação real do aprendiz, que define direções para trabalhos futuros.

Introduction

Avanços recentes em inteligência artificial (IA) e tecnologia somatossensorial estão remodelando a educação musical ao permitir que os alunos interajam com a música por meio de movimentos corporais, onde gestos são traduzidos em notas, ritmos ou controles para instrumentos^{virtuais 1,2}. Esses recursos interativos aumentam o engajamento, a retenção e a criatividade em comparação com a instrução tradicional em sala de aula, e as ferramentas somatossensoriais permitem que os alunos pratiquem ritmo, coordenação e expressão por meio de percussão corporal, gestos de condução e simulações de conjunto³. Combinado com caminhos adaptativos impulsionados por IA, os aprendizes recebem conteúdo individualizado, feedback em tempo real e desenvolvimento progressivo de habilidades que melhoram a motivação e os resultados ^4,5.

Apesar desses desenvolvimentos, as plataformas existentes frequentemente dependem de modalidades limitadas, carecem de continuidade de personalização ou não se adaptam a diversos estilos culturais e físicos^{de aprendizagem 6,7}. Abordagens tradicionais também falham em entregar ajustes em tempo real e baseados em dados que reflitam as capacidades em evolução do aprendiz. Por exemplo, captura de movimento e dispositivos vestíveis podem gerar conjuntos de dados ricos, mas frequentemente são subutilizados em instruções^{adaptativas 8,9}. Além disso, embora bibliotecas musicais e sistemas de gestão de aprendizagem tenham ampliado a acessibilidade, raramente oferecem personalização dinâmica entre sessões, o que é fundamental em contextos de aprendizagem multiculturais e^{heterogêneos 10}.

Para suprir essas lacunas, este estudo propõe uma nova estrutura TRPO-ResLSTM (TRPO-ResLSTM) para plataformas de educação^{musical 11}. O sistema integra métodos avançados de pré-processamento, incluindo filtragem de Wiener e normalização Z-score, com a Transformada Rápida de Fourier para extração de características no domínio da frequência. Res-LSTM oferece reconhecimento robusto de gestos e sequências temporais, enquanto o aprendizado por reforço TRPO ajusta dinamicamente a dificuldade da tarefa em resposta ao desempenho do aprendiz. O aprendizado incremental fortalece ainda mais a personalização ao atualizar modelos entre sessões.

Experimentos foram realizados com o conjunto de dados de gestos musicais e ritmos do Kaggle, que compreende 2.730 amostras, divididos em subconjuntos de treinamento, validação e teste. Os resultados mostram que o método proposto supera consistentemente as arquiteturas multimodais básicas, alcançando precisão, precisão, recordação e valores de F1 na faixa de 93% a 95%. Análises de ablação confirmam a eficácia tanto dos componentes TRPO quanto dos Res-LSTM. Ao aumentar a precisão do ritmo, o engajamento do usuário e a estabilidade das políticas em tempo real, o framework oferece uma solução prática para melhorar a eficiência da educação musical em ambientes de ensino remoto e com recursos limitados. Trabalhos relacionados à educação musical impulsionada por IA destacaram o potencial do engajamento somatossensorial, personalização de aprendizagem adaptativa e até aplicações em musicoterapia e composição^{automatizada 12,13}. Este estudo se baseia nessas descobertas ao oferecer um protocolo reproduzível que combina aprendizado por reforço com modelagem temporal profunda para avançar o campo da educação musical inteligente.

Protocol

Este estudo analisou dados anonimizados e públicos e não envolveu indivíduos humanos ou animais. Portanto, não era necessária aprovação ética adicional.

1. Visão geral

Este protocolo descreve uma estrutura reprodutível para a educação musical somatossensorial baseada no reconhecimento residual profundo de LSTM e na Otimização da Política de Região de Confiança (TRPO) para controle adaptativo da dificuldade. Inclui preparação de conjuntos de dados, pré-processamento, extração de características no domínio da frequência, arquitetura do modelo, treinamento, personalização e avaliação. A Figura 1 ilustra o fluxo de trabalho de ponta^{a ponta 14}.

2. Conjunto de dados

Foi utilizado um conjunto de dados de gestos e ritmos musicais anonimizados e publicamente disponível para registrar as respostas do corpo a sinais auditivos, como tempo e intensidade do batida. O conjunto de dados fornece dados multimodais de séries temporais adequados para estudar execução de ritmos e comportamentos de aprendizagem. Cada registro contém padrões de movimento, medidas de precisão de tempo e ritmo, feedback de resposta e tempo de conclusão da tarefa. Como o conjunto de dados era totalmente anonimizado e acessível ao público, não foi necessária aprovação adicional do conselho de revisão^{institucional 15}. Para experimentos, os dados foram particionados por sujeito em subconjuntos de treinamento, validação e teste para evitar vazamento de identidade; estatísticas detalhadas e índices de divisão são relatadas na Tabela 1. Foram usadas três dobras disjuntas no sujeito, sementes aleatórias fixas em todas as execuções e pré-processamento idêntico para todas as variantes do modelo para garantir^{comparabilidade 16}.

O conjunto de dados forneceu uma distribuição equilibrada de gestos rítmicos, com partições de treinamento, validação e teste mostrando variação comparável em características de tempo e movimento. Estatísticas descritivas (mediana ± IQR) para desvio de tempo e amplitude de movimento foram comparáveis em divisões, indicando um deslocamento mínimo da covariada.

3. Pré-processamento de dados

1. Normalização do Z-score
   Os dados brutos foram padronizados usando normalização Z-score. Para o canal c e o tempo t:
   (1)
   Calculamos μ_c e σ_c apenas no conjunto de treinamento e os aplicamos a conjuntos de validação e teste para evitar o vazamento¹⁷.
   Após a normalização, todos os canais apresentaram média e variância unitária próximas de zero, garantindo comparabilidade entre os participantes. Diagnósticos por lote confirmaram que não houve deriva entre as dobras.
2. Filtragem de Wiener
   Para suprimir o ruído, aplicamos um filtro de Wiener no domínio da frequência:
   (2)
   onde Y(k) é o espectro observado, \hat{X}(k) é a estimativa sem ruído, e _{S xx}(k), S_nn(k) denotam densidades espectrais de potência sinal/ruído. Usamos um comprimento de janela e sobreposição consistentes com a FFT a jusante para manter a coerência de fase¹⁸.
   O filtro de salsitha reduziu o ruído de alta frequência em ~30%, mantendo os componentes rítmicos dominantes. A relação sinal-ruído melhorou sem atenuar os picos travados por batida.
3. Extração de características (FFT)
   Recursos FFT de curto prazo foram usados em janelas sobrepostas:
   (3)
   Os descritores extraídos incluíram frequência dominante, fluxo espectral e razões banda-energia. A proeminência máxima travada pelo tempo e a variabilidade entre picos também foram calculadas para capturar a estabilidade de^{microtemporização 19}.
   A FFT revelou picos espectrais claros alinhados com o tempo musical (2-3 Hz), confirmando a estrutura rítmica no conjunto de dados. As razões pico-ruído ultrapassaram em média 6-8 dB em testes corretamente executados.

4. Modelo: TRPO-ResLSTM

1. LSTM residual (ResLSTM)
   Padrões temporais foram modelados usando LSTMs empilhados com atalhos residuais:
   (4)
   onde P é identidade ou uma projeção para corresponder às dimensões. Conexões residuais mitigam gradientes nulos e permitem pilhas temporais mais profundas, preservando a estabilidade^{de treinamento 20}.
   Conexões residuais melhoraram o fluxo de gradiente e a precisão da classificação em comparação com o LSTM simples. As ablações mostraram precisão de +0,7-1,1 pp em empilhamentos não residuais em contagem de parâmetros comparáveis.
2. Otimização de Políticas de Região de Confiança (TRPO)
   O TRPO controlava a dificuldade das tarefas de forma dinâmica. A recompensa personalizada foi:
   (5)
   com pontuação de sucesso s_t, desvio de tempoΔtempo t, dissimilaridade do gesto d_t (por exemplo, distância DTW ou perda de classificação) e um indicador de troca u_t (penalizando mudanças frequentes de dificuldade). Otimizamos um objetivo de região de confiança com uma restrição KL:
   (6)
   1. Configuração e notação de aprendizado por reforço
      A dificuldade adaptativa foi formulada como um MDP de horizonte finito no qual o estado s_t agrega características somatossensoriais janelas (canais do acelerômetro, posições das articulações da mão, descritores de ritmo após normalização, filtragem de Wiener e FFT), e a ação _{a t} é um nível de dificuldade discreto que controla a tolerância do tempo e a rigidez do gesto. A recompensa r_t equilibra o sucesso da tarefa, desvio de tempo e engajamento, com uma pequena penalidade na dificuldade excessiva de trocar para desencorajar oscilações. As atualizações de políticas seguem o TRPO com uma restrição de divergência de KL para passos conservadores. Em Equalizações. (5-6), g(y,x) denota o gradiente de perda específico da tarefa, W(ζ) é um regularizador L-2 sobre parâmetros ζ, π_θ é a política estocástica com parâmetros θ, D_KL define a região de confiança, γ é o fator de desconto e δ é o raio da região de confiança. Os hiperparâmetros α,β,γ,δ foram selecionados por meio de busca em grade na divisão de validação (intervalos na Tabela 2) para equilibrar estabilidade e responsividade; a parada precoce era acionada quando a média de KL atingia^{0,9 21}.
   2. Justificativa versus alternativas
      As atualizações de políticas do TRPO com limites de KL eram preferidas para pequenos lotes em nível de sessão e comportamentos de aprendizes não estacionários; PPO/SAC continuam promissores e serão referenciados em trabalhos^{futuros 22}.
      O TRPO alcançava aprendizado estável e ajuste de dificuldade mais suave do que os controladores base, com convergência consistente. As curvas de aprendizagem mostraram melhora monotônica e estabilização KL mais precoce para TRPO-ResLSTM do que para as linhas de base de componente único.
3. Personalização e atualizações de sessão
   Atualizações incrementais refinavam tanto os modelos ResLSTM quanto TRPO após cada sessão de usuário com pequenas taxas de aprendizado e buffers de ensaio. Usamos um pequeno buffer de ensaio de testes recentes por aprendiz para evitar desvio, e atualizações limitadas por sessão para um orçamento fixo para preservar a estabilidade. A eficácia da personalização foi medida como o ganho relativo em F1 entre a primeira e a última sessão do aprendiz dentro de um horizonte^{fixo 23}.
   A personalização sessão para sessão aumentou a precisão específica do usuário em 2%-3% sem esquecimentos catastróficos. Os ganhos foram maiores para aprendizes com precisão de base de médio alcance, sugerindo margem para andaimes adaptativos.
4. Algoritmo e implementação
   O pseudocódigo completo ("Algoritmo 1: TRPO-ResLSTM") e uma implementação de referência em Python 3.10.1 são fornecidos como. Todos os números e tabelas incluem definições de medição, barras de erro e tamanhos de amostras. Relatamos média ± DS em três dobras disjuntas no sujeito e avaliamos diferenças entre modelos com testes ANOVA ou Friedman de medidas repetidas, conforme apropriado, com comparações pós-hoc ajustadas pela multiplicidade (α = 0,05). Para garantir a reprodutibilidade, listamos versões de pacotes e especificações de GPU/CPU na Tabela de Materiais e incluímos um README com configuração ambiente e^{seed 24}.
   O protocolo reproduzia consistentemente melhorias em relação a linhas de base multimodais, validando sua reprodutibilidade. Re-executações independentes entre sementes produziram uma variância de precisão de <0,5 pp para o modelo integrado.

Results

Configuração Experimental
O framework TRPO-ResLSTM foi implementado em Python 3.10.1 com aceleração por GPU. O ambiente computacional, o hardware de detecção de movimento e as bibliotecas de Python estão listados na Tabela de Materiais. Os dados foram divididos em partições de treinamento/validação/teste disjuntas por sujeito, conforme mostrado na Tabela 1 (15/70/15). Os hiperparâmetros-chave são resumidos na Tabela 2. Três modelos fo...

Discussion

Este estudo propõe um protocolo híbrido, TRPO-ResLSTM, que integra aprendizado por reforço e modelagem temporal residual para educação musical baseada em gestos. Ao combinar a estabilidade da Otimização de Políticas de Região de Confiança (TRPO) com a capacidade de aprendizado de sequências dos LSTMs residuais, a estrutura oferece reconhecimento de gestos em tempo real juntamente com controle adaptativo de dificuldade, permitindo feedback personalizado e aquisição progressiva

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dados do sensor do acelerômetro	Kaggle (Domínio público)		Sinais de entrada multimodais (padrões de movimento, características de tempo) incluídos no conjunto de dados
Estação de trabalho GPU	NVIDIA Corporation, EUA		Hardware de treinamento: NVIDIA RTX 3080 (10 GB), 32 GB de RAM, Ubuntu 20.04
Dados de posição da mão - articulação	Kaggle (Domínio público)		Entrada somatossensorial para reconhecimento de gestos
Matplotlib (v3.7)	https://matplotlib.org		Biblioteca de visualização para plotar figuras e métricas de desempenho
NumPy (v1.23)	https://numpy.org		Biblioteca numérica de computação para operações de array
Conjunto de dados públicos de gestos musicais e ritmo	Kaggle (Domínio público)		Conjunto de dados anonimizado com 2.730 amostras registrando respostas corporais ao tempo e ao batido; Usado para treinamento/validação/testes (15/70/15)
Python 3.10.1	Fundação de Software em Python, https://www.python.org		Ambiente de programação para implementação e análise de modelos
PyTorch (v1.13)	https://pytorch.org		Framework de deep learning para implementar módulos ResLSTM e TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utilitários de aprendizado de máquina para pré-processamento e avaliação
SciPy (v1.10)	https://scipy.org		Biblioteca de computação científica (usada para filtragem de Wiener)