Desenvolvimento de Ferramentas Interativas de Inteligência Artificial para Avaliação Somatossensorial e Rítmica Personalizada em Plataformas Inteligentes de Educação Musical

Summary

Este estudo apresenta um protocolo somatossensorial reprodutível de aprendizagem musical que combina reconhecimento residual de LSTM com TRPO para dificuldade adaptativa. Ele abrange pré-processamento, recursos de FFT, treinamento, personalização e avaliação. Em um conjunto de dados público, o modelo híbrido alcançou Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 em três dobras disjuntas entre sujeito.

Abstract

A educação musical tradicional frequentemente carece de interatividade e adaptabilidade em tempo real, especialmente em ambientes remotos. Este estudo introduz uma estrutura somatossensorial personalizada, TRPO-ResLSTM, para plataformas de educação musical. O sistema captura movimento, ritmo e tempo de resposta, pré-processa dados com filtragem de Wiener e normalização Z-score, e extrai características via FFT. O reconhecimento de gestos é realizado pelo DeepRes-LSTM, enquanto a dificuldade adaptativa é regulada pelo aprendizado por reforço TRPO. O aprendizado incremental garante personalização ao longo das sessões. Experimentos em um conjunto de dados de ritmo gestual anonimizado e disponível publicamente (n = 2.730 amostras; divisão de treinamento/validação/teste 70/15/15) mostram desempenho superior em linhas de base multimodais, alcançando 95% de precisão, 93,5% de precisão, 94,6% de recordação e 94,2% de pontuação F1. Estudos de ablação confirmam as contribuições individuais do TRPO e do Res-LSTM. A inovação desse protocolo está na integração do aprendizado por reforço com modelagem temporal residual para reconhecimento adaptativo de gestos, permitindo um aprendizado estável, porém personalizado. Este trabalho demonstra que ferramentas adaptativas e responsivas a gestos podem aumentar o engajamento, a personalização e o desenvolvimento progressivo de habilidades na educação musical inteligente. As limitações incluem a dependência de um único conjunto de dados e a necessidade de validação real do aprendiz, que define direções para trabalhos futuros.

Introduction

Avanços recentes em inteligência artificial (IA) e tecnologia somatossensorial estão remodelando a educação musical ao permitir que os alunos interajam com a música por meio de movimentos corporais, onde gestos são traduzidos em notas, ritmos ou controles para instrumentos^{virtuais 1,2}. Esses recursos interativos aumentam o engajamento, a retenção e a criatividade em comparação com a instrução tradicional em sala de aula, e as ferramentas somatossensoriais permitem que os alunos pratiquem ritmo, coordenação e expressão por meio de percussão corporal, gestos de condução e simula....

Protocol

Este estudo analisou dados anonimizados e públicos e não envolveu indivíduos humanos ou animais. Portanto, não era necessária aprovação ética adicional.

1. Visão geral

Este protocolo descreve uma estrutura reprodutível para a educação musical somatossensorial baseada no reconhecimento residual profundo de LSTM e na Otimização da Política de Região de Confiança (TRPO) para controle adaptativo da dificuldade. Inclui preparação de conjuntos de dados, pré-processamento, extração de características no domínio da frequência, arquitetura do modelo, treinamento, personaliz....

Results

Configuração Experimental
O framework TRPO-ResLSTM foi implementado em Python 3.10.1 com aceleração por GPU. O ambiente computacional, o hardware de detecção de movimento e as bibliotecas de Python estão listados na Tabela de Materiais. Os dados foram divididos em partições de treinamento/validação/teste disjuntas por sujeito, conforme mostrado na Tabela 1 (15/70/15). Os hiperparâmetros-chave são resumidos na Tabela 2. Três modelos fo.......

Discussion

Este estudo propõe um protocolo híbrido, TRPO-ResLSTM, que integra aprendizado por reforço e modelagem temporal residual para educação musical baseada em gestos. Ao combinar a estabilidade da Otimização de Políticas de Região de Confiança (TRPO) com a capacidade de aprendizado de sequências dos LSTMs residuais, a estrutura oferece reconhecimento de gestos em tempo real juntamente com controle adaptativo de dificuldade, permitindo feedback personalizado e aquisição progressiva

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dados do sensor do acelerômetro	Kaggle (Domínio público)		Sinais de entrada multimodais (padrões de movimento, características de tempo) incluídos no conjunto de dados
Estação de trabalho GPU	NVIDIA Corporation, EUA		Hardware de treinamento: NVIDIA RTX 3080 (10 GB), 32 GB de RAM, Ubuntu 20.04
Dados de posição da mão - articulação	Kaggle (Domínio público)		Entrada somatossensorial para reconhecimento de gestos
Matplotlib (v3.7)	https://matplotlib.org		Biblioteca de visualização para plotar figuras e métricas de desempenho
NumPy (v1.23)	https://numpy.org		Biblioteca numérica de computação para operações de array
Conjunto de dados públicos de gestos musicais e ritmo	Kaggle (Domínio público)		Conjunto de dados anonimizado com 2.730 amostras registrando respostas corporais ao tempo e ao batido; Usado para treinamento/validação/testes (15/70/15)
Python 3.10.1	Fundação de Software em Python, https://www.python.org		Ambiente de programação para implementação e análise de modelos
PyTorch (v1.13)	https://pytorch.org		Framework de deep learning para implementar módulos ResLSTM e TRPO
scikit - Learn (v1.2)	https://scikit-learn.org		Utilitários de aprendizado de máquina para pré-processamento e avaliação
SciPy (v1.10)	https://scipy.org		Biblioteca de computação científica (usada para filtragem de Wiener)