Entwicklung interaktiver künstlicher Intelligenz für personalisierte somatosensorische und rhythmische Bewertung in intelligenten Musikbildungsplattformen

Summary

Diese Studie präsentiert ein reproduzierbares somatosensorisches Musiklernprotokoll, das Residual-LSTM-Erkennung mit TRPO für adaptive Schwierigkeiten kombiniert. Es behandelt Preprocessing, FFT-Funktionen, Training, Personalisierung und Evaluation. In einem öffentlichen Datensatz erreichte das Hybridmodell Acc 95,0 / P 93,5 / R 94,6 / F1 94,2 über drei subjekt-disjunkte Faltungen.

Abstract

Der traditionelle Musikunterricht weist oft keine Interaktivität und Anpassungsfähigkeit in Echtzeit auf, besonders in entfernten Umgebungen. Diese Studie führt ein personalisiertes somatosensorisches Framework, TRPO-ResLSTM, für Musikbildungsplattformen ein. Das System erfasst Bewegung, Rhythmus und Reaktionszeit, verarbeitet Daten mit Wiener-Filterung und Z-Score-Normalisierung vor und extrahiert Features mittels FFT. Gestenerkennung wird durch DeepRes-LSTM durchgeführt, während die adaptive Schwierigkeit durch TRPO-Verstärkungslernen reguliert wird. Inkrementelles Lernen sorgt für Personalisierung zwischen den Sitzungen. Experimente an einem öffentlich zugänglichen, anonymisierten Gestenrhythmus-Datensatz (n = 2.730 Stichproben; Training/Validierung/Test-Aufteilung 70/15/15) zeigen eine überlegene Leistung gegenüber multimodalen Baselines und erreichen 95 % Genauigkeit, 93,5 % Präzision, 94,6 % Erinnerung und 94,2 % F1-Score. Ablationsstudien bestätigen die individuellen Beiträge von TRPO und Res-LSTM. Die Innovation dieses Protokolls liegt in der Integration von Verstärkungslernen mit Residualzeitmodellierung für adaptive Gestenerkennung, was stabiles, aber personalisiertes Lernen ermöglicht. Diese Arbeit zeigt, dass adaptive, gestenresponsive Werkzeuge Engagement, Personalisierung und fortschreitende Kompetenzentwicklung in der intelligenten Musikausbildung fördern können. Einschränkungen umfassen die Abhängigkeit von einem einzigen Datensatz und die Notwendigkeit der Validierung durch echte Lernende, die die Richtungen für zukünftige Arbeiten festlegen.

Introduction

Jüngste Fortschritte in der künstlichen Intelligenz (KI) und somatosensorischen Technologien verändern den Musikunterricht, indem sie es Lernenden ermöglichen, mit Musik durch Körperbewegungen zu interagieren, wobei Gesten in Noten, Rhythmen oder Steuerungen für virtuelle Instrumente^{übersetzt werden.} Diese interaktiven Funktionen verbessern Engagement, Bindung und Kreativität im Vergleich zum traditionellen Unterricht, und somatosensorische Werkzeuge ermöglichen es den Schülern, Rhythmus, Koordination und Ausdruck durch Körperperkussion, Gesten und Ensemble-Simulationen zu übe....

Protocol

Diese Studie analysierte anonymisierte, öffentlich zugängliche Daten und betraf weder menschliche Probanden noch Tiere. Daher war keine zusätzliche ethische Zustimmung erforderlich.

1. Überblick

Dieses Protokoll beschreibt einen reproduzierbaren Rahmen für somatosensorische Musikausbildung, basierend auf tiefer Residual-LSTM-Erkennung und Trust Region Policy Optimization (TRPO) zur Kontrolle adaptiver Schwierigkeiten. Sie umfasst die Vorbereitung von Datensätzen, Vorverarbeitung, Extraktion von Frequenzdomänenmerkmalen, Modellarchitektur, Schulung, Personalisierung....

Results

Versuchsaufbau
Das TRPO-ResLSTM-Framework wurde in Python 3.10.1 mit GPU-Beschleunigung implementiert. Die Rechenumgebung, die Bewegungssensor-Hardware und die Python-Bibliotheken sind in der Materialtabelle aufgeführt. Die Daten wurden in subjekt-disjunkte Trainings-/Validierungs-/Testpartitionen aufgeteilt, wie in Tabelle 1 (15.70.15) dargestellt. Wichtige Hyperparameter sind in Tabelle 2 zusammengefasst. Drei Modelle wurden bewerte.......

Discussion

Diese Studie schlägt ein hybrides Protokoll vor, TRPO-ResLSTM, das Reinforcement Learning und residualzeitliche Modellierung für gestenbasierte Musikerziehung integriert. Durch die Kombination der Stabilität der Trust Region Policy Optimization (TRPO) mit der Sequenzlernkapazität verbleibender LSTMs liefert das Framework Echtzeit-Gestenerkennung zusammen mit adaptiver Schwierigkeitskontrolle, was personalisiertes Feedback und progressiven Kompetenzerwerb^ermöglicht.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Beschleunigungssensordaten	Kaggle (Gemeinfrei)		Multimodale Eingangssignale (Bewegungsmuster, Zeitfunktionen), enthalten im Datensatz
GPU-Arbeitsstation	NVIDIA Corporation, USA		Trainingshardware: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
Hand- und Gelenkpositionsdaten	Kaggle (Gemeinfrei)		Somatosensorischer Input für Gestenerkennung
Matplotlib (v3.7)	https://matplotlib.org		Visualisierungsbibliothek zum Darstellen von Zahlen und Leistungskennzahlen
NumPy (v1.23)	https://numpy.org		Numerische Berechnungsbibliothek für Array-Operationen
Datensatz für öffentliche Musikgestik und Rhythmus	Kaggle (Gemeinfrei)		Anonymisierter Datensatz mit 2.730 Proben, der Körperreaktionen auf Tempo und Beat aufzeichnet; Verwendung für Training/Validierung/Tests (15.70.15)
Python 3.10.1	Python Software Foundation, https://www.python.org		Programmierumgebung für Modellimplementierung und -analyse
PyTorch (v1.13)	https://pytorch.org		Deep-Learning-Framework zur Implementierung von ResLSTM- und TRPO-Modulen
Scikit – Learn (v1.2)	https://scikit-learn.org		Maschinelle Lernprogramme für Vorverarbeitung und Bewertung
SciPy (v1.10)	https://scipy.org		Wissenschaftliche Rechenbibliothek (verwendet für Wiener-Filterung)