Rozwój interaktywnych narzędzi sztucznej inteligencji do spersonalizowanej oceny somatosensorycznej i rytmicznej w inteligentnych platformach edukacji muzycznej

Summary

Niniejsze badanie przedstawia powtarzalny protokół somatosensorycznego uczenia muzyki łączący resztkowe rozpoznawanie LSTM z TRPO dla adaptacyjnej trudności. Obejmuje wstępne przetwarzanie, funkcje FFT, szkolenia, personalizację i ocenę. Na publicznym zbiorze danych model hybrydowy osiągnął Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 w trzech fałdach podmiotowo-rozłącznych.

Abstract

Tradycyjna edukacja muzyczna często nie jest interaktywna i adaptacyjna w czasie rzeczywistym, zwłaszcza w warunkach zdalnych. Niniejsze badanie wprowadza spersonalizowany system somatosensoryczny, TRPO-ResLSTM, dla platform edukacji muzycznej. System rejestruje ruch, rytm i czas odpowiedzi, wstępnie przetwarza dane za pomocą filtrowania Wienera i normalizacji Z-score oraz wyodrębnia cechy za pomocą FFT. Rozpoznawanie gestów jest realizowane przez DeepRes-LSTM, natomiast trudności adaptacyjne regulowane są przez uczenie ze wzmocnieniem TRPO. Stopniowe uczenie się zapewnia personalizację na różnych sesjach. Eksperymenty na publicznie dostępnym, anonimowym zbiorze danych dotyczących rytmu gestów (n = 2 730 próbek; podział trening/walidacja/test 70/15/15) wykazały lepsze wyniki w porównaniu z bazami multimodalnymi, osiągając 95% dokładności, 93,5% precyzji, 94,6% przypomnienia oraz 94,2% wyniku F1. Badania ablacji potwierdzają indywidualny wkład TRPO i Res-LSTM. Innowacją tego protokołu jest integracja uczenia ze wzmocnieniem z modelowaniem czasowym dla adaptacyjnego rozpoznawania gestów, umożliwiając stabilne, a jednocześnie spersonalizowane uczenie się. Prace te pokazują, że adaptacyjne, reagujące na gesty narzędzia mogą zwiększyć zaangażowanie, personalizację oraz stopniowy rozwój umiejętności w inteligentnej edukacji muzycznej. Ograniczenia obejmują poleganie na jednym zbiorze danych oraz konieczność weryfikacji przez prawdziwego ucznia, która definiuje kierunki przyszłej pracy.

Introduction

Najnowsze osiągnięcia w dziedzinie sztucznej inteligencji (AI) i technologii somatosensorycznej przekształcają edukację muzyczną, umożliwiając uczniom interakcję z muzyką poprzez ruchy ciała, gdzie gesty są tłumaczone na nuty, rytmy lub sterowanie dla instrumentów wirtualnych ^1,2. Te interaktywne funkcje zwiększają zaangażowanie, zapamiętywanie i kreatywność w porównaniu do tradycyjnej nauki w klasie, a narzędzia somatosensoryczne pozwalają uczniom ćwiczyć rytm, koordynację i ekspresję poprzez perkusję ciała, gesty dyrygujące i symulacje zespołowe³. W połączeniu z adaptacyjnymi ścieżkam....

Protocol

Badanie to analizowało anonimizowane, publicznie dostępne dane i nie obejmowało ludzi ani zwierząt. Dlatego nie było wymagane dodatkowe zatwierdzenie etyczne.

1. Przegląd

Protokół ten opisuje powtarzalne ramy edukacji muzycznej somatosensorycznej oparte na głębokim rozpoznawaniu LSTM oraz optymalizacji polityki regionu zaufania (TRPO) dla adaptacyjnej kontroli trudności. Obejmuje przygotowanie zbiorów danych, wstępne przetwarzanie, ekstrakcję cech w dziedzinie częstotliwości, architekturę modeli, szkolenie, personalizację oraz ocenę. Rysunek 1 ilustruje proces od począ....

Results

Układ eksperymentalny
Framework TRPO-ResLSTM został zaimplementowany w Pythonie 3.10.1 z akceleracją GPU. Środowisko obliczeniowe, sprzęt do wykrywania ruchu oraz biblioteki Pythona są wymienione w Tabeli Materiałów. Dane zostały podzielone na podzielone na podmiot-rozłączne podziały treningowe/walidacyjne/testowe, jak pokazano w Tabeli 1 (70/15/15). Kluczowe hiperparametry podsumowano w Tabeli 2. Oceniono trzy modele: bazowe TRPO, bazowe ResLSTM oraz zintegrowany T.......

Discussion

Niniejsze badanie proponuje hybrydowy protokół TRPO-ResLSTM, który integruje uczenie ze wzmocnieniem oraz modelowanie czasowe resztkowe w edukacji muzycznej opartej na gestach. Łącząc stabilność optymalizacji polityki regionu zaufania (TRPO) z możliwością uczenia sekwencji pozostałych LSTM, ramy zapewniają rozpoznawanie gestów w czasie rzeczywistym wraz z adaptacyjną kontrolą trudności, umożliwiając spersonalizowaną informację zwrotną i stopniowe zdobywanie umiejętności²⁵. Aby zapewnić powtarzalno.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dane z czujnika akcelerometru	Kaggle (domena publiczna)		Multimodalne sygnały wejściowe (wzorce ruchu, cechy czasowe) zawarte w zbiorze danych
Stacja robocza GPU	NVIDIA Corporation, USA		Sprzęt treningowy: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
Dane pozycji ręki i stawu	Kaggle (domena publiczna)		Bodźce somatosensoryczne do rozpoznawania gestów
Matplotlib (v3.7)	https://matplotlib.org		Biblioteka wizualizacji do wykresów danych i metryk wydajności
NumPy (wersja 1.23)	https://numpy.org		Biblioteka obliczeń numerycznych dla operacji z tablicami
Publiczna zbiór danych o gestach i rytmie muzyki publicznej	Kaggle (domena publiczna)		Zanonimizowany zbiór danych zawierający 2 730 próbek rejestrujących reakcje ciała na tempo i rytm; Wykorzystywane do treningu/walidacji/testowania (70/15/15)
Python 3.10.1	Python Software Foundation, https://www.python.org		Środowisko programistyczne do implementacji i analizy modeli
PyTorch (wersja 1.13)	https://pytorch.org		Ramy głębokiego uczenia do implementacji modułów ResLSTM i TRPO
SCikit - Learn (wersja 1.2)	https://scikit-learn.org		Narzędzia uczenia maszynowego do wstępnego przetwarzania i oceny
SciPy (wersja 1.10)	https://scipy.org		Biblioteka obliczeń naukowych (używana do filtrowania Wienera)